Recuperar la regla no equivale a seguir el proceso
Hechos comprobados
El benchmark Tasks over Application Manuals (TAM), publicado el 11 de septiembre de 2026 y aceptado en CIKM 2026, evaluó GPT‑5 en dos procesos regulados:
1,000 expedientes clínicos, que exigían aplicar miles de reglas ICD‑10‑CM y producir el conjunto exacto de códigos.
200 casos judiciales, que requerían navegar legislación y manuales de sentencias estadounidenses para calcular el nivel exacto de la infracción.
Se probaron RAG convencional, RAG agéntico, ReAct con herramientas especializadas y una arquitectura de agentes con trabajadores y habilidades separadas.
Los mejores resultados fueron:
1% de exactitud completa en codificación clínica.
15.5% de exactitud completa en cálculo de sentencias.
El agente clínico con mejor cobertura recuperó solamente 37% de los códigos requeridos.
La mejor arquitectura identificó correctamente el diagnóstico principal en 50.1% de los casos, pero logró el conjunto completo en sólo 0.7%.
En 38 de 50 trayectorias fallidas analizadas, el sistema tomó una decisión inicial incorrecta y después continuó de forma aparentemente coherente por la rama equivocada.
Fuentes primarias: paper completo de TAM, datos abiertos y código y configuración de los agentes.
Solidez y límites
La evidencia es sólida como benchmark: utiliza casos reales, etiquetas humanas, manuales oficiales extensos, resultados exactos y artefactos reproducibles. Además, compara cuatro formas habituales de construir asistentes empresariales.
No mide desempeño operativo real ni evalúa sistemas especializados entrenados específicamente para estos dominios. Sólo utiliza GPT‑5 como modelo base y dos procedimientos. La métrica de coincidencia exacta es deliberadamente estricta, aunque resulta apropiada cuando omitir una regla o código puede tener consecuencias jurídicas, clínicas o financieras. También existe desacuerdo entre codificadores humanos y 35 de los 200 casos jurídicos del agente estructurado terminaron prematuramente por filtros del proveedor.
Inferencia para EnterpriseThinking
El resultado añade una precisión decisiva al Cerebro de IA:
Tener la información correcta no significa ejecutar correctamente el proceso que esa información gobierna.
RAG puede recuperar una regla pertinente mientras el agente pierde obligaciones anteriores, aplica una excepción fuera de orden, deja incompleto el recorrido o produce una conclusión globalmente inválida. Una explicación plausible tampoco demuestra que se haya seguido todo el procedimiento.
Esto afecta directamente los agentes y stress tests para Notaría 97, BanCoppel, Grupo Cler y Grupo México, especialmente en expedientes, cumplimiento, conciliación, clasificación, auditoría y SOP extensos.
Acción concreta
Añadir a Embedded AI una prueba de fidelidad procedimental:
convertir el manual en estados, obligaciones, excepciones y transiciones verificables;
registrar qué reglas se aplicaron, cuáles siguen pendientes y qué decisiones anteriores condicionan el siguiente paso;
establecer controles deterministas en puntos críticos y antes de finalizar;
obligar al sistema a comprobar integridad, contradicciones y elementos faltantes;
validar la salida contra casos completos y no sólo preguntas aisladas;
escalar a revisión humana cuando una trayectoria no pueda demostrarse paso por paso.
La tesis operativa queda así:
Un agente regulado no debe aprobarse porque encuentra reglas y produce respuestas convincentes. Debe demostrar que ejecutó íntegramente el procedimiento correcto.
Comentarios