Exigimos explicaciones útiles: por qué los LLM fallan y qué hacer al respecto

Los directores que han puesto a prueba asistentes de IA en atención al cliente, finanzas o salud escuchan con frecuencia la misma queja: el modelo entrega una respuesta que parece lógica, pero la justificación que ofrece no conecta con lo que el interlocutor ya sabe o supone. El estudio publicado el 12 de junio de 2026 por Louis Mahon, Elliot Ford y Callum Hackett muestra con claridad que esa desconexión no es un accidente sino una falla estructural de los LLM actuales.

Los autores retoman la tradición filosófica de las "explicaciones contrafactuales", aquellas que describen qué habría ocurrido bajo condiciones diferentes. Su aporte clave es añadir la dimensión de las creencias previas del usuario. Una explicación útil, según su propuesta, debe cumplir dos requisitos simultáneos: presentar un contra‑hecho coherente y demostrar por qué ese contra‑hecho es relevante para la idea que el interlocutor sostiene. Cuando el modelo ignora esa premisa, genera lo que los investigadores denominan un "razonamiento post‑hoc", una narración que parece razonada pero que, en realidad, solo alinea la salida con datos observados sin validar la conexión con la base cognitiva del usuario.

En la práctica, esa carencia se traduce en riesgos visibles. En un escenario de soporte técnico, un LLM podría recomendar reiniciar un servidor bajo la suposición de que el operador conoce la política de backup vigente; si esa política no está presente en su conocimiento, la explicación pierde valor y el operador podría ejecutar una acción perjudicial. En ámbitos más críticos, como la prescripción médica o la evaluación de crédito, la falsa sensación de comprensión alimenta decisiones automatizadas que pueden reforzar sesgos ocultos y erosionar la confianza del público.

El aporte del trabajo radica no solo en diagnosticar el problema, sino en ofrecer una hoja de ruta operativa. Primero, plantea métricas que midan la alineación entre la explicación y las creencias del cliente, más allá de la exactitud factual. Segundo, insta a incorporar módulos de modelado de creencias que actualicen un perfil cognitivo a partir de cada interacción. Tercero, sugiere que la generación de contra‑hechos vaya acompañada de un "contextualizador" que explique la relevancia del contra‑hecho para la premisa del usuario. Cuarto, exige trazabilidad de los hechos usados en la explicación, lo que obliga a la infraestructura de datos a registrar la procedencia de cada pieza de información. Por último, recomienda auditorías específicas que revisen cómo se manejan las creencias implícitas y que detecten la posible amplificación de sesgos.

Para los ejecutivos, la implicación más inmediata es que la simple adopción de un modelo preentrenado ya no basta. La arquitectura de atención de los LLM, aunque excelente para producir texto fluido, carece de una representación explícita de las creencias del interlocutor. Implementar los módulos propuestos implica diseñar capas adicionales de personalización que consumen recursos computacionales y requieren un flujo de datos continuo. No obstante, el retorno de inversión se puede medir en reducción de incidentes, mayor aceptación del cliente y menor exposición a sanciones regulatorias vinculadas a la opacidad algorítmica.

Una estrategia pragmática es iniciar con pilotos donde la base de creencias está bien delimitada, como sistemas de tickets de soporte técnico. En esos entornos, el historial de interacciones permite construir perfiles de creencia con datos estructurados y evaluar rápidamente el impacto de explicaciones más alineadas. Los resultados de esos experimentos sirven de base para escalar a dominios de mayor complejidad, como la generación de cláusulas contractuales o los algoritmos de scoring crediticio, donde la confianza en la justificación es esencial.

En última instancia, la definición operativa de "explicación útil" que propone Mahon y sus colegas constituye un nuevo estándar de responsabilidad para la IA. Obliga a los proveedores a pasar de la mera generación de texto a la construcción de una conversación verificable, donde cada argumento se somete a pruebas de contrafactualidad antes de ser presentado. Sin ese rigor, la confianza en los sistemas automatizados seguirá menguando, y la opacidad seguirá siendo una vulnerabilidad estratégica que la regulación y la presión del mercado no tolerarán mucho tiempo.

Para los líderes latinoamericanos, el desafío es claro: invertir hoy en capas de modelado de creencias y en auditorías de explicación, o arriesgarse a que la próxima polémica regulatoria limite el despliegue de IA en sus negocios. La pregunta que queda es si las organizaciones están dispuestas a asumir ese costo estructural antes de que la falta de explicaciones útiles se convierta en su mayor amenaza competitiva.