Cada vez que un ejecutivo latinoamericano recibe un informe generado por inteligencia artificial, hay una posibilidad no despreciable de que una de las afirmaciones sea completamente falsa pero suene impecable. Esa es la paradoja que un grupo de expertos convocados por la Association for the Advancement of Artificial Intelligence (AAAI) acaba de poner sobre la mesa en un panel que forma parte de la serie Futuro de la Investigación en IA, publicado en marzo de 2025.
El problema que nadie ha resuelto del todo
El panel, moderado por Francesca Rossi —expresidenta de la AAAI y líder global de Ética en IA de IBM—, reunió a tres voces de peso: Oren Etzioni, fundador de TrueMedia.org y profesor emérito de la Universidad de Washington; Henry Kautz, profesor de Ciencias de la Computación en la Universidad de Virginia; y Kush R. Varshney, IBM Fellow. El diagnóstico fue claro: prevenir que los grandes modelos de lenguaje generen información falsa sigue siendo el problema más espinoso de la inteligencia artificial.
Lo que hace que esto sea particularmente incómodo para las empresas es que no se trata de un error que se pueda corregir con un parche sencillo. Los modelos no "mienten" en el sentido humano del término; simplemente producen texto probablemente coherente sin un mecanismo interno que verifique si lo que dicen corresponde a la realidad. Para una compañía que despliega un chatbot de atención al cliente en Brasil, un asistente de ventas en México o un generador de informes en Chile, traducir esa fragilidad técnica en riesgos operativos concretos es un ejercicio que pocos han hecho con seriedad.
Más allá de la precisión: ¿qué significa que una IA sea confiable?
El panel identificó un segundo punto que suele pasarse por alto en la discusión corporativa: la confiabilidad no es lo mismo que la precisión. Una IA puede ser técnicamente correcta en sus respuestas y aun así no ser confiable si resulta imposible de entender, si falla ante un escenario imprevisto o si ignora valores humanos elementales. En entornos de alto riesgo —diagnósticos médicos, evaluaciones crediticias, decisiones de contratación—, esos matices marcan la diferencia entre una herramienta útil y una demanda.
Para el mercado latinoamericano, donde la adopción de IA está creciendo rápido pero la infraestructura regulatoria avanza a un ritmo distinto, esta discusión tiene consecuencias prácticas inmediatas. Un banco peruano que usa IA para evaluar solicitudes de crédito no solo necesita que el modelo sea preciso; necesita que sea auditable, robusto ante datos ruidosos y alineado con principios que los reguladores locales empiezan a exigir, aunque todavía sin marcos tan detallados como los de Europa.
Soluciones que funcionan… hasta que no
Los panelistas no se limitaron a describir el problema. Plantearon un menú de soluciones probadas que las empresas ya pueden implementar: ajuste fino (fine-tuning) para afinar el comportamiento del modelo en casos específicos; generación aumentada por recuperación (RAG), que obliga al modelo a basarse en documentos reales antes de responder; verificación de salidas mediante sistemas externos que revisan lo que el modelo produce; y estrategias de simplificación de modelos que reducen la complejidad a cambio de mayor previsibilidad.
El problema con todas estas técnicas es que ninguna es una bala de plata. El ajuste fino requiere datos de alta calidad y anotación costosa. RAG funciona siempre que la base documental esté actualizada, lo que en mercados volátiles como el latinoamericano —donde las regulaciones fiscales o cambiarias cambian con frecuencia— exige mantenimiento constante. Y la verificación de salidas, aunque prometedora, sigue siendo un campo en desarrollo.
Oren Etzioni, fundador de TrueMedia.org —una organización que precisamente se dedica a detectar contenido falso generado por IA—, representa un caso de estudio en sí mismo: si incluso los expertos que más saben sobre desinformación artificial necesitan herramientas dedicadas para identificar lo falso, ¿qué margen de error tiene una pyme que simplemente usa ChatGPT para redactar contratos?
Lo que esto significa para América Latina
Para las empresas de la región, la conclusión del panel es doble. Por un lado, la tecnología está madura para usarse en producción, pero con salvaguardas. Invertir en capas de verificación no es un lujo de empresas grandes; es una necesidad operativa para cualquier organización que ponga modelos de lenguaje en contacto con clientes o datos sensibles. Por otro, la conversación sobre confiabilidad no puede esperar a que los reguladores locales dicten el estándar: los ejecutivos que hoy definen sus políticas de uso de IA están, de facto, estableciendo el nivel de riesgo que sus empresas están dispuestas a aceptar.
La invitación del panel de la AAAI es a dejar de pensar en las alucinaciones como un bug molesto pero menor. Son la expresión de una limitación estructural de la tecnología actual. Mientras los proveedores globales de modelos no resuelvan ese problema desde la raíz —y el panel sugiere que estamos lejos de eso—, la responsabilidad de operar con cuidado recae enteramente en quienes despliegan los sistemas. En un contexto latinoamericano donde el costo de un error reputacional o regulatorio puede ser desproporcionado, esa responsabilidad no debería tomarse a la ligera.
