Los benchmarks de modelos de lenguaje en el ámbito de la salud se han convertido en el estándar para evaluar la preparación clínica de estas herramientas. Sin embargo, un creciente cuerpo de investigación está demostrando que la distancia entre el desempeño en laboratorio y el rendimiento en el mundo real puede ser abismal. Un estudio reciente de Bean y colaboradores documentó una caída de 61 puntos porcentuales en el rendimiento al pasar de la evaluación controlada a la implementación con pacientes reales. Lo más preocupante: los pacientes que usaron el asistente de IA no obtuvieron mejores resultados en autodiagnóstico que quienes no lo usaron.
Un equipo de Carnegie Mellon University y New York University, liderado por Naveen Raman, Santiago Cortes-Gomez y Mateo Dulce Rubio, ha propuesto un marco para entender esta brecha. Su argumento central, publicado en arXiv, es que el problema no radica en benchmarks mal diseñados, sino en supuestos implícitos que se incorporan en los protocolos de evaluación y que no se sostienen durante el despliegue.
Por ejemplo, en las pruebas de laboratorio se asume que el paciente presenta una consulta limpia y completa en una sola interacción. En la realidad, las conversaciones son multi-turno, con información incompleta y ruido. El equipo clasifica estos supuestos en dos tipos: de tarea, que pueden verificarse con datos de conversación, y de resultado, que requieren estudios conductuales y ensayos clínicos para validarse.
Para abordar este problema, los investigadores proponen BenchmarkCards, un documento estandarizado que hace explícitos los supuestos, las limitaciones y la metodología de cada benchmark. Este enfoque, que también ha sido desarrollado de forma independiente por un equipo de IBM Research y la Universidad de Notre Dame (presentado en NeurIPS 2025), busca que los profesionales puedan evaluar si un benchmark es aplicable a su contexto específico. La idea es que los supuestos no queden implícitos en el código o en los papers, sino que se documenten de forma accesible. Además, proponen una evaluación por etapas: comenzar con el benchmark, luego probar los supuestos uno por uno con datos de interacción y estudios de comportamiento, y solo entonces pasar a ensayos controlados aleatorizados.
La necesidad de esta transparencia se confirma desde otro frente. Un estudio publicado en npj Digital Medicine en julio de 2026 evaluó el uso de LLM como jueces automáticos para calificar respuestas de asistentes clínicos en Ruanda. Los investigadores compararon las evaluaciones de seis médicos generales bilingües con las de cinco modelos de lenguaje (GPT-5, Gemini-2.5-Pro, Claude-4.1-Opus, MedGemma-20B y GPT-OSS-70B) sobre 524 pares de preguntas y respuestas, 108 de ellas en kinyarwanda. El resultado: ni un solo modelo coincidió con los médicos en el criterio de "Potencial de sesgo demográfico". Los jueces automáticos calificaron todas las respuestas como perfectas, mientras que los clínicos locales identificaron sesgos reales. El costo de la evaluación humana fue de 9,17 dólares por consulta; el de la IA, 0,12 dólares (75 veces menos). Pero ese ahorro tiene un costo oculto: la ceguera ante sesgos que pueden perpetuar inequidades.
Para las empresas y sistemas de salud en América Latina, estas conclusiones tienen implicaciones directas. La región enfrenta una diversidad lingüística y cultural que rara vez se refleja en los benchmarks internacionales, generalmente diseñados en inglés y con poblaciones de países de altos ingresos. Un modelo que obtiene puntuaciones altas en MedQA o en SocialIQa puede fallar estrepitosamente al evaluar a un paciente que habla quechua, guaraní o una variedad del español con modismos locales. El estudio de Ruanda muestra que cambiar el idioma de evaluación del inglés al kinyarwanda degradó el acuerdo de los modelos con los médicos. En Latinoamérica, donde hay más de 400 lenguas indígenas, la adopción de asistentes clínicos basados en LLM sin una validación local rigurosa podría generar diagnósticos erróneos o sesgados.
Otro estudio, presentado en EACL 2026 por Mousavi y colaboradores, auditó tres benchmarks de razonamiento social (SocialIQa, FauxPas-EAI y ToMi) y encontró que una proporción significativa de errores de los modelos no se debía a fallos de razonamiento, sino a defectos en los datos: ítems duplicados, redacción ambigua, respuestas implausibles. Al limpiar los benchmarks, las puntuaciones de los modelos cambiaban de forma errática, revelando que los altos puntajes a menudo reflejaban alineación con pistas superficiales y no capacidad de inferencia consistente. Esto sugiere que incluso los benchmarks más utilizados pueden estar dando una falsa sensación de competencia.
En conjunto, estas investigaciones apuntan a una conclusión clara: los benchmarks son herramientas necesarias pero insuficientes. Para las organizaciones de salud en Latinoamérica que están considerando implementar asistentes de IA, el camino prudente no es confiar en las puntuaciones de los benchmarks, sino diseñar procesos de validación que incluyan a expertos locales, que prueben los supuestos de forma explícita y que monitoreen el desempeño en condiciones reales. La tentación de ahorrar costos con evaluaciones automatizadas es comprensible, pero los riesgos de pasar por alto sesgos demográficos o fallos de contexto local pueden ser mayores que el ahorro.
La pregunta que queda abierta es si la industria y los reguladores de la región están dispuestos a invertir en la infraestructura de validación necesaria, o si repetiremos la historia de otras tecnologías importadas que fracasan al no considerar las realidades locales.
