Opinión Caída de 61 puntos en IA de salud al aplicarse a pacientes
Los benchmarks de IA en salud esconden supuestos que no se cumplen en la práctica clínica real. Una caída de 61 puntos en rendimiento y la ceguera ante sesgos demográficos revelan un espejismo peligroso para América Latina.
Los líderes del sector salud en Latinoamérica que miran con esperanza los asistentes clínicos basados en inteligencia artificial deberían detenerse un momento a examinar la letra chica de sus credenciales. Los exámenes que estas herramientas aprueban con honores en laboratorio distan muchísimo de lo que enfrentan cuando se sientan frente a un paciente de carne y hueso. La evidencia más reciente no deja espacio para la complacencia: un estudio de Bean y colaboradores documentó una caída de 61 puntos porcentuales en el rendimiento de un asistente de IA al pasar de la evaluación controlada a la implementación real; peor aún, los pacientes que lo usaron no mejoraron su capacidad de autodiagnóstico respecto a quienes no lo hicieron.
El paciente de los benchmarks es un fantasma estadístico
¿Por qué ocurre esto? Investigadores de Carnegie Mellon y la Universidad de Nueva York, liderados por Raman, Cortes-Gómez y Dulce Rubio, identificaron el meollo del problema: los benchmarks incorporan supuestos implícitos que no se sostienen en el despliegue cotidiano. En el laboratorio se asume un paciente que formula una consulta limpia, completa y en una sola interacción. En la realidad clínica, las conversaciones son desordenadas, incompletas y se extienden a lo largo de múltiples intercambios. Estos investigadores proponen las BenchmarkCards, documentos estandarizados que expliciten dichos supuestos, pero la industria parece más interesada en seguir acumulando puntos en rankings que en mirar de frente sus limitaciones.
Mientras tanto, un estudio en npj Digital Medicine (julio de 2026) llevó a cabo una prueba de fuego en Ruanda: seis médicos generales bilingües evaluaron 524 pares de preguntas y respuestas de asistentes clínicos, 108 de ellas en kinyarwanda, y compararon sus juicios con los de cinco modelos de lenguaje avanzados. El resultado fue lapidario: ningún modelo coincidió con los médicos en el criterio de “potencial de sesgo demográfico”. Los jueces automáticos calificaron todas las respuestas como intachables, mientras que los clínicos locales detectaron sesgos reales. Sí, la evaluación con IA cuesta 0,12 dólares por consulta frente a los 9,17 dólares de la humana —un ahorro de 75 veces—, pero a costa de una ceguera sistemática que puede perpetuar inequidades.
Datos contaminados y una falsa sensación de competencia
La distancia entre la calificación de laboratorio y el desempeño real no se explica solo por los supuestos de interacción. Otro estudio, presentado en EACL 2026 por Mousavi y colaboradores, auditó tres benchmarks de razonamiento social y descubrió que una proporción significativa de errores de los modelos no se debía a fallos de razonamiento, sino a defectos en los datos: ítems duplicados, redacción ambigua, respuestas implausibles. Al depurar los benchmarks, las puntuaciones de los modelos variaban erráticamente, revelando que los altos puntajes reflejaban alineación con pistas superficiales, no capacidad de inferencia robusta. Es decir, incluso los rankings más populares pueden estar dando una falsa sensación de competencia.
Y cuando se examina la composición de los propios benchmarks, el panorama se vuelve aún más preocupante. Un análisis transversal de Rajkomar y colaboradores sobre 18.707 consultas de salud en seis benchmarks públicos encontró cuatro puntos ciegos sistemáticos: la población evaluada es casi exclusivamente adulta y de países de altos ingresos; las enfermedades crónicas aparecen mínimamente (5,5% de las consultas) frente al 39% que representan en la atención primaria real; la interpretación de documentos clínicos (laboratorios, imágenes, historias) es casi inexistente; y los escenarios de crisis de salud mental representan menos del 0,7% de las consultas. Los benchmarks no están midiendo lo que los pacientes realmente necesitan.
La trampa latinoamericana
Para América Latina, estas conclusiones golpean con fuerza particular. La región alberga más de 400 lenguas indígenas, una diversidad cultural que ningún benchmark internacional recoge. Un modelo que obtiene puntuaciones altas en MedQA o SocialIQa puede comportarse de manera impredecible cuando evalúa a un paciente quechua, guaraní o un hablante de español con modismos locales. El estudio de Ruanda lo ilustra con crudeza: cambiar el idioma de evaluación del inglés al kinyarwanda degradó drásticamente el acuerdo entre modelos y médicos. Los directivos de sistemas de salud en la región que confíen ciegamente en las calificaciones de un asistente clínico importado están apostando con los ojos vendados.
En un entorno con recursos limitados, la tentación de ahorrar costos mediante evaluaciones automatizadas es comprensible. Pero el costo oculto de esa decisión puede ser mucho mayor: diagnósticos erróneos, sesgos no detectados, confianza erosionada. El camino prudente no es descartar la IA, sino construir procesos de validación locales que incluyan a expertos regionales, que prueben los supuestos uno por uno y que monitoreen el desempeño en condiciones reales.
Flota en el aire la pregunta de si los reguladores y las instituciones de salud latinoamericanas están dispuestos a invertir en esa infraestructura de validación, o si repetiremos la vieja historia de tecnologías importadas que fracasan estrepitosamente por no considerar las realidades locales. Los benchmarks son herramientas útiles, pero creer que un número alto en un ranking equivale a seguridad clínica es la ilusión más costosa que puede permitirse un sistema de salud.
