Cada vez más decisiones con consecuencias reales dependen de algoritmos que nadie puede auditar. En 2023, la Administración de Alimentos y Medicamentos de Estados Unidos (FDA) ya había autorizado 581 modelos de IA para decisiones médicas, y casi 400 de ellos ayudan a los radiólogos a detectar tumores o signos de accidente cerebrovascular. Muchos son cajas negras: o son propietarios o son demasiado complejos para que un humano los entienda. Cynthia Rudin, investigadora de la Universidad de Duke y una de las voces más críticas con esta tendencia, lo resume con franqueza: "Todo el marco del aprendizaje automático necesita cambiar cuando trabajas con algo de mayor riesgo".
El punto de partida de Rudin no es teórico. A comienzos de su carrera trabajó con Con Edison, la empresa eléctrica de Nueva York, en un proyecto pionero para mantener la red eléctrica de Manhattan con machine learning. Los datos eran un caos: registros de cableado que databan de finales del siglo XIX, boletas de servicio casi incomprensibles y tablas sin documentación. Cuando intentó usar un modelo de caja negra para identificar puntos débiles de la red, los resultados eran absurdos: sugerencias de reparación que no tenían sentido para los ingenieros. Al cambiar a modelos mucho más simples y mostrárselos a los expertos, estos ayudaron a depurar los datos y el modelo. Y la precisión final superó a la que las cajas negras jamás alcanzaron. "Fue revelador", dice.
Esa experiencia se convirtió en una línea de investigación consolidada en su artículo de 2019 en Nature Machine Intelligence, uno de los más citados del área (más de 10.000 citas). Su tesis central es provocadora: en decisiones de alto riesgo -crédito, libertad condicional, diagnóstico clínico- explicar una caja negra posteriormente no es suficiente, y a menudo perpetúa malas prácticas. "Las explicaciones tienen que estar mal, porque si sus explicaciones fueran siempre correctas, podrías simplemente reemplazar la caja negra con las explicaciones", argumenta. Y el costo lo pagan personas concretas: un preso a quien se le niega la libertad con una explicación genérica, o un solicitante de crédito que pierde una vivienda sin entender el motivo real.
Los conjuntos de Rashomon: otra manera de elegir modelos
La alternativa que propone Rudin no es un modelo único, sino un concepto de la estadística que ocupa cada vez más espacio en la investigación: el conjunto de Rashomon. En esencia, para un mismo conjunto de datos suele existir una familia completa de modelos que se ajustan casi igual de bien, pero que internamente dependen de características distintas. Elegir entre esos modelos, sin sacrificar precisión, permite buscar propiedades secundarias como equidad, estabilidad o privacidad.
Un paper presentado en NeurIPS 2025, con un framework de código abierto, exploró justamente esa pregunta: ¿hace falta optimizar específicamente para que un modelo sea justo, robusto o privado, o basta con buscar dentro del conjunto de Rashomon? Con árboles de decisión, los investigadores de Duke, Rutgers y UNC Chapel Hill enumeraron todos los árboles casi óptimos posibles usando la herramienta TreeFARMS, que puede generar millones de árboles en segundos o minutos.
La respuesta fue contundente: en siete métricas distintas -incluyendo robustez adversarial, privacidad frente a ataques de inferencia de membresía, y tres métricas de equidad- los árboles del conjunto de Rashomon igualaron o superaron a los modelos especializados diseñados específicamente para optimizar cada criterio. Es decir, no hace falta un problema de optimización nuevo por cada propiedad: se calcula el conjunto una vez y se selecciona.
La idea se está extendiendo más allá de la clasificación. Un paper reciente en arXiv trasladó el efecto Rashomon a la toma de decisiones secuenciales, donde un agente aprende una política para lograr un objetivo interactuando con un entorno (por ejemplo, conducción autónoma o robótica). Demostraron que varias políticas entrenadas sobre los mismos datos pueden comportarse de manera idéntica -visitar los mismos estados y tomar las mismas acciones- pero diferir internamente en qué características ponderan. Y lo más relevante para la práctica: los ensambles construidos a partir del conjunto de Rashomon resultaron más robustos ante cambios de distribución del entorno que seleccionar una sola política al azar.
Qué significa para Latinoamérica
Para los equipos de datos de la región, la implicación es operativa. Bancos que usan modelos de scoring crediticio, hospitales que adoptan software de diagnóstico y fiscalizan herramientas de riesgo judicial están desplegando sistemas basados en cajas negras. En un entorno normativo donde los reguladores locales -siguiendo la tendencia global- empiezan a exigir trazabilidad y explicabilidad, la pregunta ya no es si se pueden usar estos modelos, sino cómo auditar los que ya están en producción.
La evidencia de Rudin y de los papers recientes sugiere una ruta concreta: en lugar de contratar servicios de explicación post-hoc (que pueden ser incorrectos), pedir a los proveedores modelos inherentemente interpretables o, mejor aún, exigir acceso al conjunto de modelos casi óptimos para poder seleccionar el que cumpla con los requisitos de equidad y privacidad de cada caso.
No es gratis. Entrenar un modelo interpretable es más difícil, porque hay que razonar el proceso de toma de decisiones y validarlo con especialistas del dominio, como hizo Rudin con los ingenieros de Con Edison. Pero para decisiones de alto riesgo, el costo vale la pena. Y dado que herramientas como TreeFARMS y el framework de NeurIPS son de código abierto, el primer paso no requiere una inversión millonaria: basta con auditar los propios datos y comprobar si dentro del conjunto de modelos casi óptimos ya existe uno que sea transparente y preciso. La pregunta que queda abierta para cada organización es si puede permitirse seguir desplegando cajas negras en decisiones que afectan la vida de las personas cuando la evidencia muestra que no hace falta elegir entre precisión y transparencia.
