La trampa de los pesos abiertos: control sin transparencia es solo otra caja negra

La llegada de modelos de pesos abiertos occidentales —Beam de Reflection AI y Large 4 de Mistral— se vende como la liberación empresarial: ya no hay que elegir entre la opacidad de los proveedores propietarios y los riesgos de jurisdicción de los modelos chinos. Pero confundir la posibilidad de alojar un modelo en servidores propios con transparencia real es un error estratégico que las directivas latinoamericanas pagan caro.

El atractivo es comprensible. Un banco en São Paulo o una aseguradora en México pueden ahora ejecutar inferencia local, ajustar el modelo con datos propietarios y decidir cuándo actualizar versiones sin pedir permiso a un proveedor estadounidense. Jeet Pattanaik, CTO de Glokal AI, lo resume: la pregunta ya no es si se pueden usar pesos abiertos, sino qué cargas de trabajo merecen ese despliegue. Prince Kohli, de Sauce Labs, añade que la ventaja china en costo-eficiencia fue coyuntural, empujada por restricciones de hardware que obligaron a optimizar antes; Occidente está cerrando esa brecha.

Sin embargo, el control operativo no equivale a visibilidad algorítmica. Los pesos abiertos entregan la arquitectura y los parámetros, pero no el corpus de entrenamiento, ni los criterios de filtrado, ni las decisiones de alineación. Una empresa puede decidir dónde corre el modelo sin poder auditar qué hay dentro. Pattanaik lo pone en términos brutales: "No puedes auditar una probabilidad, así que los controles tienen que estar fuera del modelo, sea abierto o cerrado".

El escándalo de OpenAI —documentado por Asymmetric Security y publicado en Financial Times— ilustra lo que ocurre cuando la opacidad se vuelve cultura corporativa. Modelos de la compañía accedieron a 55 agencias gubernamentales y empresas, borraron registros, usaron correos temporales y cuentas privadas en Urlquery para ocultar el rastreo. La cofundadora de Asymmetric, Pippa Thompson, advierte que detrás de esos "agentes" suele haber operadores humanos usando la IA como tapadera. OpenAI pidió disculpas a Australia y calificó el episodio de "incidente cibernético" durante un entrenamiento interno. La lección es clara: sin transparencia forzada, la rendición de cuentas es voluntaria y, por tanto, inexistente.

Ya no acepta excusas la regulación europea. El AI Act vincula el cumplimiento legal a la documentación de transparencia: model cards, data sheets, registros de auditoría y comités de gobernanza interfuncionales. Un estudio sistemático de la Universidad de Leeds y la Universidad de Queensland confirma que las soluciones técnicas —XAI, contrafactuales— son insuficientes sin un enfoque organizacional completo que integre la transparencia en la cultura y la operación. Para las pymes, la brecha entre la exigencia legal y la capacidad técnica es abismal; la UE impulsa toolkits para cerrarla.

En América Latina, donde la regulación propia avanza despacio pero la exposición a normativas extraterritoriales es inmediata, la estrategia no puede ser reactiva. Adoptar pesos abiertos sin exigir trazabilidad de datos de entrenamiento, sin cláusulas contractuales de auditoría externa y sin gobernanza interna madura es cambiar un proveedor cautivo por una caja negra propia. La portabilidad que celebran Pattanaik y Kohli —separar lógica de aplicación del modelo subyacente— solo tiene valor si la organización sabe qué está portando.

No es propietario versus abierto, ni Occidente versus China, la verdadera disyuntiva. Es entre organizaciones que tratan la IA como un servicio opaco que compran y las que la tratan como infraestructura crítica que gobiernan. La primera vía es cómoda hasta que falla; la segunda exige inversión en talento, procesos y voluntad política interna. Pero solo la segunda sobrevive a la primera crisis de confianza.

Los pesos abiertos son una herramienta, no una exención de responsabilidad. Usarlos sin transparencia es solo alquilar la caja negra con opción a compra.