De las reglas a la verificación
El miércoles 9 de septiembre, el gobernador de California, Gavin Newsom, firmó dos leyes que apuntan al mismo blanco: que la inteligencia artificial no quede librada a la promesa de sus creadores. La SB 813 establece un marco para que organizaciones independientes evalúen sistemas y modelos de IA y comprueben su cumplimiento con la ley estatal. La AB 1405 crea un registro estatal de auditores de IA y fija estándares de independencia, transparencia e integridád para quienes ejerzan esa función. Al anuncar la firma, Newsom dijo que las inquietudes por incidentes recientes refuerzan algo que el estado reconoce desde hace tiempo: la IA tiene un potencial enorme, pero necesita salvaguardias efectivas para proteger a la ciudadanía.
No es un detalle burocrático. La SB 813 formaliza una de las recomendaciones del comité de expertos del gobernador sobre IA, según explicó el senador Jerry McNerney, patrocinador del proyecto, y convierte en ley la posibilidad de que un tercero con mandato legal revise lo que pasa dentro de un modelo. La AB 1405, por su parte, organiza a quienes van a hacer esa revisión. Su autora, la asambleísta Rebecca Bauer-Kahan, señaló que los auditores podrán detectar riesgos, contrastar las afirmaciones de las empressas y exigir estándares concretos a los desarolladores.
Detrás de estas leyes hay un problema que no es exclusivo de California ni de Estados Unidos. Cuando un gobierno o una empressa dice que su IA cumple ciertas reglas, ¿cómo se sabe? ¿Quién comprueba que un modelo no fue entrenado con datos prohibidos o que no se usó para algo que la ley no permite? Esa preguta, durante años marginal, se está convirtiendo en el centro de la gobernanza de la IA. La gobernanza entró en su fase de verificación.
La tecnología de la confianza
La academia ya está trabajando en esa fase. Un informe de investigadores de RAND y del AI Verification and Evaluation Research Institute describe con detalle cómo los estados podrían verificar acuerdos internacionales sobre desarrollo de IA a gran escala, es decir, entrenamientos que usan miles de chips durante meses. El equipo propone seis capas de verificación, en su mayoría independientes entre sí, de modo que si una falla, las otras cubran con redundancia:
- funciones de seguridad incorporadas en los propios chips de IA, algunas ya comunes por sus beneficios de ciberseguridad
- dispositivos externos como interceptores de red y sensores analógicos que registran consumo de energía
- mecanismos basados en personas: programas de denunciantes, entrevistas al personal y actividades de inteligencia nacional
Otro trabajo, también en arXiv, de Aaron Scher y Lisa Thiergart, complementa el mapa con una idea que suena casi anticuada pero sigue siendo poderosa: las inspecciones físicas de centros de datos, con visitas de verificadores que cuenten chips e instalen cámaras de seguridad, pueden ocupar el lugar de muchas soluciones tecnológicas que todavía no existen. En su análisis, el acceso directo a las instalaciones puede sustituir a los mecanismos técnicos más complejos. Esa combinación de alta tecnología y métodos de toda la vida es, probablemente, lo más realista del panorama.
Qué significa para América Latina
Para un ejecutivo o un funcionario latinoamericano, esta discusión puede parecer una conversación entre potencias. No lo es. Llega a la región por dos vías. La primera es comercial: si California exige auditorías independientes y registros públicos, las empresas que operen allí, o que quieran venderles servicios, van a necesitar demostrar cumplimiento. Esas exigencias se contagian por la cadena de valor: un proveedor latinoamericano de software o de servicios de IA que trabaje para un cliente californiano va a enfrentarse, tarde o temprano, a requisitos de auditoría.
La segunda vía es política. Los gobiernos de la región están buscando sus propios caminos para regular una tecnología que ya usan sus ciudadanos, y lo que pase en California va a ser un punto de referencia. También ahí la pregunta por la verificación es central: si un país quiere exigir que los sistemas de IA que operan en su territorio cumplan ciertas reglas, ¿con qué herramientas cuenta para comprobarlo? La respuesta, hoy, es casi siempre la misma: ninguna.
Hay una oportunidad y un riesgo en esa laguna. La oportunidad es que la verificación se convierta en una capacidad que la región puede construir: formar auditores de IA, desarrollar estándares locales, usar herramientas que ya existen — registros públicos, evaluaciones de terceros — para generar confianza en la adopción de IA en el sector público y privado. El riesgo es la dependencia. Si los estándares, los auditores y las herramientas de verificación se definen solo en el Norte Global, los países latinoamericanos van a jugar el papel de espectadores en una partida que decide cómo se controla una tecnología que ya usan todos los días.
Hay un segundo riesgo, más sutil, que los propios papers advierten. La verificación, sin salvaguardas, puede convertirse en una herramienta de concentración de poder y de vigilancia. Los mecanismos que sirven para comprobar que una empresa cumple pueden servir para que un Estado vigile a sus ciudadanos. Para una región con historia de abusos de vigilancia, esa advertencia no es teórica.
El mismo día de las leyes, Newsom presentó el contrapunto de esa gobernanza: AskCA, una herramienta estatal con IA que ayuda a los californianos a navegar trámites cotidianos. Los participantes del programa piloto, que comienza en octubre, podrán chatear con la IA y calificar sus respuestas; la herramienta consulta fuentes estatales, federales y del condado en tiempo real y responde con pasos claros y enlaces directos, en un lenguaje llano, sin tecnicismos de la administración. CalHR, el departamento de recursos humanos estatal, será el primero en usarla para una nueva función de búsqueda de empleo que se lanza el 30 de septiembre.
Es la misma pregunta en espejo: la gobernanza no es solo poner límites a la IA, también es usarla bien para servir a la gente. Y en ambos casos, la confianza se construye con verificación.
La pregunta que queda abierta para la región es quién va a definir esa verificación. Mientras América Latina siga en la fase de los principios, las declaraciones y los códigos de ética voluntarios, otros actores van a escribir las reglas técnicas, formar a los auditores y controlar las herramientas de comprobación. ¿Los países latinoamericanos van a ser sujetos de esa transición u objeto de ella? La respuesta va a depender de si la gobernanza de la IA se convierte en una prioridad de política pública regional, con inversión en capacidad técnica, o sigue siendo un tema que se discute en conferencias mientras las decisiones se toman en otra parte.
