Cloudflare bloquea rastreadores y prueba pago por rastreo

El umbral se cruzó en silencio. En junio, Cloudflare midió que más de la mitad del tráfico en su red —que cubre cerca del 20 % de internet— provenía de bots. Para 2025, los bots de IA representaban el 8,7 % de todo el tráfico HTML global, según datos de la propia empresa citados en un estudio de la Universidad de California en Davis. La web ya no es mayoritariamente humana.

Este cambio rompe el contrato implícito que sostuvo la red durante tres décadas: los creadores publican contenido, los buscadores (principalmente Google) envían tráfico, y la publicidad monetiza esa atención. Matthew Prince, cofundador y CEO de Cloudflare, lo describe sin rodeos: "El modelo de negocio de internet ha sido la publicidad durante al menos 30 años... Google ha sido la compañía responsable de eso".

Ese modelo se está derrumbando porque las respuestas generadas por IA —los "AI Overviews" de Google y los chatbots como ChatGPT o Claude— entregan la información sin que el usuario visite la fuente original. Prince afirma que, con la llegada de los AI Overviews, los sitios de noticias han encontrado "10 veces más difícil" obtener tráfico que hace una década, y la métrica para chatbots es "aún peor".

El intento de Cloudflare: de escudo a creador de mercado

Cloudflare reaccionó en julio activando por defecto el bloqueo de bots rastreadores (crawlers) que recopilan datos para entrenar modelos. La medida pone a una quinta parte de la web detrás de un muro que solo los bots no pueden franquear. Pero el bloqueo no es el fin, sino la palanca para un nuevo modelo: "pay-per-crawl". La idea es que Cloudflare actúe como intermediario donde los sitios fijan precio por permitir el rastreo y la empresa cobra una comisión por transacción.

La jugada tiene lógica de infraestructura: Cloudflare ya está en el camino entre el contenido y los agentes. Prince argumenta que incluso las grandes compañías de IA —OpenAI, Anthropic, Google— acogieron la medida porque "no quieren ser los tontos que pagan por licencias mientras sus competidores obtienen el contenido gratis". El propio Prince lo resume así: "Mi visión utópica es un mundo donde los humanos obtienen contenido gratis y los robots pagan una fortuna por él".

La trampa técnica: los agentes de navegación son casi indistinguibles

La siguiente ola de bots no son rastreadores torpes. Son "agentes de navegación" (browsing agents): sistemas que usan navegadores reales —Chromium en la mayoría de los casos— y ejecutan tareas complejas (reservar vuelos, comprar, interactuar en foros) simulando comportamiento humano.

Un estudio controlado de la UC Davis probó siete de estos agentes contra usuarios reales en un sitio cebo instrumentado. Los resultados son claros: las huellas digitales del navegador (user agent, resolución, plugins) "proporcionan poder discriminativo limitado" porque varios agentes comparten la misma configuración. En cambio, las huellas conductuales —patrones de tecleo, desplazamiento del ratón, scroll— son "altamente distintivas". Los agentes pegan texto en lugar de teclearlo, saltan directamente a los objetivos de clic sin movimiento continuo, y hacen scroll en saltos instantáneos o ráfagas discretas.

Este estudio entrenó un clasificador llamado FP-Agent con esas señales conductuales y logró detectar los siete agentes. Como prueba de contraste, evaluaron la detección de bots de Cloudflare en el mismo entorno: "Cloudflare bloquea solo uno". La brecha expone que las defensas actuales, basadas en reputación de IP, user agent y huellas de navegador estáticas, quedan obsoletas frente a agentes que operan desde redes residenciales y miman la interacción humana.

El impacto en la infraestructura abierta y en América Latina

No solo los grandes editores sufren. Una encuesta de COAR (Confederación de Repositorios de Acceso Abierto) de abril de 2025 a 66 repositorios globales —nueve de ellos en América Latina— reveló que los bots de IA agresivos están causando "interrupciones de servicio" en la infraestructura de comunicación académica. Los repositorios latinoamericanos, con menos recursos para mitigar tráfico malicioso o negociar licencias, quedan expuestos a saturación de ancho de banda y degradación del servicio para usuarios legítimos. Cloudflare protege por defecto a los sitios en su red, pero el modelo pay-per-crawl podría favorecer a quienes tienen volumen y abogados para fijar precios, dejando a la cola a universidades, medios independientes y repositorios regionales.

El riesgo de un mercado a medida de los grandes

Prince reconoce que no sabe cómo será el modelo final, pero apuesta a que Cloudflare puede "jugar el papel de creador de mercado". Si la detección sigue rezagada, el mercado se construirá sobre una ficción: se cobrará por rastreos que se detectan, mientras los agentes sofisticados seguirán accediendo gratis. Para los ejecutivos latinoamericanos, la lección es doble. Primero: asumir que el tráfico entrante es mayoritariamente sintético y planificar capacidad y costes en consecuencia. Segundo: evaluar si sus proveedores de borde (edge) —Cloudflare u otros— ofrecen detección conductual real o solo filtros estáticos. La promesa de "robots que pagan" solo se cumple si primero se puede distinguir al robot del humano. Hoy, la ciencia dice que hace falta mirar cómo teclean, no desde qué IP vienen.