Índice de contenidos
Claves de la noticia
- Cloudflare aplica desde el 15 de septiembre nuevos controles separados para búsqueda, agentes y entrenamiento de inteligencia artificial.
- En páginas con anuncios, los dominios nuevos bloquearán por defecto los bots de entrenamiento y los agentes, mientras permitirán los de búsqueda.
- Un rastreador con varios propósitos queda sometido a la regla más restrictiva, una diferencia que puede afectar también a la visibilidad en buscadores.
Cloudflare activa hoy una reorganización de sus controles para el tráfico automatizado. La plataforma deja atrás un único interruptor para bots de IA y distingue tres usos: indexar para búsqueda, visitar una página por encargo de una persona y recopilar contenido para entrenar modelos. El cambio ofrece más precisión, pero obliga a revisar la configuración porque una misma identidad puede cumplir varias funciones.
Tres permisos sustituyen al interruptor único
La compañía anunció en julio que el 15 de septiembre fijaría valores predeterminados para tres conductas. En los dominios que se incorporen a Cloudflare, los rastreadores clasificados como Training o Agent quedarán bloqueados por defecto en las páginas que muestren anuncios; los de Search seguirán permitidos. La medida también alcanza, según el anuncio, a las cuentas gratuitas existentes que no hayan cambiado sus ajustes antes de la fecha.
No se trata de un bloqueo universal de todos los bots ni de todas las páginas. Cada política admite permitir, bloquear en todo el sitio o bloquear solo donde Cloudflare detecte publicidad. Además, el propietario puede cambiar la selección desde el panel. Esa combinación de alcance, plan y configuración previa explica por qué dos webs alojadas detrás de la misma red pueden responder de forma distinta al mismo rastreador.
La clasificación se basa en la finalidad observada. Cloudflare define búsqueda como la creación de índices o bases de recuperación; agente como una visita en tiempo real iniciada por un usuario; y entrenamiento como la recopilación destinada a entrenar o ajustar modelos. La tabla resume el valor predeterminado anunciado para páginas con anuncios de dominios nuevos:
| Conducta | Finalidad | Valor en páginas con anuncios |
|---|---|---|
| Search | Índices y sistemas de recuperación | Permitido |
| Agent | Acción en tiempo real por encargo de una persona | Bloqueado |
| Training | Entrenamiento o ajuste de modelos | Bloqueado |
La lectura útil de la tabla es que Cloudflare no equipara ya toda automatización relacionada con IA. Una consulta que trae una respuesta al usuario, una visita que ejecuta una tarea y una captura masiva para mejorar un modelo reciben decisiones independientes. Esa separación permite conservar descubrimiento sin aceptar necesariamente los otros dos usos.
Los bots mixtos reciben la regla más estricta
El detalle decisivo aparece cuando un rastreador combina finalidades. La documentación establece que, si una identidad está clasificada a la vez para búsqueda y entrenamiento, prevalece el bloqueo de entrenamiento. El blog de Cloudflare cita como ejemplos de rastreadores multipropósito a Googlebot, Applebot y Bingbot. Por tanto, seleccionar “bloquear entrenamiento” puede impedir peticiones que también alimentan índices de búsqueda, dependiendo de la clasificación y de la página.
La migración no es solamente una decisión sobre privacidad o propiedad intelectual: puede convertirse en una decisión de adquisición de audiencia. Un editor que dependa del buscador debe comprobar qué bot solicita sus páginas y qué regla produjo la respuesta, en lugar de asumir que permitir Search garantiza por sí solo la indexación. Esta tensión conecta con los intentos de dar a los lectores más control sobre sus fuentes favoritas: ser elegible para aparecer sigue siendo el paso previo a cualquier preferencia.
La regla más restrictiva tiene una lógica: evita que una empresa presente una misma identidad como buscador para conservar acceso y use después el contenido para entrenar. Su coste es que obliga al operador del bot a separar identidades y propósitos con claridad. Mientras esa separación no exista, el dueño de la web debe escoger entre aceptar ambos usos o perder parte de la distribución asociada a esa identidad mixta.
Una auditoría después del cambio
Para una web española con publicidad, la comprobación debe empezar en Security Settings y AI Crawl Control. Conviene anotar el estado de las tres políticas, revisar si el sitio entra por ser un dominio nuevo o una cuenta gratuita sin cambios y observar las rutas donde se detectan anuncios. Después hay que comparar peticiones permitidas y fallidas antes y después del 15 de septiembre, separadas por bot y por URL.
Cloudflare advierte de dos límites de medición. En el plan gratuito, la identificación de rastreadores de IA se apoya en cadenas de agente de usuario, que pueden suplantarse. Con Bot Management existen identificadores de detección verificados, más fiables para reglas y análisis. Además, el contador de solicitudes no satisfactorias puede incluir otros errores o políticas: un código 4xx no demuestra por sí solo que lo haya provocado este nuevo ajuste.
Una revisión razonable incluye cuatro pruebas: una página con anuncios y otra sin ellos; un bot de búsqueda, uno de agente y uno de entrenamiento; el código de respuesta en el borde; y la presencia de la URL en el índice o servicio correspondiente. Medir solo el archivo robots.txt es insuficiente, porque el bloqueo se aplica mediante reglas de la red antes de que intervengan otras soluciones de bots.
Más control no resuelve la disputa por el contenido
Los ajustes técnicos no determinan si entrenar con una obra es lícito, si debe existir una licencia o cuánto vale una visita enviada por un asistente. Esas cuestiones siguen abiertas en acuerdos y tribunales, como muestran las demandas de editores contra OpenAI y Microsoft. Cloudflare aporta una herramienta de ejecución: el propietario expresa una preferencia y la red decide qué peticiones pasan.
El avance real es la posibilidad de separar usos que antes llegaban bajo la etiqueta genérica de “bot de IA”. El riesgo real está en olvidar que las categorías se superponen. Bloquear entrenamiento sin comprobar identidades mixtas puede proteger contenido y, al mismo tiempo, reducir descubrimiento. La configuración correcta no es idéntica para todos: depende de si el sitio prioriza alcance, licencias, interacción con agentes o exclusión del entrenamiento, pero desde hoy esa elección deja una consecuencia técnica medible.
