Cloudflare bloquea bots de IA por defecto desde el 15 de septiembre: qué hacer antes de perder citas y rankings
El 15 de septiembre Cloudflare activa defaults nuevos: Training y Agent bloqueados en páginas con anuncios, y los bots multipropósito como Googlebot se bloquean completos. Revisa estos 4 ajustes antes de que te coste tráfico orgánico y citas de IA sin darte cuenta.
El 15 de septiembre Cloudflare cambia los defaults de tráfico automatizado para todos sus clientes: Training y Agent quedan bloqueados por defecto en páginas con anuncios y Search sigue permitido. La trampa está en los crawlers multipropósito: si en tu cuenta hay cualquier regla que bloquee Training, el bot completo se bloquea, incluido Googlebot. Cuatro ajustes esta semana te ahorran perder tráfico orgánico y citas de IA sin enterarte.
Este tema suena a infraestructura y por eso casi nadie de marketing le presta atención. Error. Lo que Cloudflare clasifica hoy define quién puede leer tu sitio, y el que no puede leerlo tampoco puede recomendarte en ningún canal. Arranquemos por lo que anunció Cloudflare y terminemos con la checklist que deberías correr hoy.
Qué cambió exactamente y cuándo
El 1 de julio Cloudflare reemplazó el viejo toggle de "Block AI Bots" por una taxonomía de tres comportamientos (anuncio oficial):
- Search: recolecta e indexa tu contenido para responder preguntas después. Es el crawl clásico de Googlebot o Bingbot.
- Agent: actúa en tiempo real en nombre de una persona. ChatGPT-User, PerplexityBot, agentes de navegador que operan Chrome.
- Training: absorbe tu contenido para entrenar o afinar modelos.
Desde el 15 de septiembre, los defaults para dominios nuevos son: Training y Agent bloqueados en páginas con anuncios; Search permitido. Y la parte que casi nadie leyó con atención:
multi-purpose crawlers such as Googlebot, Applebot, and BingBot will be blocked by customers who have selected to block Training
Los bots multipropósito se tratan por su comportamiento más restrictivo. Un Googlebot que indexa y también alimenta entrenamiento queda atrapado por cualquier regla anti-Training. No hace falta que toques nada el 15: alcanza con que la config vieja de "bloquear bots de IA" siga activa en tu cuenta.
Esto ya no es hipotético: hay sitios perdiendo indexación ahora
A principios de agosto apareció un reporte en r/SEO que anticipa el problema. Un administrador activó "AI Training = Block" en pruebas y tanto Googlebot como Bingbot empezaron a recibir errores HTTP 403 al pedir su sitemap. Al desactivar el bloqueo, el acceso volvió (Search Engine Journal, 4 de agosto). John Mueller pidió detalles por DM para mirar el caso.
Puede ser un bug, puede ser mala suerte. Da igual para efectos prácticos: la clasificación multipropósito existe, está en producción y ya produce falsos positivos sobre los crawlers de los buscadores. Si tu agencia o tu equipo técnico "protegió" el sitio contra la IA hace seis meses, esa decisión acaba de cambiar de precio.
Por qué esto es un tema GEO y no solo de sysadmins
Toda estrategia de optimización para motores generativos asume en silencio que los motores pueden acceder a tu contenido. Sin acceso no existe la cita: es el requisito previo a todo lo demás, y casi nadie lo audita.
Y acá aparece el detalle incómodo: Googlebot alimenta el índice clásico y también las respuestas de AI Overviews. Un bloqueo accidental de Googlebot no te saca solo del SEO tradicional. Te saca de la superficie donde Google arma respuestas con IA. Con un solo toggle mal configurado perdés los dos canales juntos.
En el otro extremo están los bots de acción en tiempo real: cuando alguien le pregunta algo a ChatGPT con navegación activa o a un agente con navegador, ese fetch lo hace un User-agent tipo ChatGPT-User. Si lo bloqueás, la respuesta se construye sin vos. La paradoja de citación ya es difícil de resolver con acceso pleno; imagínala sin acceso.
La tabla de decisión: tres tipos de bot, tres decisiones distintas
| Tipo | Qué hace | Nuestra recomendación | Riesgo si lo bloqueás |
|---|---|---|---|
| Search | Indexa para responder consultas (Googlebot, Bingbot) | Permitir, siempre | Caída de indexación y de citas en AI Overviews |
| Agent | Actúa en tiempo real (ChatGPT-User, PerplexityBot) | Permitir si querés salir en respuestas y agentes; evaluar límites de tasa | Te excluye de las respuestas construidas en vivo |
| Training | Entrena modelos (GPTBot, ClaudeBot, Bytespider) | Decisión de negocio legítima, con costo conocido | Menos memoria a largo plazo de tu marca en los modelos |
Bloquear Training es una postura defendible: licenciar contenido, proteger datos, negociar. Lo que ya no es defendible es hacerlo por descuido y llevándose puesto el Search del mismo crawler.
Checklist: cuatro verificaciones antes del 15 de septiembre
- Revisá la sección de bots de IA en Cloudflare (Security → Bots, en todos los dominios). Anotá qué categorías están en Block hoy. Si Training figura bloqueado, verificá cómo afecta a crawlers multipropósito antes de que el default nuevo lo haga automático.
- Confirmá el estado real de Googlebot y Bingbot. Buscá errores 403 o desafíos de seguridad en logs de acceso, y corré un test de URL en Search Console. Si algo falla, desactivá el bloqueo de Training y probá de nuevo: es el diagnóstico más rápido.
- Compará robots.txt con la configuración de Cloudflare. En mintec.co mantenemos los bots de IA permitidos explícitamente en robots.txt y la misma política en Cloudflare. Contradicciones entre capas son las que generan sorpresas: elegí una fuente de verdad.
- Decidí Agent y Training con criterio escrito, no por default. Si tu modelo de negocio vive de descubrimiento orgánico, nuestro consejo es Search permitido, Agent permitido y Training bajo decisión consciente. Documentá la decisión: en seis meses nadie va a recordar por qué estaba bloqueado.
La contradicción que el mercado todavía no resolvió
Mueller también aprovechó para recordar que Google no usa llms.txt ni archivos similares. Cada capa del ecosistema empuja normas distintas: Cloudflare clasifica bots, Google ignora señales de contenido de terceros, y los motores con IA hacen lo suyo. Mientras eso se ordena, tu única jugada robusta es la coherencia interna: que robots.txt, headers, configuración de CDN y contenido digan la misma cosa.
En Mintec lo aplicamos en nuestra propia infraestructura: permitimos GPTBot, ClaudeBot, PerplexityBot y compañía en robots.txt, con la misma política en Cloudflare, y medimos qué citas genera. La última vez que el mercado se movió, ese registro nos ahorró una semana de decisiones a ciegas. Cuando vuelva a moverse, va a pasar lo mismo.
Preguntas Frecuentes
¿Cloudflare va a bloquear Googlebot a partir del 15 de septiembre?
No automáticamente. El default nuevo bloquea Training y Agent en páginas con anuncios y deja Search permitido, pero los crawlers multipropósito como Googlebot, Bingbot y Applebot combinan búsqueda con entrenamiento. Si tenés cualquier regla que bloquee Training, el default más restrictivo aplica al bot completo: Googlebot deja de entrar. Hay que revisar la configuración antes del 15 de septiembre.
¿Qué son los bots Search, Agent y Training en la clasificación de Cloudflare?
Search es lo que indexa contenido para poder responder consultas después (Googlebot, Bingbot). Agent es lo que actúa en tiempo real para un usuario: ChatGPT-User, PerplexityBot, agentes de navegador. Training es lo que absorbe tu contenido para entrenar modelos. Desde julio Cloudflare permite gestionar cada categoría por separado, y desde el 15 de septiembre aplica defaults restrictivos en páginas con anuncios.
¿Bloquear los bots de IA afecta mi visibilidad en AI Overviews y ChatGPT?
Sí, directo. Si Perplexity, ChatGPT o los agentes no pueden leer tus páginas, no pueden citarte: la citación empieza por el acceso. En Google el riesgo es peor todavía, porque Googlebot alimenta tanto el índice clásico como AI Overviews. Bloquearlo por accidente te saca de todo a la vez. Nuestra posición: permitir Search siempre, decidir Agent caso por caso, y pensar dos veces antes de bloquear Training si buscás aparecer en búsquedas con IA.
