Qué índice tiene tu página decide quién puede citarte

Los motores de respuesta no leen la web. Leen un índice, y cada motor lee uno distinto. Por eso la primera pregunta útil sobre búsqueda con IA no es "¿me citan?", sino "¿qué índice tiene esta página y quién compra ese índice?". Mientras no puedas contestarla, cualquier puntaje de visibilidad que pagues es un número sobre el corpus de otro.

El 2 de noviembre el New York Times, el Daily News, el Chicago Tribune y el Orlando Sentinel demandaron a Brave en el Distrito Sur de Nueva York: 69 páginas, cinco cargos por demandante, sobre el índice de búsqueda del navegador, sus respuestas de "Ask Brave" y sus endpoints de API. Lo que hay que leer dos veces está en el medio del documento. La demanda nombra a Anthropic, Perplexity, Mistral, xAI y Cohere como clientes de la Brave Search API. Ninguna es demandada. Ars Technica cita el texto: "las empresas de IA le pagan a Brave para que les entregue contenido online en tiempo real desde el índice de Brave" — para entrenar modelos y para responder consultas concretas. La propia página de la API de Brave muestra a Cohere y a Mistral entre los laboratorios que la usan.

Eso es un argumento de derechos de autor y va a tardar años. El hecho operativo que está adentro se resuelve en una tarde: tu página puede estar dentro de un corpus licenciado comercialmente para el que nunca configuraste una regla, y el rastreador que llena ese corpus no tiene un nombre que puedas escribir en robots.txt.

No es una deducción mía. Está en la documentación de Brave.

Tres puertas hacia una respuesta de IA

"Rastreadores de IA" se trata como una sola lista. Son tres mecanismos distintos, con tres dueños distintos, y solo dos aceptan instrucciones tuyas.

Empieza por la primera puerta, porque por fin los proveedores la documentaron bien, y es más específica que el consejo SEO construido encima.

La página de rastreadores de OpenAI hace la separación sola. OAI-SearchBot es para búsqueda: "los sitios que se excluyen de OAI-SearchBot no se mostrarán en las respuestas de búsqueda de ChatGPT", aunque sí pueden aparecer como enlaces de navegación. GPTBot es el rastreador de entrenamiento, y bloquearlo no dice nada sobre búsqueda. ChatGPT-User es el tercero: una lectura que dispara la pregunta de una persona, donde OpenAI aclara que "las reglas de robots.txt pueden no aplicar" porque el pedido vino de un usuario.

Perplexity lo dice con sus palabras. PerplexityBot "está diseñado para mostrar y enlazar sitios en los resultados de búsqueda" y "no se usa para rastrear contenido para modelos fundacionales". Perplexity-User cubre las lecturas en vivo cuando alguien pregunta, y Perplexity publica un archivo de rangos IP distinto para cada bot. Anthropic corre la misma división en tres: ClaudeBot para entrenamiento, Claude-SearchBot para indexar resultados de búsqueda y Claude-User para lecturas pedidas por el usuario.

Fíjate en lo que eso le hace a la auditoría estándar. "Permitimos todos los rastreadores de IA" no es una postura, porque permitir un rastreador de entrenamiento y permitir uno de búsqueda son decisiones sin relación y con consecuencias distintas. Y un User-agent: * abierto es el estado por defecto de casi cualquier sitio: la mayoría ya está en la primera puerta para todos los motores, y su problema de visibilidad en IA no es de permisos.

Con Google la confusión es peor. Google-Extended es un interruptor para entrenamiento y grounding de Gemini. Google documenta que no afecta la inclusión en Search, y tampoco te saca de AI Overviews ni de AI Mode: esas superficies se alimentan del índice de Googlebot. Si quieres salir de las superficies de IA de Google, el único interruptor que lo hace es bloquear Googlebot, y eso te saca también de Google Search. Hay equipos que bloquean Google-Extended, anuncian que se salieron de la IA y no cambian absolutamente nada de lo que ven en un AI Overview.

La segunda puerta: el índice sin token

La página de ayuda del rastreador de Brave tiene la frase que vuelve concreto todo el problema del corpus licenciado. El rastreador de Brave "no anuncia un user agent diferenciado porque debemos evitar la discriminación de sitios que solo permiten a Google rastrearlos". Y sigue: "si un dominio o una página no es rastreable por Googlebot, el bot de Brave tampoco la rastreará".

No puedes nombrar al rastreador de Brave, porque no hay nombre. No puedes bloquearlo específicamente. Y la regla que obedece es tu regla de Googlebot, esa que casi nadie toca porque tocarla le cuesta el tráfico de búsqueda.

Entonces, un sitio que bloquea Googlebot para mantener su contenido fuera del entrenamiento de IA se sacó a sí mismo, sin proponérselo, de un corpus que al menos cinco empresas de IA con nombre y apellido compran por API. Y un sitio que escribe User-agent: Bravebot / Disallow: / escribió una regla que no ata nada, porque Brave no publica ese token.

Ese segundo error no es hipotético. Una auditoría independiente de 1.025 archivos robots.txt publicada a principios de noviembre encontró siete archivos que nombraban un token bravebot, seis de los cuales bloqueaban la raíz del sitio, y los seis dejaban Googlebot abierto. Seis sitios escribieron una regla para un nombre que no existe y dejaron intacto el interruptor que sí existe. Es todo el modo de falla de la configuración de rastreadores de IA en un solo dato, y se va a repetir con cada índice nuevo que se venda antes de documentarse.

La prueba: cuatro pasos, una tarde

Este es el procedimiento que corro en propiedades de clientes antes de gastar en cualquier herramienta de visibilidad.

1. Nombra las superficies, no "la IA". Elige de tres a cinco consultas con intención comercial y anota en qué superficie aparece cada una: búsqueda de ChatGPT, Perplexity, un AI Overview, la app de Gemini. "Búsqueda con IA" como objetivo no se puede medir; cinco superficies con nombre sí.

2. Corre la prueba de pertenencia por superficie, con fecha. Busca site:tudominio.com consulta-clave dentro de cada motor — en su caja de búsqueda cuando la tenga, y en el asistente cuando no. Esto prueba si el índice de ese motor tiene alguna representación de la página; no prueba que vaya a ser elegida, porque recuperar y seleccionar son pasos distintos. Corre una consulta de control que sabes indexada en la misma sesión, para distinguir "la página no está" de "la prueba está rota".

3. Inventaria los agentes que sí entraron. Toma 30 días de logs de servidor o CDN, agrupa por user agent y verifica cada visita contra los rangos IP publicados por el proveedor — OpenAI y Perplexity publican un JSON por bot. Un user agent se copia en una línea de código; el rango IP es lo que un scraper no puede falsificar. Busca qué token documentado tocó el sitio y si hay lecturas que no puedes atribuir. En trabajo de clientes, esa bolsa suele ser la interesante.

4. Escribe la tabla de directivas y marca la fila que sostiene todo. Una fila por token: regla actual, superficie que cambia, superficie que no puede cambiar y la comprobación que prueba la diferencia. Después agrega la fila sin token y márcala como crítica: en un sitio que permite Googlebot, el corpus licenciado está abierto por defecto y nadie lo decidió.

Qué cambia la prueba

Salen dos decisiones, y las dos son incómodas.

Si tu respuesta en IA es mala, los permisos casi nunca son la causa. Cuando un sitio está en la primera puerta para todos los motores y sigue invisible, la restricción es extracción y selección: qué puede leer el rastreador y si el párrafo contesta la pregunta. Ninguna edición de robots.txt llega a esa capa, y por eso otra auditoría de rastreadores no mueve el número.

Si tu respuesta en IA es buena y tu tolerancia al riesgo es baja, las opciones empeoran a medida que las miras de cerca. No existe un interruptor que diga "indexame para búsqueda y mantenme fuera de todo corpus de IA licenciado". Bloquear Googlebot hace las dos cosas. Bloquear Google-Extended no hace ninguna. Bloquear OAI-SearchBot te saca de las respuestas de un motor y deja el corpus revendido intacto. Quien te venda una sola línea de "opt-out de IA" te está vendiendo un control que no existe.

La opinión, que no cuesta nada decirla clara: la industria de configuración de rastreadores vende listas de tokens, y lo que necesitas es un mapa de quién es dueño de cada índice y a cuál de tus interruptores obedece cada uno. Casi ninguna propiedad tiene ni lo uno ni lo otro, y así se explica que "permitimos todos los rastreadores de IA" y "somos invisibles en las respuestas de IA" sean verdad al mismo tiempo en el mismo sitio.

Y mantén el límite: estar dentro del índice es una precondición, no una causa. Una página puede estar en todos los corpus y perder igual la respuesta frente a un competidor con un párrafo más claro. Ese es otro problema con otra solución, y es el que casi todas las auditorías de visibilidad en IA se saltan.

El documento que yo mantendría

Una página, cinco columnas: superficie, dueño del índice, token, regla actual y quién más compra ese índice. Llénala y las sorpresas van a estar todas en la última columna, porque ahí es donde un proveedor con el que nunca hablaste resulta estar distribuyendo tus páginas a empresas a las que no puedes dirigirte directamente.

Si la última columna está vacía porque nadie sabe quién compra el corpus, ese es el hallazgo. También es el punto donde un servicio de GEO se gana el honorario: no una lista de tokens más grande, sino un mapa con nombres y directivas que coincidan. Si todavía estás decidiendo qué exponer, lee la guía de llms.txt; si intentas descifrar qué superficie se come tus clics, la comparación entre AI Overviews, AI Mode y citas de ChatGPT.

La pregunta del corpus está antes que las dos. Contéstala primero. Si quieres que la respondamos contigo, escríbenos.