# robots.txt de WikiMundo — https://wikimundo.org
#
# Se permite el rastreo a todos los buscadores, incluidos los rastreadores de
# IA: las referencias desde buscadores con IA son tráfico deseado. Solo se
# bloquean las rutas privadas o sin contenido indexable.
#
# El sitemap real se genera desde D1 en /sitemap.xml (el sitemap-index.xml que
# emite la integración de Starlight solo contiene rutas estáticas).
#
# Content Signals: declaración explícita de qué usos de IA se permiten. Este es
# un wiki abierto que quiere ser citado, así que los tres van en "yes"; sin la
# directiva, cada rastreador decide por su cuenta qué asumir.
Content-Signal: ai-train=yes, search=yes, ai-input=yes

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /login
Disallow: /logout
Disallow: /register
# Cada artículo arrastra cuatro rutas más que no son contenido: el formulario
# de edición, el historial, cada revisión, cada diff entre revisiones y la lista
# de enlaces entrantes. Con mil artículos eso son varios miles de URL de bajo
# valor compitiendo por el presupuesto de rastreo — y ahora mismo Google tiene
# indexadas dos páginas. El wiki de referencia bloquea todo esto por defecto;
# aquí hay que enumerarlo porque los artículos viven en la raíz.
Disallow: /*/edit
Disallow: /*/history
Disallow: /*/diff/
Disallow: /*/enlaces
Disallow: /buscar
Disallow: /crear

# Rastreadores de IA, permitidos de forma explícita. Cada uno necesita repetir
# las reglas porque un robot que encuentra su propio nombre ignora por completo
# el grupo "*".
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: Claude-SearchBot
User-agent: anthropic-ai
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Amazonbot
User-agent: Bytespider
User-agent: meta-externalagent
User-agent: cohere-ai
User-agent: DuckAssistBot
User-agent: MistralAI-User
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /login
Disallow: /logout
Disallow: /register
# Cada artículo arrastra cuatro rutas más que no son contenido: el formulario
# de edición, el historial, cada revisión, cada diff entre revisiones y la lista
# de enlaces entrantes. Con mil artículos eso son varios miles de URL de bajo
# valor compitiendo por el presupuesto de rastreo — y ahora mismo Google tiene
# indexadas dos páginas. El wiki de referencia bloquea todo esto por defecto;
# aquí hay que enumerarlo porque los artículos viven en la raíz.
Disallow: /*/edit
Disallow: /*/history
Disallow: /*/diff/
Disallow: /*/enlaces
Disallow: /buscar
Disallow: /crear

Sitemap: https://wikimundo.org/sitemap.xml