# ============================================================
# robots.txt - https://cartagenadespierta.es
# Politica:
# - Buscadores tradicionales: permitidos
# - IA de busqueda / citacion / RAG: permitida
# - Entrenamiento de modelos: no autorizado
# ============================================================

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Lo cerrado, y con motivo:
# - /admin: el panel.
# - /r/: las redirecciones de los enlaces del boletin.
# - /boletin-ejemplo/: las muestras de anuncio para un comercio que aun no ha comprado nada.
# - /hemeroteca/: los boletines ya enviados: se leen y se comparten, pero no se indexan.
# Se repite en cada grupo de IA de abajo: un robot con grupo propio solo lee el suyo.
Disallow: /admin
Disallow: /r/
Disallow: /boletin-ejemplo/
Disallow: /hemeroteca/

# ------------------------------------------------------------
# OpenAI: busqueda y accesos iniciados por el usuario
# ------------------------------------------------------------

User-agent: OAI-SearchBot
Allow: /
Disallow: /admin
Disallow: /r/
Disallow: /boletin-ejemplo/
Disallow: /hemeroteca/

User-agent: ChatGPT-User
Allow: /
Disallow: /admin
Disallow: /r/
Disallow: /boletin-ejemplo/
Disallow: /hemeroteca/

# ------------------------------------------------------------
# Anthropic: busqueda y accesos iniciados por el usuario
# ------------------------------------------------------------

User-agent: Claude-SearchBot
Allow: /
Disallow: /admin
Disallow: /r/
Disallow: /boletin-ejemplo/
Disallow: /hemeroteca/

User-agent: Claude-User
Allow: /
Disallow: /admin
Disallow: /r/
Disallow: /boletin-ejemplo/
Disallow: /hemeroteca/

# ------------------------------------------------------------
# Perplexity: busqueda y accesos iniciados por el usuario
# ------------------------------------------------------------

User-agent: PerplexityBot
Allow: /
Disallow: /admin
Disallow: /r/
Disallow: /boletin-ejemplo/
Disallow: /hemeroteca/

User-agent: Perplexity-User
Allow: /
Disallow: /admin
Disallow: /r/
Disallow: /boletin-ejemplo/
Disallow: /hemeroteca/

# ------------------------------------------------------------
# Entrenamiento de modelos: no autorizado
# ------------------------------------------------------------

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: meta-externalagent
Disallow: /

Sitemap: https://cartagenadespierta.es/sitemap.xml