# robots.txt — polnischekultur.de
# Vorschlag, abgestimmt auf die bestehende Cloudflare-Richtlinie (ai_training: disallow).
# Die KI-SUCH-Crawler (die Zitate und Traffic bringen) bleiben offen,
# die reinen TRAININGS-Crawler bleiben ausgeschlossen — so wie heute schon konfiguriert.

# --- KI-Suche: ausdrücklich erlaubt (Sichtbarkeit in ChatGPT, Claude, Perplexity, Copilot) ---
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Bingbot
Allow: /

# --- Reines Modelltraining: ausgeschlossen (deckt sich mit Cloudflare ai_training=disallow) ---
# Wenn das Training künftig erlaubt werden soll, hier "Disallow: /" durch "Allow: /"
# ersetzen UND in Cloudflare ai_training auf "allow" stellen — sonst bleibt der WAF-Block.
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

# --- Alle übrigen Bots: unverändert uneingeschränkt ---
User-agent: *
Disallow:

Sitemap: https://polnischekultur.de/sitemap_index.xml