# robots.txt für Ceramics Explorer
#
# Klassische Such-Bots (Google, Bing, DuckDuckGo) ausdrücklich erlaubt —
# Sichtbarkeit ist Teil des Reichweiten-Modells. Kommerzielle AI-Training-
# Crawler explizit verboten (siehe auch /ai.txt). Crawl-Delay 10 s als
# höflicher Hinweis an alle, die ihn beachten.

# ── Klassische Such-Bots: voll erlaubt ─────────────────────────────────
User-Agent: Googlebot
Allow: /

User-Agent: Bingbot
Allow: /

User-Agent: DuckDuckBot
Allow: /

User-Agent: Slurp
Allow: /

User-Agent: Applebot
Allow: /

# ── AI-Training-Crawler: ausgeschlossen ────────────────────────────────
User-Agent: GPTBot
Disallow: /

User-Agent: ChatGPT-User
Disallow: /

User-Agent: CCBot
Disallow: /

User-Agent: anthropic-ai
Disallow: /

User-Agent: Claude-Web
Disallow: /

User-Agent: ClaudeBot
Disallow: /

User-Agent: Google-Extended
Disallow: /

User-Agent: PerplexityBot
Disallow: /

User-Agent: cohere-ai
Disallow: /

User-Agent: Bytespider
Disallow: /

User-Agent: FacebookBot
Disallow: /

User-Agent: Amazonbot
Disallow: /

User-Agent: ImagesiftBot
Disallow: /

User-Agent: Diffbot
Disallow: /

User-Agent: Omgilibot
Disallow: /

User-Agent: Omgili
Disallow: /

# ── Default für alle anderen: Crawl-Delay ──────────────────────────────
User-Agent: *
Crawl-Delay: 10
Disallow: /archive/*/page=
Disallow: /pagefind/

Sitemap: https://www.ceramicsexplorer.de/sitemap.xml