# ============================
# Whitelist bots utiles
# ============================

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow:

User-agent: Googlebot-News
Disallow:

User-agent: Bingbot
Disallow:

User-agent: Applebot
Disallow:

User-agent: DuckDuckBot
Disallow:

# ============================
# Bots SEO / scrapers agressifs : BLOQUÉS
# ============================

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: Barkrowler
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: MauiBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: MauiBot
Disallow: /

User-agent: TurnitinBot
Disallow: /

User-agent: Turnitin
Disallow: /

# (Tu peux en ajouter d'autres ici au fur et à mesure
# de ce que tu vois passer dans les logs)

# ============================
# Règle générale pour tous les autres
# ============================

User-agent: *
# Zones techniques / back-office à protéger (à adapter selon tes routes)
Disallow: /admin
Disallow: /login

# API et outils internes
Disallow: /api/
Disallow: /_profiler/
Disallow: /_wdt/

# Évite l’indexation des recherches / listes paginées avec paramètres
Disallow: /*?indexes
Disallow: /*?page=
Disallow: /*&ajaxCalendar=1

# Assets techniques éventuellement inutiles en SEO (à activer si tu veux alléger)
# Disallow: /media/cache/
# Disallow: /assets/

# Autorisation explicite du contenu public
Allow: /fr/
Allow: /en/
Allow: /es/
Allow: /media/
Allow: /assets/images/