robots.txt et robots d'exploration IA : lesquels autoriser, et lesquels méritent réflexion

Chaque entreprise d'IA utilise plusieurs robots d'exploration, et ils n'ont pas le même rôle. Certains récupèrent des pages pour que l'assistant puisse les citer dans ses réponses en direct. D'autres collectent des données d'entraînement pour les futurs modèles. Bloquer les premiers vous retire des réponses d'aujourd'hui. Bloquer les seconds n'affecte que ce qu'apprendront les futurs modèles. Les traiter comme un seul groupe est l'erreur de robots.txt la plus fréquente que nous voyons.

Les robots qui comptent

Les éditeurs ajoutent et renomment des agents : consultez leur documentation sur les robots une ou deux fois par an.

Un robots.txt pour commencer

Celui-ci autorise les moteurs de recherche et tous les robots d'exploration IA, les tient à l'écart des chemins privés et leur indique votre sitemap :

User-agent: *
Allow: /
Disallow: /account/
Disallow: /api/

Sitemap: https://yourdomain.com/sitemap.xml

Un groupe User-agent: * couvre déjà tous les robots qui n'ont pas leur propre groupe. Les problèmes commencent quand un site conserve un ancien bloc comme User-agent: GPTBot suivi de Disallow: /, souvent ajouté en 2023, quand bloquer l'entraînement des IA était un réglage par défaut répandu. Cette règle s'applique toujours aujourd'hui.

Si vous décidez de refuser l'entraînement tout en restant présent dans les réponses en direct, bloquez uniquement les agents d'entraînement :

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

Laissez autorisés OAI-SearchBot, Claude-SearchBot, PerplexityBot, les robots de récupération -User, Googlebot et Bingbot.

Robots d'entraînement : un vrai arbitrage

Bloquer les robots d'entraînement tient votre contenu à l'écart des futures versions des modèles. En contrepartie, ces modèles en sauront moins sur votre marque quand ils répondront sans faire de recherche. Pour un éditeur qui vend du contenu original, bloquer peut être le bon choix. Pour un éditeur de logiciels qui veut être recommandé, les autoriser est généralement plus avantageux.

Le pare-feu peut passer outre robots.txt

robots.txt n'est qu'une demande. Un CDN ou un pare-feu peut refuser le robot avant même qu'il lise le fichier. Cloudflare propose un réglage en un clic pour bloquer les robots d'exploration IA et en a fait l'option par défaut pour certains nouveaux domaines. Les protections anti-bots de Vercel, Akamai et d'autres hébergeurs peuvent avoir le même effet.

Vérifiez depuis l'extérieur en demandant une page avec le user agent d'un robot :

curl -s -o /dev/null -w "%{http_code}\n" \
  -A "Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
  https://yourdomain.com/

Un code 403, un code 429 ou une page de vérification signifie que les vrais robots sont probablement refoulés eux aussi. L'audit gratuit de préparation à l'IA effectue ce test pour quatre robots d'exploration IA et lit vos règles robots.txt pour onze d'entre eux.

FAQ

Faut-il une règle distincte pour chaque robot d'exploration IA ?

Non. Si votre groupe User-agent: * autorise l'exploration, tous les robots sans groupe propre sont autorisés. Des groupes distincts ne sont utiles que si vous voulez des règles différentes pour un agent précis.

Bloquer Google-Extended me retire-t-il des AI Overviews ?

Non. Google indique que Google-Extended n'a aucun effet sur la recherche Google, et les AI Overviews font partie de la recherche. Googlebot régit les deux.

Et llms.txt ?

llms.txt est un fichier proposé pour résumer votre site à l'intention des modèles de langage. L'ajouter coûte peu, mais les grands assistants ne se sont pas engagés à le lire : considérez-le comme facultatif, et réglez d'abord correctement robots.txt et votre pare-feu.