Autoriser GPTBot et les robots IA dans votre robots.txt

Pour autoriser GPTBot, ajoutez dans votre robots.txt un groupe User-agent: GPTBot suivi de Allow: /, et faites de même pour OAI-SearchBot, ClaudeBot, Claude-SearchBot et PerplexityBot. Vérifiez ensuite le fichier réellement servi en ligne et testez l’accès page par page, car un pare-feu ou un CDN peut bloquer ces robots sans toucher à votre fichier.

Pourquoi bloquer les robots IA est une erreur fréquente

Presque personne ne décide de bloquer ChatGPT ou Claude. Le blocage arrive par accident, et c’est ce que j’appelle dans Passeport vers la Citation le paradoxe du blocage involontaire : des entreprises investissent dans leur contenu, puis ferment la porte aux robots qui pourraient les citer. Sur un échantillon de 200 sites clients que j’ai analysés pour le livre, environ 35 % bloquaient au moins un robot IA majeur dans leur robots.txt, sans le savoir.

Trois causes reviennent dans mes audits.

• La règle générique héritée. Un User-agent: * suivi de Disallow: /, posé sur une préproduction et jamais retiré à la mise en ligne. Tous les robots qui ne sont pas nommés ailleurs dans le fichier sont exclus.
• Le CDN qui réécrit le fichier. Le robots.txt géré de Cloudflare, disponible sur toutes les offres, ajoute en tête de votre fichier des lignes Disallow: / pour GPTBot, ClaudeBot, CCBot ou Google-Extended dès qu’une politique IA restrictive est activée. Le fichier sur votre serveur reste propre, celui que lisent les robots ne l’est plus.
• Le pare-feu ou l’extension de sécurité. Une règle anti-scraping peut renvoyer une erreur 403 ou un défi JavaScript aux robots IA, quel que soit le contenu du robots.txt.

Dans une analyse publiée le 1er juillet 2025, Cloudflare relevait que GPTBot était interdit dans 7,8 % des fichiers robots.txt des domaines les plus visités, devant Google-Extended (5,6 %). Et aucun tableau de bord ne vous prévient quand un assistant est éconduit : il faut aller vérifier.

Les robots IA à autoriser

Chaque éditeur exploite plusieurs agents aux rôles distincts. Voici les noms à connaître, tels que les documentent les éditeurs.

• OAI-SearchBot (OpenAI) : alimente la recherche de ChatGPT. S’il est bloqué, vos pages ne sont plus montrées dans les réponses de ChatGPT Search.
• GPTBot (OpenAI) : collecte des contenus pouvant servir à l’entraînement des modèles. Il est indépendant d’OAI-SearchBot : le bloquer ne retire pas un site de ChatGPT Search.
• ClaudeBot (Anthropic) : collecte des contenus pouvant contribuer à l’entraînement de Claude.
• Claude-SearchBot (Anthropic) : explore le web pour améliorer les résultats de recherche de Claude.
• PerplexityBot (Perplexity) : fait apparaître et lie les sites dans les résultats de Perplexity, sans servir à l’entraînement selon l’éditeur.
• Google-Extended : un jeton de contrôle, pas un robot. Google explore avec ses agents habituels, et ce jeton décide si vos contenus peuvent entraîner Gemini et ancrer ses réponses. Il n’a aucun effet sur Google Search.
• CCBot (Common Crawl) : constitue des archives ouvertes du web, reprises par de nombreux modèles.

Trois agents agissent à la demande d’un utilisateur : ChatGPT-User, Claude-User et Perplexity-User. OpenAI et Perplexity indiquent que le robots.txt peut ne pas s’appliquer à ces visites, qui ne relèvent pas de l’exploration automatique.

La hiérarchie est simple. Les robots de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot) conditionnent votre citation : les bloquer revient à y renoncer. Les robots d’entraînement (GPTBot, ClaudeBot, CCBot, Google-Extended) relèvent d’un arbitrage. Pour une entreprise de services ou une PME, je recommande de les autoriser aussi : être présent dans la mémoire des modèles fait partie de la visibilité générative. L’arbitrage complet est détaillé dans la page être lisible par les robots IA.

Vérifier son robots.txt ligne par ligne

Ouvrez https://votre-site.fr/robots.txt dans un navigateur, et non le fichier sur votre FTP : seul compte le fichier servi en ligne, éventuellement modifié par votre CDN. Lisez-le avec cinq règles en tête.

1. Un robot n’obéit qu’à un seul groupe. Il applique le groupe qui porte son nom et ignore alors le groupe *. Sans groupe à son nom, il applique *. Un User-agent: * avec Disallow: / bloque donc tous les robots IA non nommés.
2. Nommer un robot lui fait perdre vos règles générales. Un groupe User-agent: GPTBot limité à Allow: / ouvre aussi votre back-office, puisque GPTBot n’applique plus le Disallow: /wp-admin/ du groupe *. Recopiez dans chaque groupe les exclusions utiles.
3. Entre Allow et Disallow, le chemin le plus long l’emporte. À longueur égale, la norme RFC 9309 donne la priorité à Allow. Les chemins sont sensibles à la casse : /Blog/ et /blog/ sont deux règles différentes.
4. Un fichier par hôte. Le robots.txt de www ne couvre pas blog.votre-site.fr. Chaque sous-domaine doit avoir le sien.
5. Le code de réponse compte autant que le contenu. Une erreur 404 équivaut à « tout est permis ». Une erreur 500 fait l’inverse : la norme demande au robot de considérer le site comme entièrement interdit. Un robots.txt en panne est un blocage total.

Voici une base saine pour un site vitrine ou un blog, à adapter à vos propres exclusions :

# Robots de recherche IA : indispensables pour être cité
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
Disallow: /wp-admin/

# Robots d’entraînement : autorisés par choix
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
Allow: /
Disallow: /wp-admin/

# Tous les autres robots
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://votre-site.fr/sitemap.xml

Plusieurs lignes User-agent consécutives forment un seul groupe. Pour refuser l’entraînement, remplacez Allow: / par Disallow: / dans le deuxième groupe, sans toucher au premier. Comptez environ 24 heures avant la prise en compte : c’est le délai indiqué par OpenAI et Perplexity, et la durée maximale pendant laquelle Google garde le fichier en cache.

Tester l’accès réel de vos pages

Un robots.txt correct ne prouve rien si le serveur refuse la page. Quatre tests, du plus rapide au plus fiable, vous donnent la réponse.

1. Interroger le fichier servi. La commande curl -s https://votre-site.fr/robots.txt affiche ce que reçoit réellement un robot. Des lignes en plus en tête, par rapport à votre fichier source, signalent une réécriture par le CDN.

2. Se présenter comme le robot. Cette commande demande une page avec l’identité de GPTBot et affiche le code de réponse :

curl -sI -A "Mozilla/5.0 (compatible; GPTBot/1.4; +https://openai.com/gptbot)" https://votre-site.fr/une-page/

Un code 200 est bon signe. Un 403, un 429 ou une page de défi trahit un filtrage. Refaites le test avec OAI-SearchBot/1.4, ClaudeBot/1.0 et PerplexityBot/1.0. Certains pare-feux vérifient l’adresse IP et bloquent un faux robot tout en laissant passer le vrai : ce test signale un problème possible, il ne le prouve pas.

3. Lire les journaux du serveur. C’est le test qui fait foi. Cherchez les noms des robots dans vos logs d’accès et regardez les codes renvoyés : des 200 confirment l’accès, des 403 répétés désignent la règle à corriger. Pour écarter les imposteurs, comparez les adresses IP aux listes publiées par les éditeurs (openai.com/gptbot.json, openai.com/searchbot.json, perplexity.com/perplexitybot.json), puis ouvrez ces plages dans le pare-feu plutôt que de tout ouvrir.

4. Vérifier ce que le robot lit. La plupart des robots IA lisent le HTML brut, sans exécuter le JavaScript. Affichez le code source de la page : le contenu principal doit y figurer. Demandez enfin à ChatGPT, en mode recherche, de résumer une page récente : s’il en restitue le contenu exact, la chaîne fonctionne. La méthode pour voir la version qu’il garde en mémoire est décrite dans mon article sur Labrador, l’index de ChatGPT.

Mon conseil

Le robots.txt n’est que le premier point de contrôle technique. Pour passer en revue le reste (rendu, vitesse, balisage, sitemap), suivez l’audit de crawlabilité IA en 20 points, ou confiez-le à un consultant GEO dans le cadre d’un audit SEO. Côté ChatGPT, voyez aussi comment apparaître dans ChatGPT, et pour les autres réglages d’exploration, la page SEO technique.

Sources

• OpenAI, Overview of OpenAI Crawlers, consulté le 28 octobre 2026.
• Anthropic, Does Anthropic crawl data from the web, and how can site owners block the crawler?, mis à jour le 7 avril 2026.
• Perplexity, Perplexity Crawlers, consulté le 28 octobre 2026.
• Google Search Central, Google’s common crawlers, mis à jour le 15 octobre 2026.
• Google Search Central, How Google interprets the robots.txt specification, mis à jour le 23 octobre 2026.
• IETF, RFC 9309, Robots Exclusion Protocol, septembre 2022.
• Cloudflare, Control content use for AI training with Cloudflare’s managed robots.txt, 1er juillet 2025.
• Cloudflare, Managed robots.txt, mis à jour le 22 octobre 2026.
• Common Crawl, CCBot, consulté le 28 octobre 2026.
• Stéphane Delgado, Passeport vers la Citation, chapitre 9 « La couche invisible, être lisible par les robots IA », 2026.