Apprendre à créer un fichier robots.txt prend environ dix minutes, et la majeure partie de ce temps est consacrée à décider quoi bloquer plutôt qu'à écrire la syntaxe. Un fichier robots.txt est un fichier texte brut à la racine de votre domaine qui indique aux robots des moteurs de recherche quelles URL ils peuvent demander. Si vous le faites correctement, vous orientez le budget d'exploration vers les pages importantes. Une seule barre oblique mal placée peut accidentellement cacher l'intégralité de votre site à Google.
Ce guide vous accompagne pas à pas : les quatre directives réellement nécessaires, la règle de la correspondance la plus longue qui piège presque tout le monde, des exemples concrets d'autorisation et d'interdiction, l'emplacement exact du fichier, et comment le tester avant qu'un robot ne le voie. Pas de modèle vague, pas de copie mot pour mot de la documentation de Google.
Ce que fait réellement un fichier robots.txt#
Un fichier robots.txt est un ensemble d'instructions pour les robots d'exploration, servi depuis https://votredomaine.com/robots.txt. Lorsqu'un bot bien élevé comme Googlebot visite votre site, il lit d'abord ce fichier et obéit aux règles qu'il y trouve avant de demander toute autre URL.
Le mot clé est « bien élevé ». Robots.txt est une demande, pas un mur. Google, Bing et les autres grands moteurs le respectent. Les scrapers et les bots malveillants peuvent l'ignorer complètement. Traitez donc robots.txt comme un guide d'exploration, jamais comme un contrôle de sécurité.
Important : robots.txt contrôle l'exploration, pas l'indexation. Bloquer une URL ici ne garantit pas qu'elle reste hors des résultats de recherche. Si Google trouve des liens vers une page bloquée ailleurs, il peut toujours lister l'URL (sans description). Pour empêcher une page d'apparaître dans les résultats, vous avez besoin d'une balise noindex, un mécanisme distinct que nous abordons vers la fin.
Les quatre parties que vous utilisez réellement#
La plupart des fichiers réels sont construits à partir de seulement quatre directives :
- User-agent : le robot auquel les règles suivantes s'appliquent.
*signifie tous les robots. - Disallow : un chemin d'URL que le robot ne doit pas demander.
- Allow : un chemin d'URL que le robot peut demander, utilisé pour créer des exceptions dans une interdiction plus large.
- Sitemap : l'URL complète de votre sitemap XML, pour que les robots trouvent toutes vos pages plus rapidement.
Il existe quelques options supplémentaires (Crawl-delay, directives d'hôte) que nous aborderons, mais ces quatre couvrent 95% des sites.
Comment créer un fichier robots.txt étape par étape#
Voici la procédure complète, d'un fichier vierge à un robots.txt testé et en ligne. Suivez-la dans l'ordre et vous éviterez les impasses.
Étape 1 : Cartographier ce qui doit et ne doit pas être exploré#
Avant de taper la moindre ligne, listez vos modèles d'URL. Ouvrez la structure de votre site et classez les pages dans deux catégories.
Ce que vous souhaitez généralement voir exploré : votre page d'accueil, les articles de blog, les pages produits ou services, les pages de catégories et votre sitemap. Ce que vous voulez souvent exclure de l'exploration : les zones d'administration (/admin/, /wp-admin/), les résultats de recherche internes (/search?), les pages de panier et de paiement, les pages de remerciement, les URL de staging ou en double, et les URL de filtres à facettes qui génèrent des milliers de combinaisons quasi identiques.
Cette cartographie est le véritable travail. La syntaxe est triviale une fois que vous connaissez votre intention.
Étape 2 : Écrire le bloc user-agent#
Commencez par la règle la plus large qui s'applique à tous les robots d'exploration :
User-agent: *
Chaque directive après cette ligne, jusqu'à la ligne User-agent suivante ou la fin du fichier, s'applique à tous les robots. Si vous avez besoin d'une règle pour un robot spécifique, ajoutez un bloc séparé. Par exemple, pour donner un traitement différent à Googlebot :
User-agent: Googlebot
Disallow: /private/
User-agent: *
Disallow: /private/
Disallow: /tmp/
Un robot lit uniquement le bloc le plus spécifique correspondant à son nom. Googlebot obéit ici au premier bloc et ignore complètement le second. Cela surprend, alors rappelez-vous : un robot suit un groupe, pas la combinaison.
Étape 3 : Ajouter vos règles Disallow et Allow#
Maintenant, traduisez votre cartographie de l'étape 1 en directives. Chaque Disallow prend un chemin d'URL commençant par /. Voici quelques modèles que vous utiliserez souvent :
User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /search
Allow: /search/help
Disallow: /*.pdf$
Lecture ligne par ligne :
Disallow: /admin/bloque tout ce qui se trouve sous le dossier admin.Disallow: /searchbloque tout chemin commençant par/search, y compris/search?q=chaussures.Allow: /search/helpcrée une exception pour que cette page reste explorable.Disallow: /*.pdf$utilise un joker (*) et une ancre de fin d'URL ($) pour bloquer tous les PDF.
Un Disallow: vide (rien après les deux-points) signifie "ne rien bloquer", ce qui permet d'autoriser explicitement une exploration complète.
Étape 4 : Ajouter la ligne sitemap#
Indiquez aux robots où se trouve votre sitemap. Utilisez l'URL absolue, pas un chemin relatif, et placez-la n'importe où dans le fichier (par convention en bas) :
Sitemap: https://votredomaine.com/sitemap.xml
Vous pouvez lister plusieurs sitemaps sur des lignes Sitemap: distinctes. Si vous n'en avez pas encore créé, générez-le avec le générateur de sitemap XML gratuit et insérez l'URL obtenue ici. La ligne sitemap fonctionne indépendamment des blocs User-agent, car elle est globale.
Étape 5 : Générer, enregistrer et valider le fichier#
Vous pouvez écrire le fichier à la main dans n'importe quel éditeur de texte brut (enregistrez-le en UTF-8, nommé exactement robots.txt, sans double extension .txt.txt). Pour éviter les fautes de frappe, le générateur de robots.txt gratuit construit un fichier syntaxiquement valide à partir de vos choix d'autorisation et d'interdiction, et prévisualise comment Googlebot lit chaque règle. Cette prévisualisation permet de détecter les erreurs de priorité abordées dans la section suivante.
Étape 6 : Télécharger le fichier à la racine de votre domaine#
Le fichier doit être accessible exactement à https://votredomaine.com/robots.txt. Il ne fonctionne qu'à la racine d'un hôte. Un fichier à https://votredomaine.com/blog/robots.txt est ignoré.
La méthode de téléchargement dépend de votre environnement :
- WordPress : utilisez une extension SEO (Yoast, Rank Math) qui propose un éditeur robots.txt, ou téléchargez via FTP vers le répertoire racine.
- Site statique ou personnalisé : placez
robots.txtdans votre dossier racine public ou web (souventpublic/,www/ouhtdocs/). - Sous-domaines : chaque sous-domaine a besoin de son propre fichier.
blog.votredomaine.cometvotredomaine.comne partagent pas le même.
Après le téléchargement, visitez l'URL dans votre navigateur. Vous devriez voir votre texte brut, pas une erreur 404 ou votre page d'accueil.
Étape 7 : Tester avant de faire confiance#
Ouvrez Google Search Console et utilisez le rapport robots.txt (il affiche le dernier fichier récupéré par Google et signale les erreurs de syntaxe). Testez ensuite des URL spécifiques : collez un chemin que vous vouliez bloquer et un chemin que vous vouliez autoriser, et confirmez que chacun renvoie le résultat attendu. Tester une URL bloquée et une URL autorisée permet de détecter la grande majorité des erreurs avant qu'elles ne vous coûtent du trafic.
La règle du chemin le plus long (là où les sites plantent)#
Cette règle unique provoque plus de blocages accidentels que toute autre, et la plupart des tutoriels l'ignorent. Lorsque plusieurs règles Allow et Disallow peuvent s'appliquer à la même URL, Google ne lit pas de haut en bas. Il applique la règle dont le chemin correspondant est le plus long. Si deux règles ont la même longueur, Allow l'emporte.
Imaginez ce fichier :
User-agent: *
Disallow: /blog/
Allow: /blog/public/
Pour l'URL /blog/public/post-1, deux règles correspondent. Disallow: /blog/ correspond à 6 caractères ; Allow: /blog/public/ correspond à 13 caractères. La règle la plus longue l'emporte, donc cette page est explorable, même si une lecture de haut en bas pourrait suggérer qu'elle est bloquée.
Inversez maintenant et regardez le piège se refermer :
User-agent: *
Allow: /products/
Disallow: /products/secret/
Pour /products/secret/item, le chemin Disallow est plus long, donc cette URL est correctement bloquée tandis que le reste de /products/ reste ouvert. Les règles font exactement ce que les longueurs dictent.
Voici le tableau comparatif qui compte lorsque vous débugguez un mystère du type "pourquoi cette page est-elle bloquée" :
| URL demandée | Règles correspondantes | Gagnant | Résultat |
|---|---|---|---|
/blog/public/post | Disallow: /blog/ (6), Allow: /blog/public/ (13) | Allow (plus long) | Explorée |
/products/secret/x | Allow: /products/ (10), Disallow: /products/secret/ (18) | Disallow (plus long) | Bloquée |
/page | Allow: /page (5), Disallow: /page (5) | Allow (égalité, Allow gagne) | Explorée |
Attention : l'erreur la plus dommageable est un
Disallow: /oublié sousUser-agent: *. Une seule barre oblique bloque tout votre site pour tous les robots. Si votre trafic organique chute brutalement après un déploiement, vérifiez d'abord cette ligne dans robots.txt.
Exemples concrets de robots.txt à adapter#
Des modèles concrets valent mieux que des règles abstraites. Voici trois points de départ honnêtes. Remplacez le domaine et ajustez les chemins selon votre structure.
Un site simple qui souhaite que tout soit exploré#
User-agent: *
Disallow:
Sitemap: https://votredomaine.com/sitemap.xml
Le Disallow: vide autorise toute exploration. C'est le réglage par défaut approprié pour un petit blog ou un site vitrine. Ne le compliquez pas inutilement.
Un site WordPress ou CMS#
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Sitemap: https://votredomaine.com/sitemap_index.xml
La ligne Allow pour admin-ajax.php est importante : de nombreux thèmes et plugins ont besoin de ce point d'accès, et bloquer tout le dossier /wp-admin/ sans cela peut casser des fonctionnalités front-end dont les robots ont besoin.
Un site e-commerce gérant le budget d'exploration#
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*&color=
Allow: /products/
Sitemap: https://votredomaine.com/sitemap.xml
Les règles avec caractères génériques bloquent les URL de filtrage à facettes (tri, filtre, combinaisons de couleurs) qui génèrent sinon une infinité de pages quasi identiques et gaspillent le budget d'exploration sur les grands catalogues. Le Allow: /products/ garde vos URL de produits propres accessibles.
Faut-il utiliser Crawl-delay ?#
Crawl-delay demande à un robot d'attendre un certain nombre de secondes entre les requêtes. Google l'ignore complètement (contrôlez le taux d'exploration de Googlebot dans Search Console à la place). Bing et Yandex le respectent. Ne l'ajoutez que si un bot spécifique surcharge un petit serveur, et encore, préférez corriger le serveur. Une ligne comme Crawl-delay: 10 sous un user-agent spécifique est le cas rare où cela vaut la peine.
Crawling vs Indexing : La distinction qui vous sauve#
La plus grande erreur conceptuelle est de traiter robots.txt comme un moyen de supprimer une page de Google. Ce n'est pas le cas. Interdire une URL empêche Google de la crawler, mais une page interdite peut toujours apparaître dans les résultats de recherche si d'autres pages y renvoient, affichée comme une URL nue sans extrait.
Pire, il existe une combinaison à ne jamais utiliser. Si vous ajoutez une balise meta noindex à une page et que vous bloquez également cette page dans robots.txt, Google ne pourra jamais crawler la page pour voir la balise noindex. Le résultat est que la page reste indexée indéfiniment, le contraire de ce que vous vouliez.
La règle d'or :
- Pour qu'une page reste hors des résultats de recherche : utilisez une balise meta robots
noindex(ou l'en-tête HTTPX-Robots-Tagpour les PDF et autres fichiers non HTML), et laissez la page crawlable pour que Google puisse lire cette balise. - Pour éloigner les crawlers d'une section entière (et accepter qu'elle puisse toujours apparaître comme une URL nue) : utilisez
Disallowdans robots.txt. - Pour du contenu sensible : ne comptez ni sur l'un ni sur l'autre. Utilisez l'authentification.
Si vous décidez quel mécanisme convient à une page donnée, notre explicateur sur le blocage des crawlers IA avec robots.txt parcourt la même logique crawl versus index pour la nouvelle vague de robots d'entraînement IA, une raison de plus en plus courante pour laquelle les gens modifient ce fichier en 2026.
Erreurs courantes et comment les éviter#
Une courte liste des erreurs qui coûtent du trafic réel :
- Un
Disallow: /oublié depuis l'environnement de staging. Les sites de développement bloquent souvent tout. Oublier de le supprimer après le lancement anéantit votre visibilité. - Bloquer le CSS et le JavaScript. Google rend les pages pour les comprendre. Interdire
/assets/ou/js/peut casser le rendu et nuire au classement. Laissez les robots accéder à vos ressources. - Mauvais emplacement du fichier. Il doit être à la racine de l'hôte, en minuscules
robots.txt, servi entext/plain. - Compter sur lui pour la confidentialité. Lister
/secret-admin/dans un fichier public est un guide pour les curieux. Utilisez un véritable contrôle d'accès. - Sensibilité à la casse. Les chemins sont sensibles à la casse.
/Blog/et/blog/sont des règles différentes.
En cas de doute, modifiez une règle à la fois et retestez dans Search Console. Lent et vérifié vaut mieux que rapide et cassé.
Pour conclure#
Vous savez désormais créer un fichier robots.txt qui fait exactement ce que vous voulez : un ensemble clair de directives user-agent, disallow, allow et sitemap, placé à la racine de votre domaine, testé avant sa mise en ligne. Les deux idées à retenir sont la règle de priorité du match le plus long et la distinction nette entre le crawling (robots.txt) et l'indexation (noindex). Maîtrisez-les et vous ne risquerez plus jamais de cacher un site par accident.
Quand vous serez prêt à générer le fichier sans taper la syntaxe à la main, le générateur de robots.txt transforme vos choix d'autorisation et d'interdiction en un fichier valide et prévisualise comment Googlebot le lit. Associez-le au générateur de sitemap XML pour que la ligne Sitemap: pointe vers quelque chose de réel, et vous obtenez une configuration complète de contrôle du crawling en quelques minutes.
Foire aux questions#
Où placer le fichier robots.txt ?
À la racine de votre domaine, accessible exactement à https://votredomaine.com/robots.txt. Il doit être en minuscules, nommé robots.txt, et servi en texte brut. Un fichier dans un sous-dossier est ignoré, et chaque sous-domaine nécessite son propre fichier.
Ai-je vraiment besoin d'un fichier robots.txt ? Pas strictement. Si vous acceptez que les moteurs de recherche explorent tout, vous pouvez vous en passer et les robots supposeront un accès complet. La plupart des sites en ajoutent un pour pointer vers leur sitemap et empêcher les robots d'accéder aux pages d'administration, panier, recherche et URL en double qui gaspillent le budget d'exploration.
Bloquer une page dans robots.txt la supprime-t-il de Google ? Non. Robots.txt empêche l'exploration, pas l'indexation. Une page bloquée peut toujours apparaître dans les résultats sous forme d'URL nue si d'autres pages y renvoient. Pour supprimer une page des résultats de recherche, utilisez une balise meta noindex et gardez la page explorable pour que Google puisse lire cette balise. Ne bloquez jamais une page noindex dans robots.txt, car Google ne pourra pas voir le noindex.
Que signifie l'astérisque dans User-agent ?
User-agent: * applique les règles qui suivent à tous les robots. Si vous ajoutez un bloc pour un robot spécifique comme User-agent: Googlebot, ce robot suivra uniquement son propre bloc et ignorera le bloc générique. Un robot obéit à un seul groupe, pas à une fusion de tous les groupes correspondants.
Comment tester mon robots.txt avant de le publier ? Utilisez le rapport robots.txt dans Google Search Console, qui affiche le fichier récupéré par Google et signale les erreurs de syntaxe. Testez des URL spécifiques en vérifiant un chemin que vous vouliez bloquer et un autre que vous vouliez garder explorable. Vous pouvez aussi prévisualiser le comportement des règles dans un générateur robots.txt avant de le télécharger, ce qui permet de détecter rapidement les erreurs de priorité de correspondance la plus longue.
Puis-je utiliser des caractères génériques dans robots.txt ?
Oui, dans certaines limites. * correspond à toute séquence de caractères, et $ ancre une règle à la fin d'une URL. Ainsi, Disallow: /*.pdf$ bloque tous les PDF, et Disallow: /*?sort= bloque toute URL contenant un paramètre de tri. Ces deux symboles sont les seuls motifs de correspondance pris en charge par la norme.
