Qu’est-ce que le robots.txt ?
Définition SEO et exemples

Le robots.txt est un fichier texte à la racine du site qui indique aux crawlers (Google, Bing, GPTBot) quelles pages explorer et indexer ou non.

Auteur :Iordache Alexandru·Mis à jour le 2026-06-13

Définition complète : qu’est-ce que le robots.txt

Le fichier robots.txt se trouve à l'adresse votredomaine.com/robots.txt et contient des instructions pour les robots web (crawlers). Avec les directives « User-agent » (identifie le crawler) et « Disallow » ou « Allow » (précisent ce qui est accessible), vous pouvez contrôler quelles sections du site sont accessibles. Important : le robots.txt ne garantit pas que Google n'indexera pas les pages bloquées s'il existe des liens vers elles — utilisez « noindex » pour empêcher réellement l'indexation. Google recommande d'autoriser l'accès à GPTBot et ClaudeBot pour bénéficier d'une visibilité en IA.

Pourquoi Robots.txt compte pour le SEO ?

Un robots.txt mal configuré peut bloquer accidentellement l'indexation de tout un site ou de sections importantes. C'est l'une des premières vérifications de tout audit SEO technique. De plus, autoriser explicitement les crawlers IA (GPTBot, ClaudeBot, PerplexityBot) augmente vos chances d'être cité dans les réponses IA.

Source : Google Search Central — Robots.txt

Comment RankRO SEO vous aide avec Robots.txt

RankRO SEO vérifie le robots.txt de votre site lors de l'onboarding et vous alerte s'il existe des directives qui bloquent l'indexation du contenu généré.

Questions fréquentes sur Robots.txt

Termes associés

SEO technique

Avancé

Le SEO technique regroupe les optimisations de l'infrastructure du site — crawlabilité, indexation, vitesse, HTTPS et structure des données — pour aider Google.

Définition

Crawlabilité

Intermédiaire

La crawlabilité est la capacité des robots de Google à accéder, parcourir et lire les pages de votre site — condition préalable à l'indexation et au classement.

Définition

Balise canonique

Intermédiaire

La balise canonique (rel="canonical") indique à Google la version principale d'une page quand des URL similaires ou dupliquées existent, évitant les pénalités.

Définition

Sitemap XML

Débutant

Un sitemap XML est un fichier qui liste toutes les URL importantes de votre site, aidant Google à les découvrir et à les indexer plus vite et plus complètement.

Définition