{"id":22916,"date":"2026-08-30T09:36:09","date_gmt":"2026-08-30T07:36:09","guid":{"rendered":"https:\/\/www.curiaweb.ch\/?post_type=docs&p=22916"},"modified":"2026-08-30T09:36:10","modified_gmt":"2026-08-30T07:36:10","password":"","slug":"quest-ce-quun-fichier-robots-txt","status":"publish","type":"docs","link":"https:\/\/www.curiaweb.ch\/fr\/hilfe\/seo-monitoring\/robots-txt-erklaert\/","title":{"rendered":"robots.txt expliqu\u00e9 : contr\u00f4ler correctement les robots d'indexation des moteurs de recherche"},"content":{"rendered":"

Le fichier robots.txt<\/code> fait partie des outils fondamentaux de l'optimisation pour les moteurs de recherche technique. Elle te permet d'indiquer aux robots d'exploration des moteurs de recherche quelles parties de ton site web ils sont autoris\u00e9s \u00e0 explorer et lesquelles ne le sont pas.<\/p>\n\n\n\n

Cependant, une mauvaise configuration peut avoir des cons\u00e9quences importantes. Dans le pire des cas, Google sera emp\u00each\u00e9 d'indexer des parties importantes ou m\u00eame l'int\u00e9gralit\u00e9 du site Web.<\/p>\n\n\n\n

Il est tout aussi important de comprendre ce que robots.txt<\/code> ne peut pas : ce n'est pas un outil fiable pour supprimer des pages Web de l'index Google.<\/p>\n\n\n\n

Dans cet article, nous expliquons comment robots.txt<\/code> est constitu\u00e9, ce qui Agent utilisateur<\/code>, Interdire<\/code> et Autoriser<\/code> signifier, comment tu soumets un sitemap et quelles erreurs tu dois absolument \u00e9viter.<\/p>\n\n\n\n

\n

En bref :<\/strong> Le d\u00e9 robots.txt<\/code> contr\u00f4le en premier lieu quelles URL les robots d'indexation des moteurs de recherche sont autoris\u00e9s \u00e0 r\u00e9cup\u00e9rer. Il contr\u00f4le ainsi Exploration<\/strong>. La question de savoir si une page Web doit \u00eatre index\u00e9e en est une autre.<\/p>\n<\/blockquote>\n\n\n\n

Qu'est-ce qu'un fichier robots.txt ?<\/h2>\n\n\n\n

Le d\u00e9 robots.txt<\/code> est un fichier texte simple situ\u00e9 dans le r\u00e9pertoire racine d'un h\u00f4te.<\/p>\n\n\n\n

Pour un site Web \u00e0 l'adresse :<\/p>\n\n\n\n

\nhttps:\/\/example.com\n<\/div><\/figure>\n\n\n\n

le fichier se trouve-t-il sous :<\/p>\n\n\n\n

https:\/\/example.com\/robots.txt<\/code><\/p>\n\n\n\n

Les robots d'indexation des moteurs de recherche r\u00e9cup\u00e8rent ce fichier et v\u00e9rifient quelles r\u00e8gles de exploration s'appliquent \u00e0 eux.<\/p>\n\n\n\n

O\u00f9 doit se trouver le fichier robots.txt ?<\/h2>\n\n\n\n

Le fichier doit se trouver directement dans le r\u00e9pertoire racine de l'h\u00f4te concern\u00e9.<\/p>\n\n\n\n

Correct :<\/p>\n\n\n\n

https:\/\/example.com\/robots.txt<\/code><\/p>\n\n\n\n

Un fichier sous :<\/p>\n\n\n\n

https:\/\/example.com\/verzeichnis\/robots.txt<\/code><\/p>\n\n\n\n

n'est-ce pas le \/ n'est-ce pas la robots.txt<\/code> pour l'ensemble du site web.<\/p>\n\n\n\n

Le nom de fichier doit robots.txt<\/code> lauten.<\/p>\n\n\n\n

Le fichier robots.txt s'applique toujours \u00e0 l'h\u00f4te respectif<\/h2>\n\n\n\n

Une particularit\u00e9 technique importante est le champ d'application.<\/p>\n\n\n\n

Le fichier situ\u00e9 \u00e0 :<\/p>\n\n\n\n

https:\/\/example.com\/robots.txt<\/code><\/p>\n\n\n\n

s'applique aux URL sous cet h\u00f4te et ce protocole.<\/p>\n\n\n\n

Elle ne s'applique pas automatiquement \u00e0 :<\/p>\n\n\n\n

\nhttps:\/\/shop.example.com\n<\/div><\/figure>\n\n\n\n

robots.txt robots.txt<\/code> sous leur h\u00f4te.<\/p>\n\n\n\n

De m\u00eame, les diff\u00e9rents protocoles et ports sont trait\u00e9s s\u00e9par\u00e9ment sur le plan technique.<\/p>\n\n\n\n

Comment est structur\u00e9e une robots.txt ?<\/h2>\n\n\n\n

Un fichier simple peut par exemple ressembler \u00e0 ceci :<\/p>\n\n\n\n

User-agent: *\nDisallow: \/intern\/\n\nSitemap: https:\/\/example.com\/sitemap.xml<\/code><\/pre>\n\n\n\n
Les \u00e9l\u00e9ments les plus importants sont :<\/p>\n\n\n\n
Instruction<\/th>Sens<\/th><\/tr><\/thead>
Agent utilisateur<\/code><\/td>D\u00e9terminez \u00e0 quel robot d'indexation s'appliquent les r\u00e8gles suivantes<\/td><\/tr>
Interdire<\/code><\/td>Emp\u00eache l'exploration des chemins d'URL correspondants<\/td><\/tr>
Autoriser<\/code><\/td>Autorise l'exploration des chemins d'URL correspondants au sein des groupes de r\u00e8gles correspondants<\/td><\/tr>
Plan du site<\/code><\/td>Fournit l'adresse compl\u00e8te d'un sitemap.<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
Que signifie User-agent ?<\/h2>\n\n\n\n
Avec Agent utilisateur<\/code> il est d\u00e9termin\u00e9 pour quel robot d'indexation un groupe de r\u00e8gles est destin\u00e9.<\/p>\n\n\n\n
L'ast\u00e9risque repr\u00e9sente ici tous les robots d'indexation auxquels s'applique ce groupe g\u00e9n\u00e9ral :<\/p>\n\n\n\n
User-agent: *<\/code><\/pre>\n\n\n\n
Une r\u00e8gle peut \u00e9galement \u00eatre \u00e9crite sp\u00e9cifiquement pour un robot d'indexation particulier.<\/p>\n\n\n\n
Par exemple :<\/p>\n\n\n\n
User-agent: Googlebot\nDisallow: \/beispiel\/<\/code><\/pre>\n\n\n\n
Ce groupe de r\u00e8gles cible ainsi sp\u00e9cifiquement Googlebot.<\/p>\n\n\n\n
Que signifie Disallow ?<\/h2>\n\n\n\n
Avec Interdire<\/code> tu peux exclure un chemin d'URL pour le robot d'indexation respectif du crawling.<\/p>\n\n\n\n
Exemple :<\/p>\n\n\n\n
User-agent: *\nDisallow: \/intern\/<\/code><\/pre>\n\n\n\n
Cela indique aux robots d'exploration concern\u00e9s que les URL situ\u00e9es sous ce chemin ne doivent pas \u00eatre explor\u00e9es.<\/p>\n\n\n\n
Par exemple :<\/p>\n\n\n\n
https:\/\/example.com\/intern\/\n\nhttps:\/\/example.com\/intern\/datei.html\n\nhttps:\/\/example.com\/intern\/unterordner\/<\/code><\/pre>\n\n\n\n
Que signifie une instruction Disallow vide ?<\/h2>\n\n\n\n
Un vide Interdire<\/code>-L'instruction ne bloque aucun chemin.<\/p>\n\n\n\n
Exemple :<\/p>\n\n\n\n
User-agent: *\nDisallow:<\/code><\/pre>\n\n\n\n
Cela n'exclut rien du crawling pour ce groupe de r\u00e8gles.<\/p>\n\n\n\n
Cependant, si l'int\u00e9gralit\u00e9 de votre site web peut \u00eatre explor\u00e9e, une telle r\u00e8gle n'est pas strictement n\u00e9cessaire. En principe, un site web peut \u00e9galement [se terminer brusquement ici] robots.txt<\/code>-R\u00e8gles soient explor\u00e9es.<\/p>\n\n\n\n
Bloquer l'ensemble du site Web pour les robots d'indexation<\/h2>\n\n\n\n
La r\u00e8gle suivante est particuli\u00e8rement importante :<\/p>\n\n\n\n
User-agent: *\nDisallow: \/<\/code><\/pre>\n\n\n\n
Elle indique aux robots d'indexation concern\u00e9s de ne pas crawler l'ensemble du site Web.<\/p>\n\n\n\n
\n
Attention :<\/strong> Cette configuration ne doit pas rester active par inadvertance sur un site web indexable publiquement. Surtout apr\u00e8s le passage d'un environnement de d\u00e9veloppement ou de staging au site de production, vous devriez robots.txt<\/code> contr\u00f4ler.<\/p>\n<\/blockquote>\n\n\n\n
Que signifie Allow ?<\/h2>\n\n\n\n
Avec Autoriser<\/code> un chemin sp\u00e9cifique au sein d'une structure par ailleurs bloqu\u00e9e peut \u00eatre express\u00e9ment autoris\u00e9 pour le crawling.<\/p>\n\n\n\n
Un exemple simplifie :<\/p>\n\n\n\n
User-agent: *\nDisallow: \/bereich\/\nAllow: \/bereich\/oeffentlich\/<\/code><\/pre>\n\n\n\n
Cela bloque fondamentalement la zone, tandis que le chemin sp\u00e9cifiquement autoris\u00e9 peut \u00eatre explor\u00e9.<\/p>\n\n\n\n
Allow et Disallow peuvent \u00eatre utilis\u00e9s ensemble<\/h2>\n\n\n\n
Les sites Web plus complexes peuvent n\u00e9cessiter des r\u00e8gles o\u00f9 une zone plus large est exclue et une ressource ou sous-structure sp\u00e9cifique est r\u00e9autoris\u00e9e.<\/p>\n\n\n\n
Il convient d'y travailler avec une attention particuli\u00e8re, car de l\u00e9gers changements dans le mod\u00e8le d'URL peuvent avoir un effet diff\u00e9rent de celui escompt\u00e9.<\/p>\n\n\n\n
\n
Conseil pratique :<\/strong> Ferme ta robots.txt<\/code> Le plus simple possible. Vous ne devez utiliser des r\u00e8gles complexes que s'il y a une raison technique concr\u00e8te.<\/p>\n<\/blockquote>\n\n\n\n
Le fichier robots.txt n'est pas une mesure de s\u00e9curit\u00e9<\/h2>\n\n\n\n
Une Interdire<\/code>-La r\u00e8gle ne prot\u00e8ge pas les donn\u00e9es confidentielles.<\/p>\n\n\n\n
Le fichier est accessible publiquement et ses r\u00e8gles peuvent \u00eatre consult\u00e9es par tout le monde.<\/p>\n\n\n\n
Par exemple, si vous saisissez :<\/p>\n\n\n\n
User-agent: *\nDisallow: \/geheime-dokumente\/<\/code><\/pre>\n\n\n\n
Le chemin n'est donc pas prot\u00e9g\u00e9 des visiteurs.<\/p>\n\n\n\n
Quiconque conna\u00eet l'URL peut continuer \u00e0 y acc\u00e9der directement, \u00e0 moins qu'il n'y ait une v\u00e9ritable protection contre l'acc\u00e8s.<\/p>\n\n\n\n
\n
Important :<\/strong> Les contenus confidentiels doivent \u00eatre prot\u00e9g\u00e9s par des m\u00e9canismes d'acc\u00e8s appropri\u00e9s. Une robots.txt<\/code> il n'y a pas de protection par mot de passe ni de contr\u00f4le d'acc\u00e8s.<\/p>\n<\/blockquote>\n\n\n\n
robots.txt et noindex ne sont pas la m\u00eame chose<\/h2>\n\n\n\n
C'est la diff\u00e9rence la plus importante de tout l'article.<\/p>\n\n\n\n
robots.txt<\/th>noindex<\/th><\/tr><\/thead>
contr\u00f4le l'exploration<\/td>contr\u00f4le l'indexation<\/td><\/tr>
est disponible sous forme de fichier texte central<\/td>est par exemple d\u00e9livr\u00e9 sous forme de directive meta robots ou d'en-t\u00eate HTTP<\/td><\/tr>
peut emp\u00eacher la r\u00e9cup\u00e9ration d'une URL<\/td>indique aux moteurs de recherche de ne pas indexer la page<\/td><\/tr>
aucun outil fiable pour supprimer une page Web de Google<\/td>destin\u00e9 \u00e0 l'exclusion d'une page accessible de l'index<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
Pourquoi une URL bloqu\u00e9e peut-elle quand m\u00eame appara\u00eetre sur Google ?<\/h2>\n\n\n\n
Google peut \u00e9galement conna\u00eetre une URL par d'autres moyens, par exemple par des liens provenant d'autres sites Web.<\/p>\n\n\n\n
Si l'URL par robots.txt<\/code> est exclu du crawling, Google ne peut pas r\u00e9cup\u00e9rer son contenu r\u00e9el normalement.<\/p>\n\n\n\n
Google peut tout de m\u00eame conna\u00eetre l'URL.<\/p>\n\n\n\n
C'est pourquoi l'hypoth\u00e8se suivante est fausse :<\/p>\n\n\n\n
Interdit = certainement pas sur Google<\/code><\/p>\n\n\n\n
Un par robots.txt<\/code> Une URL bloqu\u00e9e peut dans certaines circonstances continuer \u00e0 appara\u00eetre en tant qu'URL dans les r\u00e9sultats de recherche.<\/p>\n\n\n\n
Pourquoi noindex ne fonctionne-t-il pas si Google n'est pas autoris\u00e9 \u00e0 crawler la page ?<\/h2>\n\n\n\n
En supposant qu'une page contienne :<\/p>\n\n\n\n
<meta name=\"robots\" content=\"noindex\"><\/code><\/pre>\n\n\n\n
et en m\u00eame temps bloque la robots.txt<\/code> Google refuse l'acc\u00e8s \u00e0 cette page.<\/p>\n\n\n\n
Un probl\u00e8me se pose alors :<\/p>\n\n\n\n
robots.txt\nbloque l'exploration\n        \u2193\nGoogle ne r\u00e9cup\u00e8re pas la page\n        \u2193\nGoogle ne voit pas la balise noindex<\/code><\/pre>\n\n\n\n
Pour que Google puisse noindex<\/code>-Le robot d'indexation doit \u00eatre autoris\u00e9 \u00e0 acc\u00e9der \u00e0 la page concern\u00e9e pour pouvoir d\u00e9tecter l'instruction.<\/p>\n\n\n\n
\n
Remarque :<\/strong> Si une page accessible au public doit \u00eatre exclue de l'index Google, vous ne devez pas en m\u00eame temps emp\u00eacher Google de noindex<\/code>-Instruction \u00e0 voir.<\/p>\n<\/blockquote>\n\n\n\n
Peut-on \u00e9crire noindex dans le fichier robots.txt ?<\/h2>\n\n\n\n
Non. Google soutient noindex<\/code> pas comme une r\u00e8gle au sein de la robots.txt<\/code>.<\/p>\n\n\n\n
Par cons\u00e9quent, vous ne devriez pas utiliser les \u00e9l\u00e9ments suivants :<\/p>\n\n\n\n
User-agent: *\nNoindex: \/beispiel\/<\/code><\/pre>\n\n\n\n
Si l'on ne souhaite pas qu'une page HTML soit index\u00e9e, il est possible d'utiliser par exemple une balise meta robots :<\/p>\n\n\n\n
<meta name=\"robots\" content=\"noindex\"><\/code><\/pre>\n\n\n\n
Pour d'autres types de ressources, un en-t\u00eate HTTP appropri\u00e9 peut \u00eatre utilis\u00e9 selon le cas d'utilisation.<\/p>\n\n\n\n
Quand le fichier robots.txt est-il utile ?<\/h2>\n\n\n\n
Une robots.txt<\/code> est particuli\u00e8rement utile si tu souhaites contr\u00f4ler l'exploration de certaines zones d'URL.<\/p>\n\n\n\n
Cela peut par exemple \u00eatre pertinent pour les sites web qui poss\u00e8dent un tr\u00e8s grand nombre de variantes d'URL g\u00e9n\u00e9r\u00e9es techniquement.<\/p>\n\n\n\n
Les cas possibles sont :<\/p>\n\n\n\n
certains domaines techniques\n\ndes URL de recherche ou de filtre inutiles\n\ncertains mod\u00e8les d'URL g\u00e9n\u00e9r\u00e9s automatiquement\n\nl'acc\u00e8s des robots d'exploration \u00e0 des ressources individuelles\n\nde grands volumes d'URL d'exploration non pertinentes<\/code><\/pre>\n\n\n\n
Cependant, l'utilit\u00e9 d'un verrou doit \u00eatre \u00e9valu\u00e9e pour chaque syst\u00e8me sp\u00e9cifique.<\/p>\n\n\n\n
Toutes les URL techniques ne doivent pas n\u00e9cessairement \u00eatre bloqu\u00e9es<\/h2>\n\n\n\n
Une longue robots.txt<\/code> n'est pas automatiquement meilleure qu'une courte.<\/p>\n\n\n\n
Pour les petits sites web bien structur\u00e9s, il n'y a souvent aucune raison de bloquer par pr\u00e9caution de nombreux r\u00e9pertoires.<\/p>\n\n\n\n
Chaque r\u00e8gle suppl\u00e9mentaire augmente plut\u00f4t le risque d'exclure par inadvertance des contenus ou des ressources importants.<\/p>\n\n\n\n
Qu'en est-il de WordPress ?<\/h2>\n\n\n\n
Les sites WordPress poss\u00e8dent souvent un contenu fourni automatiquement ou dynamiquement robots.txt<\/code>.<\/p>\n\n\n\n
Selon la configuration et les plugins utilis\u00e9s, leur contenu peut diff\u00e9rer.<\/p>\n\n\n\n
C'est pourquoi tu ne dois pas reprendre aveugl\u00e9ment un \u201e robots.txt WordPress optimal \u201c d'origine inconnue provenant d'Internet.<\/p>\n\n\n\n
Ouvrez d'abord :<\/p>\n\n\n\n
https:\/\/deine-domain.ch\/robots.txt<\/code><\/p>\n\n\n\n
et v\u00e9rifie quelles r\u00e8gles ton site web livre r\u00e9ellement.<\/p>\n\n\n\n
Le param\u00e8tre de visibilit\u00e9 pour les moteurs de recherche de WordPress<\/h2>\n\n\n\n
WordPress propose dans ses r\u00e9glages une option permettant d'emp\u00eacher les moteurs de recherche d'indexer le site Web.<\/p>\n\n\n\n
Ce param\u00e8tre est par exemple pertinent pendant une phase de d\u00e9veloppement.<\/p>\n\n\n\n
Dans le cas d'un site web public, vous devez imp\u00e9rativement v\u00e9rifier apr\u00e8s le lancement qu'aucune ancienne configuration de d\u00e9veloppement n'a \u00e9t\u00e9 laiss\u00e9e par inadvertance.<\/p>\n\n\n\n
Le r\u00e9sultat technique qui en d\u00e9coule peut d\u00e9pendre de la version de WordPress, de la configuration et des plugins utilis\u00e9s. C'est pourquoi le site web effectivement livr\u00e9 est toujours d\u00e9terminant.<\/p>\n\n\n\n
Traiter correctement les sites de staging<\/h2>\n\n\n\n
Un site de d\u00e9veloppement ou de staging ne devrait normalement pas appara\u00eetre publiquement dans les moteurs de recherche.<\/p>\n\n\n\n
Une pure robots.txt<\/code>-Cependant, le verrouillage n'offre pas une protection compl\u00e8te contre cela.<\/p>\n\n\n\n
Pour les environnements de d\u00e9veloppement non publics, une v\u00e9ritable protection par le contr\u00f4le d'acc\u00e8s est nettement plus fiable.<\/p>\n\n\n\n
Par exemple :<\/p>\n\n\n\n
Site de staging\n\u2193\nAuthentification \/\nProtection par mot de passe\n\u2193\nNon accessible au public<\/code><\/pre>\n\n\n\n
Cela prot\u00e8ge non seulement contre l'exploration par les moteurs de recherche, mais aussi contre tout acc\u00e8s public non souhait\u00e9.<\/p>\n\n\n\n
V\u00e9rifier le robots.txt apr\u00e8s une refonte<\/h2>\n\n\n\n
Apr\u00e8s une refonte de site web, la robots.txt<\/code> parmi les fichiers que tu devrais absolument v\u00e9rifier.<\/p>\n\n\n\n
V\u00e9rifiez en particulier :<\/p>\n\n\n\n
Le site web de production est-il crawlable ?\n\nEst-ce que Disallow: \/ est activ\u00e9 par erreur ?\n\nDes zones importantes sont-elles bloqu\u00e9es ?\n\nLes ressources CSS\/JS importantes sont-elles accessibles ?\n\nL'adresse du sitemap est-elle correcte ?\n\nLes r\u00e8gles proviennent-elles encore de l'environnement de d\u00e9veloppement ?<\/code><\/pre>\n\n\n\n
Si la structure des URL a \u00e9t\u00e9 modifi\u00e9e en m\u00eame temps, tu dois \u00e9galement v\u00e9rifier les redirections, les sitemaps et l'\u00e9tat d'indexation.<\/p>\n\n\n\n
Ne pas bloquer inutilement les fichiers CSS et JavaScript importants<\/h2>\n\n\n\n
Google restitue les sites web modernes et a souvent besoin pour cela de ressources CSS, JavaScript et autres.<\/p>\n\n\n\n
Lorsque des ressources importantes par robots.txt<\/code> \u00eatre bloqu\u00e9, Google pourrait ne pas \u00eatre en mesure de traiter et d'afficher une page de la m\u00eame mani\u00e8re qu'un visiteur normal la voit.<\/p>\n\n\n\n
C'est pourquoi vous ne devez pas bloquer globalement les r\u00e9pertoires CSS et JavaScript simplement parce que ces fichiers eux-m\u00eames ne sont pas destin\u00e9s \u00e0 appara\u00eetre comme des r\u00e9sultats de recherche normaux.<\/p>\n\n\n\n
Google doit pouvoir comprendre la page le plus possible comme le ferait un visiteur<\/h2>\n\n\n\n
Si la mise en page, la navigation ou les contenus essentiels d\u00e9pendent de JavaScript ou du CSS, le blocage de ces ressources peut compliquer le traitement.<\/p>\n\n\n\n
En cas de probl\u00e8me, vous pouvez utiliser l'outil d'inspection d'URL de la Google Search Console pour examiner comment Google traite la page concern\u00e9e.<\/p>\n\n\n\n
Pour en savoir plus sur la v\u00e9rification d'URL, consultez Google n'indexe pas mon site web : v\u00e9rifier les causes<\/a>.<\/p>\n\n\n\n
Sp\u00e9cifier un sitemap dans robots.txt<\/h2>\n\n\n\n
Le d\u00e9 robots.txt<\/code> peut pointer vers un plan de site XML.<\/p>\n\n\n\n
Exemple :<\/p>\n\n\n\n
User-agent: *\nDisallow:\n\nSitemap: https:\/\/example.com\/sitemap.xml<\/code><\/pre>\n\n\n\n
L'adresse du sitemap doit \u00eatre indiqu\u00e9e en entier.<\/p>\n\n\n\n
Si votre site Web utilise un index de sitemap, celui-ci peut \u00eatre sp\u00e9cifi\u00e9 en cons\u00e9quence :<\/p>\n\n\n\n
Plan du site : https:\/\/example.com\/sitemap_index.xml<\/code><\/pre>\n\n\n\n
Nous expliquons le fonctionnement des sitemaps XML et la mani\u00e8re de les soumettre \u00e0 Google sur Plan du site XML : Ce qu'il fait et comment le soumettre \u00e0 Google<\/a>.<\/p>\n\n\n\n
Le plan du site (sitemap) et le fichier robots.txt ont des r\u00f4les oppos\u00e9s<\/h2>\n\n\n\n
Pour faire simple, vous pouvez retenir la diff\u00e9rence ainsi :<\/p>\n\n\n\n
Plan du site\n\n\"Voici les URL importantes\nque tu devrais conna\u00eetre.\"\n\n\nrobots.txt\n\n\"Tu ne dois pas explorer\nces zones d'URL.\"<\/code><\/pre>\n\n\n\n
C'est pourquoi les deux configurations doivent logiquement correspondre.<\/p>\n\n\n\n
Ne pas recommander et bloquer une URL en m\u00eame temps<\/h2>\n\n\n\n
Si une URL figure dans votre sitemap XML en tant que page importante et indexable, elle ne doit pas en m\u00eame temps par robots.txt<\/code> \u00eatre exclu du crawling.<\/p>\n\n\n\n
Une telle configuration g\u00e9n\u00e8re des signaux contradictoires :<\/p>\n\n\n\n
Plan du site :\n\"Cette URL est pertinente.\"\n\nrobots.txt :\n\"Ne pas r\u00e9cup\u00e9rer cette URL.\"<\/code><\/pre>\n\n\n\n
V\u00e9rifiez donc toujours les deux c\u00f4t\u00e9s de la configuration en cas de probl\u00e8mes d'indexation.<\/p>\n\n\n\n
Utiliser des commentaires dans robots.txt<\/h2>\n\n\n\n
Les commentaires peuvent \u00eatre avec un #<\/code> \u00eatre initi\u00e9.<\/p>\n\n\n\n
Exemple :<\/p>\n\n\n\n
# Ne pas explorer la zone technique\nUser-agent: *\nDisallow: \/intern\/<\/code><\/pre>\n\n\n\n
Tout apr\u00e8s #<\/code> est trait\u00e9 comme un commentaire dans cette ligne.<\/p>\n\n\n\n
Les commentaires peuvent aider \u00e0 documenter pourquoi une r\u00e8gle sp\u00e9cifique existe dans le cas de fichiers plus complexes.<\/p>\n\n\n\n
Respecter la casse des chemins d'URL<\/h2>\n\n\n\n
Dans les chemins d'URL Autoriser<\/code>\u2013 et Interdire<\/code>-r\u00e8gles, la casse est importante.<\/p>\n\n\n\n
Par exemple :<\/p>\n\n\n\n
\/Images\/\n\n\/images\/<\/code><\/pre>\n\n\n\n
pas n\u00e9cessairement le m\u00eame mod\u00e8le d'URL.<\/p>\n\n\n\n
\u00c9crivez par cons\u00e9quent des r\u00e8gles adapt\u00e9es aux chemins d'URL r\u00e9ellement utilis\u00e9s.<\/p>\n\n\n\n
Caract\u00e8res g\u00e9n\u00e9riques dans robots.txt<\/h2>\n\n\n\n
Google prend en charge, entre autres, l'ast\u00e9risque dans les r\u00e8gles de chemin d'acc\u00e8s. *<\/code> comme espace r\u00e9serv\u00e9.<\/p>\n\n\n\n
Un exemple :<\/p>\n\n\n\n
User-agent: Googlebot\nDisallow: \/*.pdf<\/code><\/pre>\n\n\n\n
Cela permet de capturer les chemins d'URL \u00e0 l'aide d'un motif.<\/p>\n\n\n\n
Vous devez utiliser ce type de r\u00e8gles avec pr\u00e9caution, car elles peuvent concerner nettement plus d'URL qu'une simple r\u00e8gle de r\u00e9pertoire.<\/p>\n\n\n\n
Le signe dollar pour la fin d'une URL<\/h2>\n\n\n\n
Google prend \u00e9galement en charge $<\/code>, pour marquer la fin d'un motif d'URL.<\/p>\n\n\n\n
Exemple :<\/p>\n\n\n\n
User-agent : Googlebot\nDisallow : \/*.pdf$<\/code><\/pre>\n\n\n\n
Le mod\u00e8le cible les URL dont le chemin correspond \u00e0 .pdf<\/code> se termine.<\/p>\n\n\n\n
Une URL comportant des caract\u00e8res suppl\u00e9mentaires ou des param\u00e8tres selon ce mod\u00e8le peut ainsi \u00eatre trait\u00e9e diff\u00e9remment.<\/p>\n\n\n\n
\n
Conseil pratique :<\/strong> Les caract\u00e8res g\u00e9n\u00e9riques sont puissants, mais sujets aux erreurs. Pour un site Web d'entreprise normal, vous ne devriez pas utiliser de motifs compliqu\u00e9s si des r\u00e8gles simples remplissent le m\u00eame objectif.<\/p>\n<\/blockquote>\n\n\n\n
Quelle r\u00e8gle l'emporte en cas de chevauchement ?<\/h2>\n\n\n\n
Si plusieurs Autoriser<\/code>\u2013 et Interdire<\/code>-r\u00e8gles correspondent \u00e0 une URL, Google \u00e9value la r\u00e8gle sp\u00e9cifique correspondante en fonction de la longueur du chemin correspondant.<\/p>\n\n\n\n
Un exemple simplifie :<\/p>\n\n\n\n
User-agent: *\nDisallow: \/ordner\/\nAllow: \/ordner\/oeffentlich\/<\/code><\/pre>\n\n\n\n
Pour une URL sous :<\/p>\n\n\n\n
\nhttps:\/\/example.com\/ordner\/oeffentlich\/seite\n<\/div><\/figure>\n\n\n\n
est la plus sp\u00e9cifique Autoriser<\/code>-R\u00e8gle d\u00e9terminante.<\/p>\n\n\n\n
C'est pourquoi, en particulier pour les ensembles de r\u00e8gles complexes, vous ne devez pas seulement regarder l'ordre des lignes.<\/p>\n\n\n\n
D\u00e9lai d'exploration et Google<\/h2>\n\n\n\n
Manche robots.txt<\/code>-Les exemples sur Internet contiennent une instruction telle que :<\/p>\n\n\n\n
Crawl-delay: 10<\/code><\/pre>\n\n\n\n
Google prend en charge d\u00e9lai d'exploration<\/code> dans robots.txt<\/code> pas.<\/p>\n\n\n\n
Vous ne devez donc pas utiliser cette instruction comme m\u00e9thode pour contr\u00f4ler la vitesse de crawl de Googlebot.<\/p>\n\n\n\n
ne pas encombrer inutilement le robots.txt avec des r\u00e8gles tierces<\/h2>\n\n\n\n
On trouve sur Internet de nombreux fichiers pr\u00eats \u00e0 l'emploi contenant de longues listes de bots et de r\u00e8gles.<\/p>\n\n\n\n
Tu ne devrais pas reprendre de tels mod\u00e8les aveugl\u00e9ment.<\/p>\n\n\n\n
Une configuration externe peut :<\/p>\n\n\n\n
\u00eatre destin\u00e9 \u00e0 un autre CMS\ncontenir des r\u00e8gles obsol\u00e8tes\nbloquer des ressources importantes\ncontenir des r\u00e8gles de bot inutiles\nne pas correspondre \u00e0 la structure de vos URL\nrendre les erreurs futures plus difficiles \u00e0 identifier<\/code><\/pre>\n\n\n\n
Un fichier court, compr\u00e9hensible et document\u00e9 est souvent la meilleure solution.<\/p>\n\n\n\n
robots.txt et robots d'indexation IA<\/h2>\n\n\n\n
D'autres syst\u00e8mes automatis\u00e9s peuvent \u00e9galement utiliser leurs propres noms d'agents utilisateurs et respecter le protocole d'exclusion des robots.<\/p>\n\n\n\n
Le fait qu'un service particulier interpr\u00e8te ou non les r\u00e8gles de crawling, et comment il le fait, d\u00e9pend du fournisseur et du robot d'indexation concern\u00e9s.<\/p>\n\n\n\n
Vous ne devez donc pas supposer qu'une seule r\u00e8gle pour Googlebot<\/code> concerne automatiquement l'ensemble des moteurs de recherche, des intelligences artificielles, des outils d'analyse et autres robots d'indexation.<\/p>\n\n\n\n
Si vous souhaitez cibler et contr\u00f4ler un robot d'indexation particulier, vous devriez consulter sa documentation officielle actuelle et la d\u00e9signation de son agent utilisateur.<\/p>\n\n\n\n
V\u00e9rifier robots.txt publiquement dans le navigateur<\/h2>\n\n\n\n
La premi\u00e8re v\u00e9rification, et la plus simple, consiste \u00e0 appeler directement le fichier :<\/p>\n\n\n\n
https:\/\/deine-domain.ch\/robots.txt<\/code><\/p>\n\n\n\n
V\u00e9rifiez ensuite :<\/p>\n\n\n\n
Le fichier est-il affich\u00e9 ?\n\nLe contenu est-il conforme aux attentes ?\n\nY a-t-il un Disallow: \/ ?\n\nDes chemins importants sont-ils bloqu\u00e9s ?\n\nLe sitemap est-il correct ?\n\nY a-t-il d'anciennes r\u00e8gles ?<\/code><\/pre>\n\n\n\n
V\u00e9rifier le fichier robots.txt dans la Search Console de Google<\/h2>\n\n\n\n
Google Search Console fournit des informations sur les \u00e9l\u00e9ments reconnus par Google robots.txt<\/code> Pr\u00eat.<\/p>\n\n\n\n
Cela vous permet par exemple de v\u00e9rifier quel fichier Google a d\u00e9tect\u00e9 pour votre site web et s'il y des probl\u00e8mes lors de la r\u00e9cup\u00e9ration.<\/p>\n\n\n\n
Pour une URL sp\u00e9cifique, l'outil d'inspection d'URL est \u00e9galement important si vous souhaitez examiner si Google peut explorer la page.<\/p>\n\n\n\n
Apr\u00e8s une modification, ne pas se contenter de v\u00e9rifier le navigateur<\/h2>\n\n\n\n
Si vous robots.txt<\/code>-tu as modifi\u00e9 la r\u00e8gle, tu ne devrais pas seulement v\u00e9rifier si le nouveau fichier est visible dans le navigateur.<\/p>\n\n\n\n
V\u00e9rifiez en outre une ou plusieurs URL effectivement concern\u00e9es.<\/p>\n\n\n\n
Par exemple :<\/p>\n\n\n\n
R\u00e8gle modifi\u00e9e\n        \u2193\nV\u00e9rifier robots.txt dans le navigateur\n        \u2193\nIdentifier l'URL concern\u00e9e\n        \u2193\nUtiliser l'outil d'inspection d'URL\n        \u2193\nContr\u00f4ler l'explorabilit\u00e9<\/code><\/pre>\n\n\n\n
Google peut mettre en cache le fichier robots.txt<\/h2>\n\n\n\n
Google rappelle robots.txt<\/code> r\u00e9guli\u00e8rement et peut en mettre le contenu en cache.<\/p>\n\n\n\n
Une modification ne doit donc pas n\u00e9cessairement \u00eatre prise en compte \u00e0 la m\u00eame seconde lors de chaque exploration.<\/p>\n\n\n\n
Une fois que vous avez r\u00e9solu un probl\u00e8me critique de blocage, vous devez v\u00e9rifier l'\u00e9tat actuel et donner \u00e0 Google le temps de r\u00e9cup\u00e9rer et de traiter \u00e0 nouveau la modification.<\/p>\n\n\n\n
Que se passe-t-il si robots.txt est inaccessible ?<\/h2>\n\n\n\n
Le comportement d'un robot d'indexation d\u00e9pend \u00e9galement du statut HTTP que robots.txt<\/code> livre.<\/p>\n\n\n\n
Un manquant permanent robots.txt<\/code>-Le document n'est pas identique \u00e0 une erreur temporaire du serveur lors de la r\u00e9cup\u00e9ration.<\/p>\n\n\n\n
Vous ne devez donc pas exp\u00e9rimenter intentionnellement avec des \u00e9tats d'erreur pour contr\u00f4ler le crawling.<\/p>\n\n\n\n
Pour un site Web normal, la configuration souhait\u00e9e doit \u00eatre accessible de mani\u00e8re claire et fiable.<\/p>\n\n\n\n
Nous expliquons les bases des r\u00e9ponses HTTP sous Codes d'\u00e9tat HTTP expliqu\u00e9s : 200, 301, 404, 403 et 500<\/a>.<\/p>\n\n\n\n
robots.txt et 404<\/h2>\n\n\n\n
Si non robots.txt<\/code> existe et que la r\u00e9cup\u00e9ration correspondante renvoie un statut normal de type \u201e non trouv\u00e9 \u201c, Google traite fondamentalement la situation comme s'il n'y avait aucune restriction deexploration par un fichier robots.txt.<\/p>\n\n\n\n
Cela ne signifie pas pour autant que tu devrais g\u00e9n\u00e9rer intentionnellement un fichier erron\u00e9.<\/p>\n\n\n\n
Une configuration existante et compr\u00e9hensible est g\u00e9n\u00e9ralement plus simple pour la maintenance et le diagnostic.<\/p>\n\n\n\n
V\u00e9rifier le fichier robots.txt d'un nouveau site web<\/h2>\n\n\n\n
Avant le lancement d'un nouveau site web, vous devriez v\u00e9rifier les points suivants :<\/p>\n\n\n\n
robots.txt accessible ?\n        \u2193\npas de blocage total\naccidentel ?\n        \u2193\npages importantes\ncrawlables ?\n        \u2193\nressources importantes\ncrawlables ?\n        \u2193\nadresse du sitemap\ncorrecte ?\n        \u2193\ncontr\u00f4ler noindex\ns\u00e9par\u00e9ment ?\n        \u2193\nSearch Console\nconfigur\u00e9e ?\n        \u2193\ntester les URLs\nimportantes ?<\/code><\/pre>\n\n\n\n
robots.txt apr\u00e8s un changement de domaine<\/h2>\n\n\n\n
Lors d'un changement de domaine, vous devez robots.txt<\/code> \u00e0 prendre en compte aussi bien dans le cadre de l'ancien que du nouveau domaine.<\/p>\n\n\n\n
Le nouveau site Web ne doit pas emp\u00eacher accidentellement Google de l'indexer.<\/p>\n\n\n\n
En m\u00eame temps, les redirections n\u00e9cessaires des anciennes URL doivent \u00eatre accessibles pour Google.<\/p>\n\n\n\n
Ne bloquez donc pas syst\u00e9matiquement l'ancien site web si Google doit encore pouvoir crawler ses redirections.<\/p>\n\n\n\n
robots.txt et redirections<\/h2>\n\n\n\n
Si Google supprime une ancienne URL en raison d'une robots.txt<\/code>Une r\u00e8gle -Disallow peut emp\u00eacher Google de r\u00e9cup\u00e9rer normalement une redirection qui y est configur\u00e9e.<\/p>\n\n\n\n
Lors d'une migration, Google doit donc en principe pouvoir r\u00e9cup\u00e9rer les anciennes URL pertinentes afin de d\u00e9tecter leurs redirections vers les nouvelles destinations.<\/p>\n\n\n\n
Nous vous expliquons comment utiliser correctement les redirections permanentes sous Configurer une redirection 301 : rediriger des URL de mani\u00e8re permanente<\/a>.<\/p>\n\n\n\n
Examiner les robots.txt et les codes d'\u00e9tat HTTP ensemble<\/h2>\n\n\n\n
En cas de probl\u00e8mes de r\u00e9f\u00e9rencement technique, vous devez distinguer plusieurs niveaux :<\/p>\n\n\n\n
robots.txt\n\u2192 Google est-il autoris\u00e9 \u00e0 explorer l'URL ?\n\nCode HTTP\n\u2192 Que r\u00e9pond le serveur ?\n\nnoindex\n\u2192 La page peut-elle \u00eatre index\u00e9e ?\n\nCanonical\n\u2192 Quelle est l'URL de la version privil\u00e9gi\u00e9e ?\n\nSitemap\n\u2192 Quelle URL est signal\u00e9e comme pertinente ?<\/code><\/pre>\n\n\n\n
Seule l'interaction de ces signaux montre comment une URL est configur\u00e9e techniquement.<\/p>\n\n\n\n
Exemple : la page publique doit \u00eatre index\u00e9e<\/h2>\n\n\n\n
Supposons que l'URL suivante doive appara\u00eetre sur Google :<\/p>\n\n\n\n
\nhttps:\/\/example.com\/ratgeber\n<\/div><\/figure>\n\n\n\n
Une configuration propre pourrait ressembler, de mani\u00e8re simplifi\u00e9e, \u00e0 ceci :<\/p>\n\n\n\n
robots.txt :\nExploration autoris\u00e9e\n\nHTTP :\n200 OK\n\nMeta Robots :\npas de noindex\n\nBalise canonique :\nhttps:\/\/example.com\/ratgeber\/\n\nSitemap :\nURL incluse\n\nLiens internes :\npr\u00e9sents<\/code><\/pre>\n\n\n\n
Il n'y a donc pas de contradictions techniques \u00e9videntes \u00e0 ces niveaux.<\/p>\n\n\n\n
Exemple : La page ne doit pas \u00eatre index\u00e9e<\/h2>\n\n\n\n
Une page accessible au public doit pouvoir \u00eatre explor\u00e9e par Google, mais ne doit pas appara\u00eetre dans les r\u00e9sultats de recherche.<\/p>\n\n\n\n
Le principe pourrait alors \u00eatre le suivant :<\/p>\n\n\n\n
robots.txt :\nExploration autoris\u00e9e\n\nM\u00e9ta Robots :\nnoindex<\/code><\/pre>\n\n\n\n
Google peut explorer la page qui noindex<\/code>-D\u00e9tecter l'instruction et la traiter en cons\u00e9quence.<\/p>\n\n\n\n
Exemple : espace priv\u00e9<\/h2>\n\n\n\n
Un espace r\u00e9ellement confidentiel ne devrait pas simplement \u00eatre :<\/p>\n\n\n\n
Disallow: \/privat\/<\/code><\/pre>\n\n\n\n
\u201e\u00eatre prot\u00e9g\u00e9.<\/p>\n\n\n\n
Au lieu de cela, il a besoin d'une v\u00e9ritable protection contre les acc\u00e8s non autoris\u00e9s.<\/p>\n\n\n\n
contenu priv\u00e9\n        \u2193\nConnexion \/ Authentification\n        \u2193\nnon accessible publiquement<\/code><\/pre>\n\n\n\n
La question de l'indexation par les moteurs de recherche n'est alors qu'une partie du contr\u00f4le d'acc\u00e8s proprement dit.<\/p>\n\n\n\n
Exemple : site Web complet bloqu\u00e9 par m\u00e9garde<\/h2>\n\n\n\n
Apr\u00e8s une refonte, le fichier indique :<\/p>\n\n\n\n
User-agent: *\nDisallow: \/<\/code><\/pre>\n\n\n\n
Cependant, le site Web doit \u00eatre explor\u00e9 publiquement par Google.<\/p>\n\n\n\n
Alors cette r\u00e8gle est une erreur de configuration critique.<\/p>\n\n\n\n
Apr\u00e8s la correction, vous devez :<\/p>\n\n\n\n
rappeler robots.txt\n        \u2193\ncontr\u00f4ler la r\u00e8gle\n        \u2193\nv\u00e9rifier les URL importantes avec\nla Search Console\n        \u2193\ncontr\u00f4ler le sitemap\n        \u2193\nobserver l'\u00e9volution de l'indexation<\/code><\/pre>\n\n\n\n
Exemple : L'URL est dans le sitemap et bloqu\u00e9e en m\u00eame temps<\/h2>\n\n\n\n
Plan du site :\n\nhttps:\/\/example.com\/produkt\/\n\n\nrobots.txt :\n\nDisallow: \/produkt\/<\/code><\/pre>\n\n\n\n
Si la page produit doit \u00eatre index\u00e9e normalement, ces signaux se contredisent.<\/p>\n\n\n\n
La solution ne consiste pas \u00e0 demander plus souvent \u00e0 Google d'indexer, mais \u00e0 corriger d'abord la configuration technique.<\/p>\n\n\n\n
Quand devriez-vous m\u00eame modifier robots.txt ?<\/h2>\n\n\n\n
Ne modifiez le fichier que si vous avez une raison valable de le faire.<\/p>\n\n\n\n
Par exemple :<\/p>\n\n\n\n
zone de crawl inutile identifi\u00e9e\n\nstructure d'URL g\u00e9n\u00e9r\u00e9e techniquement\nne doit pas \u00eatre crawl\u00e9e\n\ncorriger la r\u00e8gle erron\u00e9e existante\n\najouter l'adresse du sitemap\n\ncontr\u00f4ler un robot d'indexation cibl\u00e9\n\nconfigurer correctement la migration \/ le refonte<\/code><\/pre>\n\n\n\n
\u201eJe veux am\u00e9liorer mon r\u00e9f\u00e9rencement\u201c ne suffit pas en soi pour justifier des d\u00e9penses Interdire<\/code>-d'int\u00e9grer des r\u00e8gles.<\/p>\n\n\n\n
Toujours v\u00e9rifier les impacts avant toute modification<\/h2>\n\n\n\n
Une seule r\u00e8gle courte peut concerner des milliers d'URL.<\/p>\n\n\n\n
De :<\/p>\n\n\n\n
Disallow: \/shop\/filter\/<\/code><\/pre>\n\n\n\n
et<\/p>\n\n\n\n
Disallow: \/shop\/<\/code><\/pre>\n\n\n\n
il peut en r\u00e9sulter des effets tout \u00e0 fait diff\u00e9rents.<\/p>\n\n\n\n
V\u00e9rifiez par cons\u00e9quent pr\u00e9cis\u00e9ment avant l'enregistrement quelles URLs sont concern\u00e9es par une r\u00e8gle.<\/p>\n\n\n\n
\n
Attention :<\/strong> N'exp\u00e9rimentez pas directement sur un site web de production avec des complexit\u00e9 robots.txt<\/code>-R\u00e8gles, si vous ne pouvez pas en \u00e9valuer clairement les impacts.<\/p>\n<\/blockquote>\n\n\n\n
Erreurs fr\u00e9quentes dans robots.txt<\/h2>\n\n\n\n
Disallow : \/ sur le site en direct\n\nutiliser robots.txt comme noindex\n\nbloquer simultan\u00e9ment une page noindex\n\n\" prot\u00e9ger \" du contenu confidentiel uniquement avec robots.txt\n\nbloquer des fichiers CSS importants\n\nbloquer des fichiers JavaScript importants\n\nsaisir une URL de sitemap incorrecte\n\nreprendre d'anciennes r\u00e8gles de staging\n\ncopier des mod\u00e8les WordPress tiers sans les v\u00e9rifier\n\nutiliser des caract\u00e8res g\u00e9n\u00e9riques (wildcards) compliqu\u00e9s sans n\u00e9cessit\u00e9\n\nignorer la casse (majuscules\/minuscules)\n\nutiliser Crawl-delay pour Google\n\nbloquer l'ancien domaine lors d'une migration, alors que les redirections doivent \u00eatre explor\u00e9es<\/code><\/pre>\n\n\n\n
Liste de contr\u00f4le : v\u00e9rifier correctement robots.txt<\/h2>\n\n\n\n
https:\/\/deine-domain.ch\/robots.txt\nacc\u00e9der\n        \u2193\nFichier accessible ?\n        \u2193\nBon hte ? -> Bon h\u00f4te ?\n        \u2193\nV\u00e9rifier les r\u00e8gles User-agent\n        \u2193\nV\u00e9rifier les r\u00e8gles Disallow\n        \u2193\nDisallow: \/ pr\u00e9sent ?\n        \u2193\nV\u00e9rifier les r\u00e8gles Allow\n        \u2193\nContr\u00f4ler les caract\u00e8res g\u00e9n\u00e9riques (wildcards)\n        \u2193\nPages importantes crawlables ?\n        \u2193\nRessources CSS\/JS importantes crawlables ?\n        \u2193\nAdresse du sitemap correcte ?\n        \u2193\nV\u00e9rifier noindex s\u00e9par\u00e9ment\n        \u2193\nTester les URLs importantes dans\nla Search Console\n        \u2193\nRecontr\u00f4ler apr\u00e8s modifications<\/code><\/pre>\n\n\n\n
robots.txt, noindex et sitemap en comparaison<\/h2>\n\n\n\n
Outil<\/th>T\u00e2che principale<\/th>Objectif typique<\/th><\/tr><\/thead>
robots.txt<\/code><\/td>Contr\u00f4ler le crawling<\/td>Emp\u00eacher les robots d'indexation d'acc\u00e9der \u00e0 certaines sections d'URL<\/td><\/tr>
noindex<\/code><\/td>Emp\u00eacher l'indexation<\/td>exclure une page accessible des r\u00e9sultats de recherche<\/td><\/tr>
Plan du site XML<\/td>Communiquer les URL<\/td>Indiquer les URL pertinentes aux moteurs de recherche<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
Ces trois m\u00e9canismes ne se remplacent pas mutuellement.<\/p>\n\n\n\n
Un site web techniquement propre les utilise selon leur t\u00e2che respective.<\/p>\n\n\n\n
R\u00e9sum\u00e9<\/h2>\n\n\n\n
Le d\u00e9 robots.txt<\/code> est un fichier texte accessible au public situ\u00e9 dans le r\u00e9pertoire racine d'un h\u00f4te. Il indique aux robots des moteurs de recherche quelles zones d'URL ils sont autoris\u00e9s \u00e0 explorer et lesquelles ne le sont pas.<\/p>\n\n\n\n
Avec Agent utilisateur<\/code> tu d\u00e9termines le robot d'indexation concern\u00e9. Interdire<\/code> exclut les chemins appropri\u00e9s du crawling, tandis que Autoriser<\/code> peut autoriser des chemins plus sp\u00e9cifiques. De plus, l'adresse compl\u00e8te d'un sitemap XML peut \u00eatre indiqu\u00e9e.<\/p>\n\n\n\n
La distinction la plus importante est : Les robots.txt contr\u00f4lent le crawling et noindex contr\u00f4le l'indexation.<\/strong> Un par robots.txt<\/code> Une URL bloqu\u00e9e peut tout de m\u00eame \u00eatre connue de Google et, dans certaines circonstances, continuer \u00e0 appara\u00eetre dans les r\u00e9sultats de recherche.<\/p>\n\n\n\n
Une robots.txt<\/code> n'est par ailleurs pas une fonction de s\u00e9curit\u00e9. Les contenus confidentiels n\u00e9cessitent une v\u00e9ritable protection contre les acc\u00e8s non autoris\u00e9s.<\/p>\n\n\n\n
Une prudence particuli\u00e8rement s'impose apr\u00e8s une refonte, lors de changements de domaine et sur les sites de staging. Une r\u00e8gle accidentelle telle que Disallow: \/<\/code> peut emp\u00eacher Google d'indexer l'ensemble du site Web productif.<\/p>\n\n\n\n
Vous ne devriez utiliser des r\u00e8gles complexes, des caract\u00e8res g\u00e9n\u00e9riques (wildcards) et de longues listes de robots d'indexation \u00e9trangers que s'il existe une raison technique concr\u00e8te pour le faire.<\/p>\n\n\n\n
Une bonne robots.txt n'est donc pas aussi exhaustive que possible. Elle est aussi simple que possible et aussi sp\u00e9cifique que n\u00e9cessaire \u2013 et chaque blocage qu'elle contient a un objectif compr\u00e9hensible.<\/strong><\/p>","protected":false},"excerpt":{"rendered":"
Die Datei robots.txt geh\u00f6rt zu den grundlegenden Werkzeugen der technischen Suchmaschinenoptimierung. Mit ihr kannst du Suchmaschinen-Crawlern mitteilen, welche Bereiche deiner Website sie crawlen d\u00fcrfen und welche nicht. Eine falsche Konfiguration kann allerdings erhebliche Auswirkungen haben. Im ung\u00fcnstigsten Fall wird Google daran gehindert, wichtige Teile oder sogar die gesamte Website zu crawlen. Genauso wichtig ist zu […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"_joinchat":[],"footnotes":""},"doc_category":[85],"doc_tag":[],"class_list":["post-22916","docs","type-docs","status-publish","hentry","doc_category-seo-monitoring"],"year_month":"2026-09","word_count":3552,"total_views":"6","reactions":{"happy":"0","normal":"0","sad":"0"},"author_info":{"name":"Silvio Mazenauer","author_nicename":"admin-curia","author_url":"https:\/\/www.curiaweb.ch\/fr\/author\/admin-curia\/"},"doc_category_info":[{"term_name":"SEO & Monitoring","term_url":"https:\/\/www.curiaweb.ch\/fr\/hilfe-kategorie\/seo-monitoring\/"}],"doc_tag_info":[],"knowledge_base_info":[],"knowledge_base_slug":[],"_links":{"self":[{"href":"https:\/\/www.curiaweb.ch\/fr\/wp-json\/wp\/v2\/docs\/22916","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.curiaweb.ch\/fr\/wp-json\/wp\/v2\/docs"}],"about":[{"href":"https:\/\/www.curiaweb.ch\/fr\/wp-json\/wp\/v2\/types\/docs"}],"author":[{"embeddable":true,"href":"https:\/\/www.curiaweb.ch\/fr\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.curiaweb.ch\/fr\/wp-json\/wp\/v2\/comments?post=22916"}],"version-history":[{"count":1,"href":"https:\/\/www.curiaweb.ch\/fr\/wp-json\/wp\/v2\/docs\/22916\/revisions"}],"predecessor-version":[{"id":22918,"href":"https:\/\/www.curiaweb.ch\/fr\/wp-json\/wp\/v2\/docs\/22916\/revisions\/22918"}],"wp:attachment":[{"href":"https:\/\/www.curiaweb.ch\/fr\/wp-json\/wp\/v2\/media?parent=22916"}],"wp:term":[{"taxonomy":"doc_category","embeddable":true,"href":"https:\/\/www.curiaweb.ch\/fr\/wp-json\/wp\/v2\/doc_category?post=22916"},{"taxonomy":"doc_tag","embeddable":true,"href":"https:\/\/www.curiaweb.ch\/fr\/wp-json\/wp\/v2\/doc_tag?post=22916"}],"curies":[{"name":"Bien jou\u00e9","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}