Robots.txt : le videur de votre site web
Le fichier robots.txt est un petit fichier texte situé à la racine de votre hébergement. Il indique aux robots des moteurs de recherche (par exemple, Googlebot) quelles zones de votre site ils peuvent visiter et lesquelles leur sont interdites.
Pourquoi est-ce important ?
Vous voulez éviter que Google n'indexe des zones sensibles comme votre page de connexion admin ou votre panier d'achat. Cela permet d'économiser le « budget de crawl » et garantit que Google se concentre sur vos contenus importants.
Lien avec le Sitemap
Dans le fichier Robots.txt, on indique souvent à Google le chemin vers votre sitemap. Nous avons expliqué comment créer et soumettre un tel sitemap dans notre guide « Sitemap XML : la carte routière pour Google ».
Le test MarketGoo : MarketGoo vérifie automatiquement si votre fichier Robots.txt est correctement configuré ou si vous avez accidentellement bloqué l'accès de tout votre site à Google.
Vérifier le statut SEO maintenant
Vérifier le statut SEO maintenant
