Robots.txt: Der Türsteher Ihrer Website

Die robots.txt ist eine kleine Textdatei im Hauptverzeichnis Ihres Hostings. Sie sagt den Suchmaschinen-Bots (z. B. dem Googlebot), welche Bereiche Ihrer Website sie besuchen dürfen und welche nicht.

Warum ist das wichtig?

Sie möchten verhindern, dass Google sensible Bereiche wie Ihren Admin-Login oder Warenkorb-Seiten indexiert. Das spart "Crawl-Budget" und sorgt dafür, dass Google sich auf Ihre wichtigen Inhalte konzentriert.

Zusammenhang mit der Sitemap

In der Robots.txt wird Google oft auch der Weg zu Ihrer Sitemap gewiesen. Wie Sie eine solche Sitemap erstellen und einreichen, haben wir in unserem Guide "XML-Sitemap: Die Landkarte für Google" erklärt.

Der MarketGoo Check: MarketGoo prüft automatisch, ob Ihre Robots.txt korrekt konfiguriert ist oder ob Sie versehentlich Ihre gesamte Website für Google gesperrt haben.

Jetzt SEO-Status prüfen
Cette réponse était-elle pertinente? 0 Utilisateurs l'ont trouvée utile (0 Votes)