Kostenloses Tool
robots.txt-Generator
Erstellen Sie in Sekunden eine korrekte robots.txt — wählen Sie eine Richtlinie, fügen Sie die zu blockierenden Pfade hinzu, verweisen Sie Crawler auf Ihre Sitemap und kopieren Sie das Ergebnis.
Crawl-Regeln
robots.txt
Das Blockieren eines Pfads verhindert das Crawling, nicht die Indexierung. Um eine Seite aus dem Index zu entfernen, erlauben Sie das Crawling und fügen Sie stattdessen ein noindex-Meta-Tag hinzu.
FAQ
Häufige Fragen zu robots.txt
Wozu dient robots.txt?
robots.txt teilt Crawlern von Suchmaschinen mit, welche Bereiche Ihrer Website sie anfragen dürfen und welche nicht. Die Datei liegt im Root-Verzeichnis Ihrer Domain (ihredomain.de/robots.txt) und ist meist das Erste, was Crawler lesen.
Verhindert robots.txt, dass eine Seite indexiert wird?
Nicht zuverlässig. Disallow verhindert das Crawling, aber eine blockierte URL kann trotzdem indexiert werden, wenn andere Websites darauf verlinken. Um eine Seite sicher aus dem Index fernzuhalten, erlauben Sie das Crawling und verwenden stattdessen ein noindex-Meta-Tag.
Sollte ich meine Sitemap in robots.txt eintragen?
Ja. Eine Sitemap:-Zeile hilft Crawlern, alle Ihre URLs zu finden. Sie können auch mehrere Sitemaps angeben.
Werden Daten an einen Server gesendet?
Nein. Die Datei wird direkt in Ihrem Browser erstellt — kopieren Sie sie und laden Sie sie auf Ihre eigene Website hoch.
Technisches SEO, für Sie erledigt.
SERP Agent prüft robots.txt, Sitemaps, Indexierung und über 30 weitere technische Signale — und behebt Probleme anschließend automatisch.