So erstellst du eine Robots.txt-Datei für deine Website

Das Erstellen einer robots.txt-Datei dauert etwa zehn Minuten, und die meiste Zeit wird darauf verwendet, zu entscheiden, was blockiert werden soll, anstatt die Syntax zu schreiben. Eine robots.txt-Datei ist eine einfache Textdatei im Stammverzeichnis Ihrer Domain, die Suchmaschinen-Crawlern mitteilt, welche URLs sie anfordern dürfen. Wenn Sie es richtig machen, lenken Sie das Crawl-Budget auf die Seiten, die wichtig sind. Wenn Sie einen Schrägstrich falsch setzen, können Sie versehentlich Ihre gesamte Website vor Google verstecken.

Diese Anleitung führt Sie Schritt für Schritt durch die gesamte Aufgabe: die vier Direktiven, die Sie tatsächlich benötigen, die Regel "Längste Übereinstimmung gewinnt", die fast jeden verwirrt, echte Allow- und Disallow-Beispiele, genau wo Sie die Datei hochladen müssen und wie Sie sie testen, bevor ein Crawler sie jemals sieht. Keine vagen Standardtexte, kein wortwörtliches Kopieren von Googles Dokumentation.

Was eine Robots.txt-Datei tatsächlich bewirkt#

Eine robots.txt-Datei enthält Anweisungen für Webcrawler und wird unter https://ihredomain.de/robots.txt bereitgestellt. Wenn ein wohlerzogener Bot wie Googlebot Ihre Seite besucht, liest er zuerst diese Datei und befolgt die darin gefundenen Regeln, bevor er eine andere URL anfordert.

Das Schlüsselwort ist „wohlerzogen“. Robots.txt ist eine Bitte, keine Mauer. Google, Bing und andere große Suchmaschinen respektieren sie. Scraper und bösartige Bots können sie völlig ignorieren. Behandeln Sie robots.txt daher als Crawl-Richtlinie, niemals als Sicherheitsmaßnahme.

Wichtig: robots.txt steuert das Crawlen, nicht das Indexieren. Das Blockieren einer URL hier garantiert nicht, dass sie aus den Suchergebnissen verschwindet. Wenn Google anderswo Links zu einer blockierten Seite findet, kann es die URL (ohne Beschreibung) trotzdem auflisten. Um eine Seite aus den Ergebnissen fernzuhalten, benötigen Sie ein noindex-Tag, ein separates Verfahren, das wir gegen Ende behandeln.

Die vier Teile, die Sie tatsächlich verwenden#

Die meisten realen Dateien bestehen aus nur vier Direktiven:

• User-agent: Gibt an, für welchen Crawler die folgenden Regeln gelten. * bedeutet alle Crawler.
• Disallow: Ein URL-Pfad, den der Crawler nicht anfordern soll.
• Allow: Ein URL-Pfad, den der Crawler anfordern darf, um Ausnahmen von einer breiteren Disallow-Regel zu schaffen.
• Sitemap: Die vollständige URL Ihrer XML-Sitemap, damit Crawler alle Ihre Seiten schneller finden.

Es gibt ein paar zusätzliche Direktiven (Crawl-delay, Host-Anweisungen), die wir kurz ansprechen, aber diese vier decken 95% der Websites ab.

Schritt für Schritt eine Robots.txt-Datei erstellen#

Hier ist die vollständige Anleitung, von einer leeren Datei bis zur getesteten, live geschalteten robots.txt. Befolgen Sie die Schritte der Reihe nach, um Fehler zu vermeiden.

Schritt 1: Planen, was gecrawlt werden soll und was nicht#

Bevor Sie eine Zeile schreiben, listen Sie Ihre URL-Muster auf. Öffnen Sie Ihre Seitenstruktur und sortieren Sie die Seiten in zwei Kategorien.

Dinge, die normalerweise gecrawlt werden sollen: Ihre Startseite, Blogbeiträge, Produkt- oder Dienstleistungsseiten, Kategorieseiten und Ihre Sitemap. Dinge, die Sie oft vom Crawlen ausschließen möchten: Admin-Bereiche (/admin/, /wp-admin/), interne Suchergebnisse (/search?), Warenkorb- und Checkout-Seiten, Dankesseiten, Staging- oder doppelte URLs sowie Facettenfilter-URLs, die Tausende von fast identischen Kombinationen erzeugen.

Diese Planung ist die eigentliche Arbeit. Die Syntax ist trivial, sobald Sie Ihre Absicht kennen.

Schritt 2: Den User-Agent-Block schreiben#

Beginnen Sie mit der allgemeinsten Regel, die für alle Crawler gilt:

User-agent: *

Jede Anweisung nach dieser Zeile, bis zur nächsten User-agent-Zeile oder zum Dateiende, gilt für alle Crawler. Wenn Sie eine Regel für einen bestimmten Bot benötigen, fügen Sie einen separaten Block hinzu. Um Googlebot beispielsweise anders zu behandeln als alle anderen:

User-agent: Googlebot
Disallow: /private/

User-agent: *
Disallow: /private/
Disallow: /tmp/

Ein Crawler liest nur den spezifischsten Block, der seinem Namen entspricht. Googlebot befolgt hier den ersten Block und ignoriert den zweiten vollständig. Das überrascht viele, also denken Sie daran: Ein Bot folgt einer Gruppe, nicht der Kombination.

Schritt 3: Disallow- und Allow-Regeln hinzufügen#

Übersetzen Sie nun Ihre Planung aus Schritt 1 in Anweisungen. Jedes Disallow verwendet einen URL-Pfad, der mit / beginnt. Einige Muster, die Sie häufig verwenden werden:

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /search
Allow: /search/help
Disallow: /*.pdf$

Zeile für Zeile gelesen:

• Disallow: /admin/ blockiert alles unter dem Admin-Ordner.
• Disallow: /search blockiert jeden Pfad, der mit /search beginnt, einschließlich /search?q=schuhe.
• Allow: /search/help schafft eine Ausnahme, sodass diese Seite crawlbar bleibt.
• Disallow: /*.pdf$ verwendet einen Platzhalter (*) und einen URL-End-Anker ($), um alle PDFs zu blockieren.

Ein leeres Disallow: (nichts nach dem Doppelpunkt) bedeutet "nichts blockieren", womit Sie explizit das vollständige Crawlen erlauben.

Schritt 4: Die Sitemap-Zeile hinzufügen#

Teilen Sie Crawlern mit, wo Ihre Sitemap liegt. Verwenden Sie die absolute URL, keinen relativen Pfad, und platzieren Sie sie irgendwo in der Datei (üblich ist am Ende):

Sitemap: https://ihredomain.com/sitemap.xml

Sie können mehrere Sitemaps in separaten Sitemap:-Zeilen auflisten. Falls Sie noch keine erstellt haben, generieren Sie eine mit dem kostenlosen XML-Sitemap-Generator und fügen Sie die resultierende URL hier ein. Die Sitemap-Zeile funktioniert unabhängig von vorhandenen User-agent-Blöcken, da sie global ist.

Schritt 5: Datei generieren, speichern und validieren#

Sie können die Datei manuell in einem einfachen Texteditor schreiben (als UTF-8 speichern, genau mit dem Namen robots.txt, ohne doppelte Endung .txt.txt). Wenn Sie Tippfehler vermeiden möchten, erstellt der kostenlose Robots.txt-Generator eine syntaktisch korrekte Datei basierend auf Ihren Allow- und Disallow-Auswahlen und zeigt eine Vorschau, wie Googlebot jede Regel liest. Dieser Vorschau-Schritt hilft, die im nächsten Abschnitt behandelten Prioritätsfehler zu erkennen.

Schritt 6: In Ihr Domain-Root hochladen#

Die Datei muss genau unter https://ihredomain.com/robots.txt erreichbar sein. Sie funktioniert nur im Root eines Hosts. Eine Datei unter https://ihredomain.com/blog/robots.txt wird ignoriert.

Wie Sie hochladen, hängt von Ihrem System ab:

• WordPress: Verwenden Sie ein SEO-Plugin (Yoast, Rank Math) mit einem Robots.txt-Editor, oder laden Sie per FTP in das Root-Verzeichnis hoch.
• Statische oder eigene Seite: Platzieren Sie robots.txt in Ihrem öffentlichen oder Web-Root-Ordner (oft public/, www/ oder htdocs/).
• Subdomains: Jede Subdomain benötigt eine eigene Datei. blog.ihredomain.com und ihredomain.com teilen sich keine.

Nach dem Hochladen rufen Sie die URL in Ihrem Browser auf. Sie sollten den Klartext sehen, keinen 404 oder Ihre Startseite.

Schritt 7: Testen, bevor Sie vertrauen#

Öffnen Sie die Google Search Console und nutzen Sie den Robots.txt-Bericht (er zeigt die zuletzt abgerufene Datei und Syntaxfehler). Testen Sie dann bestimmte URLs: Fügen Sie einen Pfad ein, den Sie blockieren wollten, und einen, den Sie erlauben wollten, und bestätigen Sie, dass jedes das erwartete Ergebnis liefert. Das Testen einer blockierten und einer erlaubten URL erfasst die meisten Fehler, bevor sie Traffic kosten.

Die Regel des längsten Treffers (Wo Seiten kaputtgehen)#

Diese eine Regel verursacht mehr versehentliche Blockaden als alles andere, und die meisten Anleitungen überspringen sie. Wenn mehrere Allow- und Disallow-Regeln auf dieselbe URL zutreffen könnten, liest Google nicht von oben nach unten. Es wendet die Regel mit dem längsten übereinstimmenden Pfad an. Wenn zwei Regeln gleich lang sind, gewinnt Allow.

Stellen Sie sich diese Datei vor:

User-agent: *
Disallow: /blog/
Allow: /blog/public/

Für die URL /blog/public/post-1 passen zwei Regeln. Disallow: /blog/ trifft auf 6 Zeichen; Allow: /blog/public/ trifft auf 13 Zeichen. Die längere Regel gewinnt, also ist diese Seite crawlbar, auch wenn eine von oben nach unten gelesene Interpretation vermuten ließe, sie sei blockiert.

Drehen Sie es um und beobachten Sie die Falle:

User-agent: *
Allow: /products/
Disallow: /products/secret/

Für /products/secret/item ist der Disallow-Pfad länger, also wird diese URL korrekt blockiert, während der Rest von /products/ offen bleibt. Die Regeln tun genau das, was die Längen vorgeben.

Hier ist der Vergleich, der zählt, wenn Sie ein Rätsel "Warum ist diese Seite blockiert?" debuggen:

Angeforderte URL	Passende Regeln	Gewinner	Ergebnis
/blog/public/post	Disallow: /blog/ (6), Allow: /blog/public/ (13)	Allow (länger)	Gecrawlt
/products/secret/x	Allow: /products/ (10), Disallow: /products/secret/ (18)	Disallow (länger)	Blockiert
/page	Allow: /page (5), Disallow: /page (5)	Allow (Gleichstand geht an Allow)	Gecrawlt

Warnung: Der schädlichste Fehler ist ein versehentliches Disallow: / unter User-agent: *. Ein einzelner Schrägstrich blockiert Ihre gesamte Seite vor jedem Crawler. Wenn Ihr organischer Traffic nach einem Deployment jemals einbricht, überprüfen Sie robots.txt zuerst auf diese Zeile.

Echte Robots.txt-Beispiele zum Anpassen#

Konkrete Vorlagen sind besser als abstrakte Regeln. Hier sind drei ehrliche Ausgangspunkte. Ersetzen Sie die Domain und passen Sie die Pfade an Ihre Struktur an.

Eine einfache Seite, die alles gecrawlt haben möchte#

User-agent: *
Disallow:

Sitemap: https://ihredomain.com/sitemap.xml

Das leere Disallow: erlaubt das Crawlen aller Inhalte. Dies ist die richtige Standardeinstellung für einen kleinen Blog oder eine Broschürenseite. Überladen Sie es nicht.

Eine WordPress- oder CMS-Seite#

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://ihredomain.com/sitemap_index.xml

Die Allow-Zeile für admin-ajax.php ist wichtig: Viele Themes und Plugins benötigen diesen Endpunkt, und das Blockieren des gesamten /wp-admin/-Ordners ohne diese Ausnahme kann die Frontend-Funktionalität beeinträchtigen, auf die Crawler angewiesen sind.

Eine E-Commerce-Seite mit Crawl-Budget-Management#

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*&color=
Allow: /products/

Sitemap: https://ihredomain.com/sitemap.xml

Die Wildcard-Regeln blockieren Facettenfilter-URLs (Sortierung, Filter, Farbkombinationen), die sonst endlose nahezu doppelte Seiten erzeugen und bei großen Katalogen das Crawl-Budget verschwenden. Allow: /products/ hält Ihre sauberen Produkt-URLs offen.

Sollten Sie Crawl-delay verwenden?#

Crawl-delay fordert einen Crawler auf, eine bestimmte Anzahl von Sekunden zwischen den Anfragen zu warten. Google ignoriert es vollständig (steuern Sie die Crawl-Rate des Googlebots stattdessen in der Search Console). Bing und Yandex beachten es. Fügen Sie es nur hinzu, wenn ein bestimmter Bot einen kleinen Server überlastet, und selbst dann ist es besser, den Server zu optimieren. Eine Zeile wie Crawl-delay: 10 unter einem bestimmten User-Agent ist der seltene Fall, in dem es sich lohnt.

Crawling vs. Indexing: Der Unterschied, der Sie rettet#

Der größte konzeptionelle Fehler ist, robots.txt als Methode zu behandeln, um eine Seite aus Google zu entfernen. Das ist nicht der Fall. Das Sperren einer URL verhindert, dass Google sie crawlt, aber eine gesperrte Seite kann trotzdem in den Suchergebnissen erscheinen, wenn andere Seiten darauf verlinken, angezeigt als bloße URL ohne Snippet.

Schlimmer noch, es gibt eine Kombination, die Sie niemals verwenden sollten. Wenn Sie einer Seite ein noindex-Meta-Tag hinzufügen und diese Seite auch in robots.txt blockieren, kann Google die Seite nie crawlen, um das noindex-Tag zu sehen. Das Ergebnis ist, dass die Seite auf unbestimmte Zeit indexiert bleibt, das Gegenteil von dem, was Sie wollten.

Die Faustregel:

• Um eine Seite aus den Suchergebnissen herauszuhalten: Verwenden Sie ein noindex-Meta-Robots-Tag (oder den X-Robots-Tag-HTTP-Header für PDFs und andere Nicht-HTML-Dateien) und lassen Sie die Seite crawlbar, damit Google dieses Tag lesen kann.
• Um Crawler vollständig von einem Bereich fernzuhalten (und zu akzeptieren, dass er trotzdem als bloße URL auftauchen kann): Verwenden Sie robots.txt Disallow.
• Für sensible Inhalte: Verlassen Sie sich auf keine der beiden Methoden. Verwenden Sie Authentifizierung.

Wenn Sie entscheiden, welcher Mechanismus für eine bestimmte Seite geeignet ist, führt unser Erklärer zum Blockieren von KI-Crawlern mit robots.txt durch dieselbe Crawl-vs.-Index-Logik für die neue Welle von KI-Training-Bots, was ein immer häufigerer Grund ist, warum Menschen diese Datei im Jahr 2026 bearbeiten.

Häufige Fehler und wie man sie vermeidet#

Eine kurze Checkliste der Fehler, die echten Traffic kosten:

• Ein vergessenes Disallow: / aus der Staging-Umgebung. Entwicklungsseiten blockieren oft alles. Wird es nach dem Launch nicht entfernt, vernichtet es Ihre Sichtbarkeit.
• Blockieren von CSS und JavaScript. Google rendert Seiten, um sie zu verstehen. Das Sperren von /assets/ oder /js/ kann das Rendering stören und Rankings schaden. Lassen Sie Crawler Ihre Ressourcen abrufen.
• Falscher Dateispeicherort. Sie muss im Stammverzeichnis der Domain liegen, in Kleinbuchstaben als robots.txt und als text/plain ausgeliefert werden.
• Vertrauen auf die Datei für Privatsphäre. Die Auflistung von /secret-admin/ in einer öffentlichen Datei ist ein Wegweiser für Neugierige. Verwenden Sie echte Zugriffskontrollen.
• Groß-/Kleinschreibung. Pfade sind case-sensitiv. /Blog/ und /blog/ sind unterschiedliche Regeln.

Im Zweifel ändern Sie immer nur eine Regel und testen erneut in der Search Console. Langsam und verifiziert ist besser als schnell und kaputt.

Zusammenfassung#

Jetzt wissen Sie, wie Sie eine robots.txt-Datei erstellen, die genau das tut, was Sie beabsichtigen: eine saubere Sammlung von User-Agent-, Disallow-, Allow- und Sitemap-Direktiven, platziert im Stammverzeichnis Ihrer Domain und vor dem Livegang getestet. Die zwei Konzepte, die Sie im Kopf behalten sollten, sind die Regel "längste Übereinstimmung gewinnt" und die harte Grenze zwischen Crawling (robots.txt) und Indexierung (noindex). Wenn Sie diese beherrschen, werden Sie nie wieder versehentlich eine Website verstecken.

Wenn Sie bereit sind, die Datei zu erstellen, ohne Syntax von Hand zu tippen, wandelt der robots.txt-Generator Ihre Allow- und Disallow-Auswahlen in eine gültige Datei um und zeigt eine Vorschau, wie Googlebot sie liest. Kombinieren Sie ihn mit dem XML-Sitemap-Generator, damit die Sitemap:-Zeile auf eine echte Ressource verweist, und Sie haben in wenigen Minuten die vollständige Crawl-Steuerung eingerichtet.

Häufig gestellte Fragen#

Wo platziere ich die robots.txt-Datei? Im Stammverzeichnis Ihrer Domain, erreichbar unter genau https://ihredomain.de/robots.txt. Sie muss klein geschrieben sein, robots.txt heißen und als Klartext ausgeliefert werden. Eine Datei in einem Unterordner wird ignoriert, und jede Subdomain benötigt eine eigene separate Datei.

Brauche ich überhaupt eine robots.txt-Datei? Nicht zwingend. Wenn Sie damit einverstanden sind, dass Suchmaschinen alles crawlen, können Sie darauf verzichten, und Crawler gehen von vollem Zugriff aus. Die meisten Websites fügen dennoch eine hinzu, um auf ihre Sitemap zu verweisen und Crawler von Admin-, Warenkorb-, Such- und doppelten URLs fernzuhalten, die das Crawl-Budget verschwenden.

Entfernt das Blockieren einer Seite in robots.txt diese aus Google? Nein. Robots.txt verhindert das Crawlen, nicht das Indexieren. Eine blockierte Seite kann dennoch als bloße URL in den Ergebnissen erscheinen, wenn andere Seiten darauf verlinken. Um eine Seite aus den Suchergebnissen zu entfernen, verwenden Sie ein noindex-Meta-Tag und halten Sie die Seite crawlbar, damit Google dieses Tag lesen kann. Blockieren Sie niemals eine noindexierte Seite in robots.txt, da Google sonst das noindex nicht sehen kann.

Was bedeutet das Sternchen bei User-agent? User-agent: * wendet die folgenden Regeln auf alle Crawler an. Wenn Sie einen Block für einen bestimmten Bot wie User-agent: Googlebot hinzufügen, folgt dieser Bot nur seinem eigenen Block und ignoriert den Platzhalter. Ein Crawler befolgt eine einzelne Gruppe, keine Zusammenführung aller passenden Gruppen.

Wie teste ich meine robots.txt vor der Veröffentlichung? Nutzen Sie den robots.txt-Bericht in der Google Search Console, der die von Google abgerufene Datei anzeigt und Syntaxfehler markiert. Testen Sie bestimmte URLs, indem Sie einen Pfad überprüfen, den Sie blockieren wollten, und einen, den Sie crawlbar halten wollten. Sie können das Regelverhalten auch in einem robots.txt-Generator vor dem Hochladen in der Vorschau anzeigen, was Fehler bei der Priorität der längsten Übereinstimmung frühzeitig erkennt.

Kann ich Platzhalter in robots.txt verwenden? Ja, innerhalb von Grenzen. * entspricht einer beliebigen Zeichenfolge, und $ verankert eine Regel am Ende einer URL. So blockiert Disallow: /*.pdf$ alle PDFs, und Disallow: /*?sort= blockiert jede URL, die einen Sortierparameter enthält. Diese beiden Symbole sind die einzigen Mustervergleiche, die der Standard unterstützt.