Robots.txt vs noindex verwirrt fast jeden, weil die beiden Steuerungsmöglichkeiten austauschbar wirken, aber sie regeln völlig unterschiedliche Phasen der Google-Verarbeitung einer Seite. Robots.txt steuert das Crawling (ob ein Bot die URL überhaupt abrufen darf). Noindex steuert die Indexierung (ob die Seite in den Suchergebnissen erscheinen darf). Wenn Sie sie verwechseln, erhalten Sie das schlimmste Ergebnis: eine Seite, die Sie versteckt wollten, bleibt für immer bei Google.
Wenn Sie jemals eine URL in robots.txt blockiert haben und sie trotzdem in der Suche aufgetaucht ist, erklärt diese Unterscheidung warum. Dieser Leitfaden erklärt Crawl versus Index in einfachen Worten, zeigt die eine Kombination, die leise nach hinten losgeht, und gibt Ihnen eine Entscheidungstabelle, damit Sie immer das richtige Werkzeug wählen.
Robots.txt vs Noindex: Der wesentliche Unterschied#
Der schnellste Weg, robots.txt vs noindex zu verstehen, ist die Trennung zweier Fragen, die Google zu jeder URL stellt. Erstens: „Darf ich diese Seite lesen?“ Das ist Crawling. Zweitens: „Darf ich diese Seite in den Suchergebnissen auflisten?“ Das ist Indexierung. Robots.txt beantwortet die erste Frage. Noindex beantwortet die zweite.
Eine Disallow-Regel in robots.txt teilt Crawlern mit, eine URL nicht abzurufen. Eine noindex-Direktive (in einem Meta-Tag oder HTTP-Header) teilt Crawlern mit, die Seite nicht in der Suche anzuzeigen, obwohl sie sie lesen durften. Es sind nicht zwei Varianten derselben Sache. Sie wirken an unterschiedlichen Türen.
Wichtiges Gedankenmodell: robots.txt ist ein Schild an der Haustür mit der Aufschrift „Nicht hereinkommen“. Noindex ist ein Zettel im Haus mit der Aufschrift „Nimm mich nicht ins Verzeichnis auf“. Wenn der Bot nie ins Haus kommt, liest er den Zettel nie.
Dieser Satz ist der gesamte Grund, warum die beiden fälschlicherweise kombiniert werden, und er bereitet den schädlichsten Fehler in diesem gesamten Thema vor.
Was robots.txt tatsächlich tut#
Robots.txt ist eine einfache Textdatei im Stammverzeichnis Ihrer Domain (example.com/robots.txt). Sie listet User-Agents und die Pfade auf, die sie crawlen dürfen oder nicht. Ihre Aufgabe ist das Crawl-Management, nicht das Index-Management.
- Es spart Crawl-Budget, indem es Bots von minderwertigen Bereichen fernhält (Facettenfilter, interne Suche, Staging-Pfade).
- Es entfernt eine URL NICHT eigenständig aus dem Google-Index.
- Es ist eine Direktive, die die meisten seriösen Bots respektieren, aber für jeden öffentlich einsehbar.
Die entscheidende Nuance: Ein Disallow stoppt nur den Abruf. Google kann eine URL, die es nicht crawlen soll, trotzdem indexieren, wenn es diese URL über Links anderswo entdeckt. Sie haben das Ergebnis gesehen: ein Snippet, das „Keine Informationen verfügbar für diese Seite“ anzeigt, nur mit der URL und ohne Beschreibung. Google weiß, dass die Seite existiert, durfte aber nicht lesen, was darauf steht.
Was noindex tatsächlich tut#
Noindex ist eine Direktive, die auf der Seite selbst lebt, entweder als Meta-Tag im HTML-Head oder als HTTP-Response-Header. Sie teilt Suchmaschinen mit: Du darfst dies lesen, aber nimm es nicht in deinen Index auf.
<meta name="robots" content="noindex">
Oder für Dateien, die kein HTML sind, als HTTP-Header:
X-Robots-Tag: noindex
Da die Direktive in der Antwort lebt, muss Google die Seite crawlen, um sie zu sehen. Sobald es das tut und das Noindex verarbeitet, fällt die URL aus den Suchergebnissen, normalerweise innerhalb weniger Crawls. Dies ist der zuverlässige Weg, eine Seite aus Google herauszuhalten. Es ist auch genau der Grund, warum der nächste Abschnitt so wichtig ist.
Der Fehler, der Seiten für immer im Index hält#
Hier ist die Falle, die die meisten Artikel erst ganz am Ende erwähnen, und es ist der folgenschwerste Fehler bei der Entscheidung zwischen robots.txt und noindex.
Wenn Sie einer Seite noindex hinzufügen UND dieselbe URL in robots.txt Disallow setzen, funktioniert noindex nicht mehr. Google gehorcht dem robots.txt-Block, crawlt die Seite nie und sieht daher das noindex-Tag nicht. Die Seite kann auf unbestimmte Zeit im Index bleiben, ohne dass Google erfährt, dass Sie sie entfernen wollten.
Es ist das Schlimmste aus beiden Welten. Sie haben die Arbeit gemacht, die Seite zu verstecken, die richtige Anweisung platziert, und die robots.txt-Regel macht sie stillschweigend zunichte. Googles eigene Dokumentation weist direkt darauf hin: Eine noindex-Anweisung wird nur beachtet, wenn die Seite crawlbar ist.
Warnung: Blockieren Sie niemals eine URL in robots.txt, wenn diese URL auch ein noindex-Tag trägt, auf das Sie sich verlassen. Der Block verhindert, dass Google das noindex jemals liest. Entfernen Sie das Disallow, lassen Sie Google die Seite crawlen, das noindex sehen und sie aus dem Index nehmen. Sobald sie deindexiert ist, können Sie entscheiden, ob Sie das Crawlen blockieren möchten.
Die korrekte Reihenfolge zum Deindexieren einer Seite, die sich aktuell in Google befindet:
- Stellen Sie sicher, dass die Seite crawlbar ist (kein
Disallow, das sie abdeckt). - Fügen Sie
noindexhinzu (Meta-Tag oderX-Robots-Tag-Header). - Warten Sie, bis Google die Seite erneut crawlt und die Anweisung verarbeitet. Sie können in der Search Console eine Indexierung anfordern, um dies zu beschleunigen.
- Bestätigen Sie, dass die Seite aus dem Index entfernt wurde (Suche nach
site:ihredomain.de/die-url). - Erst wenn sie weg ist, sollten Sie erwägen, einen robots.txt-Block hinzuzufügen, und meistens brauchen Sie das nicht einmal.
Dies ist die SERP-Lücke, die die meisten Anleitungen überspringen, und der Grund, warum eine saubere robots.txt-Datei wichtig ist. Wenn Sie Regeln mit einem kostenlosen robots.txt-Generator erstellen, können Sie überprüfen, ob Sie nicht versehentlich eine URL blockieren, die Sie mit noindex versehen wollen.
Crawlen vs. Indexieren: Eine Entscheidungstabelle#
Wenn Sie den Unterschied zwischen Crawlen und Indexieren verinnerlicht haben, ist die Wahl der richtigen Steuerung mechanisch. Nutzen Sie diese Tabelle.
| Ihr Ziel | robots.txt Disallow verwenden | noindex verwenden | Warum |
|---|---|---|---|
| Eine Seite aus den Suchergebnissen fernhalten | Nein (allein reicht nicht) | Ja | Nur noindex entfernt zuverlässig aus dem Index |
| Bots davon abhalten, Crawl-Budget für Müll-URLs zu verschwenden | Ja | Nein | Crawl-Steuerung, die Seite muss nicht versteckt werden |
| Eine bereits indexierte Seite verstecken | Nein (blockiert noindex) | Ja, aber crawlen lassen | Google muss noindex lesen, um zu handeln |
| Eine Nicht-HTML-Datei (PDF, Bild) aus der Suche blockieren | Nein | Ja, über X-Robots-Tag-Header | Dateien können kein Meta-Tag enthalten |
| Einen Staging- oder privaten Bereich unlesbar halten | Ja (plus Authentifizierung) | Optional | robots.txt ist keine Sicherheit; Passwort hinzufügen |
| Verhindern, dass eine Seite gecrawlt wird oder Crawl weitergibt | Ja | Nein | Das betrifft Crawlen, nicht Indexieren |
Die Kurzregel: Wenn Ihr Ziel das Wort „Suchergebnisse“ enthält, greifen Sie zu noindex. Wenn es um Bot-Zugriff oder Crawl-Budget geht, greifen Sie zu robots.txt. Die Überschneidungen sind viel seltener als angenommen.
Wann robots.txt die richtige Wahl ist#
- Unendliche oder nahezu unendliche URL-Räume: Facettennavigation, Kalenderseiten, interne Suchergebnisseiten, die endlose Kombinationen erzeugen.
- Ressourcenintensive Pfade, die nie gecrawlt werden sollen, wie große Export-Endpunkte.
- Bereiche, die wirklich wertlos für die Indexierung sind und bei denen es egal ist, ob eine nackte URL jemals auftaucht.
In diesen Fällen möchten Sie Crawl-Budget sparen und akzeptieren, dass eine verirrte URL ohne Beschreibung erscheinen könnte. Dieser Kompromiss ist für Müllseiten, die Sie ohnehin nie ranken möchten, in Ordnung.
Wann noindex die richtige Wahl ist#
- Dünne oder doppelte Seiten, die vollständig aus der Suche entfernt werden sollen (Tag-Archive, interne Suchergebnisseiten, druckfreundliche Versionen).
- Seiten, die Nutzer über direkte Links oder Navigation erreichen sollen, aber nie in den SERPs konkurrieren sollten (Dankesseiten, bestimmte Kontoseiten).
- Alles, was derzeit indexiert ist und sauber entfernt werden muss.
Bei dünnem oder doppeltem Inhalt schlägt noindex in Kombination mit einer sauberen Informationsarchitektur normalerweise einen pauschalen robots.txt-Block. Wenn Duplikation Ihr eigentliches Problem ist, kann ein kanonisches Tag besser dienen als beides, und ein schneller Durchlauf mit einem Schema- und SEO-Markup-Generator hilft, Ihre Signale auf der Seite konsistent zu halten.
X-Robots-Tag: Noindex für Nicht-HTML-Dateien#
Ein Meta-Robots-Tag funktioniert nur innerhalb von HTML. Wie hält man also eine PDF, ein Bild oder eine andere Nicht-HTML-Datei aus der Suche heraus? Man kann kein Meta-Tag zu einer PDF hinzufügen, und das Verbot in der robots.txt führt zur selben Falle (Google indiziert die URL möglicherweise trotzdem und sieht nie eine Anweisung).
Die Lösung ist der X-Robots-Tag HTTP-Header. Er enthält dieselben Anweisungen wie der Meta-Robots-Tag, wird aber in der Serverantwort übertragen und funktioniert daher für jeden Dateityp.
Ein Apache-Beispiel, das alle PDFs von der Indexierung ausschließt:
<FilesMatch "\.pdf$">
Header set X-Robots-Tag "noindex"
</FilesMatch>
Ein Nginx-Äquivalent:
location ~* \.pdf$ {
add_header X-Robots-Tag "noindex";
}
Da der Header vor dem HTML-Parsing angewendet wird, ist er der sauberste Weg, um Dokumente, Downloads und Medien zu deindexieren. Es gilt weiterhin dieselbe Crawlbarkeitsregel: Die Datei in der robots.txt nicht mit Disallow blockieren, sonst holt Google sie nie ab, um den Header zu lesen.
Tipp: Der X-Robots-Tag akzeptiert auch die Anweisungen
nofollow,noarchiveundunavailable_after, sodass Sie beispielsweise eine PDF nach einem bestimmten Datum aus dem Index entfernen lassen können. Diese Granularität ist mit robots.txt unmöglich.
So überprüfen Sie, welche Methode funktioniert#
Raten führt dazu, dass Seiten versehentlich indexiert bleiben. Überprüfen Sie stattdessen.
- Suchen Sie in Google nach
site:ihredomain.de/pfad. Wenn die Seite ohne Beschreibung angezeigt wird, ist sie wahrscheinlich in robots.txt blockiert, aber dennoch indexiert (der klassische Fehler). - Verwenden Sie in der Google Search Console das URL-Inspektionstool. Es zeigt Ihnen, ob eine Seite "Indexiert" ist, ob das Crawlen "Erlaubt" ist und ob die Indexierung "Erlaubt" ist, und trennt diese beiden Zustände für Sie.
- Prüfen Sie die Berichte zur Abdeckung und Seitenindexierung auf Status wie "Indexiert, aber durch robots.txt blockiert" (ein Warnsignal) und "Durch noindex-Tag ausgeschlossen" (wie gewünscht).
- Rufen Sie die Seite oder Datei ab und prüfen Sie die Antwort. Suchen Sie bei HTML im head-Bereich nach dem meta-robots-Tag. Bei Dateien prüfen Sie die Antwort-Header auf
X-Robots-Tag.
Wenn die Search Console "Indexiert, aber durch robots.txt blockiert" anzeigt, ist das Ihr Hinweis: Die robots.txt-Blockierung widerspricht Ihrer Absicht. Entfernen Sie das Disallow, lassen Sie Google crawlen und lassen Sie den noindex (oder eine Entfernungsanfrage) seine Arbeit tun.
Robots.txt vs Noindex: Das Wichtigste auf einen Blick#
Die Frage robots.txt vs noindex hat eine Antwort, die man sich merken sollte: robots.txt steuert, ob Bots eine Seite crawlen dürfen, und noindex steuert, ob eine Seite in der Suche erscheinen darf. Sie lösen unterschiedliche Probleme, und der einzige Fall, in dem sie wirklich in Konflikt geraten, ist die eine Kombination, die Sie vermeiden müssen. Sperren Sie niemals eine URL in robots.txt, während Sie sich auf einen noindex-Tag auf derselben URL verlassen, denn die Sperre verhindert, dass Google den noindex überhaupt sieht, und die Seite bleibt indexiert.
Wählen Sie nach Ziel. Soll eine Seite aus der Suche verschwinden? Noindex, und halten Sie sie crawlbar. Möchten Sie Crawl-Budget für Junk-URLs sparen? Sperren Sie sie in robots.txt und akzeptieren Sie, dass ein nackter Link auftauchen könnte. Müssen Sie ein PDF oder Bild verstecken? Verwenden Sie den X-Robots-Tag-Header. Wenn Sie bereit sind, Ihre Regeln zu erstellen oder zu prüfen, hilft Ihnen ein kostenloser robots.txt-Generator, die Falle der Sperre-vor-noindex zu vermeiden. Und wenn Sie auch Crawler wie GPTBot fernhalten müssen, zeigt Ihnen unser Leitfaden zum Blockieren von KI-Crawlern in robots.txt die Direktiven, die 2026 funktionieren. Für Seiten, die Sie indexiert und rankend sehen möchten, sorgt ein schneller Check mit einem Meta-Tag-Generator für saubere Titel und Beschreibungen.
Häufig gestellte Fragen#
Was ist der Unterschied zwischen robots.txt und noindex? Robots.txt steuert das Crawling (ob ein Bot eine URL abrufen darf), während noindex die Indexierung steuert (ob eine Seite in den Suchergebnissen erscheinen darf). Robots.txt allein entfernt eine Seite nicht zuverlässig aus Google; noindex tut das. Sie arbeiten auf zwei verschiedenen Ebenen und sind daher nicht austauschbar.
Warum wird meine Seite in Google noch angezeigt, nachdem ich sie in robots.txt blockiert habe? Weil robots.txt nur das Crawling stoppt, nicht die Indexierung. Wenn Google die URL über Links entdeckt, kann es sie indexieren, ohne die Seite jemals zu lesen. Deshalb sehen Sie eine nackte URL mit dem Hinweis "Keine Informationen verfügbar". Um sie zu entfernen, erlauben Sie das Crawling und fügen Sie ein noindex-Tag hinzu, oder nutzen Sie das Entfernungs-Tool in der Search Console.
Kann ich robots.txt und noindex zusammen verwenden? Nicht auf derselben URL, wenn Sie auf noindex angewiesen sind. Wenn Sie eine URL in robots.txt verbieten, kann Google sie nicht crawlen, sieht also die noindex-Anweisung nicht, und die Seite kann unbegrenzt indexiert bleiben. Halten Sie die Seite crawlbar, bis sie deindexiert ist, und entscheiden Sie dann, ob ein robots.txt-Block überhaupt nötig ist.
Wie setze ich noindex für eine PDF oder ein Bild?
Sie können keinen Meta-Tag in eine Nicht-HTML-Datei einfügen. Verwenden Sie daher den X-Robots-Tag: noindex HTTP-Header in Ihrer Serverkonfiguration (Apache, Nginx oder CDN). Er hat dieselbe Wirkung wie der Meta-Robots-Tag, funktioniert aber für jeden Dateityp. Blockieren Sie die Datei nicht in robots.txt, sonst holt Google sie nie ab, um den Header zu lesen.
Welche Methode sollte ich verwenden, um eine Seite aus den Suchergebnissen fernzuhalten? Verwenden Sie noindex und stellen Sie sicher, dass die Seite crawlbar bleibt, damit Google die Anweisung lesen kann. Robots.txt allein ist das falsche Werkzeug dafür, da es die URL indexiert lassen kann. Überprüfen Sie mit dem URL-Inspektionstool der Search Console, das Crawling- und Indexierungsstatus getrennt meldet.
Spart noindex Crawl-Budget wie robots.txt? Nein. Eine noindexierte Seite wird weiterhin gecrawlt (sie muss es, damit Google das noindex lesen kann), verbraucht also Crawl-Budget. Wenn Ihr einziges Ziel ist, Bots davon abzuhalten, Zeit mit Junk-URLs zu verschwenden, ist robots.txt das richtige Werkzeug. Verwenden Sie noindex, wenn das Ziel ist, die Seite aus den Suchergebnissen herauszuhalten.
