Zusammenfassung
Während eines Webmaster-Calls warnte Google-Mitarbeiter John Müller davor, dass in robot.txt blockierte Seiten weiterhin mit Links, die auf sie verweisen, indiziert werden können.
Dies kann ein Problem sein, da Google in diesem Fall aufgrund des Blockierens durch Scannen keine Inhalte sehen kann. Wenn die Website Inhalte enthält, die aus irgendeinem Grund vor Google verborgen sein sollten, empfiehlt es sich, dass Meta-Tag noindex zu verwenden.
Der Punkt ist schnell übersehen: Eine Sperre in der robots.txt verhindert zwar das Crawling, aber nicht automatisch jede Form der Indexierung. Genau deshalb lohnt sich ein genauer Blick auf interne Verlinkungen und alte Verweise von außen. Wer eine Seite wirklich aus dem Index halten will, sollte sich nicht allein auf die robots.txt verlassen.
- robots.txt eignet sich, um das Crawling zu steuern.
- noindex ist die sauberere Lösung, wenn eine Seite nicht in den Suchergebnissen auftauchen soll.
- Links auf die blockierte Seite können trotzdem dazu führen, dass Google sie kennt.
Am Ende ist es oft eine kleine technische Entscheidung mit spürbarer Wirkung. Wer Inhalte gezielt ausblenden will, sollte also nicht nur an die Sperre denken, sondern an das Gesamtbild.
„Wenn diese Seiten in robots.txt blockiert sind, ist es theoretisch möglich, dass jemand versehentlich auf einen von ihnen verweist. Und wenn das passiert, können wir diese Seite ohne Inhalt indizieren, da sie in robots.txt blockiert ist. Wenn also etwas auf diesen Seiten nicht indexiert werden soll, dann entfernen sie es nicht, sondern verwenden Sie das noindex-Meta-Tag „, sagte Mueller.
