Zusammenfassung
Google hat ein neues Video in seiner #AskGooglebot-Serie veröffentlicht, in dem Google-Mitarbeiter John Mueller häufige Fragen von Webmastern beantwortet. In der neuen Folge erklärt er, wie man eine Website aus den Suchergebnissen ausblendet.
Es gibt insgesamt drei Möglichkeiten:
- ein Passwort verwenden
- Crawling blockieren
- Indexierung blockieren
Die Sperrung von Inhalten für den Googlebot ist kein Verstoß gegen die Richtlinien für Webmaster, wenn die Inhalte auch für die Nutzer gesperrt werden. Wenn zum Beispiel ein Passwort verwendet wird, um Crawling zu vermeiden, sollte diese Methode auch für die Benutzer verwendet werden.
Gerade in der Praxis ist das ein wichtiger Punkt: Nicht alles, was technisch möglich ist, ist auch die sauberste Lösung für jeden Fall. Wer eine Seite nur vorübergehend verstecken will, denkt anders als jemand, der Inhalte dauerhaft privat halten möchte. Genau deshalb lohnt es sich, die drei Wege nicht nur zu kennen, sondern auch richtig einzuordnen.
1. Passwortschutz
Das Sperren durch Passwörter ist oft die beste Lösung, wenn man möchte, dass die Website privat bleibt. Ein Passwort sorgt dafür, dass weder Suchmaschinen noch gelegentliche Internetnutzer den Inhalt sehen können.
Der Passwortschutz ist eine gängige Praxis bei der Entwicklung von Websites. Die Veröffentlichung einer Website ist eine einfache Möglichkeit, unfertige Arbeiten mit Kunden zu teilen und mit einem Passwort kann man Google den Zugriff auf eine noch nicht einsehbare Website verweigern.
In diesem Fall ist die Logik ziemlich klar: Was nicht öffentlich sein soll, sollte auch nicht halböffentlich erreichbar sein. Ein sauber gesetzter Schutz erspart später oft unnötige Korrekturen in der Indexierung.
2. Crawling verbieten durch robots.txt
Eine weitere Möglichkeit für Googlebot, den Zugriff auf eine Website zu blockieren, ist die Verweigerung des Crawlings mithilfe einer robots.txt-Datei. Bei dieser Methode können die Nutzer über einen direkten Link auf die Website zugreifen, aber die Suchmaschinen können dies nicht.
Dies ist jedoch nicht die beste Methode, da Suchmaschinen die Website indexieren können, ohne auf den Inhalt zuzugreifen. Dies geschieht zwar recht selten, aber kann dennoch nicht ganz außer Acht gelassen werden.
Für sensible Inhalte ist das also eher eine Zwischenlösung als eine echte Sperre. Wer nur einzelne Bereiche aus dem Crawl nehmen will, sollte genau prüfen, ob das gewünschte Ergebnis wirklich erreicht wird.
3. Indexierung verbieten
Die dritte Möglichkeit besteht darin, Suchmaschinen daran zu hindern, die Website zu indexieren. Dazu müssen Sie einen Meta-Tag noindex auf Seiten hinzufügen. Die noindex-Direktive teilt Suchmaschinen mit, dass die Seite nicht indexiert werden soll. Die Nutzer können die Seite jedoch weiterhin sehen.
Das ist vor allem dann sinnvoll, wenn Inhalte erreichbar bleiben sollen, aber nicht in den Suchergebnissen auftauchen dürfen. Typische Beispiele sind interne Seiten, temporäre Landingpages oder Inhalte, die zwar online sind, aber keine Sichtbarkeit brauchen.
| Methode | Für Nutzer sichtbar? | Für Suchmaschinen sichtbar? |
|---|---|---|
| Passwortschutz | Nein | Nein |
| robots.txt | Ja, bei direktem Link | Nein, Crawling blockiert |
| noindex | Ja | Nein, Indexierung blockiert |
Zusammenfassend erklärte Mueller:
„Bei sensiblen Inhalten empfehlen wir in der Regel einen Passwortschutz. Es ist einfach zu überprüfen, ob es funktioniert und niemand auf den Inhalt zugreifen kann. Die Blockierung des Scannens oder die Indexierung sind gute Optionen, wenn der Inhalt nicht sensibel ist oder wenn Sie möchten, dass bestimmte Teile der Website nicht in der Suche auftauchen.
Unterm Strich gilt: Wer Inhalte wirklich aus dem Blickfeld halten will, sollte nicht nur an Google denken, sondern an den gesamten Zugriffspfad. Genau dort entscheidet sich, ob eine Seite nur aus der Suche verschwindet oder tatsächlich geschützt ist.
