Zusammenfassung:
Google hat ein neues Video in seiner #AskGooglebot-Serie veröffentlicht, in dem Google-Mitarbeiter John Mueller häufige Fragen von Webmastern beantwortet. In der neuen Folge erklärt er, wie man eine Website aus den Suchergebnissen ausblendet.
Es gibt insgesamt drei Möglichkeiten:
- ein Passwort verwenden
- Crawling blockieren
- Indexierung blockieren
Die Sperrung von Inhalten für den Googlebot ist kein Verstoß gegen die Richtlinien für Webmaster, wenn die Inhalte auch für die Nutzer gesperrt werden. Wenn zum Beispiel ein Passwort verwendet wird, um Crawling zu vermeiden, sollte diese Methode auch für die Benutzer verwendet werden.
1. Passwortschutz
Das Sperren durch Passwörter ist oft die beste Lösung, wenn man möchte, dass die Website privat bleibt. Ein Passwort sorgt dafür, dass weder Suchmaschinen noch gelegentliche Internetnutzer den Inhalt sehen können.
Der Passwortschutz ist eine gängige Praxis bei der Entwicklung von Websites. Die Veröffentlichung einer Website ist eine einfache Möglichkeit, unfertige Arbeiten mit Kunden zu teilen und mit einem Passwort kann man Google den Zugriff auf eine noch nicht einsehbare Website verweigern.
2. Crawling verbieten durch robots.txt
Eine weitere Möglichkeit für Googlebot, den Zugriff auf eine Website zu blockieren, ist die Verweigerung des Crawlings mithilfe einer robots.txt-Datei. Bei dieser Methode können die Nutzer über einen direkten Link auf die Website zugreifen, aber die Suchmaschinen können dies nicht.
Dies ist jedoch nicht die beste Methode, da Suchmaschinen die Website indexieren können, ohne auf den Inhalt zuzugreifen. Dies geschieht zwar recht selten, aber kann dennoch nicht ganz außer Acht gelassen werden.
3. Indexierung verbieten
Die dritte Möglichkeit besteht darin, Suchmaschinen daran zu hindern, die Website zu indexieren. Dazu müssen Sie einen Meta-Tag noindex auf Seiten hinzufügen. Die noindex-Direktive teilt Suchmaschinen mit, dass die Seite nicht indexiert werden soll. Die Nutzer können die Seite jedoch weiterhin sehen.
Zusammenfassend erklärte Mueller:
„Bei sensiblen Inhalten empfehlen wir in der Regel einen Passwortschutz. Es ist einfach zu überprüfen, ob es funktioniert und niemand auf den Inhalt zugreifen kann. Die Blockierung des Scannens oder die Indexierung sind gute Optionen, wenn der Inhalt nicht sensibel ist oder wenn Sie möchten, dass bestimmte Teile der Website nicht in der Suche auftauchen.
