top of page

Wie Suchmaschinen funktionieren: Crawling, Indizierung und Ranking


Frau sitzt mit Laptop am Boden, Suchfeld
Wie Suchmaschinen funktionieren: Crawling, Indizierung und Ranking

Das wissen wir: Suchmaschinen sind Antwortmaschinen. Sie sind dazu da, die Inhalte des Internets zu entdecken, zu verstehen und zu organisieren, um die relevantesten Ergebnisse zu den von den Suchenden gestellten Fragen zu liefern.


Um in den Suchergebnissen aufzutauchen, müssen Ihre Inhalte zunächst für die Suchmaschinen sichtbar sein. Dies ist wohl das wichtigste Teil des SEO-Puzzles: Wenn Ihre Website nicht gefunden werden kann, werden Sie niemals in den SERPs (Search Engine Results Page) auftauchen.


 

Wie funktioniert eine Suchmaschine?


Mann in Anzug im Hintergrund, Suchfeld
Wie Suchmaschinen funktionieren: Crawling, Indizierung und Ranking

Suchmaschinen arbeiten mit drei Hauptfunktionen:


  • Crawling: Sie durchsuchen das Internet nach Inhalten, indem sie den Code/Inhalt für jede gefundene URL überprüfen.

  • Indizierung: Speichern und Organisieren der Inhalte, die beim Crawling-Prozess gefunden werden. Sobald sich eine Seite im Index befindet, wird sie bei relevanten Suchanfragen als Ergebnis angezeigt.

  • Ranking: Bereitstellung der Inhalte, die die Suchanfrage eines Nutzers am besten beantworten, d. h. die Ergebnisse werden nach der höchsten bis zur geringsten Relevanz geordnet.


 

Was ist das Crawlen einer Suchmaschine?


Person sitzt vor dem Laptop, Suchfeld
Wie Suchmaschinen funktionieren: Crawling, Indizierung und Ranking

Crawling ist der Entdeckungsprozess, bei dem Suchmaschinen ein Team von Robotern (so genannte Crawler oder Spider) aussenden, um neue und aktualisierte Inhalte zu finden. Der Inhalt kann unterschiedlich sein - es kann sich um eine Webseite, ein Bild, ein Video, eine PDF-Datei usw. handeln - aber unabhängig vom Format wird der Inhalt durch Links entdeckt.


Der Googlebot ruft zunächst einige Webseiten ab und folgt dann den Links auf diesen Webseiten, um neue URLs zu finden. Auf diese Weise findet der Crawler neue Inhalte und fügt sie seinem Index namens Caffeine hinzu - einer umfangreichen Datenbank mit entdeckten URLs -, die später abgerufen werden können, wenn ein Sucher nach Informationen sucht, zu denen die Inhalte auf dieser URL passen.


 

Was ist ein Suchmaschinenindex?


Schreibtisch, Laptop, Tablet, Raster mit Zahlen
Wie Suchmaschinen funktionieren: Crawling, Indizierung und Ranking

Suchmaschinen verarbeiten und speichern Informationen, die sie finden, in einem Index, einer riesigen Datenbank mit allen Inhalten, die sie entdeckt und für gut genug befunden haben, um sie den Suchenden anzubieten.


 

Suchmaschinen-Ranking


Laptop mit geöffneter Statistik
Wie Suchmaschinen funktionieren: Crawling, Indizierung und Ranking

Wenn jemand eine Suche durchführt, durchsuchen Suchmaschinen ihren Index nach hochrelevanten Inhalten und ordnen diese Inhalte dann in der Hoffnung, die Suchanfrage des Suchenden zu lösen.


Diese Anordnung der Suchergebnisse nach Relevanz wird als Ranking bezeichnet. Im Allgemeinen kann man davon ausgehen, dass eine Website umso relevanter für die Suchanfrage ist, je höher sie eingestuft wird.


Es ist möglich, die Crawler der Suchmaschinen für einen Teil oder die gesamte Website zu sperren oder die Suchmaschinen anzuweisen, bestimmte Seiten nicht in ihrem Index zu speichern.


Sie müssen zu Beginn sicherstellen, dass sie für Crawler zugänglich und indizierbar sind. Andernfalls sind Sie so gut wie unsichtbar.


 

Bei SEO sind nicht alle Suchmaschinen gleich wichtig


Frau mit Laptop, Notizbuch und Kaffeetasse, SEO, Icons
Wie Suchmaschinen funktionieren: Crawling, Indizierung und Ranking

Viele Anfänger fragen sich nach der relativen Bedeutung bestimmter Suchmaschinen. Die meisten Leute wissen, dass Google den größten Marktanteil hat, aber wie wichtig ist es, für Bing, Yahoo und andere zu optimieren?


Die Wahrheit ist, dass die SEO-Gemeinschaft trotz der Existenz von mehr als 30 großen Suchmaschinen im Internet eigentlich nur Google Aufmerksamkeit schenkt. Warum eigentlich?


Die kurze Antwort ist, dass die überwiegende Mehrheit der Menschen bei Google im Internet sucht. Wenn wir Google Images, Google Maps und YouTube (ein Google-Eigentum) mit einbeziehen, finden mehr als 90 % der Websuchen bei Google statt - das ist fast 20 Mal so viel wie bei Bing und Yahoo zusammen.


 

Crawling: Können Suchmaschinen Ihre Seiten finden?


PC-Maus, Lupe
Wie Suchmaschinen funktionieren: Crawling, Indizierung und Ranking

Wie Sie soeben erfahren haben, ist die Sicherstellung, dass Ihre Website gecrawlt und indiziert wird, eine Voraussetzung dafür, dass sie in den SERPs erscheint.


Wenn Sie bereits eine Website haben, sollten Sie zunächst prüfen, wie viele Ihrer Seiten sich im Index befinden. Dies gibt Aufschluss darüber, ob Google alle gewünschten Seiten crawlt und findet und keine Seiten, die Sie nicht benötigen.


Eine Möglichkeit, Ihre indexierten Seiten zu überprüfen, ist "site:yourdomain.com", ein erweiterter Suchoperator. Gehen Sie zu Google und geben Sie "site:yourdomain.com" in die Suchleiste ein. Daraufhin werden die Ergebnisse angezeigt, die Google für die angegebene Website in seinem Index hat:


Die Anzahl der von Google angezeigten Ergebnisse (siehe "Über XX Ergebnisse" oben) ist nicht exakt, aber sie gibt Ihnen eine solide Vorstellung davon, welche Seiten auf Ihrer Website indiziert sind und wie sie derzeit in den Suchergebnissen angezeigt werden.


Genauere Ergebnisse erhalten Sie, wenn Sie den Bericht zur Indexabdeckung in der Google Search Console überwachen und verwenden. Sie können sich für ein kostenloses Google Search Console-Konto anmelden, falls Sie noch keins haben.


Mit diesem Tool können Sie u. a. Sitemaps für Ihre Website einreichen und überwachen, wie viele der eingereichten Seiten tatsächlich in den Google-Index aufgenommen wurden.


Wenn Sie nirgendwo in den Suchergebnissen auftauchen, gibt es einige mögliche Gründe dafür:

  • Ihre Website ist brandneu und wurde noch nicht gecrawlt.

  • Ihre Website wird nicht von externen Websites verlinkt.

  • Die Navigation Ihrer Website macht es einem Roboter schwer, sie effektiv zu crawlen.

  • Ihre Website enthält einen grundlegenden Code, der Crawler-Direktiven genannt wird und Suchmaschinen blockiert.

  • Ihre Website wurde von Google wegen Spam-Taktiken abgestraft.


 

Sagen Sie den Suchmaschinen, wie sie Ihre Website crawlen sollen


Mann spricht in Handy, Mikrofon
Wie Suchmaschinen funktionieren: Crawling, Indizierung und Ranking

Haben Sie nun die Google Search Console oder den erweiterten Suchoperator

"site:domain.com" verwendet und festgestellt , dass einige Ihrer wichtigen Seiten im Index fehlen und/oder einige Ihrer unwichtigen Seiten fälschlicherweise indexiert wurden?


Dann können Sie einige Optimierungen vornehmen, um dem Googlebot besser mitzuteilen, wie Ihr Webinhalt gecrawlt werden soll. Wenn Sie den Suchmaschinen mitteilen, wie sie Ihre Website crawlen sollen, können Sie besser kontrollieren, was in den Index aufgenommen wird.


Die meisten Leute denken daran, dafür zu sorgen, dass Google ihre wichtigen Seiten finden kann, aber man vergisst leicht, dass es wahrscheinlich Seiten gibt, von denen Sie nicht wollen, dass Googlebot sie findet.


Dazu gehören z. B. alte URLs mit dünnem Inhalt, doppelte URLs (z. B. Sortier- und Filterparameter für den elektronischen Handel), spezielle Seiten mit Promo-Codes, Staging- oder Testseiten und so weiter.


Um Googlebot von bestimmten Seiten und Abschnitten Ihrer Website fernzuhalten, verwenden Sie robots.txt.


 

Robots.txt


Frau hat Handy in der Hand, Roboter, Sprechblase
Wie Suchmaschinen funktionieren: Crawling, Indizierung und Ranking

Robots.txt-Dateien befinden sich im Stammverzeichnis von Websites (z. B. yourdomain.com/robots.txt). Sie geben über spezifische robots.txt-Direktiven vor, welche Teile Ihrer Website von Suchmaschinen gecrawlt werden sollen und welche nicht, sowie die Geschwindigkeit, mit der sie Ihre Website crawlen.


 

Wie Googlebot mit robots.txt-Dateien umgeht


Handy in der Hand, Roboterkopf, Sprechblase
Wie Suchmaschinen funktionieren: Crawling, Indizierung und Ranking

  • Wenn Googlebot keine robots.txt-Datei für eine Website finden kann, fährt er mit dem Crawlen der Website fort.

  • Wenn Googlebot eine robots.txt-Datei für eine Website findet, hält er sich in der Regel an die Vorschläge und fährt mit dem Crawlen der Website fort.

  • Wenn Googlebot beim Versuch, auf die robots.txt-Datei einer Website zuzugreifen, auf einen Fehler stößt und nicht feststellen kann, ob eine solche Datei existiert oder nicht, wird die Website nicht gecrawlt.


 

Optimieren Sie für das Crawl-Budget!


Handy, Hand aus Handy mit Lupe
Wie Suchmaschinen funktionieren: Crawling, Indizierung und Ranking

Das Crawl-Budget ist die durchschnittliche Anzahl der URLs, die der Googlebot auf Ihrer Website durchsucht, bevor er sie verlässt.


Die Optimierung des Crawl-Budgets stellt also sicher, dass der Googlebot keine Zeit damit verschwendet, Ihre unwichtigen Seiten zu durchsuchen, und dabei Gefahr läuft, Ihre wichtigen Seiten zu ignorieren.


Das Crawl-Budget ist vor allem bei sehr großen Websites mit Zehntausenden von URLs wichtig, aber es ist nie eine schlechte Idee, den Crawlern den Zugriff auf Inhalte zu verwehren, die Sie definitiv nicht interessieren.


Achten Sie nur darauf, dass Sie den Crawlern nicht den Zugriff auf Seiten verwehren, die Sie mit anderen Direktiven versehen haben, z. B. mit Canonical- oder Noindex-Tags. Wenn dem Googlebot der Zugang zu einer Seite verwehrt wird, kann er die Anweisungen auf dieser Seite nicht sehen.


Nicht alle Web-Roboter befolgen robots.txt. Menschen mit bösen Absichten (z. B. Scraper von E-Mail-Adressen) erstellen Bots, die sich nicht an dieses Protokoll halten. Einige böswillige Akteure verwenden robots.txt-Dateien, um herauszufinden, wo Sie Ihre privaten Inhalte gespeichert haben.


Auch wenn es logisch erscheint, Crawler von privaten Seiten wie Anmelde- und Verwaltungsseiten fernzuhalten, damit sie nicht im Index erscheinen, bedeutet die Aufnahme dieser URLs in eine öffentlich zugängliche robots.txt-Datei auch, dass Personen mit böswilligen Absichten sie leichter finden können.


Es ist besser, diese Seiten nicht in den Index aufzunehmen und sie hinter einem Anmeldeformular zu verstecken, als sie in die robots.txt-Datei aufzunehmen.


 

Definieren von URL-Parametern in GSC


Hand, Suchfeld
Wie Suchmaschinen funktionieren: Crawling, Indizierung und Ranking

Einige Websites (vor allem im E-Commerce) machen denselben Inhalt unter mehreren verschiedenen URLs verfügbar, indem sie bestimmte Parameter an die URLs anhängen.


Wenn Sie schon einmal online eingekauft haben, haben Sie wahrscheinlich Ihre Suche über Filter eingegrenzt. Sie können zum Beispiel auf Amazon nach "Schuhen" suchen und dann Ihre Suche nach Größe, Farbe und Stil verfeinern. Jedes Mal, wenn Sie die Suche verfeinern, ändert sich die URL leicht:


Woher weiß Google, welche Version der URL den Suchenden angezeigt werden soll? Google ist ziemlich gut darin, die repräsentative URL selbst herauszufinden. Sie können jedoch die Funktion URL-Parameter in der Google Search Console verwenden, um Google genau mitzuteilen, wie Ihre Seiten behandelt werden sollen.


Wenn Sie diese Funktion verwenden, um Googlebot mitzuteilen, dass keine URLs mit dem Parameter ____ gecrawlt werden sollen, dann bitten Sie im Wesentlichen darum, diesen Inhalt vor Googlebot zu verbergen. Dies kann dazu führen, dass diese Seiten aus den Suchergebnissen entfernt werden.


Das ist genau das, was Sie wollen, wenn diese Parameter doppelte Seiten erzeugen, aber nicht ideal, wenn Sie wollen, dass diese Seiten indiziert werden.


 

Können Crawler alle Ihre wichtigen Inhalte finden?


Lupe, Glühbirne
Wie Suchmaschinen funktionieren: Crawling, Indizierung und Ranking

Jetzt, da Sie einige Taktiken kennen, die sicherstellen, dass Suchmaschinen-Crawler sich von Ihren unwichtigen Inhalten fernhalten, lassen Sie uns etwas über die Optimierungen erfahren, die dem Googlebot helfen können, Ihre wichtigen Seiten zu finden.


Manchmal ist eine Suchmaschine in der Lage, Teile Ihrer Website durch Crawling zu finden, aber andere Seiten oder Abschnitte können aus dem einen oder anderen Grund verdeckt sein.


Es ist wichtig, dafür zu sorgen, dass Suchmaschinen in der Lage sind, alle Inhalte zu finden, die Sie indiziert haben möchten, und nicht nur Ihre Homepage.


Fragen Sie sich Folgendes: Kann der Bot durch Ihre Website kriechen und nicht nur zu ihr?


Ist Ihr Inhalt hinter Anmeldeformularen versteckt?

Wenn Sie von den Nutzern verlangen, sich anzumelden, Formulare auszufüllen oder Umfragen zu beantworten, bevor sie auf bestimmte Inhalte zugreifen können, werden die Suchmaschinen diese geschützten Seiten nicht sehen. Ein Crawler wird sich definitiv nicht anmelden.


Verlassen Sie sich auf Suchformulare?

Robots können keine Suchformulare verwenden. Manche Menschen glauben, dass Suchmaschinen alles finden können, wonach ihre Besucher suchen, wenn sie ein Suchfeld auf ihrer Website platzieren.


Ist Text in Nicht-Text-Inhalten versteckt?

Medienformen ohne Text (Bilder, Videos, GIFs usw.) sollten nicht zur Anzeige von Text verwendet werden, der indiziert werden soll. Zwar werden Suchmaschinen immer besser darin, Bilder zu erkennen, aber es gibt keine Garantie dafür, dass sie diese auch lesen und verstehen können. Am besten fügen Sie den Text immer in die <HTML>-Auszeichnung Ihrer Webseite ein.

Können Suchmaschinen die Navigation Ihrer Website verfolgen?

Genauso wie ein Crawler Ihre Website über Links von anderen Websites entdecken muss, braucht er einen Pfad von Links auf Ihrer eigenen Website, um von Seite zu Seite zu gelangen.


Wenn Sie eine Seite haben, die von den Suchmaschinen gefunden werden soll, aber von keiner anderen Seite aus verlinkt ist, ist sie so gut wie unsichtbar.


Viele Websites machen den entscheidenden Fehler, ihre Navigation so zu strukturieren, dass sie für Suchmaschinen unzugänglich ist. Sie behindern damit ihre Fähigkeit, in den Suchergebnissen gelistet zu werden.



Mann mit Anzug, Tablet, PAGE NOT FOUND ERROR, Icons
Wie Suchmaschinen funktionieren: Crawling, Indizierung und Ranking


Häufige Navigationsfehler, die verhindern können, dass Crawler Ihre gesamte Website sehen:


  • Eine mobile Navigation, die andere Ergebnisse anzeigt als Ihre Desktop-Navigation

  • Jede Art von Navigation, bei der die Menüpunkte nicht im HTML-Code enthalten sind, wie z. B. JavaScript-aktivierte Navigationen. Google ist beim Crawlen und Verstehen von Javascript viel besser geworden, aber es ist immer noch kein perfekter Prozess. Der sicherste Weg, um sicherzustellen, dass etwas von Google gefunden, verstanden und indiziert wird, ist, es in den HTML-Code aufzunehmen.

  • Personalisierung oder die Anzeige einer einzigartigen Navigation für einen bestimmten Besuchertyp im Gegensatz zu anderen, könnte für einen Suchmaschinen-Crawler als Cloaking erscheinen

  • Vergessen, in der Navigation auf eine Hauptseite Ihrer Website zu verlinken - denken Sie daran, dass Links die Pfade sind, denen Crawler zu neuen Seiten folgen!


Deshalb ist es wichtig, dass Ihre Website über eine klare Navigation und hilfreiche URL-Ordnerstrukturen verfügt.


Haben Sie eine saubere Informationsarchitektur?

Informationsarchitektur ist die Praxis der Organisation und Kennzeichnung von Inhalten auf einer Website, um die Effizienz und Auffindbarkeit für die Nutzer zu verbessern. Die beste Informationsarchitektur ist intuitiv, d. h., die Benutzer sollten nicht viel nachdenken müssen, um sich auf Ihrer Website zurechtzufinden oder um etwas zu finden.

Verwenden Sie Sitemaps?

Eine Sitemap ist genau das, wonach es klingt: eine Liste von URLs auf Ihrer Website, die Crawler verwenden können, um Ihre Inhalte zu finden und zu indizieren.


Eine der einfachsten Möglichkeiten, um sicherzustellen, dass Google Ihre wichtigsten Seiten findet, besteht darin, eine Datei zu erstellen, die den Google-Standards entspricht, und sie über die Google Search Console einzureichen.



Raster, Sitemap
Wie Suchmaschinen funktionieren: Crawling, Indizierung und Ranking


Die Übermittlung einer Sitemap ersetzt zwar nicht die Notwendigkeit einer guten Website-Navigation, aber sie kann den Crawlern helfen, einen Pfad zu all Ihren wichtigen Seiten zu finden.


Vergewissern Sie sich, dass Sie nur URLs aufgenommen haben, die von Suchmaschinen indiziert werden sollen, und stellen Sie sicher, dass die Crawler eine konsistente Wegbeschreibung erhalten.


Nehmen Sie beispielsweise keine URL in Ihre Sitemap auf, wenn Sie diese URL über robots.txt blockiert haben, oder nehmen Sie URLs in Ihre Sitemap auf, bei denen es sich um Duplikate und nicht um die bevorzugte, kanonische Version handelt.


Wenn Ihre Website nicht von anderen Websites verlinkt wird, können Sie sie vielleicht trotzdem indexieren lassen, indem Sie Ihre XML-Sitemap in der Google Search Console einreichen. Es gibt keine Garantie dafür, dass eine eingereichte URL in den Index aufgenommen wird, aber einen Versuch ist es wert!


Erhalten Crawler Fehler, wenn sie versuchen, auf Ihre URLs zuzugreifen?

Beim Crawlen der URLs auf Ihrer Website kann ein Crawler auf Fehler stoßen. Sie können den Bericht "Crawl-Fehler" in der Google Search Console aufrufen, um URLs zu ermitteln, bei denen dies der Fall sein könnte - dieser Bericht zeigt Ihnen Serverfehler und nicht gefundene Fehler an.


Server-Protokolldateien können Ihnen dies ebenso zeigen wie eine Fundgrube anderer Informationen, wie z. B. die Crawl-Häufigkeit. Da der Zugriff auf und die Analyse von Server-Protokolldateien jedoch eine fortgeschrittenere Taktik ist, werden wir sie in diesem Anfängerhandbuch nicht ausführlich behandeln, obwohl Sie hier mehr darüber erfahren können.



Bevor Sie etwas Sinnvolles mit dem Crawl-Fehlerbericht anfangen können, ist es wichtig, Serverfehler und "Nicht gefunden"-Fehler zu verstehen.



Roboter, Zahnräder
Wie Suchmaschinen funktionieren: Crawling, Indizierung und Ranking

4xx-Codes: Wenn Suchmaschinen-Crawler aufgrund eines Client-Fehlers nicht auf Ihre Inhalte zugreifen können

4xx-Fehler sind Client-Fehler, d. h. die angeforderte URL enthält eine fehlerhafte Syntax oder kann nicht erfüllt werden. Einer der häufigsten 4xx-Fehler ist der "404 - not found"-Fehler.


Diese können aufgrund eines URL-Tippfehlers, einer gelöschten Seite oder einer fehlerhaften Umleitung auftreten, um nur einige Beispiele zu nennen. Wenn Suchmaschinen auf einen 404-Fehler stoßen, können sie nicht auf die URL zugreifen.


Wenn Benutzer auf einen 404-Fehler stoßen, können sie frustriert sein und die Seite verlassen.


5xx-Codes: Wenn Suchmaschinen-Crawler aufgrund eines Serverfehlers nicht auf Ihre Inhalte zugreifen können

5xx-Fehler sind Serverfehler, d. h. der Server, auf dem sich die Webseite befindet, konnte die Anfrage des Suchenden oder der Suchmaschine zum Zugriff auf die Seite nicht erfüllen.


In dem Bericht "Crawl-Fehler" der Google Search Console gibt es eine Registerkarte, die diesen Fehlern gewidmet ist. Diese Fehler treten in der Regel auf, weil die Anfrage für die URL eine Zeitüberschreitung hatte, so dass Googlebot die Anfrage abgebrochen hat.


In der Dokumentation von Google erfahren Sie mehr über die Behebung von Problemen mit der Serverkonnektivität.


Zum Glück gibt es eine Möglichkeit, sowohl Suchenden als auch Suchmaschinen mitzuteilen, dass Ihre Seite umgezogen ist - die 301 (permanente) Weiterleitung.



Wenn Sie eine 301 Weiterleitung einrichten:

Wenn Sie keine 301 Weiterleitung einrichten:

Link-Equity

Übertragung von Link-Equity vom alten Standort der Seite auf die neue URL

Ohne 301 wird die Autorität der vorherigen URL nicht auf die neue Version der URL übertragen.

Indizierung

​Hilft Google, die neue Version der Seite zu finden und zu indizieren.

Das Vorhandensein von 404-Fehlern auf Ihrer Website allein schadet der Suchleistung nicht, aber wenn Sie ranghohen/besuchten Seiten 404-Fehler zugestehen, kann dies dazu führen, dass sie aus dem Index herausfallen, wobei Ranglisten und Besucherzahlen mit ihnen verschwinden.

User Experience

Stellt sicher, dass die Nutzer die Seite finden, die sie suchen.

Wenn Sie Ihren Besuchern erlauben, auf tote Links zu klicken, werden sie auf Fehlerseiten statt auf die gewünschte Seite geleitet, was frustrierend sein kann.


Der 301-Statuscode selbst bedeutet, dass die Seite dauerhaft an einen neuen Ort umgezogen ist. Vermeiden Sie es daher, URLs auf irrelevante Seiten umzuleiten - URLs, auf denen der Inhalt der alten URL nicht mehr vorhanden ist.


Wenn eine Seite für eine Suchanfrage gut platziert ist und Sie sie per 301 auf eine URL mit anderem Inhalt umleiten, kann sie im Ranking zurückfallen. Das liegt daran, dass der Inhalt, der sie für diese spezielle Suchanfrage relevant machte, nicht mehr vorhanden ist.


301s sind mächtig - verschieben Sie URLs verantwortungsvoll!


Sie haben auch die Möglichkeit, eine Seite per 302 umzuleiten, aber dies sollte für vorübergehende Umzüge und in Fällen reserviert werden, in denen die Weitergabe von Link-Equity kein so großes Problem darstellt. 302s sind wie eine Umleitung. Sie leiten den Verkehr vorübergehend über eine bestimmte Route um, aber das wird nicht ewig so bleiben.



Landschaft mit Straßenschild, 302
Wie Suchmaschinen funktionieren: Crawling, Indizierung und Ranking


Achten Sie auf Weiterleitungsketten!

Es kann für den Googlebot schwierig sein, Ihre Seite zu erreichen, wenn er mehrere Weiterleitungen durchlaufen muss. Google nennt diese "Weiterleitungsketten" und empfiehlt, sie so weit wie möglich zu begrenzen.


Wenn Sie Beispiel.com/1 auf Beispiel.com/2 umleiten und später beschließen, es auf Beispiel.com/3 umzuleiten, ist es am besten, den Mittelsmann auszuschalten und einfach Beispiel.com/1 auf Beispiel.com/3 umzuleiten.


Wenn Sie sichergestellt haben, dass Ihre Website für die Crawlability optimiert ist, müssen Sie als Nächstes dafür sorgen, dass sie indexiert werden kann.


 

Indizierung: Wie interpretieren und speichern die Suchmaschinen Ihre Seiten?


Frau mit Handy in der Hand, Laptop, Kaffeetasse, Icons
Wie Suchmaschinen funktionieren: Crawling, Indizierung und Ranking

Wenn Sie sichergestellt haben, dass Ihre Website gecrawlt wurde, müssen Sie als Nächstes dafür sorgen, dass sie indiziert werden kann. Das ist richtig - nur weil Ihre Website von einer Suchmaschine entdeckt und gecrawlt werden kann, bedeutet das nicht unbedingt, dass sie auch in deren Index gespeichert wird.


Im vorigen Abschnitt über Crawling haben wir besprochen, wie Suchmaschinen Ihre Webseiten entdecken. Der Index ist der Ort, an dem Ihre gefundenen Seiten gespeichert werden. Nachdem ein Crawler eine Seite gefunden hat, wird sie von der Suchmaschine genau so dargestellt wie in einem Browser. Dabei analysiert die Suchmaschine den Inhalt der Seite. Alle diese Informationen werden in ihrem Index gespeichert.


 

Kann ich sehen, wie ein Googlebot Crawler meine Seiten sieht?


Laptop, Roboter
Wie Suchmaschinen funktionieren: Crawling, Indizierung und Ranking

Ja, die im Cache gespeicherte Version Ihrer Seite zeigt eine Momentaufnahme des letzten Crawlings durch Googlebot.


Google crawlt und zwischenspeichert Webseiten mit unterschiedlicher Häufigkeit. Etablierte, bekannte Websites, die häufig Beiträge veröffentlichen, wie https://www.nytimes.com, werden häufiger gecrawlt als die viel weniger bekannte Website von Roger the Mozbot, http://www.rogerlovescupcakes.... (wenn sie nur echt wäre...)


Sie können sehen, wie Ihre zwischengespeicherte Version einer Seite aussieht, indem Sie auf den Dropdown-Pfeil neben der URL in der SERP klicken und "Cached" wählen:


Sie können auch die Nur-Text-Version Ihrer Website anzeigen, um festzustellen, ob Ihre wichtigen Inhalte effektiv gecrawlt und zwischengespeichert werden.