Google hat kürzlich seine Dokumentation zum Google Extended Crawler aktualisiert. Diese Änderung zielt darauf ab, Missverständnisse zu klären und Verwirrung zu vermeiden. Der Google Extended Crawler ist ein spezieller Crawler, den Google nutzt, um bestimmte Inhalte zu erfassen und zu indizieren, die von herkömmlichen Crawlern möglicherweise übersehen werden.
Diese Funktion kann besonders für umfangreiche oder komplexe Websites von Vorteil sein, bei denen Standard-Crawler möglicherweise nicht in der Lage sind, alle Inhalte zu erfassen. Die überarbeitete Dokumentation betont, dass der Google Extended Crawler ausschließlich zusätzliche Informationen von bereits indexierten Seiten sammelt und nicht zur Entdeckung oder Indexierung neuer URLs dient.
Das bedeutet, dass der Google Extended Crawler nicht dazu führt, dass neue URLs in den Suchergebnissen erscheinen. Stattdessen werden die zusätzlichen Informationen, die er sammelt, in den bereits existierenden Suchergebnissen dargestellt. Diese Klarstellung soll dazu beitragen, dass Website-Betreiber ein besseres Verständnis für die Funktionsweise des Google Extended Crawlers und dessen Auswirkungen auf ihre Website haben.
Es ist wichtig zu beachten, dass der Google Extended Crawler ausschließlich von Google verwendet wird und nicht von anderen Suchmaschinen oder Diensten. Daher sollten Website-Betreiber keine Schritte unternehmen, um den Zugriff des Google Extended Crawlers auf ihre Website zu blockieren. Sie sollten stattdessen sicherstellen, dass ihre Website für den Google Extended Crawler zugänglich ist und alle relevanten Inhalte enthält, um eine optimale Darstellung in den Suchergebnissen zu gewährleisten.
Die aktualisierte Dokumentation zum Google Extended Crawler enthält auch weitere Informationen darüber, wie Website-Betreiber den Zugriff des Crawlers auf ihre Website kontrollieren können. Hierzu gehören auch Tipps zur Verwendung von robots.txt oder zur Festlegung von crawl-delay. Diese Informationen können dazu beitragen, die Leistung und Sichtbarkeit einer Website in den Suchergebnissen zu optimieren.
Insgesamt stellt das Update der Dokumentation zum Google Extended Crawler einen wichtigen Schritt dar, um sicherzustellen, dass Website-Betreiber ein besseres Verständnis für die Funktionsweise dieses speziellen Crawlers haben. Durch die Bereitstellung klarer und genauer Informationen können Website-Betreiber sicherstellen, dass ihre Website optimal in den Google-Suchergebnissen dargestellt wird und dadurch mehr Traffic und Sichtbarkeit erzielt.
Weitere Informationen finden Sie hier: https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers?hl=de
Benötigen Sie Hilfe bei Ihrem SEO-Projekt? Schreiben Sie uns gerne unter support@mertes-leven.de an.
