Crawling und Indexierung - So funktionieren die Suchmaschinen
Das Crawling und die Indexierung sind wichtige Komponenten einer Suchmaschine. Erst nachdem diese zwei Prozesse durchlaufen sind, erscheint eine Webseite in den Suchergebnissen. Doch welche Bedeutung hat das Crawling und die Indexierung im Bereich SEO und wie können beide Prozesse beeinflusst werden? Diese und weitere Fragen werden wir in diesem Artikel behandeln.
- Datum: 27.10.2023
- Lesezeit: 3,5 Minuten
Was bedeutet Crawling?
Das Crawling ist der erste Schritt, bevor eine Webseite überhaupt indexiert werden kann. Dabei geht dieser Crawler, auch manchmal Bot genannt, die Inhalte einer Webseite durch. Stößt der Crawler auf interne oder externe Verlinkungen so folgt er diesen Links bei einem DoFollow-Attribut und bei einem NoFollow-Attribut nicht. Für eine korrekte interne Verlinkung sollten die Links daher immer mit dem DoFollow-Attribut versehen werden, damit der Crawler auch weitere Unterseiten entdecken kann. Jede Suchmaschine hat ihren eigenen Crawler-Bot. So hat Google zum Beispiel den Googlebot und Bing den Bingbot. Dabei werden nochmal Unterschiede zwischen einem Computer-Bot und einem Smartphone-Bot gemacht. Es besteht außerdem die Möglichkeit, die Crawler dabei zu hindern, eine Webseite zu durchsuchen. Dies macht allerdings in nur seltenen Fällen wirklich Sinn (Warenkorb-Seite).
Neben Inhalten wie Texte werden auch Bilder, Meta-Tags, E-Mail-Adressen, Verlinkungen, Preise und vieles mehr durchsucht. Alle durchsuchten Informationen werden in einem Index gespeichert.
Was bedeutet Indexierung?
Die Indexierung geschieht, nachdem ein Crawler, wie zum Beispiel der Googlebot, die Inhalte einer Webseite durchsucht hat. Diese Inhalte werden in einer Datenbank, auch Index genannt, gespeichert. Danach erfolgt die Indexierung. Diese Indexierung ermöglicht den Suchmaschinen, große Datenmengen effizient zu kategorisieren. Hierbei wird die Grundlage für die Suchanfragen gebildet. Relevante Webseiten werden so in den Suchergebnissen (SERPs) für bestimmte Keywords angezeigt. Die Platzierung in den Suchergebnissen ist allerdings am Ende von vielen verschiedenen Faktoren abhängig.
Wie prüfe ich, ob meine Webseite bereits indexiert wurde?
Beim Anlegen einer neuen Webseite oder auch Unterseiten kann es unter Umständen viel Zeit benötigen, bis diese endlich indexiert werden. Dennoch gibt es verschiedene Möglichkeiten, um zu prüfen, ob diese bereits indexiert sind.
- Mit der site:-Abfrage in Google lassen sich die bereits indexierten Suchergebnisse einer Domain anfordern.
Alle indexierten Seiten einer Domain:
site:beispiel.de
Indexierte Seite mit einem bestimmten Keyword:
site:beispiel.de keyword
- Mit der Google Search Console. Hierbei können unterschiedliche Unterseiten oder auch die Startseite in die Suchleiste eingefügt werden. Anschließend wird der Google-Index nach dieser bestimmten Seite abgesucht. Ob eine Seite dann tatsächlich bereits indexiert wurde, wird in dem Abdeckungsbericht aufgezeigt. Ebenfalls kann aus diesem Bericht entnommen werden, ob eine Seite bereits gecrawlt wurde oder noch nicht.
Die Relevanz von Crawling und Indexierung in SEO
Das Crawlen einer Webseite verbraucht viele Ressourcen. Damit nicht unnötig viele Ressourcen verbraucht und der Server nicht mit Anfragen überflutet wird, teilen die Suchmaschinen jeder Webseite ein bestimmtes Budget zu. Dies ist auch besser bekannt als Crawling-Budget. Da dieses Crawling-Budget nicht unendlich ist, sollte es auch nicht unnötig verschwendet werden.
Besonders große Webseiten mit vielen verschiedenen Unterseiten müssen Ihre Webseite weitestgehend optimieren, damit auch wirklich alle wichtigen und relevanten Seiten indexiert werden können. Sowohl das Crawling als auch die Indexierung von Webseiten können mit der Hilfe von SEO optimiert werden. Hierbei werden beispielweise gezielte und strukturierte interne Verlinkungen gesetzt, um dem Crawler den Weg zu weisen.
Wie das Crawling und die Indexierung von Webseiten beeinflusst werden kann
Das Crawling und die Indexierung können neben passiven Einflüssen auch direkt beeinflusst werden. Dies kann auf unterschiedliche Weise erfolgen.
Sitemaps
Eine Sitemap ist eine Datei, die Informationen über eine Webseite enthält. Dabei können beispielsweise Produkte oder Blogbeiträge aufgelistet werden. Diese Datei dient dazu, dass die Suchmaschinen eine Webseite noch effizienter durchsuchen können. So werden beispielsweise auch Aktualisierungen und andere wichtige Informationen festgehalten. Besonders für größere Webseiten ist eine Sitemap sinnvoll, um dem Crawler die Navigation zu erleichtert. Generell ist allerdings eine Sitemap nicht zwingend notwendig, wenn die Seiten einer Webseite richtig verlinkt sind.
Robots.txt
Mit der Hilfe einer robots.txt Datei kann dem Crawler mitgeteilt werden, welche Unterseiten beachtet werden sollen. Zwar können auch Crawler in dieser Datei ausgeschlossen werden, um das Indexieren von bestimmten Inhalten zu vermeiden, allerdings empfiehlt sich hierzu der Meta-Tag „noindex„. In der Regel wird diese robots.txt Datei dazu verwendet, um den Traffic, der von Crawlern erzeugt wird, zu verwalten. Allerdings gelten diese Anweisungen in der Datei nur als eine Empfehlung für die Suchmaschinen und werden daher nicht immer zwingend berücksichtigt.
Interne Verlinkungen
Die internen Verlinkungen sind eine gute Möglichkeit, das Crawling und die Indexierung von bestimmten Seiten effizient und strukturiert zu beeinflussen. Relevante Seiten sowie wichtige Produktseiten lassen sich so sinnvoll miteinander verknüpfen. Dadurch können besonders wichtige und relevante Inhalte sinnvoll verlinkt werden, damit diese Inhalte schneller und öfter gecrawlt werden. Neben dem positiven Einfluss auf die Indexierung kann ebenfalls der Linkjuice der einzelnen Seiten weitergegeben werden. Dabei können unterschiedliche Seiten durch eine interne Verlinkung priorisiert werden.
Google Search Console
Eine weitere Möglichkeit, um das Crawling und die Indexierung von Webseiten anzustoßen, ist die Google Search Console. Um eine Indexierung zu beantragen, wird einfach die entsprechende URL über die Google Search Console eingereicht. Anschließend kann die Indexierung beantragt werden. Selbst ein Live-Test der URL ist möglich, um potenzielle Fehler und Probleme zu erkennen. Sind keine Probleme zu erkennen, wird in diesem Test angezeigt, dass die URL für Google verfügbar ist.
