Crawlbarkeit ist die Fähigkeit der Google-Roboter, die Seiten deiner Website aufzurufen, zu navigieren und zu lesen — eine wesentliche Voraussetzung für Indexierung und Ranking.
Crawlbarkeit beschreibt, wie leicht Googlebot — der Indexierungsroboter von Google — deine Website aufrufen und navigieren kann. Faktoren, die sie beeinflussen: eine restriktive robots.txt, fehlende oder defekte interne Links, Weiterleitungsketten, Serverfehler (5xx), komplexe Paginierungsstrukturen, übermäßiges JavaScript, das Inhalte verbirgt, und ein erschöpftes Crawl-Budget (bei sehr großen Websites). Crawlbarkeit ist die erste Bedingung für die Indexierung — was nicht gecrawlt werden kann, kann nicht indexiert werden, und was nicht indexiert ist, kann nicht ranken.
Googlebot hat pro Website ein begrenztes Crawl-Budget. Verschwendest du Crawl-Zeit auf wertlose Seiten (doppelte Filterseiten, Parameter-URLs), erreicht Google die wichtigen Seiten nicht. Große Websites können durch Crawlbarkeitsprobleme Zehntausende Seiten aus dem Index verlieren.
Quelle: Google Search Central — CrawlingTechnisches SEO umfasst die Optimierungen der Website-Infrastruktur — Crawlbarkeit, Indexierung, Ladegeschwindigkeit, HTTPS und Datenstruktur — die es Google ermöglichen, deine Seiten zu finden und zu verstehen.
Eine XML-Sitemap ist eine Datei, die alle wichtigen URLs deiner Website auflistet und Google hilft, sie schneller und vollständiger zu entdecken und zu indexieren.
Die robots.txt ist eine Textdatei im Stammverzeichnis der Website, die Crawlern (Google, Bing, GPTBot) mitteilt, welche Seiten sie aufrufen und indexieren dürfen und welche nicht.
Der Canonical-Tag (rel="canonical") sagt Google, welche die Hauptversion einer Seite ist, wenn ähnliche oder doppelte URLs existieren, und verhindert Strafen wegen doppelter Inhalte.
Entdecke, wie du dieses Konzept auf deine Branche und Stadt anwendest.