Heutzutage ist es als Unternehmen von enormer Bedeutung, eine gute Online-Auffindbarkeit sicherzustellen. Wenn dies nicht der Fall ist, können Sie viele potenzielle Kunden verlieren, und das ist natürlich eine Schande. Google indiziert alle erstellten Webseiten.

Google indiziert durch Crawlen auf einer Webseite. Wenn es bestimmte Fehlfunktionen gibt, die verhindern, dass der Crawling-Prozess optimal ausgeführt wird, kann dies einen großen Einfluss auf die Auffindbarkeit einer Seite haben. In einem solchen Fall kann es daher nützlich sein, das Crawling-Budget Ihrer Seite zu optimieren. Wir haben ein paar Tipps, um Ihnen den Einstieg zu erleichtern.

Was ist ein Crawling-Budget?

Der Begriff Crawling-Budget wird bei der Optimierung einer Website eigentlich nicht verwendet. Und dies, während das Crawling-Budget einen großen Einfluss auf die Auffindbarkeit einer Seite hat. Sie können davon ausgehen, dass Google fast täglich einige Seiten Ihrer Website crawlt. Wir nennen auch die Anzahl der Seiten, die im Crawling-Budget gecrawlt werden.

Das Crawling-Budget einer Website kann von Tag zu Tag leicht abweichen. Das Crawling-Budget hängt von verschiedenen Faktoren ab, z. B. der Größe einer Website und beispielsweise der Anzahl der Verweise auf eine Website. Sind Sie neugierig auf das Crawling-Budget Ihrer Website? Dann können Sie einen Blick auf die Suchkonsole werfen.

Crawling-Budget

Es ist immer gut, das Crawling-Budget Ihrer Website zu kennen. Mit diesen Informationen können Sie das Budget mit der durchschnittlichen Anzahl von Seiten vergleichen, die von einem Googlebot gecrawlt werden. Sie können dies herausfinden, indem Sie die folgende Suche in der Suchmaschine durchführen:

” site: website.nl ”

Wie das folgende Bild zeigt, folgt die Anzahl der von Google indizierten Seiten.

Crawling-Budget

Wenn Ihr Crawling-Budget nicht dem Durchschnitt entspricht, können Sie einen Gewinn erzielen, da Google die Seiten nicht täglich crawlt. Wie bereits erwähnt, hängt das Crawling-Budget von mehreren Aspekten ab. Durch die Optimierung dieser Faktoren kann daher sichergestellt werden, dass täglich mehr Seiten von Google gecrawlt werden. Wir nennen dies auch die Optimierung des Crawling-Budgets.

Optimierung des Crawling-Budgets

Optimierung a Crawling-Budget Sie müssen daher Schritte unternehmen. Der erste wichtige Faktor ist die Geschwindigkeit einer Website. Beim Crawlen rendert Google gleichzeitig eine Seite. Wenn dieser Vorgang schnell erfolgt, kann der Googlebot eine Webseite schneller crawlen. Dies stellt sicher, dass Websites in der Suchmaschine schneller gefunden werden können.

Neben der Geschwindigkeit einer Webseite ist auch die Anzahl der Verweise auf eine Seite von Bedeutung. Wenn eine Website viele eingehende Links enthält, dauert die Verarbeitung der Links durch den Googlebot länger. Die auf Ihrer Website verbrachte Zeit summiert sich daher schnell.

Anwenden der Optimierung des Crawling-Budgets

So haben Sie jetzt einen etwas besseren Einblick in das Crawling-Budget einer Seite und die Faktoren, die dieses Budget beeinflussen. Aber wie können Sie sicherstellen, dass Sie mit diesem Wissen das Crawling-Budget Ihrer Seite optimieren können?

Wir haben natürlich ein paar Tipps für Sie! Ziel ist es, so viel organischen Traffic wie möglich zu generieren, indem Google auf bestimmte Seiten geleitet wird, die bereits einen höheren Wert haben. Sie können auch sicherstellen, dass die weniger wichtigen Seiten nicht unnötig indiziert werden.

1. Denken Sie sorgfältig über Filter nach

Beim Erstellen einer Website ist es vorteilhaft, klare Kategorien für die Benutzerfreundlichkeit festzulegen. Sie können dies mit Hilfe von Filtern tun. Diese Filter stellen sicher, dass viele verschiedene URLs generiert werden.

Filter können auch miteinander kombiniert werden, um noch mehr URLs zu erstellen. Das Laden eines Filters erfolgt häufig nach einem Parameter. Manchmal kann es sein, dass ein Parameter von Google als nicht relevant genug angesehen wird. In diesem Fall wird Google nicht crawlen. Um Ihnen eine bessere Vorstellung zu geben, hier einige Beispiele.

Preis

Wenn Sie eine E-Commerce-Website besuchen und etwas kaufen möchten, können Sie nach Preiskategorien suchen. Dies ist natürlich sehr nützlich für einen Besucher, aber dies erzeugt viele zusätzliche URLs. Wenn Sie den Bereich in acht Preiskategorien unterteilen, werden acht verschiedene URLs erstellt, die für einen Googlebot eigentlich nicht so interessant sind.

Website.nl/sale?price=20-50

Website.nl/sale?price=100-150

Suchergebnisse

Eine interne Suchfunktion auf einer Website kann auch sicherstellen, dass viele URLs erstellt werden, die nicht relevant sind. Es ist am besten, diese Seiten nicht zu indizieren, da dadurch nichts hinzugefügt wird. Darüber hinaus besteht eine hohe Wahrscheinlichkeit, dass diese Suchanfragen nicht mit den Kategorieseiten auf einer Website übereinstimmen.

Wie viel Schaden könnten diese oben genannten URLs anrichten? Es können nur eine Reihe von URLs generiert werden. Es ist jedoch nicht so einfach, wie es scheint. Hier zeigen wir Ihnen ein Beispiel für unsere Strategie zur Optimierung des Crawling-Budgets, die auf einen unserer Kunden angewendet wird.

Dieses Beispiel zeigt, dass durch die Verwendung einer Suchfunktion auf einer Website eine große Anzahl von Seiten indiziert wurde, die tatsächlich überhaupt keinen Einfluss hatten. Durch das Ausschließen dieser Seiten liegt der Fokus mehr auf den Seiten, die Aufmerksamkeit erhalten sollten.

Dies kann sich sogar auf Ihre Position im Google-Ranking auswirken, da der Googlebot mehr Zeit auf den wichtigsten Seiten verbringt. Es gibt einige Ansätze, um die von einem Filter generierten URLs auszuschließen. Die erste Möglichkeit besteht darin, den folgenden Text in die robots.txt einzugeben: disallow:? Search

Einfach ausgedrückt lautet der Befehl in diesem Fall, dass ein Googlebot die URLs überspringt, die? Search enthalten. Dies löst jedoch nicht das größte Problem, da die URLs weiterhin in den Suchergebnissen angezeigt werden.

Wenn Sie zuerst eine Noindex-Zeile hinzufügen und danach ein Disallow in die Zeile einfügen, ist dieses Problem behoben. Sie können auch ein Nofollow auf eine URL eines Filters anwenden, damit die Seiten mit diesem Tag nicht gecrawlt werden.

2. Vermeiden Sie doppelte Inhalte

Von großem Einfluss ist auch die Erstellung doppelter Inhalte. Dies bedeutet, dass es Seiten mit fast genau dem gleichen Inhalt wie auf einer anderen Seite gibt. Es gibt einige Arten von doppelten Inhalten, wir werden eine der häufigsten diskutieren. Wir sehen diese Form von doppelten Inhalten hauptsächlich in Webshops.

Wenn Sie beispielsweise Schuhe kaufen möchten, gibt es mehrere Kategorien, die zu einem bestimmten Paar Schuhe führen. Alle diese Kategorien haben daher eine eigene URL. Dadurch werden doppelte Inhalte erstellt, da mehrere URLs genau dieselben Informationen enthalten.

Website.nl/heren- Schoenen / schoencode

Website.nl/sneaker- Schoenen / schoencode

Auch hier wird häufig unterschätzt, wie viele zusätzliche URLs erstellt werden, und in diesem Fall werden auch doppelte Inhalte erstellt. Google benötigt daher doppelt so viel Zeit, um alle Seiten zu durchsuchen. Natürlich haben wir auch einen Trick für Sie, um herauszufinden, ob Sie Produkte über zwei verschiedene URLs anbieten. Geben Sie den folgenden Suchbegriff ein:

Site: webshop.nl ” Produktname ”

Wenn also mehr als eine URL angezeigt wird, wissen Sie, was zu tun ist!

3. Vermeiden Sie 404 und Weiterleitungen

Die Pflege einer Website ist sehr wichtig. Es ist für einen Besucher einer Website sehr ärgerlich, wenn eine 404-Seite angezeigt wird. Dies wird vom Googlebot auch als Nachteil angesehen, sodass die Verwendung des Crawls dem Crawling-Budget nicht zugute kommt.

Möchten Sie wissen, ob Sie auch 404 auf Ihrer Website haben? Sie können dann die Suchkonsole erneut verwenden. Wenn Sie sich das Thema “Crawlen” ansehen und dann auf die Überschrift “Crawling-Fehler” klicken, finden Sie die 404s unter “Nicht gefunden”. Es gibt zwei Möglichkeiten, die 404 zu reparieren.

Zunächst können Sie den internen Link zu dem einer Arbeitsseite ändern. Wir empfehlen, diese Option nach Möglichkeit zu wählen. Die zweite Option ist die Verwendung einer 301-Umleitung. Beide Optionen haben das gleiche Ergebnis. Wir empfehlen Ihnen jedoch, die Verwendung interner Weiterleitungen so weit wie möglich zu vermeiden. Auf diese Weise verhindern Sie, dass der Googlebot eine längere Ladezeit auf einer Seite aufweist.

Bei der Verwendung von Weiterleitungen müssen Sie im Allgemeinen sehr vorsichtig sein. Natürlich möchten Sie nicht, dass eine Umleitungskette entsteht. Miteinander verknüpfte Weiterleitungen können sich negativ auf ein Crawling-Budget auswirken. Hier ein Beispiel für eine Umleitungskette:

4. Beobachten Sie die Serverprotokolle

Eine der besten Taktiken für die Untersuchung des Crawling-Budgets ist die Analyse des Serverprotokolls. In dieser Analyse erfahren Sie, ob der Googlebot die richtigen Seiten besucht. Dies hat mit der Relevanz einer Seite zu tun.

Verwenden Sie am besten ein Programm wie Screaming Frog. Wenn Sie diese Art von Tools verwenden, erhalten Sie eine kurze Zusammenfassung mit allen Informationen, die für Serverprotokolle von Bedeutung sind. Sie können beispielsweise sehen, welcher Benutzeragent gecrawlt hat. Außerdem können Sie den Statuscode, die Antwortzeit, die Anzahl der Crawls und die Anzahl der heruntergeladenen Bytes ermitteln.

Das Durchführen einer Serverprotokollanalyse ist nicht einfach und es kann eine Weile dauern, bis Sie den Dreh raus haben. Dennoch kann es sicherlich hilfreich sein, Zeit zu investieren. Sie können so viele Informationen über alle Bots sammeln, die auf Ihren Seiten kriechen.

Arbeiten!

Jetzt, da Sie mehr über das Crawling-Budget einer Website und deren Optimierung wissen, können Sie selbst loslegen! Durch Anwenden dieser Tipps können Sie nicht nur ein optimales Crawling-Budget sicherstellen, sondern die Anwendungen stellen auch sicher, dass Ihre Website benutzerfreundlicher ist. Wer möchte nicht eine schnelle Ladezeit einer Seite und klare Navigationslinks. Wenn Sie in Verweise auf Ihre Seite investieren, kommt dies auch Ihrer Website zugute.