Crawl budget: wat is het en hoe kun je het verhogen om je ranking te verbeteren?

06.02.2020, 10m

Als website-eigenaar is het natuurlijk je wens om in de top van alle zoekresultaten te komen. Dit is in principe haalbaar, als Google je website goed vindt. In dit artikel hebben we het over crawl budget, leggen we uit wat het is en wat het te maken heeft met het vergroten van je zichtbaarheid in termen van ranking.

blogTitle-web_crawler-w680h280

Iedereen die met SEO werkt, heeft hetzelfde doel: een goede positie in de zoekresultaten, bij voorkeur op de eerste pagina.

Er zijn veel dingen die je kunt doen en optimaliseren als je dit doel wilt behalen. Gebruik de juiste trefwoorden, creëer goede content en gebruik interne en externe links. In dit artikel leggen we uit hoe je dit het beste kan doen en hoe je het meeste uit je crawl budget kunt halen!

Het concept van het crawl budget is zeer technisch; we proberen op een eenvoudige manier uit te leggen wat het precies is en hoe je het kunt optimaliseren.

Index

1. Wat is het crawl budget?

2. Hoe kom je erachter hoeveel een crawl budget is?

3. Hoe kun je Google overtuigen om vaker terug te komen naar je pagina's?

4. Hoe kun je je crawl budget optimaliseren?

5. Hoe kun je de tijd tussen de scans verminderen?

Conclusie

1. Wat is het crawl budget?

Voordat we beginnen, moeten we nog drie kernbegrippen kort toelichten. Vaak worden deze termen als synoniemen gebruikt, maar in werkelijkheid hebben ze verschillende betekenissen.

blogimage-web_crawler

Dit is wat er wordt bedoeld met het scannen, indexeren en positioneren van een pagina:

  • Allereerst scant de Googlebot een pagina. Dit kan een nieuwe pagina zijn met nieuwe inhoud of een bestaande pagina met bijgewerkte inhoud.

  • De pagina wordt dan geïndexeerd; dat wil zeggen, de informatie wordt in de database van de zoekmachine ingevoerd en de pagina kan in de SERP (Search Engine Result Pages) verschijnen.

  • Ten slotte bepaalt Google, wat betreft de ranking, waar de pagina wordt geplaatst naar aanleiding van de zoekopdracht van de gebruikers.

Dat gezegd te hebben, kunnen we beginnen.

Crawl Budget is het moment waarop Google besluit te investeren in het indexeren en scannen van de pagina's van een site.

Laten we die definitie nu onderzoeken:

De Googlebot is verantwoordelijk voor het scannen van elke pagina op het web. De Googlebot voert één keer per maand de deep-crawl uit en bijna elke dag de fresh-crawl.

De Googlebot bezoekt zoveel mogelijk URL's omdat Google inhoudelijk hongerig is: het doel is om op de hoogte te blijven van nieuwe inhoud op het web om gebruikers een relevant antwoord te geven op hun zoekopdrachten.

New call-to-action

De tijd die Googlebot besteedt aan het indexeren en scannen van je pagina's (en alle andere) is niet onbeperkt, integendeel, niet alle URL's worden regelmatig gescand. Daarom is het optimaliseren van je crawl budget cruciaal; als je pagina’s kwalitatief goed zijn, zullen ze makkelijker te lezen zijn en zal Googlebot meer tijd hebben om ook alle andere pagina’s te lezen.

Meer pagina's geïndexeerd of gescand door Googlebot betekent een grotere kans om bij de eerste SERP-resultaten te verschijnen.

Als Googlebot een pagina niet scant, wordt deze niet geïndexeerd en verschijnt deze helemaal niet in de SERP.

Googlebot zal geen tijd en middelen verspillen aan pagina's waarvan het denkt dat de kwaliteit niet hoog genoeg is, of als het denkt dat deze geen toegevoegde waarde hebben voor de zoektocht van gebruikers.

De vragen die op dit punt spontaan zullen opkomen zijn:

  • Vindt Google mijn website relevant genoeg?
  • Hoeveel tijd besteedt Googlebot aan mijn pagina's?
  • Kan ik mijn crawl budget verhogen?

In het volgende hoofdstuk zullen we de antwoorden geven.

Maar eerst is er nog het feit dat het crawl budget niet voor iedereen is. Kleine sites met weinig pagina's hoeven zich geen zorgen te maken. Dit is meer relevant voor grotere sites, zoals redactiesites en grote e-commercesites, die de gebruikers up-to-date-resultaten moeten laten zien.

Stel je voor dat je een voetbalwedstrijd volgt: natuurlijk verwacht je dat de resultaten die je in de SERP vindt, de score in real time laten zien en niet 15 minuten geleden.

2. Hoe kom je erachter hoeveel een crawl budget is?

clessidra

Om de activiteit van Googlebot op je site bij te houden, is de Google Search Console een handig en gratis hulpmiddel. Deze tool stelt je in staat om uit te vinden hoeveel aanvragen per seconde de zoekmachine aan jouw site wijdt en hoeveel tijd er verstrijkt tussen de scans.

Het ontdekken van de Googlebot activiteit in de afgelopen 90 dagen is eenvoudig. Je kunt de scanstatistieken op deze manier bekijken:

crawl budget english

Je ziet 3 grafieken naast elkaar met 3 waarden (high, average, low). De eerste grafiek toont de pagina's die per dag door Googlebot worden gescand, de tweede toont de kilobytes die dagelijks worden gedownload en de derde toont de tijd (in milliseconden) die wordt besteed aan het downloaden van een pagina.

Voor de eerste grafiek geldt dat hoe hoger de waarde, hoe beter, terwijl de tweede en derde grafiek het tegenovergestelde laten zien. Door de waarde van de pagina's te optimaliseren, kunnen zowel de crawler als de gebruikers er gemakkelijker doorheen navigeren.

Bovendien betekent een snellere download meer pagina's die met het beschikbare crawlbudget kunnen worden gescand.

Tip: Klik hier voor onze gratis whitepaper over User Generated Content.

3. Hoe kun je Google overtuigen om vaker terug te komen naar je pagina's?

Mocht je budget niet zo hoog zijn, is dat geen probleem. Er zijn enkele eenvoudige trucjes om de spin van Google te overtuigen om je meer te overwegen.

Google is nieuwsgierig. Om Google te overtuigen om terug te komen op jouw website, kun je deze punten volgen:

  1. Regelmatig nieuwe (kwalitatieve!) content creëren.

  2. Update je content regelmatig.

  3. Denk bij inhoud niet alleen aan tekst, maar alles wat op je pagina’s te zien is, zoals afbeeldingen, video’s, pdf’s en nog veel meer

  4. Zorg ervoor dat je sitemap duidelijk en leesbaar is voor Google, vooral als je een grote site hebt. Door het correct linken van je pagina’s verliest Googlebot geen kostbare tijd tijdens het scannen. Vergeet niet je site te synchroniseren in de Google Search Console.

  5. Maak gebruik van interne links voor al je pagina’s, anders kan het zijn dat Googlebot op een "doodlopende weg" terecht komt.

  6. Hoe meer backlinks je hebt, hoe groter de kans dat Google je pagina’s in overweging neemt. Backlinks zijn essentieel om de populariteit van je website te verhogen.

De populariteit van een pagina is essentieel. Zoals Google zelf zegt: ‘’De populairste URL’s op het internet worden vaker gecrawld om ze verser in onze index te houden.’’

4. Hoe kun je je crawl budget optimaliseren?

blogimage-web_crawler-2

Urenlang heb je bovenstaande tips gevolgd en ben je erin geslaagd om de aandacht van Google te trekken. Nu is het tijd om je te richten op SEO, of hoe je je crawlbudget kunt optimaliseren. Het concept van optimaliseren wordt hier opgevat als het benutten van de "kleine" tijd die Googlebot aan ons besteedt.

Het risico dat Googlebot kostbare tijd verliest, bijvoorbeeld op pagina's die geen toegevoegde waarde hebben voor gebruikers of die dubbele inhoud bevatten, is een zet die al je andere inspanningen tevergeefs zal maken. Iets wat je duidelijk wilt vermijden.

Houd dit concept altijd in gedachten:

Een populaire bron met recente of geüpdatet inhoud verhoogt het crawlbudget.

Integendeel, dubbele inhoud, lage kwaliteit of niet meer up-to-date, 404 pagina's, enz. verminderen het crawlbudget.

Hoewel het voor de hand ligt, moet worden gepreciseerd dat het creëren van een laag kwaliteitsniveau contraproductief is.

In feite bestaat het gevaar dat Googlebot tijd verspilt aan het scannen van diezelfde pagina's in plaats van zich te kunnen wijden aan die pagina's van jou die kwalitatief hoogstaand, populair en up-to-date zijn.

Google is al erg goed in zijn werk, maar je kunt helpen door dit werk makkelijker en (vooral) sneller te maken om je site te helpen.

Om dit te doen zijn er twee crawlbudgetwaarden die je kunt optimaliseren: verhoog je crawlbudget en verminder de tijd tussen de scans.

8 tips om je crawlbudget te optimaliseren en te verhogen

1. Een snelle server

Snelheid is essentieel, omdat, zoals we al hebben gezegd, de tijd die Googlebot aan ons besteedt niet onbeperkt is. Het optimaliseren van de downloadtijd van een pagina betekent dat Googlebot meer tijd aan andere pagina's kan besteden. Enkele tips die je hiervoor kunt volgen zijn:

  • Investeer in een kwaliteitsserver

  • Optimaliseer de paginacode om ze leesbaarder te maken

  • Comprimeer de afbeeldingen (maar lever geen kwaliteit in)
 

2. Organiseren (of herzien) van de structuur van je site

blogimage-web_crawler-3

Je zult zeker bekend zijn met deze afbeelding, dat laat zien hoe een site idealiter moet worden gestructureerd. Een duidelijke en lineaire structuur van de pagina's van je site, zorgt dat je kunt profiteren van je crawlbudget (en we weten nu dat meer tijd gelijk staat aan meer gescande of geïndexeerde pagina's). Let op:

  • Volg de beroemde drie-klik-regel, die stelt dat een gebruiker in staat moet zijn om van elke pagina op je site naar elke andere pagina op je site te gaan met een maximum van drie keer klikken.

  • Vermijd doodlopende pagina's. Dit verwijst naar pagina's die geen interne of externe links hebben.

  • Gebruik canonical URL's voor je site in de sitemap. Zelfs als dit niet helpt om uw crawlbudget te verhogen, kan Google begrijpen welke versie van de pagina moet worden gescand en geïndexeerd.

3. Gebruik interne links

Interne links, die in principe dienen om diepte aan een bepaald onderwerp toe te voegen, moeten verwijzen naar de pagina's waar de Googlebot rekening mee moet houden.

  • Als je je voorkeurspagina's aanwijst, heb je een grotere kans dat de crawler deze uiteindelijk zal scannen. Google richt zich meer op pagina's die veel links bevatten (zowel intern als extern).

  • De crawler zal eindigen in een "doodlopende weg" na het scannen van een pagina die geen links heeft.
Gratis whitepaper download over interne verlinking

4. Gebroken links repareren

Gebroken links straffen je niet alleen in termen van rangorde, maar verspillen ook het kostbare crawl budget dat je hebt.

5. Gebruik no-follow-links

No-follow-links besparen je crawl budget omdat ze de Googlebot vertellen geen tijd te verspillen aan het scannen ervan. Deze pagina's kunnen de pagina's zijn die je bepaalt als de minst belangrijke op je site of de pagina's die al gelinkt zijn binnen een bepaald onderwerp of een bepaalde categorie en die niet meerdere keren moeten worden gescand.

6. Optimaliseer txt

De robots.txt, een eenvoudig tekstbestand, is handig om oninteressante pagina's te blokkeren. Het biedt ook een gids voor de inhoud van elke pagina en vertelt Google hoe deze te crawlen.

Robot.txt is van essentieel belang als je wilt voorkomen dat je de tijd van de crawler verspilt met pagina's die niet gescand hoeven te worden. Dit kunnen privépagina's zijn of adminpagina's. Het is ook nuttig om aan te geven welke pagina's moeten worden gescand.

Productpagina SEO Checklist

7. Update je content

Je kunt het nooit genoeg zeggen: het updaten van je content leidt tot een toename van de tijd die Google eraan besteedt.

8. Verwijder onnodige/dubbele content

Het verwijderen van alle pagina's die niet meer relevant zijn of die niet veel verkeer hebben, voorkomt dat je je crawl budget verspilt. Als je de inhoud van deze pagina's niet volledig wilt verliezen, kun je deze verplaatsen naar (of combineren met) soortgelijke of nieuwe pagina's.

Vergeet in dit verband niet de backlinks. Als andere pagina's verwijzen naar een pagina die je op het punt staat te verwijderen, heb je twee opties: je kunt een 301 redirect doen, die de zoekmachine vertelt dat de pagina toegankelijk is vanaf een andere URL, of je kunt de backlink URL direct wijzigen.

 

 

5. Hoe kun je de tijd tussen de scans verminderen?

blogTitle-URL_Structure_Ecommerce-1v0001-w680h280

De tijd tussen de ene scan en de andere is belangrijk betreft het crawl budget.

Door regelmatig je content te updaten, zul je een toename van de Googlebot-scans opmerken. Elke keer dat de Googlebot een pagina bezoekt en herziene inhoud vindt, krijg je een verhoging van het crawl budget.

Let wel op: publiceer een pagina pas opnieuw na een grote update. Als Google ziet dat de inhoud hetzelfde is, of erg op de vorige versie lijkt, zal deze jou straffen met minder vaker te crawlen.

 

Conclusie

Het beheren en verhogen van je crawl budget is het geheim van succes. Als je content goed is en je pagina's gemakkelijk te lezen zijn, zal een frequentere crawling vrijwel zeker leiden tot een verhoging van de zichtbaarheid (dat wil zeggen, een hogere ranking in SERP's).

Wat je altijd in gedachten moet houden is; wanneer je het over crawlbudget hebt, je altijd moet nadenken over het optimaliseren van je pagina's.

Whitepaper introductie van SEO en SEA