Als website-eigenaar is het natuurlijk je wens om in de top van alle zoekresultaten te komen. Dit is in principe haalbaar, als Google je website goed vindt. In dit artikel hebben we het over crawl budget, leggen we uit wat het is en wat het te maken heeft met het vergroten van je zichtbaarheid in termen van ranking.
Iedereen die met SEO werkt, heeft hetzelfde doel: een goede positie in de zoekresultaten, bij voorkeur op de eerste pagina.
Er zijn veel dingen die je kunt doen en optimaliseren als je dit doel wilt behalen. Gebruik de juiste trefwoorden, creëer goede content en gebruik interne en externe links. In dit artikel leggen we uit hoe je dit het beste kan doen en hoe je het meeste uit je crawl budget kunt halen!
Het concept van het crawl budget is zeer technisch; we proberen op een eenvoudige manier uit te leggen wat het precies is en hoe je het kunt optimaliseren.
In dit artikel...
1. Wat is het crawl budget?
Voordat we beginnen, moeten we nog drie kernbegrippen kort toelichten. Vaak worden deze termen als synoniemen gebruikt, maar in werkelijkheid hebben ze verschillende betekenissen.
Dit is wat er wordt bedoeld met het scannen, indexeren en positioneren van een pagina:
- Allereerst scant de Googlebot een pagina. Dit kan een nieuwe pagina zijn met nieuwe inhoud of een bestaande pagina met bijgewerkte inhoud.
- De pagina wordt dan geïndexeerd; dat wil zeggen, de informatie wordt in de database van de zoekmachine ingevoerd en de pagina kan in de SERP (Search Engine Result Pages) verschijnen.
- Ten slotte bepaalt Google, wat betreft de ranking, waar de pagina wordt geplaatst naar aanleiding van de zoekopdracht van de gebruikers.
Dat gezegd te hebben, kunnen we beginnen.
Crawl Budget is het moment waarop Google besluit te investeren in het indexeren en scannen van de pagina's van een site.
Laten we die definitie nu onderzoeken:
De Googlebot is verantwoordelijk voor het scannen van elke pagina op het web. De Googlebot voert één keer per maand de deep-crawl uit en bijna elke dag de fresh-crawl.
De Googlebot bezoekt zoveel mogelijk URL's omdat Google inhoudelijk hongerig is: het doel is om op de hoogte te blijven van nieuwe inhoud op het web om gebruikers een relevant antwoord te geven op hun zoekopdrachten.
De tijd die Googlebot besteedt aan het indexeren en scannen van je pagina's (en alle andere) is niet onbeperkt, integendeel, niet alle URL's worden regelmatig gescand. Daarom is het optimaliseren van je crawl budget cruciaal; als je pagina’s kwalitatief goed zijn, zullen ze makkelijker te lezen zijn en zal Googlebot meer tijd hebben om ook alle andere pagina’s te lezen.
Meer pagina's geïndexeerd of gescand door Googlebot betekent een grotere kans om bij de eerste SERP-resultaten te verschijnen.
Als Googlebot een pagina niet scant, wordt deze niet geïndexeerd en verschijnt deze helemaal niet in de SERP.
Googlebot zal geen tijd en middelen verspillen aan pagina's waarvan het denkt dat de kwaliteit niet hoog genoeg is, of als het denkt dat deze geen toegevoegde waarde hebben voor de zoektocht van gebruikers.
De vragen die op dit punt spontaan zullen opkomen zijn:
- Vindt Google mijn website relevant genoeg?
- Hoeveel tijd besteedt Googlebot aan mijn pagina's?
- Kan ik mijn crawl budget verhogen?
In het volgende hoofdstuk zullen we de antwoorden geven.
Maar eerst is er nog het feit dat het crawl budget niet voor iedereen is. Kleine sites met weinig pagina's hoeven zich geen zorgen te maken. Dit is meer relevant voor grotere sites, zoals redactiesites en grote e-commerce-sites, die de gebruikers up-to-date-resultaten moeten laten zien.
Stel je voor dat je een voetbalwedstrijd volgt: natuurlijk verwacht je dat de resultaten die je in de SERP vindt, de score in real time laten zien en niet 15 minuten geleden.
2. Hoe kom je erachter hoeveel een crawl budget is?
Om de activiteit van Googlebot op je site bij te houden, is de Google Search Console een handig en gratis hulpmiddel. Deze tool stelt je in staat om uit te vinden hoeveel aanvragen per seconde de zoekmachine aan jouw site wijdt en hoeveel tijd er verstrijkt tussen de scans.
Het ontdekken van de Googlebot activiteit in de afgelopen 90 dagen is eenvoudig. Je kunt de scanstatistieken op deze manier bekijken:
- Log in op de Google Search Console
- Ga naar ⚙️ Instellingen
- Onder het kopje 'Crawlen' klik op 'rapport openen'
Hier ziet u 3 waarden:
- Het totale aantal crawlverzoeken: de blauwe lijn geeft het aantal crawlverzoeken in het geselecteerde tijdsinterval aan.
- De totale downloadgrootte (bytes) - de paarse lijn geeft de grootte aan van de bronnen en bestanden die zijn gedownload tijdens de scan in het geselecteerde tijdsbestek.
- De gemiddelde reactietijd (ms) : de oranje lijn geeft de gemiddelde responstijd van de pagina aan om de inhoud van de pagina op te halen bij een scanverzoek.
Wat crawlverzoeken betreft, kan worden gezegd dat hoe hoger de waarde, hoe beter. Het tegenovergestelde geldt voor de andere twee waarden. Door het gewicht van de pagina's te optimaliseren, kunnen zowel de crawler als de gebruikers er sneller door bladeren.
Bovendien betekent een snellere download dat er meer pagina's kunnen worden gecrawld met het beschikbare crawlbudget.
3. Hoe kun je Google overtuigen om vaker terug te komen naar je pagina's?
Mocht je budget niet zo hoog zijn, is dat geen probleem. Er zijn enkele eenvoudige trucjes om de spin van Google te overtuigen om je meer te overwegen.
Google is nieuwsgierig. Om Google te overtuigen om terug te komen op jouw website, kun je deze punten volgen:
- Regelmatig nieuwe (kwalitatieve!) content creëren.
- Update je content regelmatig.
- Denk bij inhoud niet alleen aan tekst, maar alles wat op je pagina’s te zien is, zoals afbeeldingen, video’s, pdf’s en nog veel meer
- Zorg ervoor dat je sitemap duidelijk en leesbaar is voor Google, vooral als je een grote site hebt. Door het correct linken van je pagina’s verliest Googlebot geen kostbare tijd tijdens het scannen. Vergeet niet je site te synchroniseren in de Google Search Console.
- Maak gebruik van interne links voor al je pagina’s, anders kan het zijn dat Googlebot op een 'doodlopende weg' terecht komt.
- Hoe meer backlinks je hebt, hoe groter de kans dat Google je pagina’s in overweging neemt. Backlinks zijn essentieel om de populariteit van je website te verhogen.
De populariteit van een pagina is essentieel. Zoals Google zelf zegt: ‘’De populairste URL’s op het internet worden vaker gecrawld om ze verser in onze index te houden’.’
4. Hoe kun je je crawl budget optimaliseren?
Urenlang heb je bovenstaande tips gevolgd en ben je erin geslaagd om de aandacht van Google te trekken. Nu is het tijd om je te richten op SEO, of hoe je je crawlbudget kunt optimaliseren. Het concept van optimaliseren wordt hier opgevat als het benutten van de "kleine" tijd die Googlebot aan ons besteedt.
Het risico dat Googlebot kostbare tijd verliest, bijvoorbeeld op pagina's die geen toegevoegde waarde hebben voor gebruikers of die dubbele inhoud bevatten, is een zet die al je andere inspanningen tevergeefs zal maken. Iets wat je duidelijk wilt vermijden.
Houd dit concept altijd in gedachten:
Een populaire bron met recente of geüpdatet inhoud verhoogt het crawlbudget.
Integendeel, dubbele inhoud, lage kwaliteit of niet meer up-to-date, 404 pagina's, enz. verminderen het crawlbudget.
Hoewel het voor de hand ligt, moet worden gepreciseerd dat het creëren van een laag kwaliteitsniveau contraproductief is.
In feite bestaat het gevaar dat Googlebot tijd verspilt aan het scannen van diezelfde pagina's in plaats van zich te kunnen wijden aan die pagina's van jou die kwalitatief hoogstaand, populair en up-to-date zijn.
Google is al erg goed in zijn werk, maar je kunt helpen door dit werk makkelijker en (vooral) sneller te maken om je site te helpen.
Om dit te doen zijn er twee crawlbudgetwaarden die je kunt optimaliseren: verhoog je crawlbudget en verminder de tijd tussen de scans.
8 tips om je crawlbudget te optimaliseren en te verhogen
1. Een snelle server
Snelheid is essentieel, omdat, zoals we al hebben gezegd, de tijd die Googlebot aan ons besteedt niet onbeperkt is. Het optimaliseren van de downloadtijd van een pagina betekent dat Googlebot meer tijd aan andere pagina's kan besteden. Enkele tips die je hiervoor kunt volgen zijn:
- Investeer in een kwaliteitsserver
- Optimaliseer de paginacode om ze leesbaarder te maken
- Comprimeer de afbeeldingen (maar lever geen kwaliteit in)
📖 Leestip: 'Waarom is de laadsnelheid van je webshop belangrijk?'
2. Organiseren (of herzien) van de structuur van je site
Je zult zeker bekend zijn met deze afbeelding, dat laat zien hoe een site idealiter moet worden gestructureerd. Een duidelijke en lineaire structuur van de pagina's van je site, zorgt dat je kunt profiteren van je crawlbudget (en we weten nu dat meer tijd gelijk staat aan meer gescande of geïndexeerde pagina's). Let op:
- Volg de beroemde drie-klik-regel, die stelt dat een gebruiker in staat moet zijn om van elke pagina op je site naar elke andere pagina op je site te gaan met een maximum van drie keer klikken.
- Vermijd doodlopende pagina's. Dit verwijst naar pagina's die geen interne of externe links hebben.
- Gebruik canonical URL's voor je site in de sitemap. Zelfs als dit niet helpt om uw crawlbudget te verhogen, kan Google begrijpen welke versie van de pagina moet worden gescand en geïndexeerd.
3. Gebruik interne links
Interne links, die in principe dienen om diepte aan een bepaald onderwerp toe te voegen, moeten verwijzen naar de pagina's waar de Googlebot rekening mee moet houden.
- Als je je voorkeurspagina's aanwijst, heb je een grotere kans dat de crawler deze uiteindelijk zal scannen. Google richt zich meer op pagina's die veel links bevatten (zowel intern als extern).
- De crawler zal eindigen in een "doodlopende weg" na het scannen van een pagina die geen links heeft.
4. Gebroken links repareren
Gebroken links straffen je niet alleen in termen van rangorde, maar verspillen ook het kostbare crawl budget dat je hebt.
5. Gebruik no-follow-links
No-follow-links besparen je crawl budget omdat ze de Googlebot vertellen geen tijd te verspillen aan het scannen ervan. Deze pagina's kunnen de pagina's zijn die je bepaalt als de minst belangrijke op je site of de pagina's die al gelinkt zijn binnen een bepaald onderwerp of een bepaalde categorie en die niet meerdere keren moeten worden gescand.
6. Optimaliseer txt
De robots.txt, een eenvoudig tekstbestand, is handig om oninteressante pagina's te blokkeren. Het biedt ook een gids voor de inhoud van elke pagina en vertelt Google hoe deze te crawlen.
Robot.txt is van essentieel belang als je wilt voorkomen dat je de tijd van de crawler verspilt met pagina's die niet gescand hoeven te worden. Dit kunnen privépagina's zijn of adminpagina's. Het is ook nuttig om aan te geven welke pagina's moeten worden gescand.
7. Update je content
Je kunt het nooit genoeg zeggen: het updaten van je content leidt tot een toename van de tijd die Google eraan besteedt.
8. Verwijder onnodige/dubbele content
Het verwijderen van alle pagina's die niet meer relevant zijn of die niet veel verkeer hebben, voorkomt dat je je crawl budget verspilt. Als je de inhoud van deze pagina's niet volledig wilt verliezen, kun je deze verplaatsen naar (of combineren met) soortgelijke of nieuwe pagina's.
Vergeet in dit verband niet de backlinks. Als andere pagina's verwijzen naar een pagina die je op het punt staat te verwijderen, heb je twee opties: je kunt een 301 redirect doen, die de zoekmachine vertelt dat de pagina toegankelijk is vanaf een andere URL, of je kunt de backlink URL direct wijzigen.
📖 Leestip: '15 bewezen contentideeën voor je social media-marketing'.
5. Hoe kun je de tijd tussen de scans verminderen?
De tijd tussen de ene scan en de andere is belangrijk betreft het crawl budget.
Door regelmatig je content te updaten, zul je een toename van de Googlebot-scans opmerken. Elke keer dat de Googlebot een pagina bezoekt en herziene inhoud vindt, krijg je een verhoging van het crawl budget.
Let wel op: publiceer een pagina pas opnieuw na een grote update. Als Google ziet dat de inhoud hetzelfde is, of erg op de vorige versie lijkt, zal deze jou straffen met minder vaker te crawlen.
6. Conclusie
Het beheren en verhogen van je crawl budget is het geheim van succes. Als je content goed is en je pagina's gemakkelijk te lezen zijn, zal een frequentere crawling vrijwel zeker leiden tot een verhoging van de zichtbaarheid (dat wil zeggen, een hogere ranking in SERP's).
Wat je altijd in gedachten moet houden is; wanneer je het over crawlbudget hebt, je altijd moet nadenken over het optimaliseren van je pagina's.
Origineel in het Italiaans: 'Crawl budget: cos'è e come aumentarlo per migliorare il ranking'
Gepubliceerd op: 6 februari 2020
Geüpdate op: 21 december 2021
