01
Googlebot
Google's crawler bezoekt URLs, leest de HTML-content en volgt links naar nieuwe pagina's, alsof hij door uw website "bladert".
SEO begrip
Wat is crawlen?
02
Crawlfrequentie
Populaire en regelmatig bijgewerkte websites worden vaker gecrawld dan kleine, statische websites.
03
Crawlbudget
Google alloceert een beperkt aantal crawls per website per tijdseenheid. Efficiënt gebruik ervan is voor grote sites cruciaal.
Hoe werkt de Googlebot?
De Googlebot begint met een lijst van bekende URLs en volgt daarna alle links die hij tegenkomt, zowel interne links (naar andere pagina's op uw website) als externe links (naar andere websites). Hij leest de HTML, verwerkt JavaScript (in een tweede stap) en slaat de content op voor indexering.
- Eerste crawl, HTML wordt direct verwerkt
- JavaScript rendering, komt later, soms uren of dagen na de eerste crawl
- Mobile-first, Google crawlt primair de mobiele versie van uw website
Crawling optimaliseren
- Interne linkstructuur, elke pagina moet bereikbaar zijn via interne links; wees-pagina's worden minder snel gecrawld
- Laadsnelheid, trage servers verminderen crawlefficiëntie
- Robots.txt, blokkeer onbelangrijke directories om crawlbudget te sparen
- XML-sitemap, helpt de Googlebot alle belangrijke URLs te vinden
Crawlbudget beheren
Google wijst elk domein een crawlbudget toe: het aantal pagina’s dat de Googlebot bereid is te crawlen in een bepaalde tijdseenheid. Voor kleine websites (onder 1.000 pagina’s) is crawlbudget zelden een probleem. Voor grote websites, webshops, nieuwssites, websites met veel URL-parameters, kan een inefficiënt crawlbudget betekenen dat nieuwe of gewijzigde pagina’s weken op indexering wachten.
Crawlbudget optimaliseert u door: overbodige URLs te blokkeren via robots.txt (bijv. /wp-admin/, URL-parameters), redirect chains op te lossen, en de laadsnelheid te verbeteren, Google crawlt snelladende servers vaker.
JavaScript en crawlen
Websites die sterk afhankelijk zijn van JavaScript voor het tonen van content hebben een extra crawl-uitdaging. Google crawlt HTML direct maar verwerkt JavaScript in een tweede stap die uren of dagen later plaatsvindt. Content die alleen via JavaScript beschikbaar is, wordt later geïndexeerd dan HTML-content. Server-side rendering (SSR) of pre-rendering zijn oplossingen die Heibrink adviseert bij websites met veel JavaScript-content.
20+ jaar online marketing ervaring
Volg mij op LinkedIn
Nieuwe blogs, mijn eigen Google-cijfers en wat ik test met AI, als eerste in je tijdlijn.
Alles over crawlen
Veelgestelde vragen over crawlen
Bel 06 13 78 38 44.
Hoe weet ik of Google mijn website goed crawlt?
Via Google Search Console Instellingen Crawlstatistieken ziet u precies hoe vaak Google uw website crawlt, welke reactietijden hij ervaart en welke crawlfouten optreden.
- Crawl requests, hoeveel pagina’s crawlt Google per dag?
- Reactietijd, hoe snel reageert uw server op Googlebot? Boven 500ms is een aandachtspunt
- Crawlfouten, 404s, server errors en redirect fouten die Google tegenkomt
Bel 06 13 78 38 44.
Wat is het verschil tussen crawlen en indexeren?
Crawlen is het bezoeken van een URL door de Googlebot; indexeren is het opnemen van die pagina in Google’s zoekdatabase. Een pagina kan gecrawld worden zonder geïndexeerd te worden.
- Gecrawld maar niet geïndexeerd, kan duiden op thin content, duplicate content, noindex-tag of lage kwaliteitsbeoordeling
- Niet gecrawld, robots.txt blokkering, server error of geen interne links naar de pagina
Zie ook Wat is indexering? Bel 06 13 78 38 44.
Hoe snel crawlt Google mijn nieuwe pagina’s?
Voor websites met hoge crawlfrequentie worden nieuwe pagina’s soms binnen uren gecrawld; voor kleinere websites duurt het gemiddeld 1-14 dagen.
- Versnellen, dien de URL in via URL-inspectiefunctie in GSC en klik op "Indexering aanvragen"
- Sitemap, voeg nieuwe URLs toe aan uw sitemap en dien opnieuw in via GSC
- Interne links, voeg een interne link toe vanuit een al geïndexeerde pagina
Bel 06 13 78 38 44.
Hoe weet ik hoe vaak Google mijn website crawlt?
Via Google Search Console kunt u in het rapport "Crawlstatistieken" (onder Instellingen) zien hoe vaak en hoeveel pagina's Google crawlt, inclusief crawlfouten.
- Crawlstatistieken, GSC Instellingen Crawlstatistieken
- URL-inspectie, voor individuele pagina's: wanneer is de pagina voor het laatst gecrawld?
Bel 06 13 78 38 44.
Wat is het verschil tussen crawlen en scrapen?
Crawlen is het geautoriseerde bezoeken van websites door zoekmachines om content te indexeren; scrapen is het geautomatiseerd kopiëren van content, vaak zonder toestemming.
- Crawlen, door zoekmachines, gecontroleerd via robots.txt, ten dienste van indexering
- Scrapen, door derden, voor content-kopiëring, affiliate-data of prijsvergelijking, kan in strijd zijn met gebruiksvoorwaarden
Bel 06 13 78 38 44.
Contact
Klaar om te groeien?
Vrijblijvend gesprek, binnen één werkdag reactie. Geen formulieren, gewoon direct contact met Raymond.