Wat is crawlen?

Hoe werkt de Googlebot?

De Googlebot begint met een lijst van bekende URLs en volgt daarna alle links die hij tegenkomt, zowel interne links (naar andere pagina's op uw website) als externe links (naar andere websites). Hij leest de HTML, verwerkt JavaScript (in een tweede stap) en slaat de content op voor indexering.

• Eerste crawl, HTML wordt direct verwerkt
• JavaScript rendering, komt later, soms uren of dagen na de eerste crawl
• Mobile-first, Google crawlt primair de mobiele versie van uw website

Crawling optimaliseren

• Interne linkstructuur, elke pagina moet bereikbaar zijn via interne links; wees-pagina's worden minder snel gecrawld
• Laadsnelheid, trage servers verminderen crawlefficiëntie
• Robots.txt, blokkeer onbelangrijke directories om crawlbudget te sparen
• XML-sitemap, helpt de Googlebot alle belangrijke URLs te vinden

Crawlbudget beheren

Google wijst elk domein een crawlbudget toe: het aantal pagina’s dat de Googlebot bereid is te crawlen in een bepaalde tijdseenheid. Voor kleine websites (onder 1.000 pagina’s) is crawlbudget zelden een probleem. Voor grote websites, webshops, nieuwssites, websites met veel URL-parameters, kan een inefficiënt crawlbudget betekenen dat nieuwe of gewijzigde pagina’s weken op indexering wachten.

Crawlbudget optimaliseert u door: overbodige URLs te blokkeren via robots.txt (bijv. /wp-admin/, URL-parameters), redirect chains op te lossen, en de laadsnelheid te verbeteren, Google crawlt snelladende servers vaker.

JavaScript en crawlen

Websites die sterk afhankelijk zijn van JavaScript voor het tonen van content hebben een extra crawl-uitdaging. Google crawlt HTML direct maar verwerkt JavaScript in een tweede stap die uren of dagen later plaatsvindt. Content die alleen via JavaScript beschikbaar is, wordt later geïndexeerd dan HTML-content. Server-side rendering (SSR) of pre-rendering zijn oplossingen die Heibrink adviseert bij websites met veel JavaScript-content.