01
Crawl sturing
Welke directories en URLs mag Google crawlen? Robots.txt geeft de crawler instructies voordat hij begint.
SEO begrip
Wat is robots.txt?
02
Crawlbudget
Voor grote websites bespaart het blokkeren van onbelangrijke pagina's crawlbudget voor uw importante content.
03
Geen indexering-garantie
Robots.txt blokkeert crawling, niet indexering. Google kan een geblokkeerde URL nog steeds indexeren als er externe links naar wijzen.
Robots.txt opbouw
Een robots.txt bestand bevat twee soorten instructies:
- User-agent, voor welke crawler geldt de regel? * = alle crawlers, Googlebot = alleen Google.
- Disallow/Allow, welke paden zijn geblokkeerd of toegestaan?
Voorbeeld van een correct robots.txt:
User-agent: * Disallow: /wp-admin/ Disallow: /intern/ Allow: /wp-admin/admin-ajax.php Sitemap: https://heibrink.nl/sitemap.xml
Gevaarlijke robots.txt fouten
- Disallow: /, blokkeert de hele website voor Google. Heibrink ziet dit geregeld bij websites na een ontwikkel-fase waarbij de blokkering niet is verwijderd.
- CSS en JS blokkeren, Google kan dan uw pagina's niet correct renderen en beoordeelt gebruikerservaring verkeerd.
- Sitemap vergeten, de sitemap-verwijzing in robots.txt helpt Google uw sitestructuur te vinden.
20+ jaar online marketing ervaring
Alles over robots.txt
Veelgestelde vragen over robots.txt
Bel 06 13 78 38 44.
Welke mappen blokkeer ik in robots.txt?
Blokkeer mappen die geen indexeringswaarde hebben: /wp-admin/, /wp-includes/, /intern/, /zoekresultaten/, /cart/ en andere functionele directories die niet in Google hoeven te staan.
- Altijd blokkeren, /wp-admin/, /wp-includes/, /xmlrpc.php
- Vaak blokkeren, /zoekresultaten/, /winkelmand/, /mijn-account/
- Nooit blokkeren, /wp-content/uploads/ (hier staan uw afbeeldingen en media)
Bel 06 13 78 38 44.
Wat is het verschil tussen robots.txt en noindex?
Robots.txt blokkeert crawling (Google bezoekt de pagina niet); noindex blokkeert indexering (Google neemt de pagina niet op in zoekresultaten). Voor volledige controle combineert u beide.
- Robots.txt, Google crawlt de URL niet, maar kan hem nog steeds indexeren via externe links
- Noindex, Google crawlt de URL wel maar slaat hem niet op in de index
- Combinatie, robots.txt voor crawlbudget-besparing, noindex voor zekerheid dat een pagina niet in Google verschijnt
Bel 06 13 78 38 44.
Heeft robots.txt invloed op mijn rankings?
Indirect ja, een slecht geconfigureerd robots.txt dat belangrijke pagina's of CSS/JS blokkeert, schaadt rankings doordat Google uw website niet correct kan renderen en beoordelen.
- CSS/JS blokkeren, Google kan dan uw pagina niet renderen, Core Web Vitals-score daalt
- Belangrijke pagina's blokkeren, niet gecrawld = niet geïndexeerd = niet rankend
- Controleer, GSC Instellingen robots.txt tester na elke wijziging
Bel 06 13 78 38 44.
Blokkeert robots.txt indexering?
Nee, robots.txt blokkeert crawling, niet indexering. Google kan een URL nog steeds indexeren (opnemen in zijn database) als externe links ernaar wijzen, ook als robots.txt crawling verbiedt.
Om indexering te voorkomen gebruikt u een noindex meta-tag op de pagina zelf. Combineer robots.txt (voor crawlbudget-beheer) met noindex tags (voor indexering-beheer) voor volledige controle.
- Robots.txt, blokkeert crawling (Google bezoekt de pagina niet)
- Noindex, blokkeert indexering (Google neemt de pagina niet op in zoekresultaten)
Bel 06 13 78 38 44.
Hoe controleer ik mijn robots.txt?
Uw robots.txt staat altijd op domein.nl/robots.txt. Google Search Console heeft ook een robots.txt tester waarmee u regels kunt valideren.
- Direct bekijken, ga naar uw domein + /robots.txt in de browser
- GSC tester, Instellingen robots.txt tester in Search Console
- URL inspectie, in GSC kunt u per URL controleren of hij geblokkeerd is
Bel 06 13 78 38 44 voor een technische audit.
Contact
Klaar om te groeien?
Vrijblijvend gesprek, binnen één werkdag reactie. Geen formulieren, gewoon direct contact met Raymond.