
Een robots.txt bestand bevat twee soorten instructies:
Voorbeeld van een correct robots.txt:
User-agent: * Disallow: /wp-admin/ Disallow: /intern/ Allow: /wp-admin/admin-ajax.php Sitemap: https://heibrink.nl/sitemap.xml
SEO specialist & Online Marketing expert
Raymond Heibrink is dé online marketing specialist die u direct kunt inhuren, 20+ jaar ervaring, geen bureau, geen juniors. Uw online marketing in goede handen.
Blokkeer mappen die geen indexeringswaarde hebben: /wp-admin/, /wp-includes/, /intern/, /zoekresultaten/, /cart/ en andere functionele directories die niet in Google hoeven te staan.
☎ Bel 06 13 78 38 44.
Robots.txt blokkeert crawling (Google bezoekt de pagina niet); noindex blokkeert indexering (Google neemt de pagina niet op in zoekresultaten). Voor volledige controle combineert u beide.
☎ Bel 06 13 78 38 44.
Indirect ja, een slecht geconfigureerd robots.txt dat belangrijke pagina's of CSS/JS blokkeert, schaadt rankings doordat Google uw website niet correct kan renderen en beoordelen.
☎ Bel 06 13 78 38 44.
Nee, robots.txt blokkeert crawling, niet indexering. Google kan een URL nog steeds indexeren (opnemen in zijn database) als externe links ernaar wijzen, ook als robots.txt crawling verbiedt.
Om indexering te voorkomen gebruikt u een noindex meta-tag op de pagina zelf. Combineer robots.txt (voor crawlbudget-beheer) met noindex tags (voor indexering-beheer) voor volledige controle.
☎ Bel 06 13 78 38 44.
Uw robots.txt staat altijd op domein.nl/robots.txt. Google Search Console heeft ook een robots.txt tester waarmee u regels kunt valideren.
☎ Bel 06 13 78 38 44 voor een technische audit.