Robot.txt: wat is dat nu eigenlijk?

Wat is robots.txt?

Het robots.txt-bestand staat in de hoofdmap van je website (bijv. www.jouwwebsite.nl/robots.txt) en geeft instructies aan zoekmachinebots over welke pagina's ze wel of niet mogen crawlen.

Waarom is het belangrijk?

Zoekmachines zoals Google gebruiken crawlers (bots) om je website te indexeren. Door robots.txt correct in te stellen, kun je:

• Voorkomen dat interne pagina's worden geïndexeerd (zoals beheerpagina's of testpagina's)
• Crawlbudget efficiënter inzetten, Google besteedt meer aandacht aan je belangrijke pagina's
• Duplicate content vermijden door bepaalde URL-varianten uit te sluiten

Veelgemaakte fouten

Een verkeerd robots.txt-bestand kan catastrofaal zijn voor je SEO. Veel websites blokkeren per ongeluk hun gehele site met één regel:

Disallow: /

Dit vertelt Google dat het de hele website niet mag indexeren, met als gevolg dat je volledig uit de zoekresultaten verdwijnt.

Een correct robots.txt-bestand

Een basis robots.txt ziet er zo uit:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.jouwwebsite.nl/sitemap.xml

AI-crawlers blokkeren

Met de opkomst van AI-tools die het web crawlen om trainingsdata te verzamelen, voegen steeds meer websites specifieke regels toe:

User-agent: GPTBot
Disallow: /

Of je dit wilt doen hangt af van je strategie. Voor GEO (zichtbaarheid in AI-zoekresultaten) is het juist interessant om AI-crawlers toegang te geven.

Twijfel je of jouw robots.txt correct is ingesteld? Wij kijken het graag voor je na.