Techniek voor AI: AI-crawlers, robots.txt, structured data en Bing

Met technische GEO zorg je dat AI-zoekmachines je website kunnen vinden, lezen en begrijpen. In deze les loop je vier dingen na: laat je de juiste AI-bots binnen, is je tekst leesbaar zonder JavaScript, wat doet structured data echt, en kent Bing je site? Zonder die basis heb je weinig aan goede content.

Je kunt de beste pagina van Nederland schrijven, maar als een AI-bot hem niet mag of kan lezen, word je toch niet genoemd. Zonde van al dat schrijfwerk.

Een AI-assistent bladert razendsnel door een stapel pagina's en maakt er een samenvatting met bronnen van. Techniek bepaalt of jouw pagina in die stapel kan komen: of de bot bij je site mag, en of hij de tekst kan lezen als hij er is.

Het meeste is gewone technische SEO, en dat scheelt. Google schreef in zijn gids over AI-zoeken (mei 2026) dat optimaliseren voor AI-zoeken "still SEO" is. Er zijn wel een paar punten waar AI-bots anders werken, en die leer je in deze les.

Je hoeft er geen programmeur voor te zijn, al is het handig als je iemand kunt bellen die je website beheert.

Welke AI-bots komen er op mijn website?

Een AI-crawler is een programma van een AI-bedrijf dat automatisch webpagina's ophaalt. Er zijn drie soorten, en ze doen elk iets anders.

De trainingsbot leest zoveel mogelijk om het taalmodel algemene kennis te geven. De zoekbot bouwt een index op, zodat de assistent bij een vraag snel bronnen kan vinden. En de gebruikersbot haalt een pagina op op het moment dat iemand in een gesprek om die informatie vraagt.

Dat verschil doet ertoe. Blokkeer je een trainingsbot, dan kom je niet in toekomstige trainingsdata, maar je kunt nog gewoon genoemd worden in zoekantwoorden. Blokkeer je een zoekbot, dan verdwijn je uit de zoekantwoorden. OpenAI schrijft letterlijk dat sites die OAI-SearchBot weren niet in de zoekantwoorden van ChatGPT verschijnen.

Gebruikersbots halen een pagina op als iemand daar om vraagt, en volgens OpenAI en Perplexity volgen die robots.txt niet altijd.

Google werkt anders. AI Overviews en AI-modus gebruiken gewoon Googlebot, en Copilot gebruikt Bingbot. Daarnaast heeft Google een aparte schakelaar voor Gemini, Google-Extended, en daar kom ik zo op terug.

Hoe stel ik robots.txt in voor AI-bots?

Robots.txt is een tekstbestand in de hoofdmap van je site, zoals https://www.voorbeeld.nl/robots.txt. Je kunt het zien als het bordje op de deur dat zegt wie binnen mag, en nette bots lezen dat bordje eerst.

Achter User-agent zet je de naam van de bot. Daaronder komt Disallow (niet toegestaan) of Allow (wel toegestaan), en een / staat voor de hele site.

De variant die het meest gekozen wordt, is geen training maar wel zichtbaar zijn in ChatGPT:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

Voor de meeste bedrijven zou ik de zoekbots en gebruikersbots gewoon toelaten. Een tandarts in Utrecht wil juist genoemd worden als iemand ChatGPT om advies vraagt. Over trainingsbots mag je zelf beslissen, daar is geen goed of fout antwoord op.

BewezenBewijslabel: OpenAI en Anthropic schrijven in hun eigen documentatie dat het blokkeren van hun zoekbots je zichtbaarheid in hun zoekantwoorden kost.

De meeste problemen komen door kleine vergissingen. Dit zijn de vier die ik het vaakst zie:

1. De firewall blokkeert wat robots.txt toestaat. Cloudflare vraagt nieuwe domeinen sinds juli 2025 of ze AI-crawlers toelaten. Een snelle "nee" kan ook zoekbots buitensluiten.
2. Een aparte groep vergeet de algemene regels. Heb je een groep voor GPTBot, dan negeert GPTBot de regels onder User-agent: *.
3. Subdomeinen worden vergeten. Robots.txt geldt per (sub)domein. Een webshop op shop.voorbeeld.nl heeft een eigen bestand nodig.
4. Te snel conclusies trekken. Volgens OpenAI duurt het ongeveer 24 uur voordat een wijziging voor OAI-SearchBot werkt.

Kunnen AI-bots de tekst op mijn pagina wel lezen?

Niet altijd, want veel AI-crawlers voeren geen JavaScript uit. JavaScript is code die een pagina pas in de browser opbouwt, en staat je tekst er pas na die code, dan zien zulke crawlers een lege pagina.

Vercel, een hostingbedrijf, onderzocht dit in december 2024. Geen van de grote AI-crawlers voerde JavaScript uit, en dat gold voor de crawlers van OpenAI, ClaudeBot, PerplexityBot en die van Meta. Gemini (via Googlebot) en Applebot konden het wel.

Google ziet je pagina dus vaak wel compleet, terwijl veel AI-bots alleen de kale HTML lezen. Als eigenaar merk je daar niets van, want in je eigen browser ziet de site er prima uit.

BewezenBewijslabel: Vercel mat dit rechtstreeks. Het kan sindsdien veranderd zijn, dus controleer het zelf.

Werk je met WordPress zonder zware pagebuilder, dan staat je tekst meestal al in de HTML. Bij webshops en sites met moderne JavaScript-frameworks gaat het vaker mis.

Wat doet structured data nou echt voor AI?

Structured data is extra code op je pagina die in vaste vakjes vertelt wat er staat, zoals je bedrijfsnaam, je adres, een prijs of de auteur van een artikel. De bekendste woordenlijst heet schema.org, en daarom heet het ook wel schema markup.

Volgens Google is structured data niet nodig voor zijn AI-functies, en er bestaat ook geen speciale "AI-schema". Dat staat in de gids van Google over AI-zoeken (juli 2026).

Onderzoek vond ook geen duidelijk effect. Ahrefs volgde 1.885 pagina's die JSON-LD toevoegden, de meest gebruikte vorm van structured data.

Er is één tegengeluid. Fabrice Canel van Microsoft Bing zei in 2025 dat schema markup de taalmodellen van Microsoft helpt om content te begrijpen, maar hoeveel dat oplevert, zei hij er niet bij.

Ik behandel structured data daarom als goed onderhoud en niet als AI-truc. Deze vormen zijn wel zinvol:

OnbewezenBewijslabel: Er is geen sterk onderzoek dat laat zien dat structured data je AI-citaties verhoogt.

Bing is klein. Waarom zou ik er moeite in steken?

Omdat Bing de zoekmachine achter Microsoft Copilot is. Copilot stuurt zoekopdrachten naar Bing en bouwt daar zijn antwoord mee, dus staat je pagina niet in Bing, dan kan Copilot hem niet gebruiken.

In Nederland is Bing klein, met 4,57% van het zoekverkeer volgens Statcounter (september 2026). Toch is de moeite beperkt, en je krijgt er iets unieks voor terug.

Sinds februari 2026 heeft Bing Webmaster Tools namelijk een rapport AI Performance. Daarin zie je hoe vaak je pagina's als bron verschijnen in Copilot en in de AI-samenvattingen van Bing. Het is een van de weinige plekken waar een AI-platform zelf vertelt hoe vaak het jouw site citeert, en alleen daarom zou ik het al doen.

Met IndexNow, een open protocol, laat je zoekmachines direct weten dat een pagina nieuw of veranderd is. Je hoeft dan niet te wachten tot een crawler toevallig langskomt. Bing doet mee, Google niet.

AanwijzingenBewijslabel: Microsoft raadt IndexNow zelf aan voor actuele AI-antwoorden. Hoeveel extra citaties het oplevert, is niet onderzocht.

En Google? Google stelt geen extra technische eisen. Een pagina moet geïndexeerd zijn en met een tekstfragment in Google mogen verschijnen, en dan kan hij bron worden in AI Overviews en AI-modus.

En llms.txt? Dat is een voorgesteld bestand met een samenvatting van je site voor taalmodellen, en Google gebruikt het niet. In de Expert-les over bewijs en experimenten test je zelf of het iets doet.

Zelftoets

1. Je blokkeert GPTBot en laat OAI-SearchBot toe. Wat gebeurt er?

• A. Je verdwijnt helemaal uit ChatGPT.
• B. OpenAI traint niet meer op je nieuwe content, maar je kunt wel in de zoekantwoorden van ChatGPT verschijnen.
• C. Er verandert niets, want OpenAI negeert robots.txt.

2. Wat gebeurt er als je Google-Extended blokkeert?

• A. Je verdwijnt uit AI Overviews en AI-modus.
• B. Je verdwijnt uit de gewone zoekresultaten van Google.
• C. Google gebruikt je content niet meer voor training van Gemini en niet als bron in de Gemini-apps.

3. Bij de Ctrl+U-test vind je je prijzen niet terug. Wat betekent dat?

• A. De prijzen worden pas met JavaScript geladen, dus veel AI-crawlers zien ze niet.
• B. De prijzen staan in je structured data.
• C. Er is niets aan de hand, want alle AI-crawlers voeren JavaScript uit.

4. Waarom meld je je site aan bij Bing Webmaster Tools?

• A. Omdat Google dat verplicht stelt.
• B. Omdat Copilot via Bing zoekt en het rapport AI Performance je citaties in Copilot laat zien.
• C. Omdat Bing de grootste zoekmachine van Nederland is.

Samenvatting

• Er zijn drie soorten AI-bots: trainingsbots, zoekbots en gebruikersbots. Laat de zoekbots in elk geval toe.
• Robots.txt is het bordje op de deur. Controleer ook je firewall of CDN, want die kan bots blokkeren die je wel toelaat.
• Veel AI-crawlers voeren geen JavaScript uit. Zet je belangrijkste tekst, prijzen en openingstijden in de gewone HTML.
• Structured data is goed onderhoud, geen AI-truc. Een direct effect op AI-citaties is niet aangetoond.
• Bing is de bron achter Copilot. Bing Webmaster Tools en IndexNow kosten weinig moeite.

Volgende stap

In les 4 gaat het over wat anderen over jou zeggen: merk en vermeldingen, met entiteit, digitale PR, reviews en communities.

Wil je verder lezen? De gids technische GEO heeft een checklist van tien punten. Alle bots en robots.txt-voorbeelden staan in de lijst met AI-crawlers. Voorbeeldcode vind je bij structured data voor AI.