Vindbaarheid5 min lezen

Robots.txt en AI-training, wat verandert er in 2027?

Google en Bing willen in 2027 één regel in je robots.txt volgen waarmee je AI-training weigert. Wat die regel doet, en wat je beter niet blokkeert.

PerryUI/UX-designer ·
Wit document met een kleine slagboom waar groene blokjes voor blijven staan

Vanaf 2027 kun je met één gedeelde instelling in je robots.txt laten weten dat je teksten niet gebruikt mogen worden om AI-modellen te trainen. Google en Microsoft Bing kondigden op 30 oktober aan dat ze die gedeelde regel willen volgen. Je plek in de gewone zoekresultaten verandert daar niet door.

Dat klinkt als een kleine technische wijziging. Toch raakt het een vraag die bij veel organisaties op tafel ligt. Wil je dat AI je content gebruikt, of juist niet? Tot nu toe moest je daarvoor per AI-bedrijf een eigen regel kennen. Dat wordt eenvoudiger. Het wordt ook iets subtieler, want bij Bing zijn trainen en antwoorden geven straks twee aparte keuzes.

Wat hebben Google en Bing aangekondigd?

Google schrijft op zijn blog voor Search Central dat het in 2027 een gedeelde instelling voor AI-training wil ondersteunen. Die instelling komt uit een voorstel bij de IETF, de organisatie die internetstandaarden opstelt. De werkgroep heet AI Preferences, afgekort AIPREF.

Weiger je via die gedeelde regel AI-training en noem je Google-Extended niet apart, dan wil Google dat behandelen alsof je Google-Extended hebt geblokkeerd. Google-Extended is de regel die Google sinds 2023 gebruikt voor AI-training en voor Gemini. Die blijft gewoon werken naast de nieuwe. In de documentatie over crawlers noemt Google begin 2027 als moment.

Microsoft gaat een stap verder. In de aankondiging van Bing staan training en grounding los van elkaar. Training is het leren van een model. Grounding is het opzoeken van je pagina om een vraag van een gebruiker te beantwoorden, bijvoorbeeld in Copilot. Je kunt het een weigeren en het ander toestaan.

Een rij groene blokjes splitst zich naar een trainingsblok en naar een chatvenster

Hoe ziet de regel in je robots.txt eruit?

Het voorstel bij de IETF voegt geen nieuwe opdracht toe. Het gebruikt een speciale naam op de plek waar normaal de naam van een crawler staat. Wil je voor je hele site AI-training weigeren, dan zet je deze twee regels in je robots.txt.

  • User-Agent: __usage_ai-training
  • Disallow: /

Wil je een deel wel beschikbaar stellen, bijvoorbeeld je persberichten, dan voeg je in dezelfde groep Allow: /pers/ toe. Het werkt per pad, net als de regels die je al kent voor zoekmachines.

Twee dingen zijn goed om te weten. Een groep met User-Agent: * telt niet mee voor deze instelling. Een algemene blokkade voor alle bots betekent dus niet automatisch dat je AI-training weigert. En noem je de speciale naam nergens, dan heb je geen voorkeur uitgesproken. Wie niets doet, laat het open.

Wat valt er wel onder, en wat niet?

Hier zit het verschil dat voor de meeste organisaties telt. De nieuwe regel gaat over training. Over je positie in Google of Bing gaat hij niet. Microsoft schrijft erbij dat je kans om in de gewone zoekresultaten van Bing te staan gelijk blijft. Google zegt in zijn documentatie hetzelfde over Google-Extended.

Grounding regel je bij Bing per pagina, met een metatag of een header. Daarvoor bestaat geen regel in robots.txt. Er zijn drie standen. Bij de eerste mag alles, bij de tweede alleen eigen producten van Microsoft zoals Copilot, en bij de derde niets. Microsoft waarschuwt dat de laatste twee standen je zichtbaarheid in AI-antwoorden flink verkleinen.

Bij Google regelt Google-Extended zowel training als het gebruik van je pagina's in antwoorden van Gemini. Google schrijft dat sites die Google-Extended toestaan in aanmerking komen om met een link in die antwoorden te verschijnen. Over AI Overviews en AI Mode zegt de aankondiging niets. Die horen bij Google Zoeken en volgen de regels voor Googlebot.

Wit paneel met drie schakelaars, de middelste staat op donkergroen

Moet je AI-training blokkeren?

Dat hangt af van wat je met je content wilt bereiken. Wij zien twee soorten organisaties.

Verdien je geld met je teksten zelf, bijvoorbeeld als uitgever of met betaalde kennis, dan is training weigeren een logische keuze. Je content is dan je product. Een model dat ervan leert, wordt een concurrent.

Gebruik je je website om gevonden te worden, dan ligt het anders. Dan wil je juist dat AI-assistenten je merk kennen en je pagina's noemen. In ons blog over zichtbaar worden in ChatGPT en andere AI-platformen lees je hoe dat werkt. Training weigeren kan dan nog steeds. Zet grounding alleen niet zomaar uit.

Wat we afraden is een brede blokkade zonder plan. Een site die alle AI-bots weert, wordt ook veel minder zichtbaar in de antwoorden van assistenten die pagina's live opzoeken. Kies per deel van je site, en schrijf op waarom je die keuze maakt. Dan kun je hem later ook uitleggen aan je directie of je juridische afdeling.

Wat moet je regelen, en wanneer?

Er is geen haast, maar Microsoft heeft wel data vastgelegd.

  • 15 december 2026. In Bing Webmaster Tools kun je een tijdelijke voorkeur voor grounding vastleggen. Dat geldt alleen voor sites die op 15 december 2026 NoArchive of NoCache gebruiken.
  • 1 februari 2027. Bing gaat de nieuwe voorkeuren lezen zodra het je pagina's opnieuw bezoekt.
  • 1 maart 2027. Vanaf dan leest Bing NoArchive en NoCache niet meer als voorkeur voor training of grounding.
  • 30 september 2027. De tijdelijke voorkeuren uit Webmaster Tools vervallen.

Google houdt het bij begin 2027 en belooft later meer te laten weten.

Wat je nu al kunt doen:

  1. Open je huidige robots.txt en noteer welke AI-bots je toelaat of weert.
  2. Bepaal per deel van je site of training mag. Denk aan je blog, je kennisbank en je klantportaal.
  3. Gebruik je NoArchive of NoCache om AI tegen te houden? Plan dan de overstap vóór 1 maart 2027.
  4. Kijk in je statistieken hoeveel bezoek er nu uit AI-assistenten komt. Dan zie je straks wat een keuze oplevert.

Het voorstel bij de IETF is nog geen definitieve standaard. Het staat als concept online en heeft nog geen formele status. De naam van de regel kan dus nog veranderen. Wij houden het bij en passen het voor klanten aan zodra Google en Bing de regel echt lezen.

Wil je weten wat dit voor jouw site betekent? Lees hoe we werken aan AI-vindbaarheid, of plan een gesprek met Max.

Veelgestelde vragen

Staat je vraag er niet bij? Perry beantwoordt hem graag.

Stel je vraag
Verdwijn ik uit Google als ik AI-training weiger?

Nee. De gedeelde regel gaat alleen over het trainen van AI-modellen. Microsoft schrijft dat je kans om in de gewone zoekresultaten van Bing te staan gelijk blijft. Google koppelt de regel aan Google-Extended, en volgens de documentatie van Google heeft Google-Extended geen invloed op je plek in Google Zoeken.

Wat is het verschil tussen training en grounding?

Bij training leert een AI-model van je teksten, die worden onderdeel van wat het model weet. Bij grounding zoekt een assistent als Copilot of Gemini je pagina op op het moment dat iemand een vraag stelt, en gebruikt hij die voor zijn antwoord. Vaak staat er dan een link naar je site bij.

Werkt de nieuwe regel ook voor ChatGPT?

Waarschijnlijk wel. Volgens Search Engine Roundtable hebben naast Google en Microsoft ook OpenAI en Anthropic aangekondigd dat ze de gedeelde regel willen volgen. Een datum voor OpenAI noemt de site niet. Tot die tijd blijft de eigen regel voor GPTBot in je robots.txt de manier om training door OpenAI te weigeren.

Moet ik nu al iets aanpassen?

Er is geen haast, want Google en Bing lezen de regel pas in 2027. Gebruik je NoArchive of NoCache om AI tegen te houden, plan dan wel een overstap vóór 1 maart 2027. Vanaf die datum leest Bing die instellingen niet meer als voorkeur voor training of grounding.

Eén gesprek, en je weet waar de winst zit.

In 30 minuten kijken we naar je huidige aanpak: website, campagnes en vindbaarheid als één geheel. Je spreekt direct een specialist, geen accountmanager.

Max, Cas of PerryMaandag vanaf 9.00
Plan een strategiegesprek

Of neem direct contact op: info@talkpixels.nl 085 - 06 01 201