Blog

AI-crawlers vervuilen je statistieken: bots of mens?

In juni 2026 passeerde geautomatiseerd verkeer het menselijke verkeer op het web voor het eerst: Cloudflare mat dat 57 procent van de aanvragen op HTML-pagina’s van bots kwam. Een groot deel daarvan is AI-crawling, modellen die je pagina’s lezen om vragen te beantwoorden, zoekindexen op te bouwen of te trainen. Voor je analytics-script ziet een crawler eruit als een heel snelle bezoeker, en hij verstuurt stilletjes je cijfers. Hier lees je hoe je botverkeer herkent, wat het met je cijfers doet en hoe je weer je echte bezoekers meet.

· Gepubliceerd

Het web is omgekiept: bots overtreffen mensen

Jarenlang was de vuistregel dat ongeveer een derde van het webverkeer geautomatiseerd was. Die tijd is voorbij. In juni 2026 meldde Cloudflare dat geautomatiseerde aanvragen voor het eerst meer dan 50 procent van al het webverkeer uitmaakten, zo’n 57 procent van de aanvragen op HTML-pagina’s. Matthew Prince, de ceo van het bedrijf, merkte op dat zijn eigen voorspelling dat kantelpunt in 2027 plaats had. Het gebeurde meer dan een half jaar eerder.

De belangrijkste motor is kunstmatige intelligentie. Elke keer dat een AI-assistent je website in een antwoord noemt, heeft een crawler die pagina kort daarvoor opgevraagd. Modellen crawlen om gebruikersvragen te beantwoorden, AI-zoekindexen op te bouwen en te trainen op nieuwe content. Onderzoek van Fastly zette het geautomatiseerde crawlen al in 2025 op ongeveer 80 procent van het AI-gerelateerde botverkeer, en het volume blijft groeien.

Het probleem voor je meting: de meeste analytics-tools tellen een crawler als bezoek. Hij vraagt een pagina op, triggert het trackingscript of raakt de server, en is weg. In een standaard pageview-rapport staat nergens of dat een persoon was of een model. Je verkeer ziet er gezonder uit dan het is, en elke cijfer die daarop bouwt schuift op.

Nep-crawlers zijn geen randverschijnsel

Daar komt een tweede laag bij: een user-agent-string is vrije tekst. Elk script kan zichzelf „Googlebot” of „GPTBot” noemen, en velen doen dat. Een verificatiestudie van Centinel Analytica (september 2026) controleerde elk verzoek dat zich uitgaf voor een bekende crawler op de nieuwigheidssites die het bedrijf beschermt: op een typische site slaagde 1 op de 7 „Googlebot”-verzoeken er niet in de verificatie te doorstaan, en 84 procent van de vermeende GPTBot-verzoeken was nep. Een aparte meting op drie kleinere websites zette het vervalste aandeel van AI- en zoekmachine-crawlers op rond de 40 procent.

Als je dus in je ruwe logs ziet: „GPTBot was 500 keer op mijn site”, dan komt een groot deel daarvan mogelijk helemaal niet van OpenAI. Scrapers, SEO-tools en imitatoren lenen de namen van fatsoenlijke crawlers juist omdat veel site-eigenaren die namen als betrouwbaar behandelen. Wie crawlers op naam gelooft, telt verkeer mee dat nooit plaatsvond, of schrijft het aan het verkeerde bedrijf toe.

Wat botverkeer met je cijfers doet

Zodra bots in je rapporten zitten, slaat de vervuiling over op bijna elk getal waarop je beslissingen baseert:

  • Bezoekers en pageviews schuiven omhoog. Crawlervolume schommelt met de releasecycli van modellen, niet met jouw marketing. Een verkeerspiek kan komen doordat een AI-model je documentatie opnieuw leest, niet doordat een campagne werkte.
  • Je bouncepercentage verliest zijn betekenis. Een crawler pakt één pagina en vertrekt. Dat is een schoolboek-bounce. Groeit het botaandeel, dan groeit je bouncepercentage mee, zonder dat echte bezoekers iets anders doen.
  • Je conversiepercentage zakt. De noemer (bezoekers) groeit terwijl de teller (conversies) puur menselijk blijft. Je conversiepercentage daalt zonder dat er iets slechter gaat.
  • De sessieduur zakt richting nul bij botsessies en sleept je gemiddelden omlaag.
  • AI-referralcijfers worden onbruikbaar. Echte klikken uit ChatGPT- of Perplexity-antwoorden zijn een klein, waardevol signaal. Crawlerbezoeken zijn honderden keren frequenter. Belanden beide in dezelfde emmer, dan verdrinkt het signaal in de ruis.

Voor bureaus en teams die rapporteren aan klanten of directie werkt dat corrusief subtiel: twee rapporten van dezelfde site, een week uit elkaar, kunnen compleet verschillende verhalen vertellen, puur door crawleractiviteit.

Zo scheid je bots van echte bezoekers

Beiden netjes scheiden vraagt om signalen die een luie fälscher niet zomaar kan namaken:

  • Controleer de claim, niet de naam. Serieuze crawlers publiceren hun IP-bereiken, en een reverse-DNS-check bevestigt of een „Googlebot” echt van Google kwam. Alles wat de check niet haalt, moet je ook niet als die crawler meetellen.
  • Kijk naar gedrag, niet alleen headers. Echte bezoekers voeren JavaScript uit, bewegen de muis, scrollen en laden assets over meerdere verzoeken. Kale HTTP-clients die één pagina pakken en binnen een seconde verdwijnen gedragen zich meetbaar anders.
  • Vergelijk browserdata met serverlogs. Een browserscript vuurt alleen als JavaScript draait; serverlogs zien elk verzoek. Het gat tussen beide is een grove kaart van je geautomatiseerde verkeer.

Dit alles met de hand doen voor elk rapport is niet realistisch. Precies dat neemt MetriXs van je over: elk binnenkomend event wordt automatisch gecontroleerd, en bekende bots en crawlers worden gefilterd voordat ze je rapporten überhaupt bereiken. In de tarieven Team en Pro toont het Security-tabblad een blocked-bots-feed, zodat je precies ziet wat er is gefilterd in plaats van je af te vragen of je cijfers schoon zijn. Het filteren gebeurt op onze servers, vóór opslag, je dashboard toont dus mensen, geen scripts.

Houd het AI-signaal vast dat er echt toe doet

Dit betekent niet dat je AI-verkeer moet weggooien. Onder het label „AI-verkeer” schuilen twee totaal verschillende dingen:

  • Crawlers. Machines die je content lezen. Waardevol voor je zichtbaarheid in AI-antwoorden, maar het zijn geen bezoekers en ze horen niet in je bezoekerscijfers.
  • Referrals. Echte mensen die een AI-antwoord lazen, op de link naar je site klikten en bij je uitkwamen. Dat zijn echte bezoekers, vaak goed geïnformeerd en dicht bij een beslissing.

MetriXs houdt beide uit elkaar. Crawlers worden uit je kerncijfers gefilterd, en echte aankomsten via ChatGPT, Perplexity, Gemini, Copilot en andere assistenten verschijnen in een eigen AI-verkeer-paneel, in elk tarief inbegrepen, met bouncepercentage, sessieduur en omzet voor commerce-sites. Zo krijg je een schoon antwoord op de vraag die er echt toe doet: vinden mensen mij via AI, en doen ze iets? Hoe je die zichtbaarheid vergroot, lees je in onze gidsen over Generative Engine Optimization en AI-referrals meten.

Conclusie

Het kantelpunt is geweest: bots genereren tegenwoordig de meerderheid van het webverkeer, en een groeiend deel daarvan is AI-crawling. Analytics die crawlers als bezoekers tellen raken steeds verder vervuild, en beslissingen op basis van die cijfers steeds wankeler. De oplossing is niet analytics opgeven, maar de machines eruit filteren en het ene AI-signaal bewaren dat waardevol is: echte mensen die via AI-antwoorden bij je uitkomen. MetriXs filtert automatisch, laat zien wat er is geblokkeerd en levert de AI-referraldata apart. Alles te testen in het gratis plan.

Veelgestelde vragen

Hoeveel van mijn websiteverkeer is afkomstig van bots?
Dat verschilt sterk per site en paginatype. Webwijd mat Cloudflare in juni 2026 zo’n 57 procent geautomatiseerde aanvragen op HTML-pagina’s, en contentrijke sites trekken bovendien meer crawling dan gemiddeld. Signalen in je eigen data: sessies met één pageview en vrijwel nul duur, verkeerspieken die bij geen enkele campagne passen, en verkeer dat nooit opduikt in je browsergebasseerde rapporten.
Schaden AI-crawlers mijn zoekmachine-ranking?
Niet direct. AI-crawlers zijn iets anders dan Googlebot, en gecrawld worden door hen is geen rankingstraf. De echte kosten zijn praktisch: verspilde servercapaciteit, vervuilde statistieken en het feit dat sommige crawlers zich niet aan robots.txt houden. Wie alle AI-crawlers blokkeert, neemt bovendien de weg naar citaten in AI-antwoorden, een echte verkeerskanaal van morgen.
Telt MetriXs AI-crawlers als bezoekers?
Nee. Elk binnenkomend event wordt automatisch gecontroleerd en bekende bots en crawlers worden vóór de opslag gefilterd, dus ze bereiken je rapporten en je plan-limieten nooit. Echte mensen die via ChatGPT, Perplexity, Gemini, Copilot en andere assistenten komen, tellen als bezoekers en verschijnen apart in het AI-verkeer-paneel.
Waarom crawlen AI-bots mijn site eigenlijk?
Om drie redenen: om pagina’s op te halen die ze zo gaan citeren in een antwoord op een gebruikersvraag, om de indexen achter AI-zoekfuncties op te bouwen en om trainingsmateriaal te verzamelen. Meer AI-gebruik betekent meer crawlen, daarom blijft botverkeer groeien. Platforms zoals Cloudflare zijn begonnen sommige crawlertypes standaard te blokkeren, omdat uitgevers zich verzetten tegen ongecontroleerd scrapen.
Moet ik AI-crawlers blokkeren in robots.txt?
Dat hangt af van je doelen. Als verschijnen in AI-antwoorden voor je telt, werken blokkades tegen antwoord- en zoekcrawlers tegen je. De betere combinatie: de crawlers die je wilt dat je citeren toegang geven en al het crawlerverkeer uit je analytics filteren, zodat het je bezoekerscijfers nooit verstoort. Precies zo doet MetriXs dat.

Mensen meten, geen bots

MetriXs filtert bekende bots en crawlers automatisch, meet echte AI-referrals in elk tarief en host alles in de EU. Gratis plan, tarieven vanaf €6/maand.

Gratis proberen →

Verder lezen: Generative Engine Optimization · Beveelt ChatGPT je bedrijf aan? · Checklist website-security-headers · Cookieloos tracken uitgelegd · Analytics MCP-server