Cloudflare deler AI-trafikken i tre – men blokkering kan ramme Googlebot

Cloudflare lar nå alle kunder styre AI-trafikk etter om en bot søker, utfører en oppgave eller samler data til trening. Det er langt mer nyttig enn én stor av-knapp for alt som lukter AI. Men du bør lese innstillingene før 15. september, for en blokkering av trening kan også stenge flerbruksboter fra Google, Apple og Bing.

Dette handler ikke bare om modelltrening. AI-søk gir ofte et ferdig svar uten at leseren besøker kilden, mens agenter kan åpne en side for å gjøre noe på vegne av en person. Cloudflare prøver derfor å klassifisere trafikken etter hva den faktisk gjør med innholdet ditt, ikke bare etter om selskapet bak boten driver med AI.

Det er hovedfunnet her: Nettstedseiere får mer presise valg, men også et større ansvar for å forstå dem. Søketrafikk, agenttrafikk og trening kan nå behandles forskjellig på alle abonnementer, også gratisnivået. Samtidig er flere av de mest avanserte delene fortsatt begrenset til Enterprise eller under utvikling.

Hva er Cloudflares nye valg for AI-trafikk?

Cloudflare deler den viktigste AI-trafikken i tre kategorier: Search, Agent og Training. Ifølge Cloudflares kunngjøring 1. juli 2026 kan alle kunder velge Block, Block on pages with ads eller Allow for hver kategori.

Search er boter som samler eller indekserer innhold for å kunne svare på spørsmål senere. Cloudflare mener nettstedseieren bør få henvisningstrafikk eller annen rimelig kompensasjon tilbake. Agent er automatisert trafikk som handler i sanntid på vegne av en person, for eksempel når en chat-tjeneste henter en side eller en nettleseragent utfører en oppgave.

Training er boter som henter innhold for å trene eller finjustere en modell. Dette er den bruken mange har ønsket å stoppe, men den nye inndelingen gjør det mulig å si ja til søk og nei til trening uten å behandle alt som samme type trafikk. Det er en langt mer fornuftig modell enn «bot er bot».

Hver innstilling har tre tiltak. Du kan blokkere kategorien i hele sonen, bare blokkere den på sider der Cloudflare oppdager annonser, eller la den passere. Cloudflares dokumentasjon sier at reglene rammer både verifiserte boter i kategorien og flere uverifiserte boter med tilsvarende oppførsel.

Hvorfor er tre kategorier bedre enn én bryter?

En søkebot, en brukerstartet agent og en treningscrawler har helt ulike formål. Den første kan sende besøkende tilbake, den andre kan være en kunde som prøver å kjøpe noe, mens den tredje kan hente store mengder innhold uten å gi nettstedet en eneste leser.

Den gamle «Block AI bots»-innstillingen var laget rundt treningsboter med ett tydelig formål. Problemet er at nettet ikke lenger er så ryddig. Google Søk viser AI-genererte svar, tjenester som Perplexity kombinerer søk med ferdige svar, og nettleseragenter besøker sider på vegne av mennesker. En enkel liste over «AI-boter» sier stadig mindre om hva trafikken faktisk gjør.

Cloudflare ber derfor botoperatører bruke separate crawlere for separate formål. Hvis ett selskap bygger søkeindeks, kjører agenter og samler treningsdata, bør det etter Cloudflares syn bruke tre tydelige boter. Det gjør besøket lettere å forstå og lar nettstedseieren gi tilgang til ett formål uten automatisk å godta de to andre.

Det høres selvsagt ut. Likevel har flere store boter flere roller i dag. Det er nettopp derfor den nye klassifiseringen får en praktisk konsekvens som fortjener mer oppmerksomhet enn selve lanseringen.

Hva endres 15. september 2026?

Fra 15. september får nye Cloudflare-domener nye standardvalg. Agent- og treningsboter blir blokkert på sider med annonser, mens søkeboter fortsatt tillates. Datoen gjelder også en strengere behandling av boter som kombinerer søk og trening.

Cloudflare vil bruke den mest restriktive regelen som gjelder. Har du valgt å blokkere Training, skal en bot som både brukes til søk og trening blokkeres. Selskapet nevner Googlebot, Applebot og BingBot som konkrete eksempler. Dermed kan et valg som ser ut som «ikke tren på innholdet mitt» også påvirke vanlig synlighet i søk.

Det betyr ikke at alle eksisterende nettsteder plutselig mister Google-trafikken 15. september. Cloudflare sier at kunder kan reservere seg mot endringen i Security-innstillingene på forhånd, og at de vil varsle igjen før datoen. Poenget er at standarden og flerbruksbotene endres, så det er dumt å la innstillingen stå urørt fordi navnet høres enkelt ut.

Den gamle «Block AI bots»-bryteren skal fases ut samme dag. Frem til da har den et viktig unntak: Ifølge dokumentasjonen blokkerer den treningsboter, men ikke flerbruksboter som brukes til både søk og trening. Den nye modellen lukker dette unntaket og gjør valget tydeligere, men også mer merkbart.

Hvilket valg passer for en vanlig nettside?

Det finnes ikke én innstilling som er riktig for alle. En side som lever av annonsevisninger kan ha god grunn til å stoppe agenter som henter innhold uten at en person ser annonsen. En nettbutikk kan derimot ønske en kjøpsagent velkommen hvis den faktisk fører en kunde helt fram til kassen.

For en mindre innholdsside er søk fortsatt viktig for å bli funnet. Å blokkere alle boter kan føles tilfredsstillende i omtrent fem minutter, helt til trafikken forsvinner. Et forsiktig utgangspunkt er derfor å tillate Search, vurdere Agent ut fra hva nettstedet tilbyr, og ta et bevisst valg om Training.

Men se på de faktiske botene og trafikken før du bestemmer deg. Hvis søkeindeksering er viktig, må du være særlig oppmerksom på flerbruksboter. Den fine nye bryteren kan fortsatt få en ganske grov virkning når samme bot har flere jobber.

Innstillingene finnes under Security Settings og «Configure AI bot policies». De er tilgjengelige for alle Cloudflare-kunder, inkludert Free. Det gjør denne endringen relevant også for små WordPress-sider og enkeltpersoner, ikke bare selskaper med egne sikkerhetsteam.

Hva er BotBase?

BotBase er Cloudflares søkbare katalog over kjente boter og agenter. Den viser hvordan hver bot er klassifisert, hvilken trafikk den har sendt det siste døgnet og hvilke detection IDs som kan brukes i sikkerhetsregler. Foreløpig er dette først og fremst et innsynsverktøy.

BotBase-dokumentasjonen sier at katalogen bare er tilgjengelig for kunder med Enterprise Bot Management. De kan filtrere sin egen trafikk på en bestemt bot, undersøke forespørsler og kopiere botens ID for mer presise regler. En offentlig katalog med utvalgte opplysninger finnes også gjennom Cloudflare Radar.

Cloudflare planlegger å bygge ut BotBase til et kontrollsenter senere i 2026. Det er viktig å holde orden på verbene: Den søkbare oversikten er lansert, mens det større kontrollsenteret er planlagt. Vanlige kunder har fått de tre AI-kategoriene, men ikke hele Enterprise-verktøyet.

Klassifiseringen går dessuten lenger enn AI. BotBase bruker blant annet kategorier for transaksjoner, datainnsamling, sikkerhetstesting, SEO, annonsekontroll, RSS, lenkeforhåndsvisning og overvåking. Det viser hvor Cloudflare vil: Regler skal følge botens oppførsel, ikke en vag merkelapp.

Kan robots.txt bestemme hvordan innholdet brukes?

Nei. Cloudflare tester et nytt use-signal i robots.txt, men signalet uttrykker et ønske og håndhever ikke en blokkering. Det kan settes til immediate, reference eller full, fra ingen lagring til full oppsummering og gjengivelse.

immediate betyr at boten kan samhandle med siden, men ikke lagre eller gjenbruke innholdet. reference tillater indeksering, utdrag og lenke tilbake, og er standardnivået. full åpner for at innholdet kan oppsummeres og gjengis.

Kunder som allerede bruker Cloudflares administrerte robots.txt med signalene search=yes og ai-train=no, får nå også use=reference. Cloudflare vil i tillegg registrere forventet innholdsbruk for botene i BotBase. En bot som gjengir innhold i full lengde kan ikke få Verified-status.

Men robots.txt er fortsatt et tillitsbasert skilt, ikke en låst dør. En bot som ignorerer signalet, stoppes ikke av teksten alene. Den reelle håndhevingen skjer gjennom Cloudflares trafikkregler, blokkering og botklassifisering. Det skillet bør ikke gjemmes i en fotnote.

Er en verifisert bot automatisk tillatt?

Ikke lenger. Verified betyr nå at Cloudflare kjenner botens operatør og oppførsel godt nok til at den kan tillates innenfor riktig kategori. Om den faktisk slipper inn, avhenger av om nettstedet tillater Search, Agent, Training eller andre relevante formål.

Tidligere ble verifiserte boter tillatt som standard i flere av Cloudflares grunnoppsett. Nå er uverifiserte boter fortsatt blokkert som utgangspunkt, mens Verified ikke alene fungerer som fripass. Det er kategoriens regel som avgjør.

For å bli verifisert må operatøren ifølge Cloudflare representere seg selv ærlig og ikke misbruke tilgangen. Selskapet åpner samtidig prosessen mer og bygger verktøy der botoperatører kan kontrollere at klassifiseringen er riktig. De verktøyene er varslet, ikke ferdige.

Cloudflare eksperimenterer også med såkalt transitiv tillit. Tanken er at en agent kan oppgi hvem den handler for gjennom HTTP-headeren Forwarded, selv om trafikken går via en plattform og flere mellomledd. Forslaget er interessant, men fortsatt et eksperiment. Å vite at en forespørsel kommer fra en kjent plattform er ikke det samme som å stole på alle som bruker plattformen.

Hva er den viktigste begrensningen?

Cloudflare kan klassifisere og stoppe trafikk selskapet klarer å identifisere, men ikke tvinge hele nettet til å opptre ærlig. Boter kan skjule seg, blandes med menneskelig trafikk eller bruke en flerbruksidentitet som gjør valgene vanskeligere. Selskapet sier selv at systemet ikke vil passe hele nettet for alltid.

Likevel er retningen nyttig. Nettstedseieren slipper å velge mellom full åpning og full stenging, og botoperatører får et sterkere insentiv til å fortelle hva de gjør. Cloudflare oppgir at mer enn 20 prosent av nettdomenene ligger bak selskapet. Å miste verifisert status i et så stort nettverk er en reell konsekvens.

Jeg liker prinsippet om at den som lager innholdet får sette vilkårene. Men flere valgmuligheter er bare en forbedring hvis teksten ved bryterne er tydelig nok. Når «blokker trening» også kan bety «blokker Googlebot», må nettstedseieren få vite det før trafikkgrafen gjør jobben.

Kort sagt: De nye valgene er verdt å bruke, spesielt fordi de finnes på gratisnivået. Gå gjennom Search, Agent og Training hver for seg, kontroller hva som skjer med flerbruksboter, og ikke forveksle et signal i robots.txt med teknisk håndheving. Det er litt mer arbeid enn én av-knapp. Det er også hele poenget.

Ofte stilte spørsmål