451 er oppkalt etter en bok om sensur – og brukes til akkurat det ordet antyder
HTTP 451, Unavailable For Legal Reasons, er en av de yngre statuskodene i registeret, og navnet er et bevisst nikk til Ray Bradburys Fahrenheit 451. Den brukes når innhold holdes tilbake av juridiske grunner: geoblokkering på grunn av lisens- eller distribusjonsavtaler, GDPR-relatert blokkering av besøkende fra bestemte regioner, eller direkte pålegg fra en myndighet. Det er en gyldig og i mange tilfeller nødvendig kode.
Problemet oppstår ikke ved at koden finnes. Det oppstår når regelen som utløser den – eller en enklere 403-variant av samme geo-fencing – er satt med en annen begrunnelse enn juss: for å spare båndbredde, for å redusere støy fra utenlandske botter, eller «fordi vi uansett bare selger i Norden». Den begrunnelsen har en helt annen konsekvens enn den som satte regelen, trodde.
Skjult AEO-drepe: AI-crawlere bor i amerikanske datasentre
En regel som «blokker alt utenfor Norden» tar utgangspunkt i én antakelse: at avsender-IP forteller deg hvor brukeren faktisk er. Det stemmer stort sett for mennesker som surfer fra sin egen internettleverandør. Det stemmer ikke for AI-crawlere.
De store AI-selskapenes infrastruktur kjører i stor grad fra egne datasentre, som i hovedsak ligger i USA, uavhengig av hvor personen som faktisk stiller spørsmålet befinner seg. En norsk bruker som spør en AI-modell om en norsk leverandør, kan trigge en henting av nettsiden fra en amerikansk IP-adresse. Sett fra en regel som geoblokkerer «ikke-nordisk trafikk», ser den hentingen identisk ut som støy fra utlandet – og blokkeres på samme måte.
Resultatet: du trodde du beskyttet deg mot uønsket utenlandsk trafikk. Du blokkerte samtidig ChatGPT.
Det motsatte problemet: amerikanske medier som 451-er EU-besøkende
Speilbildet av dette har vært synlig i flere år: en rekke amerikanske nyhetssider valgte etter at GDPR trådte i kraft å svare med 451 til alle besøkende fra EU, fremfor å bygge om personvernhåndteringen sin. Der var konsekvensen kjent og ønsket – de aksepterte å miste et publikum for å slippe compliance-arbeidet.
Norske geo-regler mot «ikke-nordisk trafikk» er ofte det motsatte tilfellet: konsekvensen er verken kjent eller ønsket. Ingen satte regelen for å bli usynlig for AI – den ble satt for et annet formål, og AI-synlighet var ikke en del av vurderingen den gangen fordi AI-crawlere knapt fantes som trafikkilde.
Region eller datasenter: to regler som ser like ut, men rammer helt forskjellig
Det finnes en presis versjon av geoblokkering som løser det opprinnelige problemet uten å ta med seg AI-crawlerne i fallet: å blokkere etter ASN (Autonomous System Number) i stedet for etter land. En ASN-basert regel retter seg mot kjente cloud- og hosting-nettverk – nettopp der botter og skript typisk kjører fra – i stedet for et helt lands samlede IP-rom, som også inneholder vanlige forbrukeres internettleverandører.
| Tilnærming | Hva den faktisk treffer | AEO-vurdering |
|---|---|---|
| Blokker hele land/regioner (f.eks. “alt utenfor Norden”) | Alt fra det landet – vanlige lesere, potensielle kunder på ferie eller reise, og AI-crawlere som i hovedsak kjører fra amerikanske datasenter-IP-er. | Høy risiko. Treffer ChatGPT, Claude og de fleste andre AI-crawlere direkte. |
| Blokker etter ASN/datasenter (skynetblokk, cloud-utleiere) | Trafikk fra kjente cloud- og hosting-nettverk – i praksis nesten utelukkende botter, skript og crawlere, ikke vanlige forbrukeres internettleverandører. | Lav risiko for vanlige lesere, men treffer fortsatt AI-crawlere med mindre de allowlistes eksplisitt. |
| Allowlist for verifiserte AI-crawlere, blokker resten som før | Uverifisert bot- og skripttrafikk fortsetter å bli stoppet, mens navngitte, verifiserte AI-crawlere slipper gjennom uansett hvilken geo- eller ASN-regel som ellers gjelder. | Anbefalt. Beholder beskyttelsen uten å ofre AI-synlighet. |
Selv en godt målrettet ASN-regel treffer likevel AI-crawlere, siden mange av dem nettopp kjører fra denne typen infrastruktur. Den siste, avgjørende brikken er derfor et eksplisitt unntak.
Løsningen: allowlist for verifiserte AI-crawlere, ikke fjerning av regelen
Riktig rekkefølge er å beholde geo- eller ASN-regelen for alt den opprinnelig løste et problem for, og legge en allowlist oppå den for navngitte, verifiserte AI-crawlere: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, PerplexityBot og Google-Extended, verifisert via reverse DNS eller leverandørens publiserte IP-lister – ikke bare via user-agent-strengen, som er trivielt å forfalske. Dette gir deg beskyttelsen tilbake uten å ofre synligheten i AI-svar.
Slik tester du din egen side
Selvsjekk. Hent siden din gjennom en amerikansk VPN eller proxy – eller be noen med amerikansk IP-adresse gjøre det for deg – og se på statuskoden som kommer tilbake. Alt annet enn 200 betyr at du er usynlig akkurat der de fleste AI-modellene henter innholdet sitt fra.
Får du 451 eller 403, gå videre til å finne ut om regelen bak er en region- eller en ASN-regel, og legg til allowlisten fra forrige avsnitt. Får du 200, kan du krysse geoblokkering av listen over stille siteringstyver – men verdt å sjekke igjen neste gang noen endrer en WAF- eller CDN-konfigurasjon uten å tenke på AI-crawlere spesifikt.
Ofte stillede spørgsmål
Er det galt å bruke 451 eller geoblokkering i det hele tatt?
Hvorfor kjører AI-crawlere fra amerikanske IP-er selv om de skal representere en norsk bruker?
Er det forskjell på å blokkere et land og å blokkere et datasenter?
Hva gjør jeg hvis jeg allerede har en geo-regel jeg ikke husker hvem som satte?
Var dette nyttigt?