AI-crawlere er automatiserede programmer, der henter indhold fra websider til brug i AI-systemer. De fungerer som Googles Googlebot, blot for AI-modeller. Kendte AI-crawlere omfatter GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot og Google-Extended (Gemini).
Hvorfor er AI-crawlere vigtige?
AI-crawlere er bindeleddet mellem dit indhold og AI-modellerne. Hvis en AI-crawler ikke kan nå dit indhold, kan AI-modellen heller ikke citere det — så falder hele grundlaget for AI-synlighed bort. Mange virksomheder blokerer AI-crawlere i robots.txt — enten bevidst eller utilsigtet — og undrer sig over, hvorfor de er usynlige i AI-søgning.
De vigtigste AI-crawlere
- GPTBot — OpenAI (ChatGPT). User agent: GPTBot.
- ChatGPT-User — ChatGPT's webadgang til realtidssøgning.
- ClaudeBot — Anthropic (Claude). User agent: ClaudeBot.
- PerplexityBot — Perplexity AI. User agent: PerplexityBot.
- Google-Extended — Google Gemini (separat fra Googlebot).
- Bytespider — ByteDance/TikTok AI. User agent: Bytespider.
Bør du blokere AI-crawlere?
Det afhænger af din strategi:
- Vil du citeres i AI-søgning? → Blokér ikke. Giv AI-crawlere adgang til dit indhold.
- Er du bekymret for brug som træningsdata? → Du kan blokere træning (GPTBot), men tillade søgning (ChatGPT-User) — de er separate crawlere.
- Har du premiumindhold bag betalingsmur? → Blokering kan give mening for betalt indhold.
Sådan tjekker du robots.txt
Åbn din robots.txt (dit-domæne.dk/robots.txt) og se efter:
User-agent: GPTBot→ Disallow betyder, at ChatGPT ikke kan crawle digUser-agent: *med bredt Disallow → Kan blokere alle AI-crawlere- Tjek, at JavaScript-renderingsressourcer ikke er blokeret
Opsummering
AI-crawlere er porten til AI-synlighed og en forudsætning for, at GEO og AEO overhovedet fungerer. Sørg for, at de har adgang til dit indhold, medmindre du har en bevidst grund til at blokere dem. Tjek robots.txt i dag — det tager fem minutter og kan være forskellen mellem synlighed og usynlighed i AI-søgning.
Ofte stillede spørgsmål
Hvad er en AI-crawler?
Hvilke AI-crawlere bør jeg kende?
Bør jeg blokere AI-crawlere?
Hvordan tjekker jeg, om jeg blokerer AI-crawlere?
Begreber brugt i denne artikel
- AI-crawler
- En AI-crawler er et automatiseret program, der henter indhold fra websider til brug i AI-systemer, enten til at træne modeller eller til at bygge RAG-systemer. Kendte eksempler er GPTBot, ClaudeBot, PerplexityBot og Google-Extended.
- GPTBot
- GPTBot er OpenAI's crawler, der henter indhold til brug i ChatGPT. Den identificeres med user agent GPTBot og er separat fra ChatGPT-User, som bruges til realtidssøgning.
- ClaudeBot
- ClaudeBot er Anthropics crawler, der henter indhold til brug i AI-assistenten Claude. Den identificeres med user agent ClaudeBot.
- PerplexityBot
- PerplexityBot er Perplexity AI's crawler, der henter indhold til svarmaskinens realtidssøgning. Den identificeres med user agent PerplexityBot.
- robots.txt
- robots.txt er en tekstfil i roden af et websted, som fortæller crawlere, hvilke dele de må hente. Via robots.txt kan et websted tillade eller blokere enkelte AI-crawlere.
Var dette nyttigt?