Gå til indhold
CitationLab
Tilbage til Måling og værktøjer
Stille citeringstyve

Modelhukommelse vs. retrieval – to spilleplader, to strategier

Du kan fikse dit website i dag og stadig blive fejlciteret i to år. Retrieval er det, en AI-model henter lige nu. Modelhukommelse er det, den allerede tror. De to bevæger sig i helt forskelligt tempo – og efter ni dele med retrieval-fiks er det modelhukommelsen, der afgør resten.

KR
Krister Ross
Grundlægger og administrerende direktør, CitationLab
Udgivet Opdateret 9 min læsning
Ved du, om dine AI-crawlere faktisk kommer igennem?Kør et gratis synlighedstjek

Kort svar

Retrieval er det, en AI-model henter og læser lige nu, og det ændrer sig på dage, når du retter en side. Modelhukommelse er det, modellen allerede »ved« fra sin træning, og det ændrer sig først over måneder til år – uanset hvad du gør på dit eget website. Derfor kan du fikse websitet i dag og stadig blive fejlciteret i to år. Test, hvilken af de to der svigter, ved at stille det samme spørgsmål én gang med søgning slået til og én gang med søgning slået fra.

To spilleplader, ikke én

Ni dele af denne serie har handlet om én ting: at gøre dit website lettere at hente og læse for en AI-crawler lige nu. Statuskoder, chunk-struktur, navnekonsistens, synlig pris – det hele er retrieval-arbejde. Det er ikke hele billedet. En AI-model har to helt forskellige kilder til det, den siger om dig: det den henter dér og da, og det den allerede tror fra sin træning. Fikser du retrieval i dag, kan modellen stadig gentage en fejl, den lærte for to år siden – fordi modelhukommelsen ikke opdateres af, at dit website blev ændret i går.

Spilleplade 1

Retrieval

Det modellen henter og læser lige nu, til præcis dette spørgsmål.

Tempo
Dage
Hvem ejer inputtet
Dig, direkte – dit website er selve kilden
Din håndtag
Teknisk adgang, chunk-struktur, friskhed (del 1–9)
Spilleplade 2

Modelhukommelse

Det modellen allerede »ved« fra træningen, uden at slå noget op.

Tempo
Måneder til år
Hvem ejer inputtet
Alle, der skriver om dig – presse, branche, kunder
Din håndtag
Volumen og konsistens af tredjepartsomtaler over tid
Figur 1. To mekanismer bag det samme AI-svar. Fikser du kun den venstre, kan den højre blive ved med at gentage en to år gammel fejl.

Retrieval: det modellen henter lige nu

Retrieval er alt det, del 1 til 9 i denne serie har handlet om, uden at ordet nødvendigvis har været nævnt. Retrieval er friskt af natur: fiks en side i dag, og en model, der understøtter søgning, kan citere den opdaterede version allerede i morgen. Tre ting afgør, om det sker:

  • Teknisk adgang (del 1–4). Kommer crawleren overhovedet igennem – uden 429, 499, 451 eller en bot-regel, der rammer forkert?
  • Chunk-struktur (del 5–8). Står chunken alene, med navngivet subjekt i stedet for »vi«, og med ét navn i stedet for tre varianter?
  • Citerbart indhold (del 9). Findes der et konkret tal eller prisspænd, modellen kan gengive, eller står der »kontakt os for pris«?

Alt dette ejer du selv. Det er teknisk adgang og indholdskvalitet på præcis den side, crawleren rammer i netop det øjeblik – og det er netop derfor, det kan fikses hurtigt.

Modelhukommelse: det modellen allerede tror

Modelhukommelse er noget helt andet. Det er det, en model »ved« uden at slå noget som helst op – mønstre og fakta bagt ind i vægtene under træningen, hentet fra al den tekst, modellen så om dig i presse, brancheomtaler og resten af internettet, da træningsdatasættet blev sat sammen. Spørger du en model uden netadgang, hvad en virksomhed laver, svarer den fra denne hukommelse, ikke fra en live-søgning.

Det, der styrer, hvor godt den hukommelse passer, er ikke chunk-struktur eller statuskoder:

  • Volumen. Hvor meget der overhovedet er skrevet om dig af andre end dig selv.
  • Konsistens. Om de kilder bruger samme navn, samme kategori og samme fakta – eller hver sin variant.
  • Kildetype. Om omtalerne står i kilder, modeller faktisk træner på: redaktionelle medier, fagudgivelser, strukturerede registre og opslagsværker.
  • Tid. Hvor længe det korrekte billede har været det dominerende – ikke hvor nyligt du sidst publicerede noget selv.
DimensionRetrieval (nu)Modelhukommelse (over tid)
Hvad det erDet modellen henter og læser lige nu, for netop dette spørgsmål.Det modellen allerede »ved« fra træningsdataene, uafhængigt af dagens søgning.
Hvad der påvirker detTeknisk adgang, chunk-struktur, friskhed – det del 1–9 i denne serie har handlet om.Volumen og konsistens af omtaler over tid, tredjepartskilder, hvad der faktisk ligger i træningsdatasættene.
Tidshorisont for ændringDage. En fikset chunk kan dukke op i et AI-svar samme uge.Måneder til år. Næste træning, eller nok uafhængige kilder til at flytte konsensus.
Hvem styrer inputtetDig, direkte – dit website er selve kilden, der hentes.Alle, der skriver om dig, ikke kun dig selv – pressen, brancheportaler, konkurrenter, kunder.
Sådan måler du detCitering i et live AI-svar lige nu, på tværs af modeller med søgeadgang.Hvad en model svarer uden søgning eller netadgang slået til, testet gentagne gange over tid.
To forskellige mekanismer med forskellige drivkræfter, forskelligt tempo og forskellige ejere af inputtet – forvekslet i én måling ser de ud som det samme.

Tidshorisonten er ikke den samme

Det er kernen i denne artikels påstand. Retrieval kan ændre sig på dage: en fikset chunk, en fjernet rate limit-regel, et publiceret prisspænd kan dukke op i et AI-svar samme uge, fordi modellen henter den friske side, hver gang den svarer. Modelhukommelse bevæger sig på et helt andet ur. Det, der ligger bagt ind i vægtene, ændrer sig først, når modellen trænes på ny – noget, der sker med måneders eller års mellemrum hos de store leverandører – eller når nok uafhængige kilder over lang tid har publiceret noget andet, end det modellen »husker« i dag.

Retrieval

Dage til uger

En rettet chunk kan citeres i et AI-svar samme uge.

Modelhukommelse

Måneder til år

Ændres først ved ny træning, eller når nok nye kilder siger noget andet.

Figur 2. Samme tidslinje, to helt forskellige udslag. Måler du dem i én rapport, ligner en virkende fiks en fiasko de første måneder.

Du kan gøre alt rigtigt på dit eget website i denne uge og alligevel blive citeret med en fejl fra to år tilbage, fordi fejlen ikke bor på dit website længere – den bor i modellens hukommelse.

Sådan finder du ud af, hvilken af de to der giver dig forkert svar

Testen er enkel nok til at køre på ti minutter, og den er den eneste måde at vide, hvilken af de to mekanismer du faktisk skal arbejde med. Stil ét konkret spørgsmål – formuleret som en kunde ville have gjort det – to gange: én gang i en model med søgning eller netadgang slået til, én gang i en model med søgningen slået fra. Det andet svar er hukommelsestesten. Så aflæser du udfaldet:

Svar med søgning slået tilSvar uden søgningDiagnoseNæste skridt
RigtigtRigtigtBegge spilleplader er i ordenIngen hastesag. Gentag testen kvartalsvis, så du fanger et tilbagefald tidligt.
RigtigtForkert eller »ved ikke«Retrieval virker, hukommelsen halterDet almindeligste udfald efter del 1–9. Fiksen virkede – nu er jobbet tredjepartsomtaler over tid, ikke mere kode.
ForkertRigtigtRetrieval henter den forkerte kildeModellen kender dig, men finder noget andet, når den søger: forældet side, forkert chunk eller en tredjepart, der rangerer over dig. Retrieval-arbejde, ikke hukommelsesarbejde.
ForkertForkertBegge deleStart med retrieval – den eneste af de to, du kan flytte på dage – og sæt hukommelsesarbejdet i gang parallelt, fordi det tager længst tid.
Figur 3. Stil det samme spørgsmål to gange – med og uden søgning – og aflæs, hvilken af de to mekanismer der faktisk svigter. Fire mulige udfald, fire forskellige næste skridt.

Én kørsel er ikke en måling

AI-svar varierer fra gang til gang, selv når intet har ændret sig, og de varierer mellem modeller. Kør derfor begge spørgsmål i mindst tre modeller, med præcis samme ordlyd, og gentag månedligt eller kvartalsvis. Det, du er ude efter, er, om tendensen bevæger sig – ikke hvad ét enkelt svar sagde en tirsdag. Mere om, hvordan sådan et måleopsæt laves i praksis: sådan måler du AI-synlighed.

Efter del 1–9 er dit website næsten færdigt til retrieval

Har du fulgt denne serie gennem alle ni foregående dele og faktisk rettet det, de pegede på, er dit website tæt på et praktisk loft for, hvor meget mere retrieval alene kan give dig. Der findes altid flere marginale forbedringer, men de fleste af de store, stille tyverier, denne serie har dækket, er nu lukket på din egen side.

Færdigt på dit eget website (del 1–9)

  • Crawlerne kommer igennem – ingen 429, 499, 451 eller fejlrettet bot-regel
  • Chunkene står alene, med navngivet subjekt i stedet for »vi«
  • Dit navn er ét navn, ikke tre varianter, modellen læser som tre selskaber
  • Prisen findes som læsbar tekst, ikke bag »kontakt os«

Ligger uden for dit eget domæne (del 10)

  • Uafhængige omtaler, der bruger rigtigt navn og rigtig kategori
  • Registre og opslagsværker med data, der faktisk passer
  • En målerytme, der tester retrieval og hukommelse hver for sig
  • Tålmodighed nok til at måle tendens, ikke enkeltsvar
Figur 5. Efter ni dele er den venstre kolonne din at styre og i praksis afkrydset. Den højre er der, hvor næste gevinst ligger – og ingen af linjerne dér fikses med kode.

Det betyder, at den næste gevinst i vid udstrækning flytter sig uden for dit domæne: konsistente omtaler i pressen, brancheportaler, der nævner dig korrekt, kunder og partnere, der skriver om dig med samme navn og samme kategori. Det er præcis den type input, modelhukommelsen bygges af, og ingen af delene er noget, du kan rette med en ændring i din kode.

Der findes ingen redigeringsknap for en fejlhukommelse

Det mest frustrerende ved modelhukommelse er, at der ikke findes nogen direkte »ret dette«-funktion. Du kan ikke sende en e-mail til en AI-leverandør og bede dem opdatere, hvad modellen »husker« om dig mellem to træningsrunder – sådan en kanal findes ganske enkelt ikke for de fleste. Det, der faktisk flytter et fejlhukommet faktum, er det samme, der flytter omdømme i den virkelige verden: vedvarende, konsistente, korrekte udsagn publiceret dér, hvor modeller faktisk henter træningsdata fra.

Flytter hukommelsen

Over måneder og år

  • Uafhængige medier og fagpublikationer, der omtaler dig med rigtigt navn og rigtig kategori
  • Strukturerede registre og opslagsværker med korrekte, opdaterede data om selskabet
  • Gentagen, konsekvent omtale fra kunder, partnere og brancheoversigter over tid
  • Samme navn, samme kategori og samme fakta overalt – også der, hvor du ikke selv publicerer
Flytter ikke hukommelsen

Uanset hvor hurtigt du gør det

  • En teknisk fiks på dit eget website – den ændrer retrieval, ikke vægtene
  • En mail til AI-leverandøren med en bøn om at rette et faktum
  • Én pressemeddelelse eller ét enkelt opslag, uden noget der følger efter
  • Betalte placeringer, der lover at »rette op på« det, en model husker om dig
Figur 4. Modelhukommelsen flyttes af det samme som omdømme: mange uafhængige kilder, der siger det samme, længe nok. Ingen genvej har vist sig at virke.

Ingen enkelt artikel gør jobbet alene. Det, der tæller, er, at nok uafhængige kilder over nok tid konsekvent siger det korrekte – så den næste træning har noget andet at bygge videre på end den gamle fejl. Tålmodighed er ikke en undskyldning her. Det er selve mekanismen.

Derfor skal målingen adskille de to

Blander du retrieval og modelhukommelse sammen i én måling, fejltolker du støj som fremgang – eller det modsatte. To fejllæsninger er almindelige, og de trækker hver sin vej:

  • »Fiksen mislykkedes.« Hukommelsessvaret er uændret nogle uger efter, at du rettede websitet, så du konkluderer, at arbejdet ikke virkede – og giver op for tidligt på noget, der faktisk virkede, målt på det forkerte ur.
  • »Vi er i mål.« Ét live-svar med søgning ser rigtigt ud, så sagen lukkes – mens alle, der spørger en model uden søgning, stadig får det gamle, fejlagtige svar.

Ser du, at en side nu citeres korrekt i et live AI-svar fra en model med søgeadgang efter en fiks, er det en reel retrieval-sejr. Får du samtidig det samme gamle svar fra en model uden søgning, er det ikke en modsigelse – det er to forskellige spørgsmål med to forskellige svar, målt på to forskellige ure. Rigtig måling tester begge dele separat: retrieval mod et live, søgende svar; hukommelse mod et spørgsmål stillet uden søgning, gentaget over tid for at se, om tendensen faktisk bevæger sig.

Derfor er det en driftsopgave, ikke et engangsprojekt

Ni dele med tekniske og redaktionelle fiks kan gøres én gang og derefter vedligeholdes. Modelhukommelsen lader sig ikke gøre færdig på samme måde – den kræver løbende arbejde uden for dit eget website og en løbende kontrol af, om den faktisk bevæger sig, fordi ingen enkelt måling fortæller dig noget, før du har set den samme tendens gentage sig over tid. Det er præcis grunden til, at en engangsanalyse sætter dig i gang, men ikke holder dig i front: modellerne trænes på ny, konkurrenterne publicerer nye omtaler, og et billede, der var rigtigt i marts, kan være forældet i september, uden at du opdager det, før nogen spørger en model og får forkert svar. CitationLab Monitor sporer begge ure samtidig – retrieval-citeringer og hukommelsestests, over tid og på tværs af modeller – og det er den samme opgave AEO-forvaltning løser løbende: ikke én rapport, men en driftsrytme, der følger med, når begge tempoer bevæger sig videre.

Hele serien: ti stille citeringstyve

Denne artikel er del 10 af 10 i »Stille citeringstyve«. Se hele serien samlet ét sted, eller gå direkte til en tidligere del:

Selvtjek: spørg en model med og uden søgning

Selvtjek – ti minutter

  1. 1Åbn en AI-model med netadgang eller søgning slået til, og spørg den om noget konkret om din virksomhed – gerne noget, du for nylig har rettet på websitet. Notér svaret ordret.
  2. 2Åbn samme model, eller en anden der lader dig slå søgningen fra, og stil præcis det samme spørgsmål uden den adgang. Notér svaret ordret.
  3. 3Sammenlign de to. Er de ens og rigtige, er begge spilleplader i orden. Er de forskellige, ser du de to mekanismer i praksis.
  4. 4Gentag i to modeller mere, og sæt en påmindelse om at køre den samme test igen om en måned.

Får du to forskellige svar, er det ikke en fejl i modellen – det er præcis den mekanisme, denne artikel har beskrevet, og et konkret udgangspunkt for at vide, hvilken af de to strategier du faktisk har brug for lige nu. Begreberne i denne artikel er forklaret i vores ordliste.

Ofte stillede spørgsmål

Betyder retrieval-fiksene fra del 1–9 ingenting for modelhukommelsen?
De påvirker den indirekte og langsomt, ikke direkte og hurtigt. En side, der nu faktisk citeres i live AI-svar, bliver også lettere for andre at finde, linke til og omtale – og det er præcis den slags tredjepartsaktivitet, modelhukommelsen til sidst bygges af. Men koblingen går via andre kilder, der omtaler dig, ikke direkte fra din egen chunk-struktur til modellens vægte.
Hvor lang tid tager det, før modelhukommelsen faktisk ændrer sig?
Der findes ikke ét tal, der gælder for alle modeller eller alle fakta. Store leverandører træner nye modelversioner med måneders mellemrum, og et fejlagtigt eller forældet faktum forsvinder først, når enten en ny træningsrunde har set nok korrigerende kilder, eller – for nogle modeller – når et retrieval-lag omkring modellen begynder at overstyre det fejlhukommede svar med friskere træf. Pointen at tage med sig er ikke et præcist tal, men at horisonten måles i måneder og år, ikke dage.
Kan jeg betale mig til at ændre, hvad en model husker om mig?
Ikke direkte, og vær skeptisk over for dem, der lover det. Det, der faktisk flytter et fejlhukommet faktum, er, at nok uafhængige, troværdige kilder konsekvent siger det samme korrekte over tid – ikke et enkelt køb eller én enkelt pressemeddelelse. Det, du kan gøre noget ved, er at øge sandsynligheden for, at det sker: sørge for at korrekt information faktisk findes, konsekvent og gentaget, i de kilder, modeller træner på.
Er det kun et problem for store, kendte brands?
Nej, det rammer mindst lige så hårdt virksomheder med et lille digitalt fodaftryk. En virksomhed, der omtales sjældent og inkonsekvent, har ganske enkelt et tyndere træningssignal at blive korrekt husket ud fra – og et par gamle, fejlagtige omtaler kan da veje uforholdsmæssigt tungt i det, modellen »husker«, simpelthen fordi de udgør en større andel af alt, hvad der nogensinde blev skrevet om virksomheden.
Hvordan ved jeg, om et fejlagtigt AI-svar skyldes retrieval eller modelhukommelse?
Test begge dele separat. Spørg en model med søgning eller netadgang slået til, og sammenlign med det samme spørgsmål stillet uden den adgang. Passer det friske, søgende svar, men ikke det andet, er det modelhukommelsen, der halter – og det er ikke noget, en teknisk fiks på websitet løser alene.
Hvor ofte bør jeg køre hukommelsestesten?
Månedligt eller kvartalsvis, med præcis samme ordlyd hver gang. Oftere giver dig støj: modelsvar varierer fra gang til gang, selv uden at noget har ændret sig, så to tests med en uges mellemrum fortæller dig lidt. Pointen er at se, om tendensen bevæger sig over flere målinger, ikke at reagere på ét enkelt svar.
Hvad gør jeg først, hvis både retrieval-svaret og hukommelsessvaret er forkert?
Start med retrieval. Det er den eneste af de to, du kan flytte på dage, og et korrekt svar i modeller med søgeadgang gælder med det samme. Sæt hukommelsesarbejdet i gang parallelt og med lav forventning til hurtig effekt – det tager længst tid, så det bør starte tidligst, ikke sidst.
Ordforklaringer

Begreber brugt i denne artikel

Modelhukommelse
Modelhukommelse er det, en sprogmodel kan sige om dig uden at slå noget op – fakta og mønstre, der ligger lagret i modellens vægte efter træningen. Det ændrer sig først ved ny træning, eller når nok uafhængige kilder over tid har publiceret noget andet, altså over måneder til år.
Retrieval
Retrieval er det, en AI-model henter og læser dér og da for at besvare et konkret spørgsmål, i stedet for at svare fra hukommelsen. Retrieval styres af teknisk crawler-adgang, chunk-struktur og friskhed og kan ændre sig på dage, når du retter en side.
Træningsdata
Træningsdata er den tekstsamling, en sprogmodel lærte af, før den blev taget i brug. Det, der stod om dig i de data – presse, brancheomtaler, registre, resten af nettet – er det, din modelhukommelse bygges af, og det kan ikke redigeres bagefter.
Hukommelsestest
En hukommelsestest er det samme spørgsmål stillet til en AI-model med søgning og netadgang slået fra, så svaret er nødt til at komme fra modellens egen træning. Sammenlignet med samme spørgsmål stillet med søgning slået til viser den, om et fejlagtigt svar skyldes retrieval eller modelhukommelse.
Chunk
En chunk er det selvstændige tekstsegment, en AI-model faktisk henter og citerer – ikke hele siden. Et afsnit, der giver mening alene, med navngivet subjekt og konkrete tal, bliver hentet oftere end et, der forudsætter afsnittet ovenfor.

Var dette nyttigt?

Del:

Hold deg oppdatert

Få fagartikler, produktnyheter og analyser rett i innboksen.