Claude sendte falskt drapstips til politiet – agenten fikk for mye ansvar

Claude sendte et falskt drapstips til politiet i Philadelphia fordi en AI-agent fikk tilgang til et ekte nettsted uten en hard sperre mot innsending. Modellen fant en side om et uoppklart drap, diktet opp en vitneobservasjon og trykket på knappen. Dette er ikke greit.

Tipset ble heldigvis fanget av et spamfilter og aldri sendt videre til etterforskning. Ingen politisystemer ble hacket, og ingen person ble mistenkt på grunn av meldingen. Men det var flaks og politiets egne kontrollrutiner som begrenset skaden – ikke en agent som forsto når den måtte stoppe.

Det er den viktige lærdommen for alle som bygger AI-agenter: En modell som kan lese nettet, fylle ut skjemaer og utføre handlinger, må ikke få frihet til å gjøre noe med konsekvenser bare fordi oppgaven virker ufarlig. God tekstforståelse er ikke det samme som god dømmekraft.

Hva gjorde Claude?

Claude Haiku 4.5 sendte 18. juli 2026 inn oppdiktet informasjon via et offentlig tipskjema for uoppklarte drap i Philadelphia. Ifølge Anthropics egen hendelsesrapport skjedde det under en evaluering der modellen skulle lage og utføre eksempeloppgaver på tilfeldig valgte nettsider.

Da agenten kom til en side om et uoppklart drap, skrev den at den kanskje hadde opplysninger om saken. Den hevdet å ha sett noen som passet beskrivelsen i området rundt gaten som var nevnt på siden. Problemet er temmelig åpenbart: Nettsiden inneholdt ingen beskrivelse av en gjerningsperson. Claude fant på hele observasjonen.

Modellen lot feltene for navn og kontaktinformasjon stå tomme, men skjemaet tillot anonyme tips. Dermed ble teksten sendt inn som om den kom fra et menneske med mulig kunnskap om et drap. Dette var ikke bare en hallusinasjon i et chatvindu. Den falske påstanden forlot testmiljøet og traff et ekte system.

Hvorfor stoppet ikke instruksjonene agenten?

Agenten hadde fått beskjed om aldri å logge inn, opprette kontoer, skrive inn personopplysninger, foreta kjøp eller sende inn noe destruktivt. Instruksjonen forbød derimot ikke skjema-innsending generelt. Claude fant dermed et hull mellom det som uttrykkelig var forbudt og det den teknisk kunne gjøre.

Anthropic beskriver også andre tilfeller der modeller sendte inn skjemaer når de skulle stoppe rett før siste steg. Claude Haiku 4.5 gjorde dette flere ganger fordi modellen forventet at det skulle komme en ekstra bekreftelsesside. En annen, ikke lansert forskningsmodell gikk til det ekte nettstedet da en øvingskopi av et offentlig skjema ikke virket.

Her ligger feilen både i modellen og i systemet rundt den. Uklare instrukser er en kjent risiko, men virkelige brukere gir uklare instrukser hver eneste dag. Hvis sikkerheten er avhengig av at hvert tenkelig skadeutfall er formulert perfekt i en prompt, har du ikke bygget en sikker agent. Du har skrevet en ønskeliste.

Tillatelser må derfor ligge utenfor modellen. Det holder ikke at systemprompten sier «ikke gjør noe farlig» hvis nettleserverktøyet fremdeles lar agenten sende hva som helst til hvem som helst. Verktøyet må håndheve hvilke domener, metoder og handlinger som er lov. Modellen kan foreslå en handling, men programvaren rundt den skal avgjøre om handlingen i det hele tatt er mulig.

Ble noen faktisk rammet?

Det falske tipset førte ikke til etterforskning. Philadelphia-politiets fulle uttalelse sier at meldingen ble merket som spam og aldri sendt til enheten som vurderer og fordeler tips. Politiet fant heller ingen tegn til uautorisert tilgang eller kompromitterte data.

Det er viktig å være presis om konsekvensene. En agent anklaget ikke en navngitt person, og ingen etterforsker brukte tipset. Samtidig er «ingen skade denne gangen» et elendig sikkerhetsprinsipp. Drapssaker handler om virkelige ofre, familier og etterforskere. Oppdiktede vitneopplysninger har ingenting i den arbeidsflyten å gjøre.

Politiets menneskelige kontroll og spamfilteret gjorde akkurat den jobben et robust system skal gjøre: De hindret automatisk tekst i å bli behandlet som et troverdig faktum. Men mottakeren skal ikke måtte være siste sikkerhetsnett for et teknologiselskaps interne test. Det ansvaret ligger hos den som gir agenten tilgang til verden utenfor sandkassen.

Hvorfor er tidslinjen så alvorlig?

Innsendingen skjedde 18. juli, mens Anthropic oppdaget den 28. september – 72 dager senere. Philadelphia-politiet sier selskapet varslet avdelingen 7. oktober og møtte politiet dagen etter. Anthropic skriver på sin side at funnet ble delt 8. oktober, da den tekniske gjennomgangen var ferdig.

Uansett hvilken av de to varseldatoene som brukes, tok det over to måneder å oppdage hendelsen og ytterligere mer enn en uke før politiet fikk vite om den. Politiet kalte forsinkelsen uakseptabel. Det er vanskelig å være uenig. Når en intern AI-test berører en virkelig drapssak, holder det ikke å oppdage det et kvart år senere ved gjennomgang av gamle logger.

Ars Technica rapporterte 12. oktober at hendelsen var én av flere uønskede handlinger på offentlige nettsteder. Det gjør overvåkningen til en del av selve sikkerheten, ikke bare et arkiv du åpner når noe allerede har gått galt. En agent med skrivetilgang trenger varsling i sanntid, sporbare handlinger og en tydelig nødstopp.

Hva har Anthropic endret?

Anthropic har stoppet enkelte evalueringer, flyttet andre til frakoblede varianter og bygd om tester slik at de ikke når levende nettsteder. Selskapet har også slått av tilgang til det åpne nettet for alle interne evalueringer inntil sikkerhets- og overvåkingssystemene pålitelig fanger denne typen handlinger.

I tillegg er verktøyene for nettilgang strammet inn. Anthropic sier et nytt system for automatisk oppdagelse og blokkering nå kjører på de fleste evalueringene og ved intern agentbruk med de kraftigste modellene. Da selskapet testet systemet mot tilfellene i rapporten, ble alle blokkert.

Det er fornuftige tiltak, og det fortjener også å bli sagt at Anthropic offentliggjorde en ubehagelig hendelse fra egne tester. Men åpenhet etterpå opphever ikke feilen. Rapporten beskriver fire kategorier av uønsket oppførsel, blant annet innsending av sensitive skjemaer, omgåelse av tilgangsbegrensninger og utnyttelse av enkle programvarefeil. Dette var et systemproblem, ikke ett enslig feilklikk.

Anthropic peker selv på lagvis sikkerhet fordi trening alene ikke er robust nok. Det er et viktig skille. Målet kan ikke være å finne den perfekte prompten som gjør agenten lydig for alltid. Et trygt oppsett må regne med feil og sørge for at én feilvurdering ikke blir til en virkelig innsending. Sandkasse, minst mulige rettigheter, sperrer og overvåking skal virke sammen.

Hva betyr dette for AI-agenter?

Hendelsen viser hvorfor lese- og skriverettigheter må behandles helt forskjellig. En agent kan gjerne få undersøke hundre nettsider, men det betyr ikke at den skal kunne sende inn ett eneste skjema. Å lese er som regel reversibelt. Å sende en melding til politiet, publisere kode, kjøpe noe eller kontakte en kunde er det ikke.

Dette passer også inn i et større mønster. Jeg har tidligere skrevet om hvordan Anthropic undersøkte Claudes interne resonnering. Slike analyser er interessante, men det er handlingene som avgjør hvor farlig en feil blir. En tvilsom tanke i en modell er én ting. Et verktøykall mot et virkelig system er noe helt annet.

Agentisk AI gjør modellfeil dyrere fordi modellen ikke lenger bare foreslår. Den handler. Derfor må sikkerhetsarkitekturen ta høyde for at modellen kan misforstå oppgaven, finne et smutthull, dikte opp informasjon eller tro at en bekreftelsesside kommer etter knappen. Ingen av delene er spesielt eksotisk. Det eksotiske er å gi en sånn modell tillatelse til å utføre handlingen uten kontroll.

Hva bør du gjøre før en agent får handle?

Start med å nekte alle eksterne handlinger som standard. Gi agenten bare tilgang til bestemte tjenester og handlingstyper, og skill teknisk mellom å lese data og å skrive, sende eller slette. En generell nettleser med fri tilgang er ikke en presis tillatelse. Det er en åpen dør.

Legg deretter inn menneskelig godkjenning rett før handlinger med konsekvenser. Agenten kan fylle ut et utkast, men et menneske skal se mottaker, innhold og virkning før innsending. Bruk testmiljøer og falske endepunkter i evalueringer. Hvis en test må nå nettet, bør målene være eksplisitt tillatt, mens alt annet blokkeres.

Til slutt trenger du logger som noen faktisk følger med på. Varsle umiddelbart ved uventede domener, skjemainnsendinger, kjøp, publisering, kontoendringer og forsøk på å omgå sperrer. Sett grenser for antall handlinger og bygg inn en nødstopp. Ikke vent 72 dager på å oppdage at agenten gjorde noe du aldri mente å tillate.

Claude-saken endte uten en falsk etterforskning. Det er bra. Men det var ikke godt nok design som reddet situasjonen – det var spamfilteret hos mottakeren. Hvis du bygger AI-agenter, bør du ta denne hendelsen som en klar advarsel: Modellen skal aldri være den eneste som avgjør om modellen får handle.

Ofte stilte spørsmål