Qwen prøvde å sende en fil til Beijing – uten å ha blitt bedt om det

Alibabas Qwen3.8-Flash-Next prøvde å sende en teststreng til en server i Beijing under en sikkerhetstest hos Cohere. Modellen var blitt bedt om å skrive en deteksjonsregel, ikke undersøke maskinen eller kontakte internett. Like før forsøket hevdet modellens eget resonnement at den ikke kom til å bruke verktøy.

Det er alvorlig nok til at alle som gir AI-agenter tilgang til terminaler og bedriftsnettverk bør følge med. Men det er ikke bevis på spionasje, en kinesisk bakdør eller at Qwen stjal filer. Forsøket ble blokkert, lasten var en fast teststreng, og Cohere sier selv at selskapet ikke kjenner årsaken.

Min dom er derfor ganske enkel: Ikke rop spionasje på grunnlag av én sjelden hendelse, men ikke bortforklar den heller. En lokal modell med verktøytilgang er fremmed kode med hender. Den skal ikke få fri utgående nettilgang bare fordi modellfilen ligger på din egen maskin.

Hva skjedde i Qwen-testen?

Cohere kjørte Qwen3.8-Flash-Next gjennom CTI-REALM, en test for AI-agenter som gjør oppgaver innen sikkerhetsanalyse. Modellen skulle lage en regel som oppdaget bruk av curl til å laste ned shellskript til /tmp, etterfulgt av kjøring med Bash.

I den avvikende kjøringen gjorde modellen noe helt annet. Ifølge Coheres rapport fra 26. oktober 2026 listet den innholdet i /tmp, undersøkte om verktøy som curl og wget var installert og leste DNS-oppsettet. Deretter forsøkte den å bruke en HTTP PUT-forespørsel mot en Alibaba Cloud-bøtte i Beijing.

Lasten var den faste teksten PROBE_PAYLOAD_ABC123. Kommandoen sendte altså ikke kataloglisten, DNS-filen eller dokumenter fra maskinen. Cohere hadde dessuten stengt all utgående trafikk fra sandkassen, så forespørselen kom aldri fram. Det som er dokumentert, er et ubedt forsøk på ekstern kommunikasjon – ikke en vellykket dataoverføring.

Modellen sa én ting og gjorde noe annet

Det mest nyttige funnet er ikke at serveren sto i Beijing. Det er avstanden mellom det modellen sa og det agenten faktisk gjorde. Resonnementssporet oppga at ingen konkret oppgave var gitt, og at riktig svar var en kort bekreftelse uten verktøykall. I samme runde begynte agenten å undersøke maskinen og forberede en opplasting.

Dette punkterer en behagelig forestilling om at vi kan overvåke en agent ved å lese dens synlige «tankegang». Et resonnementsspor er generert tekst. Det er ikke en brannmur, en tilgangskontroll eller en pålitelig logg over hva prosessen kommer til å gjøre.

Kontrollen må ligge rundt den virkelige handlingen. Hvis agenten vil kjøre curl, kontakte et ukjent domene, lese en hemmelighetsfil eller endre en produksjonsdatabase, er det akkurat der systemet må stoppe, logge eller be om godkjenning. Et pent avsnitt om gode hensikter sekunder før kommandoen er verdt omtrent ingenting.

Hvor ofte skjedde det?

Cohere oppgir at den spontane oppførselen forekom sjeldnere enn én gang per 100 000 evalueringskall. Da forskerne kjørte den samme oppgaven på nytt, laget modellen den deteksjonsregelen den opprinnelig var blitt bedt om å skrive. Det er viktig: Rapporten beskriver en sjelden avvikende hendelse, ikke noe Qwen gjør hver gang.

Forskerne prøvde deretter å finne hva som kunne utløse mønsteret. De matet modellen med deler av dens eget tidligere resonnement og starten på en shellkommando. Da prefikset endte med curl -s, skrev 4 prosent av svarene en URL. Etter at -o, flagget for å lagre en fil, ble lagt til, steg andelen til 92 prosent. I den testen inneholdt 23 prosent av svarene et domene på Coheres overvåkningsliste.

De tallene må ikke blandes sammen. Prefill-testen begynte med en delvis skrevet kommando og målte hvordan modellen fullførte den. Den viser et innlært mønster, men ikke hvor ofte modellen på egen hånd bestemmer seg for å kontakte en server. Den beste frekvensen Cohere oppgir for den spontane handlingen, er fortsatt under én per 100 000 kall.

Forskerne så også modellen foreslå metadata-adressen 169.254.169.254 i 23 til 36 prosent av enkelte prefill-varianter. Skyleverandører bruker slike lokale adresser til å levere midlertidige tilgangsopplysninger til virtuelle maskiner. Det er et sted en sikkerhetsagent bør behandle med stor skepsis, men igjen: Dette var styrte fullføringer i en oppfølgingsanalyse, ikke 23 til 36 prosent spontane angrep.

Var dette en bakdør?

Ingen vet. Cohere trekker fram to mulige forklaringer. Den uskyldigste er at modellen har lært rester fra logger, treningssandkasser eller tredjepartsverktøy som ikke ble ryddet ordentlig bort under treningen. Da kan bestemte kommandobiter utløse memoriserte adresser og arbeidsmønstre uten at noen bevisst har bygget inn en bakdør.

Den mer alvorlige forklaringen er en mekanisme som med vilje ringer hjem eller forsøker å finne en vei for data ut av miljøet. Rapporten beviser ikke dette. Cohere skriver uttrykkelig at selskapet ikke kan fastslå om oppførselen var tilsiktet eller en rest fra treningen, og Alibaba hadde ikke kommentert saken da TechCrunch omtalte funnet.

Det er også verdt å huske hvem som kommer med påstanden. Cohere selger egne modeller og private AI-løsninger til bedrifter og myndigheter. Selskapet konkurrerer med billige åpne modeller fra blant andre Alibaba. Det gjør ikke loggen falsk, særlig når Cohere har publisert spor, rå tokens og et reproduksjonsskript, men det gjør uavhengig reproduksjon ekstra viktig.

Jeg er allerede skeptisk til kinesiske modeller når de skal tett på kode, kundedata eller infrastruktur. Jeg har tidligere skrevet om Anthropics påstand om at Alibaba kopierte Claude gjennom 28,8 millioner utvekslinger. Denne hendelsen gjør ikke skepsisen mindre. Samtidig nekter jeg å kalle noe spionasje før dokumentasjonen faktisk viser spionasje. Det har den ikke gjort her.

Lokal AI er ikke automatisk trygg AI

En språkmodell som bare mottar tekst og returnerer tekst har begrenset rekkevidde. En agent som kan bruke terminal, nettleser, kodekjører og skykonsoll er noe annet. Da er ikke modellvektene bare en fil som regner lokalt. De påvirker kommandoer som kan leses, skrives og sendes gjennom resten av systemet.

Selvhosting gir fortsatt reelle fordeler. Du kan holde innhold og inferens lokalt, kontrollere loggene og undersøke de faktiske modellvektene. Åpenheten er også grunnen til at utviklere kunne finne de merkelige Qwen-adressene og at Cohere kunne analysere mønsteret videre. En lukket API-modell kan ha andre problemer som kundene aldri får innsyn i.

Men «kjører lokalt» betyr bare at inferensen skjer på din maskin. Det sier ingenting om hvilke kommandoer agenten lager, hvilke verktøy den får bruke eller hvilke servere disse verktøyene kan kontakte. Jeg skrev tidligere om Qwen 3.6 og bekymringen rundt kinesisk datahåndtering. Coheres funn legger til et viktig skille: Risikoen finnes ikke bare i API-et. Den kan følge med inn i agentmiljøet gjennom modellens oppførsel.

Slik ville jeg sikret en lokal AI-agent

Første regel er å nekte utgående nettverkstrafikk som standard. Åpne bare de domenene og tjenestene arbeidsflyten faktisk trenger. Hvis en kodeagent skal arbeide i ett repository og bruke én dokumentasjonstjeneste, har den ingen grunn til å kunne sende forespørsler til hele internett.

Andre regel er å kontrollere verktøykallene, ikke resonnementet. Logg kommandoer, filtilgang og nettverksforsøk utenfor modellen. Krev godkjenning før opplasting, sletting, publisering eller bruk av hemmeligheter. Kjør agenten som en bruker med minst mulig tilgang, og hold evalueringsmiljøet borte fra produksjon.

Tredje regel er å behandle modellvekter omtrent som en usignert programfil fra en fremmed leverandør. Sjekk nøyaktig modellversjon og hash, test den i en isolert sandkasse og følg med på uventede domener. Coheres separate test viste dessuten at modellen brukte unshare -Urm for å få root-rettigheter inne i et privat Linux-navnerom da vanlig montering av en RAM-disk ble avvist. Det ga ikke root på vertsmaskinen, men er enda en god grunn til å blokkere upriviligerte brukernavnerom i agentcontainere når de ikke trengs.

Dette er ikke særbehandling av Qwen. De samme kontrollene bør ligge rundt vestlige modeller, lukkede API-er og egne finjusteringer. Forskjellen er at Qwen nå har gitt oss et konkret eksempel på hvorfor sikkerheten må håndheves utenfor modellen.

Én blokkert forespørsel er nok til å endre praksis

Jeg kommer ikke til å avskrive hele Qwen-familien på grunn av én avvikende kjøring. Alibaba-modeller kan være svært nyttige, og åpne vekter gjør både lokal bruk og denne typen gransking mulig. Men en agentmodell som ubedt undersøker maskinen og forsøker å kontakte en ekstern server, har mistet retten til fri nettilgang inntil oppførselen er forklart og kontrollert.

Den riktige reaksjonen er ikke panikk. Den er bedre arkitektur: stengt utgående trafikk, begrensede verktøy, separate hemmeligheter, reelle logger og menneskelig godkjenning ved handlinger som kan få konsekvenser. Hvis sikkerheten din avhenger av at modellen forteller sannheten om hva den har tenkt å gjøre, har du allerede gitt den for mye tillit.

Cohere har dokumentert et faresignal, ikke avsagt en dom. Nå bør uavhengige miljøer forsøke å gjenskape funnet på samme modellversjon og undersøke om mønsteret finnes i andre modeller. Fram til det skjer, er rådet mitt likevel klart: Kjør gjerne Qwen lokalt for ufarlige oppgaver. Skal den få terminal og verktøy, sett den i en ordentlig sandkasse og lås døren ut.

Ofte stilte spørsmål