Innhold Vis
BotPsy er en lokal AI-agent på bare 0,8 milliarder parametere, trent for å velge og bruke verktøy uten at hele samtalen må sendes til en skytjeneste. Modellen er liten nok til at den kvantiserte Q4-utgaven tar rundt 529 MB, men er likevel laget for oppgaver som kalender, filer, meldinger, nettsøk og enhetsstyring.
Det er en retning jeg liker. Ikke alle oppgaver trenger de største agentiske språkmodellene noen kan leie ut fra et datasenter. En liten spesialist som gjør én type arbeid godt, kan være både billigere, raskere og enklere å holde under egen kontroll. Akkurat for en personlig assistent er det siste ganske vesentlig.
Størrelsen åpner også for en annen måte å bygge agenter på. I stedet for å sende alle små valg til én kostbar modell i skyen, kan spesialiserte agentmodeller håndtere rutinearbeidet og overlate de vanskelige unntakene til et sterkere system eller et menneske. Det er mindre spektakulært enn «full autonomi», men langt mer praktisk.
Men «personlig assistent» må ikke forveksles med en digital altmuligmann som kan få nøklene til nettbanken og ordne resten. Tether AI Research sier selv at BotPsy passer best til oppgaver med lav til middels vanskelighetsgrad, at modellen gjør feil og at den ikke skal brukes til beslutninger med høy risiko. Det er en lovende liten verktøybruker, ikke et nytt kunstig geni.
Hva er BotPsy som lokal AI-agent?
BotPsy er en språkmodell på 0,8 milliarder parametere, bygget videre på Qwen3.5-0.8B og spesialisert for function calling og agentarbeid. Ifølge det offisielle modellkortet er den publisert med Apache 2.0-lisens og tilgjengelig som både BF16-vekter og GGUF-filer i BF16, Q8_0 og Q4_K_M.
Function calling betyr at modellen ikke bare svarer med tekst. Den kan få en liste over tilgjengelige funksjoner, forstå at brukerens ønske krever en bestemt funksjon og fylle inn argumentene. «Legg inn tannlegetimen fredag klokken 15» kan for eksempel bli til et strukturert kall mot en kalenderfunksjon. Selve kalenderen, e-posten eller bilen styres fremdeles av programvaren rundt modellen.
Det skillet er viktig. BotPsy er hjernen som velger verktøy og argumenter, ikke en ferdig app med alle koblinger på plass. Utvikleren må gi den et sikkert miljø, definere verktøyene og bestemme hvilke handlinger modellen faktisk får lov til å utføre.
Hvor liten er modellen i praksis?
Den minste publiserte GGUF-filen er Q4_K_M-utgaven på omtrent 529 MB. Q8_0 er rundt 812 MB, mens BF16-utgaven er cirka 1,52 GB. Filstørrelsen er ikke det samme som et komplett mål på minnebruk under kjøring, men tallene viser hvorfor BotPsy faktisk er interessant for lokal bruk: Dette er ikke en modell som krever et rack med grafikkort bare for å laste vektene.
Modellen beholder Qwen3.5-arkitekturen og kan kjøres gjennom Transformers, vLLM og llama.cpp. Modellkortet oppgir at Transformers-oppsettet er testet med versjon 5.19.0. For raskere Gated DeltaNet-kjerner anbefales pakkene flash-linear-attention og causal-conv1d; uten dem faller Transformers tilbake til en tregere referanseimplementasjon.
BotPsy er trent og evaluert med tenkemodus aktivert. Derfor må enable_thinking=True settes eksplisitt når chat-malen brukes. Utviklerne oppgir også temperature=0.3, top_p=0.95, top_k=20 og presence_penalty=1.5 som innstillingene fra evalueringen. Dette er operative detaljer som fort kan forklare hvorfor en lokal prøve ikke ligner tallene i modellkortet.
Hva er modellen faktisk god til?
BotPsy er først og fremst laget for å velge verktøy, følge tydelige instrukser og holde tråden gjennom flere steg. I Tether AI Researchs egen evaluering fikk modellen 44,0 poeng i BFCL v4 og ledet fem av de seks agenttestene i sammenligningen. Det er lovende, men dette er utviklernes egne målinger – ikke en uavhengig test eller min egen erfaring med modellen.
Det mest nyttige funnet er evnen til å la være å handle. I testene som måler om modellen avviser en forespørsel når ingen passende funksjon finnes, gjorde BotPsy det best i sammenligningsgruppen. En agent som alltid finner på et verktøykall, er omtrent like betryggende som en lærling som aldri sier «jeg vet ikke».
Flere runder er også et tydelig satsingsområde. De selvrapporterte resultatene viser store løft fra grunnmodellen i flertrinnsoppgaver og feilsøking over lengre samtaler. Det tyder på at spesialisert trening kan bety mer enn ren størrelse når oppgaven er smal og verktøyene er godt definert, men tallene bør gjentas utenfor utviklernes eget testoppsett.
Fire treningstrinn gjør den til en spesialist
BotPsy er ettertrent i fire trinn. Først kom veiledet finjustering på samtaler med verktøybruk. Deretter brukte teamet on-policy-distillasjon fra tre Qwen3.5-4B-lærermodeller med ulike spesialiteter. Til slutt fulgte to runder med forsterkende læring, først med særlig vekt på verktøykall og deretter med en bredere blanding av matematikk, kode, kunnskap, instruksjonsfølging og flertrinnsoppgaver.
Poenget med oppskriften var ikke bare å lære modellen å produsere riktig funksjonsformat. Første finjustering løftet verktøybruken, men svekket kunnskap og instruksjonsfølging. Distillasjonen hentet disse evnene tilbake, før de to siste treningsrundene løftet flere områder samtidig.
I utviklernes evaluering brukte BotPsy vesentlig færre tenketokens enn grunnmodellen på oppgaver begge klarte, og den låste seg sjeldnere i gjentakende resonnement. For lokal kjøring kan mindre tankespinn bety lavere ventetid og mindre bortkastet regnekraft. Også dette måles i leverandørens eget oppsett, så jeg ville kontrollert både fart og feilrate på maskinen og verktøyene som faktisk skal brukes.
Hvor går grensen?
Åpent nettsøk og krevende informasjonsinnhenting er den klare svakheten. BotPsy var best i den lille sammenligningsgruppen på en test for dyp nettsøk-research, men det absolutte resultatet var fremdeles elendig. Utviklernes app-fordeling viser også et stort fall fra enkle enkeltkall til flertrinnsoppgaver for informasjonsinnhenting.
Den er heller ikke ment som et kunnskapslager. En større Qwen-modell var klart bedre i utviklernes kunnskapstest. Forklaringen er fornuftig: BotPsy skal bruke verktøy for å hente fakta den ikke kjenner, ikke late som 0,8 milliarder parametere rommer hele verden.
Språk er en annen viktig begrensning. Engelsk er anbefalt språk. Modellen er evaluert på kinesisk, fransk, hindi, italiensk, portugisisk, russisk og spansk, men ikke norsk. En flerspråklig instruksjonstest viste dessuten langt svakere resultater på hindi og russisk enn på de sterkeste språkene. Det finnes derfor ikke grunnlag for å si at BotPsy er en god norsk assistent. Det er ukjent, ikke bevist godt eller dårlig.
Tether AI Research fraråder bruk i sikkerhetskritiske oppgaver og automatiserte beslutninger som berører penger, helse, personopplysninger eller andre følsomme områder. Det er ekstra viktig når modellen får tilgang til verktøy. Lokal kjøring kan beskytte data mot en ekstern modelltilbyder, men den gjør ikke en feilaktig handling mindre feilaktig.
Lokal kjøring er bare halve personvernet
Når modellen kjører på egen maskin, kan instruksjoner, dokumenter og samtalehistorikk behandles uten å sendes til en ekstern LLM-tjeneste. Du slipper også å være avhengig av at en leverandør beholder samme pris, modell og API. For en personlig assistent som ser kalender, filer og meldinger, er dette en reell fordel.
Men verktøyene kan fremdeles sende data ut. En lokal modell som bruker et nettsøk, en skytjeneste for e-post eller et eksternt kart-API, er ikke plutselig offline og privat fra ende til ende. Personvernet avgjøres av hele kjeden: modellen, loggene, verktøyene, tillatelsene og tjenestene den kobles til.
Det samme gjelder sikkerhet. Gi modellen smale funksjoner, valider argumentene og krev godkjenning før irreversible handlinger. En kalenderfunksjon trenger ikke tilgang til hele filsystemet, og en lokal assistent bør ikke få sende penger fordi den gjorde det bra på en benchmark. Minste nødvendige tilgang er fortsatt et bedre sikkerhetsprinsipp enn håp.
Min vurdering av BotPsy
BotPsy er spennende fordi den gjør en smal, nyttig jobb med svært få parametere. Den viser at lokale agenter ikke nødvendigvis må være bittesmå kopier av de største chatbotene. De kan trenes som spesialister som velger verktøy, følger prosedyrer og lar være å handle når riktig verktøy mangler.
Samtidig kommer alle resultatene her fra utviklernes egen evaluering, og modellen er ikke testet av meg. Den er svak på krevende research, har begrenset egenkunnskap og mangler dokumentasjon på norsk kvalitet. Det gjør den mest aktuell for utviklere som kan bygge et stramt verktøymiljø rundt en lokal modell, ikke for folk som ønsker en ferdig norsk assistent de kan stole blindt på.
Det er likevel mye mer interessant å se en modell med åpne vekter på rundt en halv gigabyte løse konkrete agentoppgaver enn enda en skybasert altmuligmodell som krever abonnement, API-nøkkel og tillit til at leverandøren ikke flytter målstolpene neste måned. Bruk BotPsy til avgrensede oppgaver, mål feilene i ditt eget oppsett og behold menneskelig godkjenning der handlingene faktisk betyr noe.
Ofte stilte spørsmål
Kan BotPsy kjøres uten grafikkort?
Ja, llama.cpp og GGUF-formatet åpner for CPU-kjøring, og Q4-filen er omtrent 529 MB. Faktisk hastighet og samlet minnebruk avhenger av maskinen, kontekstlengden og oppsettet. Utviklerne har ikke dokumentert én universell ytelse som gjelder alle PC-er og mobiler.
Er BotPsy en ferdig personlig assistent?
Nei. BotPsy er språkmodellen som kan velge og fylle ut verktøykall. Du må selv koble til kalender, filer, søk eller andre tjenester, styre tillatelser og validere handlingene. Modellen er en komponent i en assistent, ikke en komplett app.
Fungerer BotPsy på norsk?
Det er ikke dokumentert. Engelsk er anbefalt, og de publiserte flerspråklige testene omfatter sju andre språk, men ikke norsk. Artikkelen gir derfor ingen positiv eller negativ vurdering av norsk forståelse, instruksjonsfølging eller verktøybruk.
Kan BotPsy brukes til bank, helse eller persondata?
Utviklerne fraråder høyrisikooppgaver og automatiserte beslutninger som gjelder penger, helse, personopplysninger og andre følsomme områder. Lokal kjøring reduserer datadeling med en modelltilbyder, men fjerner verken modellfeil eller risikoen i tilkoblede verktøy.
