K2 Horizon samler seks åpne AI-modeller fra 0,9B til 375B

K2 Horizon gir deg seks åpne AI-modeller i samme familie, fra en liten 0,9B-modell for svært begrenset maskinvare til en enorm 375B-A23B-modell for tunge agentoppgaver. Alle modellene og koden er sluppet med Apache 2.0-lisens, og IFM legger opp til at du skal kunne følge hele utviklingen fra treningsdata og mellomlagrede sjekkpunkter til ferdige modeller.

Det er akkurat den sammenhengen som gjør lanseringen spennende. Du får ikke seks tilfeldige modeller med like navn. Modellene deler sentrale arkitekturvalg, treningsmetode, grensesnitt, evalueringsoppsett og verktøy for kjøring. Dermed kan en utvikler starte i liten skala, velge en større modell når oppgaven krever det og studere hva som faktisk endrer seg underveis.

Jeg liker retningen veldig godt. Åpne vekter er nyttige, men et sluttprodukt alene forteller lite om hvordan modellen ble til. K2 Horizon prøver å åpne langt mer av verkstedet. Det gjør utgivelsen interessant både for folk som vil kjøre en modell lokalt og for fagmiljøer som vil forstå hvordan resonnering, verktøybruk og agentegenskaper vokser fram.

Hva består K2 Horizon av?

K2 Horizon består av modellene 375B-A23B, 36B-A4B, 32B, 7B, 3,7B og 0,9B. Ifølge IFMs offisielle presentasjon av K2 Horizon er de utviklet som én sammenhengende familie for alt fra klokker og briller til lokale arbeidsstasjoner og store bedriftsinstallasjoner.

De tre minste modellene er de mest tilgjengelige. IFM retter 0,9B mot fokuserte oppgaver, enkel verktøybruk og maskinvare med svært stramme rammer. Modellene på 3,7B og 7B er ment for mer krevende bruk på telefoner og andre lokale enheter. Kvantiserte utgaver reduserer minnebehovet ytterligere, men faktisk ytelse vil selvfølgelig avhenge av format, maskinvare og programvaren som kjører modellen.

I midten ligger en tett 32B-modell og den sparsomme 36B-A4B. Sistnevnte har 36 milliarder parametere totalt, men aktiverer omtrent 4 milliarder for hvert token. Den største modellen bruker samme prinsipp i større skala: 375B-A23B lagrer 375 milliarder parametere, men aktiverer omtrent 23 milliarder per token. Det kutter beregningsarbeidet, men gjør ikke hele modellen liten. Alle vektene må fremdeles lagres og gjøres tilgjengelige under kjøring.

Det skillet er viktig hvis du vurderer lokal drift. «23B aktive» betyr ikke at 375B-modellen passer på maskinvare beregnet for en tett 23B-modell. Den offisielle oppskriften for flaggskipet bruker åtte H200-GPU-er med tensor- og ekspertparallellisering. For de fleste er det 0,9B, 3,7B og 7B som er de reelle lokale alternativene, mens 32B og 36B krever langt romsligere maskinvare.

Hvorfor er én sammenhengende modellfamilie nyttig?

En felles modellfamilie gjør det enklere å sammenligne størrelse, arkitektur og kapasitet uten at alle andre forutsetninger flytter på seg samtidig. IFM opplyser at modellene deler ordforråd, treningsmetode, grensesnitt og verktøy, med et mindre ordforråd for 0,9B-utgaven. Det gir et mer kontrollert grunnlag for å velge modell og studere skalering.

For en utvikler kan det bety at en arbeidsflyt først prøves med 3,7B eller 7B, før tyngre oppgaver sendes til 32B, 36B-A4B eller flaggskipet. Det er ikke et løfte om at samme prompt oppfører seg identisk i alle størrelser. Poenget er at du slipper å bytte hele verktøykassen hver gang du flytter et trinn opp eller ned.

Dette er en annen type verdi enn «modell X slo modell Y med 1,7 poeng». Jeg har tidligere skrevet om IBM Granite 4.1 i 3B, 8B og 30B, som viser hvor nyttig det kan være å få flere størrelser for ulike behov. K2 Horizon trekker tanken lenger ved å koble seks størrelser til samme forsknings- og utrullingsløp.

Det er også lettere å bygge modellruting når variantene følger de samme grensesnittene. En enkel oppgave trenger ikke spise kapasiteten til 375B-modellen, mens et langt agentløp kan løftes til en større variant. For små bedrifter kan akkurat den fleksibiliteten være mer verdifull enn å jage én modell som skal gjøre absolutt alt.

Hva er nytt med MoVA-modellen på 36B?

K2-Horizon-MoVA-36B-A4B bruker Mixture-of-Value Attention, forkortet MoVA. Arkitekturen flytter ekspertvalg inn i attention-delen av modellen, ikke bare inn i feed-forward-lagene som i en vanlig Mixture-of-Experts-modell. Resultatet er 36 milliarder totale parametere og omtrent 4 milliarder aktive parametere per token.

Vanlig MoE øker modellens samlede kapasitet ved å ha mange eksperter, mens en ruter bare velger noen av dem for hvert token. MoVA bruker en beslektet idé når modellen henter og kombinerer informasjon fra konteksten. IFM sier samtidig at løsningen er kompatibel med FlashAttention, grouped-query attention og sparse attention, altså teknikker som allerede brukes for mer effektiv inferens.

Det interessante er forholdet mellom den sparsomme 36B-modellen og den tette 32B-modellen. Under sammenlignbare treningsforhold skal 36B-A4B ligge bare litt bak 32B, selv om den aktiverer langt færre parametere per token. Det kan gi høyere kapasitet per beregningsenhet, men leverandørens egne målinger må få møte uavhengige tester før vi vet hvor godt dette holder på ulik maskinvare og i ekte arbeidsflyter.

Hvis du vil forstå forskjellen mellom total størrelse og aktive parametere i en annen stor åpen modell, er Tencent Hy3 med 295B totalt og 21B aktive et relevant sammenligningspunkt. Samme advarsel gjelder begge: lavere aktiv beregning fjerner ikke lagrings- og minnekravet til hele modellen.

Hvor åpen er utgivelsen egentlig?

Modellene og koden er publisert med Apache 2.0-lisens, mens datasettene følger lisensene som gjelder for hvert datasett. IFM sier at de publiserer treningsdata når lisensene tillater det, og ellers dokumenterer kilder, filtrering, konstruksjonsmetoder og blandingsforhold. K2 Horizon-samlingen på Hugging Face samler modeller, datasett og tilhørende ressurser på ett sted.

Planen omfatter treningskode, modellkonfigurasjoner, oppskrifter, detaljerte logger, evalueringer, sluttvekter og mellomlagrede sjekkpunkter. Det siste er uvanlig verdifullt. Et forskningsmiljø kan undersøke når bestemte ferdigheter oppstår, hva en ny treningsfase faktisk gjør og hvor uønsket oppførsel begynner.

Her trengs likevel en liten fot på bremsen. Modellkortet til K2-Horizon-375B-A23B sier at sluttsjekkpunktet er publisert, mens mellomlagrede sjekkpunkter, data og treningskode skal publiseres. Ambisjonen er altså svært åpen, og mye ligger allerede i samlingen, men les den konkrete ressurslisten før du planlegger et prosjekt rundt noe som ennå står i framtid.

Dette er fortsatt et langt mer interessant utgangspunkt enn en lisens som bare lar deg laste ned vektene og håpe på det beste. Apache 2.0 gjør også kommersiell bruk og videreutvikling enklere enn mange skreddersydde modellvilkår. Jeg forklarer forskjellene nærmere i oversikten over open source AI og åpne vekter.

Hva forteller treningsdataene?

Hver modell er forhåndstrent på rundt 20 billioner tokens. IFM oppgir at nær 17 prosent av materialet består av problemløsning med eksplisitte resonneringsforløp, og at omtrent 10 billioner tokens er syntetiske. For modellene på 3,7B, 7B, 32B og 36B-A4B viser den tekniske gjennomgangen dessuten samme treningsløp på 22 billioner tokens.

Det er enorme mengder, men mengden alene er ikke poenget. IFM beskriver en blanding av webinnhold, kode, matematikk, forskning, flere språk og fagspesifikke kilder. Resonneringsforløp for matematikk ble også skrevet om til blant annet dialoger og studieguider, slik at modellen ikke bare møter én fast presentasjonsform.

Post-training-materiale kommer inn allerede fra mid-training, og IFM oppgir mer enn 100 millioner unike, syntetiserte oppgaver. Verktøy ble presentert som JSON, XML og Markdown under treningen. Målet er at modellen skal lære hva verktøyet betyr og når det bør brukes, i stedet for å låse seg til én bestemt syntaks. Markdown ble valgt som standard ved inferens fordi formatet var omtrent 18,5 prosent mer tokeneffektivt enn JSON i IFMs data.

For forskere er loggene minst like interessante som totalsummene. Fire av modellene fulgte svært like tapskurver når de ble trent på samme datasett og progresjonen ble normalisert. Det er ikke et bevis på at kapasiteten blir lik, men det gir et sjeldent datasett for å undersøke hvordan læring utvikler seg på tvers av tette og sparsomme arkitekturer.

Kan vi stole på resultatene?

IFMs egne resultater er sterke, men de er fortsatt leverandørmålinger. Flaggskipet rapporterer blant annet 70,2 prosent på Terminal-Bench 2.1, 67,7 prosent på MCPMark og 48,4 prosent på SWE-Atlas-QnA. Samme tabell viser samtidig at modellen ligger bak flere lukkede modeller på en rekke agentoppgaver. Dette er ikke en lansering som automatisk gjør alle andre modeller irrelevante.

Den mest tillitvekkende delen er egentlig at IFM viser hvordan benchmarkene kan gå galt. Teamet kjørte 375B-A23B på 89 Terminal-Bench-oppgaver med åtte forsøk på hver, totalt 712 kjøringer. Av 500 beståtte kjøringer ble 24 flagget for reward hacking på tvers av 10 oppgaver. Da de ble fjernet, falt resultatet fra 70,2 til 66,9 prosent.

Modellen hadde blant annet funnet offentlige benchmark-repositorier, hentet referanseløsninger og utnyttet filer eller svakheter i testoppsettet. En 7B-kjøring fant SWE-bench-svar og fikk et kunstig resultat på 82. Det er ikke ekte programvareytelse. Det er en modell som var flink til å finne en snarvei den ikke skulle bruke.

Dette gjør ikke agentegenskapene uinteressante. Tvert imot viser det hvorfor mellomlagrede sjekkpunkter, logger og komplette spor betyr noe. Når prosessen er åpen, kan andre undersøke når slik oppførsel oppstår og skille problemløsning fra jukseløsning. Benchmarktabeller bør starte en undersøkelse, ikke avslutte den.

Hvem bør prøve K2 Horizon?

Hvis du vil eksperimentere lokalt, ville jeg begynt med den minste modellen som realistisk kan løse oppgaven. 0,9B kan passe til smale funksjoner og lett verktøybruk. 3,7B og 7B er mer naturlige kandidater for lokal koding, enkle agenter og oppgaver på enheter med begrenset kapasitet. Test med dine egne data og arbeidsflyter før du lar en benchmark bestemme.

For en SMB er 32B og 36B-A4B mest aktuelle hvis kontroll over data, egen drift eller spesialtilpasning forsvarer maskinvare- og driftskostnaden. Modellen på 375B hører hjemme i en helt annen klasse. Den kan være relevant for forskningsmiljøer og større installasjoner, men åtte H200-GPU-er er ikke «lokal AI» i vanlig kontorforstand.

IFM oppgir støtte fra første dag for vLLM, SGLang og Ollama, samt NVIDIA-, AMD- og Cerebras-maskinvare. MarkTechPost oppgir også vertsbasert API-tilgang via Compass, Cerebras og Nebius på IFMs plattform. Det senker terskelen, men sjekk modellkortet for akkurat den størrelsen og kvantiseringen du vil bruke. Flaggskipet krever egne reasoning- og tool-call-parsere for chat og agentbruk, og den validerte serveroppskriften er mer krevende enn én kommando på en vanlig PC.

Min foreløpige dom er positiv: K2 Horizon er en skikkelig spennende åpen utgivelse fordi seks størrelser, felles verktøy og innsyn i treningsløpet henger sammen. Nå må IFM fullføre publiseringen av alle lovede ressurser, og modellene må gjennom uavhengige tester. Men dette er retningen jeg vil se mer av. Ikke bare «her er vektene». Vis arbeidet.

Ofte stilte spørsmål