Innhold Vis
Nemotron 3.5 Bolt 74B kan bli en svært spennende lokal AI-modell for deg som har 24 GB minne tilgjengelig. NVIDIA har pakket en Mixture-of-Experts-modell med 74 milliarder parametere ned i 24 GB ved hjelp av 2-bit kvantisering. Bare 9 milliarder parametere aktiveres for hvert token.
Det er en kombinasjon jeg liker på papiret: mye samlet kapasitet, langt lavere beregningsbehov per token og en størrelse som faktisk passer på kraftig forbrukermaskinvare. Modellen er laget for lokale AI-agenter og skal kunne kjøres gjennom blant annet llama.cpp, Ollama, LM Studio, vLLM og Unsloth.
Men akkurat 2-bit er også grunnen til at jubelen bør vente litt. NVIDIA sier at quantization-aware training skal bevare kvaliteten. Før uavhengige tester og modellfilene er på plass, er det en lovende påstand – ikke en ferdig dom.
Hva er Nemotron 3.5 Bolt 74B?
Nemotron 3.5 Bolt 74B-A9B er en åpen MoE-modell med 74 milliarder parametere totalt og 9 milliarder aktive parametere per token. I lanseringsmeldingen fra 13. oktober 2026 oppgir NVIDIA torsdag 15. oktober som lanseringsdato for 24 GB-utgaven, som er bygget spesielt for lokale AI-agenter.
MoE betyr at hele modellen ikke jobber med hvert eneste token. En ruter sender oppgaven gjennom et utvalg eksperter, slik at modellen kan ha mer samlet kunnskap og kapasitet uten at alle 74 milliarder parametere må være aktive samtidig. A9B i navnet betyr nettopp at rundt 9 milliarder parametere er i arbeid per token.
Det gir et fristende kompromiss. En tett modell med 74 milliarder aktive parametere ville krevd langt mer minnebåndbredde og beregning for hvert svar. Bolt forsøker i stedet å gi noe av bredden fra en stor modell med farten til en langt mindre modell. Hvor godt rutingen og de enkelte ekspertene fungerer, betyr imidlertid mer enn tallet 74B alene.
Hvordan får NVIDIA en 74B-modell ned i 24 GB?
NVIDIA bruker 2-bit kvantisering kombinert med quantization-aware training, vanligvis forkortet QAT. I stedet for å trene en modell i høy presisjon og presse den hardt sammen helt til slutt, lærer modellen under treningen å fungere med den lave presisjonen den faktisk skal bruke. Målet er å miste mindre kvalitet enn ved vanlig etterkvantisering.
To bit per vekt er aggressivt. Den enkle regneøvelsen gir omtrent 18,5 GB for 74 milliarder vekter før metadata, skalering, ruting og andre nødvendige data kommer i tillegg. Derfor er en ferdig pakke på 24 GB troverdig som størrelsesmål. Det betyr derimot ikke at hele arbeidsbelastningen alltid bruker nøyaktig 24 GB. Runtime, kontekstvindu, KV-cache og agentverktøy trenger også plass.
Dette skillet er viktig når du vurderer egen maskin. «Modellen er 24 GB» er ikke det samme som «24 GB totalminne er komfortabelt nok til alt». På et skjermkort med 24 GB VRAM kan du møte en trangere virkelighet enn overskriften lover, særlig med lang kontekst. Maskiner med delt minne kan ha mer spillerom, men må samtidig dele minnet med operativsystemet og resten av programmene.
Hvorfor er 9 milliarder aktive parametere interessant?
Ni milliarder aktive parametere kan gi betydelig bedre fart enn en tett modell der 20, 30 eller 70 milliarder parametere må leses for hvert token. NVIDIA beskriver målet som å være raskere enn populære tette modeller og smartere enn MoE-modeller med omtrent samme minnebruk. Det er et godt mål. Det er ikke et testresultat.
For lokale agenter er fart mer enn pynt. En agent kan gjøre mange modellkall for å planlegge, velge verktøy, lese resultatet og avgjøre neste steg. Litt ventetid i hvert kall blir fort mye ventetid gjennom en hel oppgave. En rask modell som er god nok til å ta pålitelige småbeslutninger kan derfor være mer nyttig enn en tyngre modell som svarer bedre én gang, men gjør arbeidsflyten treg.
Samtidig kan MoE-modeller være krevende på andre måter. Alle vektene må fortsatt være tilgjengelige, og minnebåndbredde betyr mye selv om bare noen eksperter aktiveres. En dårlig ruter eller svake eksperter blir heller ikke magisk gode fordi totalparameteren er høy. Her trenger jeg hastighetstall, kvalitetstester og praktiske agentoppgaver – ikke bare et pent modellnavn.
Kan den kjøres i Ollama, LM Studio og llama.cpp?
NVIDIA oppgir støtte ved lansering gjennom llama.cpp, Ollama, LM Studio, vLLM og Unsloth. Modellen skal også kunne nås direkte fra agentmiljøer som Hermes og OpenClaw. Det er en langt bedre start enn en modell som slippes med vekter, et modellkort og et vennlig «lykke til».
Det er likevel verdt å kontrollere status i verktøyet du faktisk skal bruke. Da denne artikkelen ble skrevet 15. oktober, var støtten for Nemotron Bolt 74B-A9B i llama.cpp fortsatt en åpen pull request. Den inneholdt konvertering til GGUF og kommandoer for tekst, bilder og video, men en åpen pull request er ikke det samme som støtte i siste stabile versjon.
Med andre ord: Sjekk at riktig versjon av runtime faktisk har landet før du laster ned en modell på 24 GB og begynner å feilsøke. Dag null-støtte beveger seg fort, og dokumentasjonen kan ligge noen timer foran eller bak koden. Det er helt normalt. Det er bare unødvendig å bruke kvelden på å oppdage det på den tunge måten.
Hva betyr «fullt åpen» i denne lanseringen?
NVIDIA sier at treningsdata, modellvekter og oppskrifter blir gjort tilgjengelige. Det er mer enn bare et API eller en modell med nedlastbare vekter. Utviklere skal kunne finjustere modellen og tilpasse egne agenter uten å sende alle forespørsler til en skytjeneste.
Det passer også godt med selve bruksområdet. En lokal agent kan arbeide med kode, dokumenter og bedriftsdata uten at alt må sendes ut av maskinen. Lokal kjøring gir i tillegg kontroll over kostnader og tilgjengelighet. Du betaler for maskinvaren og strømmen, men slipper en API-regning som tikker for hvert forsøk agenten gjør.
Likevel må den endelige lisensen leses før modellen brukes kommersielt eller bygges inn i et produkt. «Open source» i en lanseringsmelding forteller mye om ambisjonen, men de konkrete vilkårene ligger i lisensfilen som følger utgivelsen. Jeg ville ikke basert en kundeleveranse på én formulering i en pressemelding.
Er 2-bit godt nok for en AI-agent?
Det vet jeg ikke ennå. To bit uten god trening kan gi merkbart tap av presisjon, svakere resonnering og flere småfeil. QAT er nettopp forsøket på å unngå dette, men kvaliteten må måles på den ferdige modellen – helst i oppgaver som ligner det du faktisk vil bruke den til.
For en agent er småfeil ekstra viktige. En vanlig chatbot kan formulere en svak setning og få en ny sjanse i neste svar. En agent kan velge feil verktøy, sende feil argument eller bygge videre på en misforståelse gjennom ti steg. Derfor er «nesten like god» ikke alltid godt nok, selv om modellen er rask.
Diskusjonen i LocalLLaMA-tråden som løftet fram lanseringen treffer usikkerheten ganske godt: Mange liker kombinasjonen 74B, A9B og 24 GB, men spør om 2-bit-kvaliteten holder og om vanlige kvantiseringer kommer senere. Det er de riktige spørsmålene. Ingen får svar på dem av spesifikasjonsarket alene.
Hvem bør følge med på Nemotron 3.5 Bolt?
Modellen er først og fremst interessant for utviklere og entusiaster som vil kjøre agenter lokalt på maskiner med mye, men ikke enormt mye, minne. Har du 24 GB VRAM eller en maskin med romslig delt minne, er dette en lansering det er verdt å følge. Har du mindre minne, kommer Nemotron 3.5 Bolt E4B i en 4 GB-utgave 23. oktober, men det er en annen og langt mindre modell.
Jeg ville ikke kjøpt ny maskinvare på grunnlag av NVIDIAs egne formuleringer om fart og intelligens. Vent til modellfilene, lisensen og runtime-støtten faktisk er tilgjengelige. Se så etter tester av verktøybruk, lange agentløp, kodearbeid og kvalitet ved lang kontekst. Tokens per sekund er hyggelig, men en agent som løper fort i feil retning sparer lite tid.
Det er også verdt å sammenligne med andre modeller som allerede passer i minnet ditt. NVIDIA har tidligere brukt aggressiv lavpresisjon i sin NVFP4-utgave av Qwen3.6-27B. Bolt går lenger med en større MoE-arkitektur og 2-bit QAT. Hvis kvaliteten holder, er 24 GB-klassen i ferd med å bli langt mer interessant.
Det er derfor jeg følger denne modellen med ekte nysgjerrighet. Ikke fordi 74B automatisk betyr smart, og ikke fordi NVIDIA sier at balansen er optimal. Jeg følger den fordi kombinasjonen av 74B totalt, 9B aktivt og 24 GB kan bli praktisk nyttig på maskinvare folk faktisk har. Nå må modellen bevise resten.
Ofte stilte spørsmål
Hvor mye minne trenger Nemotron 3.5 Bolt 74B?
Selve 2-bit-utgaven er oppgitt til 24 GB. Du bør regne med ekstra minne til runtime, KV-cache, kontekst og andre programmer. Et skjermkort med nøyaktig 24 GB VRAM kan derfor bli trangt, avhengig av oppsett og hvor mye som kan legges i vanlig systemminne.
Er Nemotron 3.5 Bolt en åpen modell?
NVIDIA sier at treningsdata, vekter og oppskrifter blir tilgjengelige, slik at modellen kan finjusteres og tilpasses. Les likevel den konkrete lisensen i modellutgivelsen før kommersiell bruk. En lanseringsmelding erstatter ikke vilkårene som følger selve filene.
Kan Nemotron 3.5 Bolt kjøres med Ollama?
NVIDIA oppgir Ollama, LM Studio, llama.cpp, vLLM og Unsloth som støttede løsninger ved lansering. Kontroller at versjonen du bruker faktisk har fått modellstøtten. På lanseringsdagen var den aktuelle støtten i llama.cpp fortsatt under behandling i en åpen pull request.
Er en 2-bit modell god nok til koding og AI-agenter?
Det kan den være, særlig når 2-bit er en del av treningen gjennom QAT. Men den ferdige kvaliteten må testes. For agenter bør du se etter pålitelig verktøybruk og stabilitet gjennom mange steg, ikke bare høy fart eller gode resultater på én benchmark.
