Mixture of Experts

Jan Sverre illustrerer Inkling-Small med 12 milliarder aktive parametre og åpen modell

Inkling-Small har åpne vekter – men er alt annet enn liten

Inkling-Small har 276 milliarder parametre, 12 milliarder aktive og modellfiler fra 74,8 GB. Vektene er åpne, men å kjøre lokalt krever svært mye minne.

31. juli 2026
32 visninger
6 minutter lesetid

Jan Sverre illustrerer Solar Open 2 og lokale AI-agenter med lang kontekst

Solar Open 2 gir AI-agenter én million tokens – men krever fire H200

Solar Open 2 kombinerer én million tokens med 15B aktive parametere for AI-agenter. Den fulle 250B-modellen krever minst fire Nvidia H200-kort lokalt.

22. juli 2026
45 visninger
6 minutter lesetid

Jan Sverre utfordrer Alibabas udokumenterte påstander om Qwen3.8-Max og 2,4 billioner parametere

Qwen3.8-Max kan prøves nå – men de viktigste tallene mangler

Qwen3.8-Max kan prøves nå med 2,4 billioner oppgitte parametere. Men modellkort, benchmark, lisens, aktiv størrelse og vanlig API-pris mangler fortsatt.

20. juli 2026
35 visninger
6 minutter lesetid

Jan Sverre bruker visuell AI til å finne objekter i en fysisk scene

Moondream 3.1 gjør lokal bildeanalyse med 2 milliarder aktive parametere

Moondream 3.1 er en lokal synsspråkmodell for bildeanalyse. Se hva 2 milliarder aktive parametere, fire funksjoner, API-pris og lisens betyr i praksis.

13. juli 2026
74 visninger
7 minutter lesetid

Person omgitt av store dokumentbunker mens AI-modellen parser og strukturerer innholdet på skjermen

Baidu Unlimited OCR: 3B-modellen som parser hele dokumentbunker uten at minnet eksploderer

Baidu slapp Unlimited OCR – en 3B MoE-modell som parser 40+ siders dokumenter i én operasjon. R-SWA-mekanismen holder KV-cachen flat slik at minne og latens ikke vokser med dokumentlengden. MIT-lisens og tilgjengelig på Hugging Face.

25. juni 2026
85 visninger
4 minutter lesetid

Jan Sverre studerer et Mixture of Experts-nettverksdiagram som viser ZAYA1-8B sin selektive parameteraktivering med AMD-hardware i bakgrunnen

ZAYA1-8B – Zyphra sin MoE-modell slår modeller 15 ganger større

ZAYA1-8B fra Zyphra aktiverer bare 760 millioner parametere per inferens, men slår modeller med 119 milliarder parametere på matematikk-benchmarks. Trent ende-til-ende på AMD Instinct MI300x og tilgjengelig under Apache 2.0-lisens.

7. mai 2026
114 visninger
4 minutter lesetid

Jan Sverre i et europeisk datasenter ser tre AI-spesialister smelte sammen til én modell - Mistral Small 4

Mistral Small 4 – én AI-modell som gjør jobben til tre

Mistral Small 4 er en 119 milliarder parameter MoE-modell som kombinerer reasoning, multimodal og agentic koding i ett API-endepunkt. Apache 2.0, europeisk leverandør, potensielt 5-25x billigere enn GPT-4o og Claude for standardoppgaver.