Browsing Tag

lokale AI-modeller

3 innlegg
Jan Sverre ved skrivebordet med llama.cpp-terminaler som viser MTP-aktivert inferens

MTP merget inn i llama.cpp – nå kan alle kjøre det

PR 22673 er merget inn i llama.cpp master. MTP-støtte gir 1,9x til 2,5x raskere inferens lokalt – her er hva du trenger å vite og hvordan du aktiverer det.
  • 18. mai 2026
  • 146 visninger
  • 3 minutter lesetid
Jan Sverre utforsker Gemma-4-31B-it-DFlash og spekulativ dekoding med DFlash-teknikken

Gemma-4-31B-it-DFlash – spekulativ dekoding for Googles åpne modell

Gemma-4-31B-it-DFlash er en ny variant av Googles Gemma 4 31B utgitt av Z Lab, med DFlash spekulativ dekoding som kan gi opptil 8x raskere inferens. Llama.cpp-støtte er under utvikling via PR #22105.
  • 1. mai 2026
  • 156 visninger
  • 4 minutter lesetid
Jan Sverre utforsker Gemma 4 fra Google med Apache 2.0-lisens og fire nye åpne AI-modeller

Gemma 4 – Google lanserer åpne AI-modeller med Apache 2.0-lisens

Google lanserte Gemma 4 den 2. april 2026 med Apache 2.0-lisens – den første Gemma-modellen som er fullt åpen for kommersiell bruk. Fire varianter fra 2,3 til 31 milliarder parametere, multimodal støtte og 128-256K kontekstvindu.
  • 3. april 2026
  • 182 visninger
  • 4 minutter lesetid