Browsing Tag

lokal inferens

1 innlegg

Kjøring av AI-modeller lokalt på egen hardware

Jan Sverre Bauge sitter med MacBook Pro og ser på terminalen som viser MTP-ytelse på 34 tokens per sekund

MTP + TurboQuant på LLaMA.cpp – Qwen 27B til 34 tokens per sekund på MacBook

Multi-Token Prediction kombinert med TurboQuant gir Qwen 27B 34 tokens per sekund på MacBook Pro M5 Max – en økning på 40% uten ekstra kostnad.
  • 14. mai 2026
  • 4 visninger
  • 4 minutter lesetid