AI-Modeller
MTP + TurboQuant på LLaMA.cpp – Qwen 27B til 34 tokens per sekund på MacBook
Multi-Token Prediction kombinert med TurboQuant gir Qwen 27B 34 tokens per sekund på MacBook Pro M5 Max - en økning på 40% uten ekstra…
Utforsk arkivet
Multi-Token Prediction kombinert med TurboQuant gir Qwen 27B 34 tokens per sekund på MacBook Pro M5 Max - en økning på 40% uten ekstra…
TurboQuant-algoritmen fra Google er blitt tilpasset for modellvekter - ikke bare KV-cache. Resultatet: 4-bit kvantisering med nær-optimal presisjon, 3,2x minnebesparelse, og et 8-bit residuallag…
Googles TurboQuant komprimerer KV-cachen i store språkmodeller til kun 3 bits - uten nøyakhetstap. 6 ganger lavere minnebruk og opptil 8 ganger raskere ytelse…