TwELL – Sakana AI og NVIDIA gir LLM-er 20,5% raskere inferens med CUDA-kjerner
TwELL er et nytt CUDA-optimert dataformat fra Sakana AI og NVIDIA som gir opptil 20,5% raskere AI-inferens og 21,9% raskere trening av store språkmodeller. Resultatet er ikke fra ny hardware eller en helt ny modellarkitektur - det er fra å utnytte noe som allerede er der: at LLM-ene i stor grad regner med nuller.