Needle 2 kjører tool calling lokalt med bare 28 MB RAM
Needle 2 gjør lokal tool calling mulig i en binærfil på 14 MB. Modellen bruker rundt 28 MB RAM uten GPU eller NPU. Se hva den kan brukes til i praksis.
14. august 2026
55 visninger
7 minutter lesetid
MiniCPM-V 4.6 på Orange Pi – C++ inferensmotor til 1 500 kr
En utvikler bygde en C++ inferensmotor fra bunnen for å kjøre MiniCPM-V 4.6 på Orange Pi AIPro med Ascend 310B NPU. Resultatet: 5,90 tokens per sekund, ingen PyTorch, åpen kildekode – for 1 500 kroner.
25. mai 2026
150 visninger
4 minutter lesetid
AI på Game Boy Color – ekte transformer-modell kjører på 8-bit hardware fra 1998
En utvikler har fått Andrej Karpathys TinyStories-260K transformer-modell til å kjøre lokalt på en umodifisert Game Boy Color – uten PC, Wi-Fi eller sky. Her er den tekniske forklaringen og hva det betyr for edge AI.
