MiniCPM-V 4.6 på Orange Pi – C++ inferensmotor til 1 500 kr
En utvikler bygde en C++ inferensmotor fra bunnen for å kjøre MiniCPM-V 4.6 på Orange Pi AIPro med Ascend 310B NPU. Resultatet: 5,90 tokens per sekund, ingen PyTorch, åpen kildekode – for 1 500 kroner.
25. mai 2026
41 visninger
4 minutter lesetid
AI på Game Boy Color – ekte transformer-modell kjører på 8-bit hardware fra 1998
En utvikler har fått Andrej Karpathys TinyStories-260K transformer-modell til å kjøre lokalt på en umodifisert Game Boy Color – uten PC, Wi-Fi eller sky. Her er den tekniske forklaringen og hva det betyr for edge AI.
