AI-Modeller
Needle 2 kjører tool calling lokalt med bare 28 MB RAM
Needle 2 gjør lokal tool calling mulig i en binærfil på 14 MB. Modellen bruker rundt 28 MB RAM uten GPU eller NPU. Se…
Utforsk arkivet
Needle 2 gjør lokal tool calling mulig i en binærfil på 14 MB. Modellen bruker rundt 28 MB RAM uten GPU eller NPU. Se…
En utvikler bygde en C++ inferensmotor fra bunnen for å kjøre MiniCPM-V 4.6 på Orange Pi AIPro med Ascend 310B NPU. Resultatet: 5,90 tokens…
En utvikler har fått Andrej Karpathys TinyStories-260K transformer-modell til å kjøre lokalt på en umodifisert Game Boy Color - uten PC, Wi-Fi eller sky.…