MiniCPM-V 4.6 på Orange Pi – C++ inferensmotor til 1 500 kr
En utvikler bygde en C++ inferensmotor fra bunnen for å kjøre MiniCPM-V 4.6 på Orange Pi AIPro med Ascend 310B NPU. Resultatet: 5,90 tokens per sekund, ingen PyTorch, åpen kildekode – for 1 500 kroner.
