Olala mini lover lokal AI på 8 GB – men kvaliteten er fortsatt ukjent
Olala mini 7A1B er OVHclouds første egenutviklede språkmodell, og den er laget for å kjøre lokalt med langt mindre maskinvare enn størrelsen skulle tilsi. OVHcloud hevder at modellen klarer seg med 8 GB GPU-minne, når 160 tokens i sekundet på en RTX A4500 og fortsatt leverer 50 tokens i sekundet på en vanlig prosessor. Det er tall som gjør modellen praktisk interessant for utviklere, små bedrifter og entusiaster.



