AI-roboter og robotlæring: LeRobot v0.6.0 gjør treningen mer praktisk

AI-roboter trenger bedre robotlæring før de blir nyttige utenfor pene demoer. LeRobot v0.6.0 gjør den jobben litt mindre mystisk: mer av robotlæringen samles i én åpen pipeline, fra datasett og trening til simulering, utrulling og korrigeringer.

Det er viktigere enn en vanlig versjonsoppdatering. Robotikk har lenge vært et felt der mye ser imponerende ut på video, men blir vanskelig straks du selv skal bygge, trene, teste og feilsøke. Med LeRobot v0.6.0 flytter Hugging Face mer av den jobben inn i verktøy som utviklere faktisk kan bruke.

Hva er LeRobot v0.6.0 for AI-roboter og robotlæring?

LeRobot v0.6.0 er en stor oppdatering av Hugging Face sitt åpne robotikk-rammeverk. Versjonen samler world model policies, nye VLA-modeller, reward models, seks nye simulerings-benchmarkfamilier, en egen rollout-CLI, raskere datasettlasting og lettere installasjon i én release.

Det mest interessante er ikke at listen er lang. Det interessante er retningen: LeRobot prøver å lukke løkken. En robotpolicy skal ikke bare trenes, testes på en demo og så håpes på. Den skal kunne forestille seg hva som skjer, kjøre i simulering, få målt om den lykkes, samle feiltilfeller og bruke dem til neste treningsrunde.

Dette er samme grunn til at jeg tidligere skrev om Reachy Mini fra Hugging Face. Den lille roboten var ikke bare en søt gadget. Den pekte mot et økosystem der maskinvare, modeller, datasett og verktøy kobles tettere sammen. LeRobot v0.6.0 er programvaresiden av den historien, og den gjør robotlæring mer konkret enn enda en pen robotdemo.

Hva betyr Imagine, Evaluate, Improve?

Imagine, Evaluate, Improve betyr at robotmodellen først får bedre verktøy til å forutsi fremtidige utfall, deretter måles i flere simulerte miljøer, og til slutt kan forbedres med korrigeringer fra faktiske utrullinger. Hugging Face beskriver det som en lukket robot learning loop i release-artikkelen.

Imagine-delen handler om world models. LeRobot v0.6.0 legger til VLA-JEPA, LingBot-VA og FastWAM. Litt forenklet: modellene lærer ikke bare «hva skal armen gjøre nå?», men også noe om hva som sannsynligvis skjer etterpå. Det er en stor forskjell. En robot som bare reagerer på neste bilde blir fort klønete. En robot som har en slags intern forventning om neste steg har i hvert fall en sjanse til å være mindre tilfeldig.

Evaluate-delen handler om benchmarks og reward models. Hugging Face legger til seks nye simulerings-benchmarkfamilier under samme lerobot-eval-kommando. Det gjør det lettere å måle om en policy faktisk tåler variasjon, lange oppgaver, hukommelse, språk og litt mer rotete miljøer enn den perfekte lab-demoen.

Improve-delen er kanskje den mest praktiske. Den nye lerobot-rollout-kommandoen gir deployment sin egen arbeidsflyt. Spesielt DAgger-strategien er fin: når roboten gjør feil, kan et menneske gripe inn, ta over med en leader arm eller fotpedal, lagre korrigeringen og bruke det som nytt treningsdata. Det er ikke magi. Det er bare en mye mer fornuftig måte å gjøre feil om til data på.

Hvilke nye modeller er med?

LeRobot v0.6.0 legger til eller oppdaterer flere robotikkmodeller: VLA-JEPA, LingBot-VA, FastWAM, NVIDIA GR00T N1.7, MolmoAct2, EO-1, Multitask DiT og EVO1. Dette er først og fremst modeller for vision-language-action, altså systemer som kobler syn, språk og handling.

GR00T N1.7 er kanskje navnet flest kjenner igjen, fordi NVIDIA har dyttet hardt på humanoide roboter og robot-foundation-modeller. Hugging Face skriver at LeRobot-integrasjonen nå er parity-testet mot NVIDIA sin opprinnelige Isaac-GR00T-implementasjon, og at GR00T N1.7 erstatter N1.5 i LeRobot. Trenger du N1.5, må du pinne lerobot==0.5.1.

MolmoAct2 er interessant på en annen måte. Den er portet inn med hele livsløpet: fine-tuning, evaluering og deployment på ekte robot. Hugging Face oppgir at inferens passer i omtrent 12 GB VRAM ved bf16, mens LoRA fine-tuning passer på én 24 GB GPU. Det betyr ikke at dette plutselig er «enkelt» for alle, men det flytter terskelen fra forskningslab til ganske seriøs entusiast eller liten utviklergruppe.

EVO1 viser også hvor feltet går. Den pakker policyen i 0,77 milliarder parametere med InternVL3-1B som backbone. Det er ikke en gigantmodell. Det er nettopp poenget: robotikk trenger ikke alltid den største modellen, men en modell som faktisk kan kjøres, finjusteres og evalueres uten at alt stopper opp i kostnad og maskinvare.

Hvorfor betyr reward models noe for roboter?

Reward models betyr at systemet får en mer strukturert måte å vurdere om roboten lykkes på. I v0.6.0 introduserer LeRobot et felles lerobot.rewards-API med fire reward-modeller, inkludert Robometer og TOPReward. Robometer er trent på mer enn én million robottrajektorier, ifølge Hugging Face.

Dette er et av de områdene som ofte blir undervurdert. Det hjelper lite å ha en robotarm som kan bevege seg pent hvis systemet ikke vet om oppgaven faktisk ble løst. Plukket den opp riktig objekt? Kom den halvveis? Mistet den klossen på slutten? En reward-modell kan gjøre slike vurderinger mer maskinlesbare.

Robometer bruker video og språk-instruksjon til å score fremgang og suksess. TOPReward går en annen vei og bruker en VLM som vurderer sannsynligheten for at et utsagn om suksess er sant. Jeg ville ikke bygget et produksjonssystem blindt på dette uten egen validering, men som verktøy for datasettinspeksjon og iterasjon er det lett å se nytten.

Her ligger også en mer jordnær lærdom: robotikk handler ikke bare om modellen som styrer armen. Det handler om hele apparatet rundt – data, måling, feilhåndtering og nye treningsrunder. Det er samme mønster vi ser i annen AI: de beste systemene er sjelden én modell alene. De er gode arbeidsflyter.

Hva er nytt for datasett og trening?

Datasettdelen i LeRobot v0.6.0 får støtte for depth-data, automatisk språkannotering, egendefinert videoencoding og opptil 2 ganger raskere datalasting. Hugging Face oppgir også at lasting av en episode-subset i deres benchmark gikk fra 275 sekunder til 0,06 sekunder.

Depth-støtten er praktisk fordi roboter ikke bare trenger flate RGB-bilder. Med Intel RealSense kan LeRobot nå lagre dybdekart i millimeter, komprimert som 12-bit depth video, sammen med RGB-kameraene. Det fungerer ifølge Hugging Face på blant annet SO-100/101, Koch, OpenArm, reBot og Unitree G1.

Automatisk språkannotering er også verdt å merke seg. I stedet for at hvert episodeopptak bare har én oppgavetekst, kan datasettet lagre timestampede subtasks, planer, korrigeringer, tale og VQA-par per kamera. Den nye lerobot-annotate-kommandoen kan bruke en VLM til å fylle inn dette. Det høres nerdete ut, men det er akkurat slike datastrukturer som gjør lange robotoppgaver mulig å trene på.

Trening får også mer praktisk maskinvarestøtte. LeRobot v0.6.0 støtter FSDP gjennom Accelerate, slik at parametere, gradients og optimizer state kan splittes over flere GPU-er. Samtidig gjør HF Jobs at samme lerobot-train-kommando kan kjøres i skyen med én ekstra flaggverdi. Det er ikke gratis, men det betyr at du ikke nødvendigvis må eie all maskinvaren før du kan prøve.

Hvor realistisk er dette for vanlige brukere?

LeRobot v0.6.0 er ikke et «trykk her og få hushjelp»-produkt. Det er et utviklerverktøy for robotikk. Men terskelen senkes, spesielt fordi installasjonen er slankere, basepakken har omtrent 40 prosent færre dependencies, og funksjoner er delt i extras som [training], [core_scripts] og [evaluation].

Det er lett å bli revet med av robotvideoer. Jeg prøver å holde litt igjen der. Fysisk AI er vanskelig fordi verden er ekkel på en måte tekst ikke er: lys endrer seg, objekter ligger feil, motorer glipper, kameraer flytter seg og en liten feil kan bli en knust del på gulvet. Men nettopp derfor er åpne verktøy som LeRobot viktige. De gjør feilene repeterbare, målbare og delbare.

Det passer også med det jeg skrev om humanoide roboter og spørsmålet om et iPhone-øyeblikk. Robotikk blir ikke modent fordi én video ser kul ut. Det blir modent når mange nok får tilgang til billigere maskinvare, åpne modeller, gode datasett og verktøy som gjør iterasjon mindre smertefullt.

For SMB-er og vanlige nysgjerrige er dette fortsatt mest «følg med»-stoff. For utviklere, studenter, robotikkmiljøer og de som faktisk bygger med SO-100/101, Unitree eller lignende, er det mer konkret. Her kommer det en arbeidsflyt som gjør det lettere å gå fra demo til måling og videre forbedring.

Hva bør du følge med på videre?

Det jeg ville fulgt med på nå, er ikke bare hvilke modeller som topper en robotikk-benchmark. Jeg ville sett på hvor mange som faktisk klarer å gjenta resultatene, lage egne datasett, bruke lerobot-rollout til korrigeringer og kjøre samme policy på flere robottyper. Det er der verdien ligger.

Hugging Face har allerede vist at de vil koble fysisk maskinvare tettere mot AI-økosystemet sitt. Reachy Mini var én bit. LeRobot er en annen. Og i bakgrunnen skjer det samme hos NVIDIA med Cosmos og robotvideo, som jeg dekket i NVIDIA Cosmos Predict 2.5. Feltet går mot mer simulering, mer syntetisk data, bedre evaluering og flere åpne byggesteiner.

Min foreløpige vurdering: LeRobot v0.6.0 er mest interessant som infrastruktur. Ikke fordi alle plutselig kan bygge en humanoid robot i garasjen i morgen, men fordi flere nå får en felles verktøykasse for å trene, evaluere og forbedre robotpolicyer. Det er mindre sexy enn en viral robotvideo. Men det er ofte slik ekte fremgang ser ut.

Ofte stilte spørsmål