Innhold Vis
PAN 2 er en åpen verdensmodell som lar en AI-agent simulere hva som kan skje før den handler. Du gir modellen en scene og en handling, og den lager opptil 20 sekunder video av det mulige utfallet. Det er en langt mer interessant ambisjon enn bare å lage enda et pent videoklipp.
Institute of Foundation Models ved MBZUAI har koblet en språkmodell som planlegger hendelsene, til en diffusjonstransformator på 29,2 milliarder parametere som gjør planen om til bevegelse og bilder. Vektene, treningskoden og inferenskoden er publisert under Apache 2.0. Det gjør PAN 2 til en sjelden utgivelse i en del av AI-feltet der «åpen» ofte betyr at du får laste ned litt, men ikke nok til å forstå eller bygge videre på systemet.
Jeg liker retningen. En robot eller agent som kan forestille seg flere utfall før den velger handling, er mer interessant enn en agent som bare håper på det beste. Men PAN 2 er fortsatt forskning, ikke en ferdig sikkerhetsmotor: omtrent to av tre flertrinnsplaner manglet minst ett steg i IFMs egen evaluering.
Hva er verdensmodellen PAN 2?
PAN 2 er en generell verdensmodell for fysisk AI. Den tar tekst og eventuelt et startbilde som input, og genererer video i 704 x 1248 piksler ved 24 bilder per sekund. Ifølge det offisielle modellkortet for PAN 2 kan ett simulert forløp vare i opptil 20 sekunder.
En vanlig videomodell prøver først og fremst å lage et klipp som ser troverdig ut. En verdensmodell har et vanskeligere mål: Den skal forutsi hvordan en tilstand endrer seg når noen utfører en handling. Hvis en skuff åpnes, en ball slippes eller olje helles i vann, må modellen ikke bare lage fine bilder. Rekkefølge, tid, objekter og fysiske følger må henge sammen.
Det er derfor IFM omtaler PAN 2 som en simulator for «simulative reasoning». En agent kan foreslå flere planer, simulere dem og velge utfallet som ser best ut. På papiret er dette nyttig for roboter, AI-agenter, opplæring og forskning på årsak og virkning. I praksis avhenger hele verdien av om simuleringen er troverdig nok til at agenten ikke lærer av en pen løgn.
To modeller deler på tenkingen
PAN 2 skiller mellom konseptuell og visuell resonnering. Først leser en multimodal språkmodell observasjonen og handlingen. Den skriver en strukturert beskrivelse av hva som skal skje, hvem som gjør hva, når handlingene skjer og hvordan kameraet beveger seg. Deretter gjør den store diffusjonsmodellen beskrivelsen om til video.
IFMs tekniske gjennomgang beskriver dette som Generative Latent Prediction. Språkmodellen arbeider med den konseptuelle tilstanden, mens den latente diffusjonsmodellen fyller inn geometri, utseende og bevegelse. En frossen Qwen3.5-9B brukes som tekstkoder, og en Wan 2.2 VAE dekoder de ferdige videolatentene til bilder.
Det høres ut som en ekstra omvei, men den er selve poenget. I IFMs egne ablasjonstester falt fullføring av komplette planer fra 34 prosent til 0 prosent da den konseptuelle resonneringen ble fjernet. Fullføring av enkeltsteg falt samtidig fra 75,1 til 8,7 prosent. Språkmodellen er altså ikke pynt foran videogeneratoren. Den bærer mye av planforståelsen.
Hvor åpen er modellen?
PAN 2 er uvanlig åpen. IFM har publisert modellvektene, kode for trening og inferens og oppskriften for den konseptuelle resonneringen under Apache 2.0. GitHub-repositoriet inneholder blant annet konfigurasjoner for fortrening og finjustering, inferensskript og støtte for distribusjon av trening over flere GPU-er.
Det betyr at forskere og utviklere kan undersøke arkitekturen, finjustere modellen og bygge egne varianter uten å være låst til et lukket API. PAN 2 støttes også av Hugging Face Diffusers, vLLM og FastVideo. Dette er den typen utgivelse som faktisk kan flytte et fagfelt, fordi andre får mer enn en resultatliste og en håndfull nøye utvalgte demonstrasjoner.
Apache 2.0 gjelder PAN 2s egne vekter og kode. Qwen3.5-9B, Wan 2.2 og andre tredjepartskomponenter beholder sine egne lisenser. Det er derfor verdt å lese NOTICE og THIRD_PARTY_LICENSES før modellen bygges inn i et produkt. Åpenheten er reell, men den gjør ikke alle komponentene til ett og samme juridiske produkt.
For mer om hvorfor komplette åpne utgivelser betyr noe, har jeg tidligere samlet landskapet i guiden til open source AI i 2026. PAN 2 passer godt inn i den utviklingen: Det er ikke bare mulig å laste ned modellen, men også å undersøke hvordan den trenes og kjøres.
Resultatene er lovende, men langt fra løst
IFM testet PAN 2 på 100 flertrinnsoppgaver. Modellen fullførte hele planen i 34 prosent av tilfellene, mot 32,5 prosent for MiniMax-H3 i samme oppsett. Den fullførte 75,1 prosent av enkeltstegene. Det er et lovende resultat for en åpen modell, men 34 prosent betyr også at 66 av 100 planer manglet minst ett steg.
På 300 oppgaver med enkelthandlinger fikk PAN 2 en samlet score på 84,48 prosent. MiniMax-H3 lå høyere med 87,20 prosent og vant også den menneskelige preferansetesten. Tallene er rapportert av IFM selv, med IFMs egne evalueringsoppsett. De sier noe nyttig om modellen, men de er ikke en uavhengig fasit.
Modellkortet er heldigvis tydelig om svakhetene. Lange planer feiler ofte, promptformuleringen påvirker resultatet, og utseendet kan drive mellom klipp i lengre interaksjoner. Tekst er dessuten et grovt språk for finmotorikk. «Åpne skuffen» er lett å beskrive, mens nøyaktig kontakt mellom hver finger og et objekt krever langt mer presisjon.
Den mest alvorlige begrensningen er at modellen kan hoppe over fysiske mellomtilstander. Modellkortet nevner et eksempel der pasta kan dukke opp i dørslaget før den faktisk er helt overført. Et slikt klipp kan se rimelig ut for et menneske som bare følger historien, men være ubrukelig for en robot som trenger riktig tilstand i hvert eneste øyeblikk.
Kan PAN 2 kjøres lokalt?
Ja, men «lokalt» betyr her en kraftig GPU-maskin eller en servernode, ikke en vanlig bærbar PC. Selve diffusjonstransformatoren er på 29,2 milliarder parametere, og de publiserte transformerfilene fyller rundt 67 GB. Standardoppsettet bruker BF16 og laster hele modellen i hver inferensarbeider, mens blokkavlasting finnes som en tregere reserve.
IFM oppgir ikke ett enkelt, offisielt VRAM-tall eller en representativ genereringstid i modellkortet. Det er derfor feil å late som en bestemt forbruker-GPU garantert er nok. I tillegg til PAN 2-vektene trenger arbeidsflyten Qwen3.5-9B som tekstkoder og Wan 2.2 VAE. Dette er datasenterklasse i standardoppsettet, selv om kvantisering og avlasting kan gjøre eksperimentering mulig på mindre maskiner senere.
Den publiserte inferensoppskriften bruker 50 samplingsteg, flow shift 9, guidance 2,5 og BF16. Et standardklipp har 241 bilder, omtrent 10 sekunder ved 24 bilder per sekund, mens maksimal lengde er 481 bilder eller 20 sekunder. Det finnes foreløpig ingen offisiell driftet inferensleverandør på Hugging Face. Du må altså sette opp modellen selv eller vente på at andre tilbyr den.
Hva kan utviklere bruke PAN 2 til?
Den mest nærliggende bruken er forskning på roboter og agenter som må velge mellom handlinger. En agent kan lage flere kandidatplaner, la PAN 2 simulere dem og bruke en egen vurderingsmekanisme til å rangere utfallene. Modellen kan også brukes til å undersøke fysisk og kausal resonnering, lage treningsscener eller teste hvordan små endringer i timing påvirker et forløp.
Men utviklere bør starte med evaluering, ikke autonom kontroll. PAN 2s videoer er prediksjoner, ikke bevis på hva som vil skje. Modellen bør få oppgaver der en feil simulering kan oppdages og avvises, ikke direkte ansvar for medisinske, juridiske eller sikkerhetskritiske beslutninger. IFM sier selv at slike beslutninger krever uavhengig menneskelig gjennomgang og validering.
Det er også viktig å måle hele planen, ikke bare om siste bilde ser riktig ut. En simulering kan lande på et troverdig sluttresultat og likevel jukse på veien dit. For fysisk AI er nettopp mellomtilstandene ofte det viktigste. En robotarm kan ikke teleportere pasta, verktøy eller fingre mellom to pene nøkkelbilder.
PAN 2 kan dessuten brukes som tekst-til-video- og bilde-til-video-modell, men da konkurrerer den med modeller som er bygget for visuell kvalitet, lyd og rask produksjon. Jeg ville ikke valgt den bare fordi den også kan lage video. Verdien ligger i den eksplisitte koblingen mellom plan, tid og simulert fysisk utfall. For vanlig videoproduksjon finnes det mer praktiske alternativer, blant annet de åpne arbeidsflytene jeg har omtalt i artikkelen om LTX-2.
En åpen plattform, ikke en ferdig fasit
PAN 2 viser en retning jeg tror blir viktig: AI-agenter som ikke bare lager en plan i tekst, men som prøver å simulere konsekvensene før de gjør noe i verden. At IFM publiserer både vekter og treningskode under Apache 2.0, gjør utgivelsen langt mer verdifull enn en lukket demonstrasjon.
Samtidig er 34 prosent fullførte planer et forskningsresultat, ikke et grønt lys for autonom handling. Modellen er tung, promptfølsom og kan bryte fysiske regler i mellomtilstandene. Det er ingen liten detalj når hele poenget er å gi en agent et mer pålitelig bilde av konsekvenser.
Bruk PAN 2 som en åpen plattform for eksperimenter, sammenligning og videreutvikling. Kontroller hver simulering mot virkelige data, mål hvor og hvordan planene feiler, og la aldri et overbevisende videoklipp bli forvekslet med sikker kunnskap. Dette er et spennende steg for fysisk AI. Det er bare ikke det siste.
Ofte stilte spørsmål
Er PAN 2 open source?
PAN 2s egne vekter, treningskode og inferenskode er publisert under Apache 2.0. Tredjepartskomponentene Qwen3.5-9B og Wan 2.2 beholder sine egne lisenser, så NOTICE og THIRD_PARTY_LICENSES må også kontrolleres før kommersiell bruk.
Hvor lange videoer kan PAN 2 lage?
PAN 2 kan lage opptil 20 sekunder video i 704 x 1248 piksler ved 24 bilder per sekund. Modellen støtter både tekst-til-video og bilde-til-video, der et valgfritt startbilde gir utgangspunktet for den simulerte handlingen.
Trenger PAN 2 en egen språkmodell?
Ja, den komplette arbeidsflyten bruker en språkmodell som konseptuell planlegger. Den lager en tidsfestet beskrivelse av hendelser og kamerabevegelse før diffusjonsmodellen genererer videoen. IFMs evaluering brukte Kimi K3, men andre instruksjonsmodeller kan fylle rollen.
Kan PAN 2 styre en robot direkte?
PAN 2 bør ikke brukes som eneste beslutningsgrunnlag for direkte eller sikkerhetskritisk robotstyring. Omtrent to av tre evaluerte flertrinnsplaner manglet minst ett steg, og modellen kan lage visuelt plausible forløp som bryter fysiske mellomtilstander.
