NVIDIA Audex samler tale og lyd i én AI-modell

NVIDIA Audex er en ny audio-text LLM som prøver å samle talegjenkjenning, oversettelse, tekst-til-tale og lydgenerering i én modell. Det interessante er ikke bare at modellen kan jobbe med lyd. Det interessante er at NVIDIA forsøker å gjøre det uten at tekstmodellen under mister hodet på veien.

Det høres litt teknisk ut, men poenget er ganske enkelt: mange multimodale modeller blir svakere på vanlig tekst når de får nye sanser og nye utdata. Du legger til lyd eller bilde, og plutselig er modellen litt dårligere til resonnering, instruksjoner eller lange kontekster. Det er en dyr bivirkning hvis modellen skal brukes som mer enn en demo.

Audex er NVIDIAs forsøk på å unngå den fellen. Modellen bygger på Nemotron-Cascade-2-30B-A3B, har 30 milliarder totale parametere og aktiverer rundt 3 milliarder per token. Ifølge arXiv-papiret, først sendt inn 6. juli 2026 og revidert 7. juli, skal Audex håndtere både lydforståelse, speech recognition, speech translation, TTS, tekst-til-lyd og speech-to-speech – samtidig som den beholder mye av tekstintelligensen i ryggraden.

Hva er NVIDIA Audex?

NVIDIA Audex er en unified audio-text LLM: én Mixture-of-Experts-modell med 30 milliarder totale parametere og omtrent 3 milliarder aktive parametere per token, bygget på Nemotron-Cascade-2. Ifølge modellkortet på Hugging Face støtter den opptil 1 million tokens kontekst.

Audex tar lyd inn via en audio encoder og mapper lydrepresentasjonen inn i samme embedding-rom som tekst. Når modellen skal lage lyd ut igjen, bruker den diskrete audio tokens i et utvidet vokabular. Det betyr at tekst og lyd i større grad behandles som deler av samme modellflyt, i stedet for at man limer sammen flere separate modeller med litt duct tape og håper det holder.

Det siste er viktig. Mange tale-systemer er egentlig en kjede: tale til tekst, tekstmodell, tekst til tale. Det kan fungere fint, men hvert trinn kan legge inn feil, forsinkelse og tap av nyanser. Audex er ikke fullstendig magisk her heller – speech-to-speech beskrives fortsatt som en kaskade i praksis – men selve checkpointen prøver å samle flere av oppgavene i én modellfamilie.

Modellen kommer også i en mindre Audex-2B-variant, men hovedsaken her er 30B-A3B-versjonen. Det er den NVIDIA selv løfter frem som modellen som skal vise at lyd og tekst kan kombineres uten den vanlige tekst-regresjonen.

Hvorfor er tekstintelligensen så viktig?

Tekstintelligensen er viktig fordi en lydmodell som blir dum på tekst fort blir en smal demo. I arXiv-papiret skriver NVIDIA-teamet at Audex skal bevare resonnering, instruksjonsfølging, kunnskap og lang kontekst med liten eller ingen tilbakegang fra tekstmodellen den bygger på.

Jeg ville likevel ikke lest dette som en benchmark-seier. Det er ikke det mest interessante. Det interessante er om en modell kan få nye lyd-egenskaper uten at den mister evnen til å følge instruksjoner, holde kontekst og resonnere normalt i tekst. Hvis svaret er ja, blir lyd ikke bare et tillegg. Da blir lyd en naturlig del av en generell modell.

Dette er også grunnen til at Audex er mer interessant enn en ren TTS-modell. Jeg har tidligere skrevet om lokale open source AI-stemmer som VoxCPM2 og OmniVoice, og den typen modeller er nyttige når oppgaven er stemme. Audex prøver å dekke et bredere felt: forstå lyd, snakke, oversette, lage lyd og fortsatt være en LLM.

Det er en mer krevende øvelse. En modell som bare skal lage stemme, kan optimaliseres hardt for akkurat det. En modell som både skal forstå en lydfil, forklare den, oversette tale, lese opp svar og resonnere over tekst, må bære flere typer intelligens samtidig. Det er her NVIDIA prøver å vise at arkitekturen og treningsoppskriften faktisk betyr noe.

Hva kan Audex gjøre med lyd?

Audex dekker fem hovedoppgaver: audio understanding, speech recognition, speech translation, text-to-speech og text-to-audio. I treningen beskriver NVIDIA et datamiks på 157,4 milliarder audio tokens og 320,5 milliarder text tokens i det tekniske papiret.

Audio understanding betyr at modellen kan svare på spørsmål om lyd. Det kan være tale, lyder i et miljø, eller en blanding av flere ting som skjer samtidig. Speech recognition er den mer kjente varianten: transkribering av tale. Speech translation legger på oversettelse. TTS og text-to-audio går motsatt vei, fra tekst til stemme eller generell lyd.

For vanlige brukere betyr dette at Audex peker mot en type AI som ikke må velge mellom «chatbot» og «lydverktøy». Du kan se for deg kundeservice som forstår hva en innringer sier, oversetter det, oppsummerer saken og svarer med tale. Du kan også se for deg verktøy for tilgjengelighet, undervisning, podcast-produksjon eller raske lydprototyper.

Det betyr ikke at Audex automatisk erstatter alt annet. For ren lokal TTS kan en smal modell fortsatt være mer praktisk. Jeg skrev nylig om Pocket-TTS som lokal tekst-til-tale, og slike modeller har en annen styrke: de er mindre, mer konkrete og lettere å teste på vanlig maskinvare. Audex er mer som en plattformmodell for lyd og tekst.

Hvordan er modellen bygget?

Audex bruker én Transformer decoder rundt en MoE-ryggrad. Audio-input kodes først med AF-Whisper fra Audio Flamingo 3, som deler arkitektur med Whisper Large-v3 og håndterer 16 kHz input, ifølge NVIDIAs modellkort. Deretter mapper MLP-adaptere lydtrekkene inn i modellens dimensjon.

På output-siden utvides vokabularet. MarkTechPost oppgir at det opprinnelige vokabularet på 131 072 tokens økes til 205 312 tokens for å få plass til diskrete lydtokens. Speech bruker X-Codec2 med 50 tokens per sekund, mens generell lyd bruker X-Codec med 200 tokens per sekund. Det siste gir mening: en tale-strøm og en kompleks lydscene trenger ikke samme tokenbudsjett.

NVIDIA legger også vekt på treningsoppskriften. I stedet for å blande alt i én stor gryte, bruker de multi-stage supervised fine-tuning: først tekst, så audio warmup, deretter audio generation og audio understanding. Under audio warmup holder de tekst-token-embeddingene fryst. I ablations skal det å tine dem ha skadet tekstkvaliteten.

Det er en detalj som fort drukner i lanseringsspråk, men den er egentlig ganske avslørende. Hvis du vil legge lyd inn i en sterk tekstmodell, er ikke spørsmålet bare «kan vi trene den på lyd?». Spørsmålet er «hvordan legger vi inn lyd uten å ødelegge det modellen allerede kan?». Audex er et svar på akkurat det spørsmålet.

Er Audex praktisk tilgjengelig?

Ja, modellvektene ligger på Hugging Face, men med en viktig hake: lisensen er NVIDIA OneWay Noncommercial License. Det betyr at dette først og fremst er en modell for research, testing og ikke-kommersiell bruk, ikke en rett-fram modell du bare putter inn i et kommersielt produkt.

Modellkortet beskriver vLLM 0.20.0 som referanseoppsett for flere av oppgavene, og Hugging Face / transformers-støtte med transformers 4.53.3 eller nyere. Audio-delen krever ekstra pakker, blant annet fordi vLLM-containeren ikke nødvendigvis inkluderer audio codecs. Dette er altså ikke «last ned og kjør på laptoppen mens kaffen trakter»-nivå.

Det er også verdt å merke seg at modellen per nå ikke ser ut til å være deployet hos Hugging Face Inference Providers. For folk flest betyr det at Audex foreløpig er mer interessant som et signal om hvor lydmodeller er på vei enn som et verktøy man trykker på i nettleseren i ettermiddag.

For utviklere med riktig maskinvare og lyst til å grave, er det likevel spennende. Du som følger lokal AI vil kjenne mønsteret fra audio.cpp og lokale lydmodeller uten Python-kaos: først kommer de tunge research-modellene, så kommer forenklingene, wrapperne, kvantiseringene og de praktiske verktøyene. Det er ofte der moroa starter.

Hva er svakhetene?

Den største svakheten for vanlige brukere er lisensen. Noncommercial er fint for forskning og eksperimentering, men det setter en tydelig stopp for mange praktiske produkter. Hvis du driver et lite selskap og vil bygge en taleløsning for kunder, er lisensen ikke en detalj. Den er porten.

Den andre svakheten er at Audex ikke er best på alt. MarkTechPost trekker frem at modellen leder på noen audio-mål, blant annet OpenASR word error rate med 6,82, men henger etter sterkere audio-LLM-er på MMAR, MMSU og BigBenchAudio. Det er helt greit. En modell som prøver å være bred, bør vurderes på balansen, ikke bare på ett enkelt tall.

Den tredje svakheten er praktisk kompleksitet. vLLM, codecs, egne inference-scripts, store checkpoints og GPU-krav gjør dette til en modell for folk som faktisk liker å grave i teknisk oppsett. Det er ikke negativt i seg selv, men det er ærligere å si det rett ut enn å late som alle kan bruke Audex i morgen.

Samtidig er det nettopp slike modeller som flytter forventningene. For ett år siden var det vanlig å tenke på tekstmodell, stemmemodell og lydgenerator som tre ulike verdener. Nå ser vi stadig flere forsøk på å samle dem. Jeg skrev om Gemini 3.1 Flash Live og sanntids tale i API-et av samme grunn: grensen mellom samtale, lyd og agent begynner å bli mer flytende.

Hvorfor bør du bry deg?

Du bør bry deg fordi lyd er en av de mest naturlige måtene mennesker bruker teknologi på. Vi skriver mye fordi maskinene historisk har vært bedre på tekst. Men for kundeservice, læring, tilgjengelighet, notater, møter og praktisk arbeid er tale ofte mer naturlig enn tastatur.

Hvis modeller som Audex klarer å kombinere lyd og tekst uten å ofre resonnering, får vi en ny type AI-verktøy. Ikke bare «snakk med chatboten», men systemer som kan høre, forstå, svare, oversette, oppsummere og lage lyd i samme arbeidsflyt. Det er ikke nødvendigvis dramatisk. Det er bare nyttig. Og nyttig vinner ofte til slutt.

Jeg ville ikke kastet eksisterende TTS-, ASR- eller lydverktøy på båten ennå. Audex er fortsatt en research-tung modell med ikke-kommersiell lisens og teknisk oppsett som krever sitt. Men som retning er dette interessant: NVIDIA prøver å gjøre lyd til en førsteklasses del av en generell LLM, ikke et tillegg som henger utenpå.

Det er den delen jeg følger med på. Ikke om Audex vinner hver eneste testtabell, men om denne typen modell gjør lyd-AI mer sammenhengende. Når den biten faller på plass, blir forskjellen merkbar for helt vanlige brukere også.

Ofte stilte spørsmål