Muse Voice Transcribe samler tre talefunksjoner i én modell

Muse Voice Transcribe samler live transkripsjon, talermerking og endpointing i én sanntidsmodell. Hvis du bygger en voice agent, betyr det at du i prinsippet slipper å lime sammen tre separate systemer bare for å forstå hva som ble sagt, hvem som sa det og når brukeren faktisk er ferdig med å snakke.

Meta Superintelligence Labs lanserte modellen 1. september 2026. Den behandler lyd mens samtalen pågår, kan holde orden på mer enn 20 talere og støtter lyd som varer lenger enn én time. Modellen er tilgjengelig gjennom Meta Model API, og brukes allerede til diktering i Meta AI for Mac og Muse Code.

Det mest lovende er ikke enda en topplassering på en måling. Det er at Meta har gjort tre avhengige oppgaver til deler av den samme tokenstrømmen. Færre overleveringer kan gi mindre venting, færre rare brudd og en langt enklere arkitektur. Men dette er fortsatt Metas egne resultater, og modellen kan ikke kjøres lokalt. Det siste er en ganske stor stjerne i margen.

Hva er Muse Voice Transcribe?

Muse Voice Transcribe er den første sanntidsmodellen for lydforståelse fra Meta Superintelligence Labs. Ifølge Metas tekniske presentasjon utfører den streaming ASR, diarization og endpointing i samme autoregressive modell. På vanlig norsk: Den skriver ned talen fortløpende, merker hvem som snakker og signaliserer når en ytring begynner og slutter.

ASR står for automatic speech recognition, altså automatisk talegjenkjenning. Diarization er oppgaven med å skille talerne fra hverandre. Endpointing avgjør når brukeren har sluttet å snakke, slik at systemet kan svare uten å avbryte midt i en tenkepause eller vente pinlig lenge etter at setningen er ferdig.

Disse oppgavene løses ofte med flere komponenter. Én modell lager teksten, en annen grupperer lyd etter taler, og en detektor ser etter starten og slutten på tale. Det fungerer, men hver komponent har egne innstillinger, egne forsinkelser og sin egen kreative måte å feile på. Muse Voice Transcribe forsøker å løse hele kjeden i ett løp, uten påkrevd etterbehandling.

Modellen tilhører Muse Spark-familien. Jeg har tidligere skrevet om den første Muse Spark-modellen fra Meta Superintelligence Labs. Voice Transcribe viser at Muse-navnet nå dekker mer enn tekstmodeller: Meta bygger en familie der lyd kan være en direkte del av samme type autoregressive arbeidsmåte.

Hvordan kan én modell gjøre tre jobber?

Modellen deler lyden i biter på 80 millisekunder, altså 12,5 lydblokker i sekundet. Hver blokk blir gjort om til ett mykt token. For hver blokk velger modellen mellom å fortsette å lytte med spesialtokenet <|next_audio|> eller begynne å skrive tekst. Når lydstrømmen stopper, får modellen <|empty_audio|> og skriver ut teksten som gjenstår.

Det er en enkel idé å forklare, men den løser et vanskelig problem. En talegjenkjenningsmodell trenger nok sammenheng til å velge riktig ord, samtidig som en sanntidsapp ikke kan sitte og vente på resten av avsnittet. Muse Voice Transcribe styrer denne ventetiden for hvert ord. Vanskelige ord kan få litt mer lydkontekst, mens enkle ord kan sendes ut raskere.

Meta kaller dette adaptive delay. Modellen er trent med reinforcement learning der belønning for lav ordfeilrate kombineres med belønning for kort forsinkelse. Den lærer dermed ikke bare hva som skal skrives, men også når den har hørt nok til å skrive det. Det er mer elegant enn å velge én fast buffer som enten er for treg i enkle setninger eller for aggressiv når lyden blir vanskelig.

Talermerking og endpointing legges inn med flere spesialtokens. <|start_of_turn|> varsler et mulig talerbytte, mens <|speaker_A|>, <|speaker_B|> og videre identifiserer taleren. <|speech_onset|> og <|speech_endpoint|> markerer starten og slutten på tale. Alt kommer fra samme strøm i stedet for fra tre systemer som må bli enige etterpå.

Hvorfor er endpointing så viktig for voice agents?

Endpointing avgjør om en voice agent oppleves som en samtalepartner eller en dårlig kundeservicebot. Svarer den for tidlig, avbryter den brukeren. Svarer den for sent, blir hvert turskifte hengende i lufta. Når Meta trener avslutningssignalet sammen med ordene og talerbyttene, får modellen mer sammenheng å bruke enn en enkel detektor som bare måler stillhet.

Dette blir ekstra viktig i ekte samtaler. Folk nøler, trekker pusten, retter seg selv og snakker i munnen på hverandre. Ett sekund med stillhet betyr ikke alltid at turen er ferdig. En modell som både ser teksten og lydforløpet kan i teorien gjøre en bedre vurdering av om «jeg tenkte at …» er slutten på setningen eller bare starten på en lengre forklaring.

Diarization har en lignende praktisk rolle. En møtetranskripsjon uten pålitelig talermerking er bare en vegg av tekst. En agent som skal oppsummere beslutninger eller lage oppgaver, må vite hvem som lovet hva. Meta oppgir støtte for mer enn 20 talere og demonstrerer lange samtaler uten separat etterbehandling. Det åpner for møter, podkaster, intervjuer og samtaleanalyse i sanntid.

Den samlede modellen kan også gjøre integrasjonen enklere. Du slipper å justere tidsstempler fra én tjeneste mot talersegmenter fra en annen og så la en tredje avgjøre når neste agentsvar skal starte. Det er ikke bare færre API-kall. Det er færre steder der én feil på noen hundre millisekunder vokser til en samtale som føles helt feil.

Hvor rask og nøyaktig er modellen?

Meta oppgir en endelig ordfeilrate på 3,1 prosent med 0,16 sekunders forsinkelse etter at talen slutter i Artificial Analysis sin engelske streamingtest. Første delvise transkripsjon skal ha 3,6 prosent ordfeilrate ved 0,13 sekunder. Det plasserte modellen øverst i oversikten 1. september 2026, men tallene må leses som en kontrollert sammenligning – ikke som et løfte for alle mikrofoner, dialekter og møterom.

MarkTechPost sammenligner resultatet med Cartesia Ink-2 på 3,4 prosent og 0,43 sekunder, og ElevenLabs Scribe v2 Realtime på 3,6 prosent og 0,14 sekunder. Cartesia med ekstern endpointing er raskere med 0,07 sekunder, men har samtidig høyere ordfeilrate på 4,0 prosent. Det illustrerer nettopp avveiningen Meta prøver å trene inn i modellen.

For talermerking oppgir Meta en gjennomsnittlig diarization error rate på 17,5 prosent på AMI-IHM, AMI-SDM og VoxConverse. De fem andre systemene i Metas figur ligger mellom 21,1 og 28,6 prosent. Det er lovende, men 17,5 prosent er heller ikke magi. Hvem-som-sa-hva kan fortsatt bli feil, spesielt med overlappende tale, like stemmer og dårlig romlyd.

Det er også verdt å skille mellom engelsk benchmark og norsk virkelighet. Modellens topplassering dokumenterer en sterk teknisk start, men ikke hvordan den håndterer haugesundsk, trøndersk, blanding av norsk og engelske fagord eller en laptopmikrofon tre meter unna. Norske utviklere bør måle både ordfeil, talerbytter og tid til faktisk agentsvar på egne opptak.

Hvilke språk og samtaler støttes?

Muse Voice Transcribe er trent på mer enn 70 språk, mens 25 språk er grundig verifisert ved lansering. Modellen støtter code-switching både midt i en setning og mellom setninger. Det er praktisk i tekniske samtaler, der norsk fort blir blandet med ord som deploy, endpoint, prompt og streaming uten at noen tenker over språkbyttet.

Meta støtter også språk-, nøkkelord- og kontekstbias. En app kan dermed gi modellen ekstra hjelp med produktnavn, personer, steder eller andre ord som er viktige i akkurat den samtalen. Det kan være forskjellen på et brukbart møtereferat og en tekst der hvert prosjektnavn ser ut som noe katten skrev på tastaturet.

Lang lyd er en annen styrke. Meta sier at modellen håndterer mer enn én time lyd og mer enn 20 talere uten påkrevd etterbehandling. Det gjør modellen aktuell for langt mer enn korte kommandoer. Samtidig bør «støttet» aldri forveksles med «godt nok for min bruk». Verifiser språklisten i Metas gjeldende dokumentasjon, og test norsk tale, dialekter og egne fagord før du bygger rundt resultatet.

Hva koster Muse Voice Transcribe?

Muse Voice Transcribe koster 3 dollar per 1 000 lydminutter gjennom Meta Model API. Det tilsvarer 0,18 dollar per lydtime, eller omtrent 1,70 kroner med Norges Banks midtkurs på 9,3343 kroner per dollar 1. september 2026. En samtale på 10 minutter blir dermed rundt 28 øre i ren transkripsjonskostnad.

Det er en lav pris for en tjeneste som inkluderer både live transkripsjon, talermerking og endpointing. MarkTechPost oppgir til sammenligning 4 dollar per 1 000 minutter for Cartesia Ink-2 og 6,50 dollar for både ElevenLabs Scribe v2 Realtime og Deepgram Flux. Sammenligningen er ikke nødvendigvis hele regnestykket, fordi funksjoner, minimumsbruk, datatrafikk og øvrig agentinfrastruktur kan variere.

NOK-beløpet er bare en omtrentlig referanse. Norges Banks kurser er indikative midtkurser, og kortutsteder, avgifter og Metas fakturering kan gi et annet beløp. Likevel er størrelsesordenen tydelig: selve lydbehandlingen er billig nok til at prisen neppe blir den største hindringen i en vanlig voice-agent.

Den virkelige begrensningen er kontroll. Meta har ikke gitt ut modellvektene, så du kan ikke kjøre Muse Voice Transcribe lokalt på egen maskinvare. For utviklere går tilgangen gjennom Metas hosted API, mens modellen også brukes i produkter som Meta AI for Mac og Muse Code. For helseopplysninger, kundesamtaler, bedriftshemmeligheter eller krav om lokal behandling kan det alene være nok til å velge en annen løsning.

Er Muse Voice Transcribe verdt å bygge med?

Muse Voice Transcribe ser ut som en av de mest praktiske taleutgivelsene fra Meta på lenge. Å samle tre funksjoner i én sanntidsmodell angriper et ekte arkitekturproblem, og både ventetiden, talerstøtten og prisen gjør API-et relevant for voice agents, møter og diktering. Dette er mer nyttig enn en modell som bare flytter et benchmarkdesimal.

Utviklere bør likevel kjøre en ordentlig prøve før den eksisterende stakken rives ut. Bruk norske opptak med reell romlyd, pauser, avbrytelser og fagord. Mål ikke bare ordfeilrate, men også feil taler, falske avslutninger og tiden fra brukeren slutter å snakke til agenten faktisk svarer. Det er hele kjeden brukeren merker.

Det er også verdt å sammenligne med en løsning du kontrollerer selv. Jeg har tidligere skrevet om Cohere Transcribe og åpne alternativer til Whisper. En hosted modell kan vinne på enkelhet og fart, mens åpne vekter kan vinne på personvern, forutsigbar drift og friheten til å tilpasse systemet.

Min foreløpige dom er derfor ganske enkel: Meta har laget en fristende snarvei gjennom en unødvendig komplisert voice-stack. Hvis kvaliteten holder på norsk og på rotete lyd, kan dette spare utviklere for mye integrasjonsarbeid. Men API-only er ikke en liten fotnote. Du får en enklere stakk mot at Meta får være maskinrommet.

Ofte stilte spørsmål