Opera WebAI flytter lokal AI rett inn i nettleseren

Opera WebAI lar nettsteder og nettleserutvidelser bruke AI som kjører lokalt på datamaskinen din. Ingen separat lokal server, ingen API-nøkkel og ingen melding som må sendes til en skytjeneste for hvert eneste svar. Dette er akkurat den retningen jeg vil se mer av.

Opera har begynt å rulle ut WebAI som en valgfri early preview i Opera One. Nettleseren stiller lokale modeller til rådighet gjennom et felles sett med grensesnitt, slik at utviklere kan bygge funksjoner for tekstgenerering, klassifisering og semantisk søk uten å drifte sin egen AI-infrastruktur.

Det betyr ikke at skybasert AI plutselig er overflødig, eller at WebAI allerede er en ferdig standard som hele nettet har tatt i bruk. Men nettleseren er i ferd med å få en ny rolle: Den kan bli et lokalt AI-lag mellom maskinvaren, modellen og nettsiden du bruker. Det er en mye større forbedring enn enda en chatbot i sidepanelet.

Hva er Opera WebAI?

WebAI er en foreslått nettstandard som lar nettsteder og nettleserutvidelser bruke AI-modeller gjennom nettleseren. Opera opplyser at initiativet støttes av blant andre Google og Microsoft, mens Operas implementasjon er modellagnostisk og bygget rundt åpne modeller.

I praksis betyr det at en utvikler kan be nettleseren om å utføre en AI-oppgave uten å sende forespørselen til sitt eget API-endepunkt. Opera håndterer kontakten med den kompatible modellen på maskinen. Ved lansering nevner selskapet Googles Gemma-modeller og Apples lokale foundation model på Mac som eksempler.

Dette bygger videre på arbeidet Opera startet i 2024, da en eksperimentell utviklerversjon fikk støtte for lokale språkmodeller. Forskjellen nå er ambisjonen om å gjøre lokal inferens til en vanlig del av nettleseren og tilgjengelig for nettsteder og utvidelser gjennom standardiserte API-er. Har du fulgt utviklingen av Googles åpne Gemma-modeller, er dette en naturlig neste brikke: En modell er langt mer nyttig når vanlige programmer faktisk kan nå den.

Hvorfor lokal AI i nettleseren betyr noe

Lokal AI i nettleseren kan gi brukeren mer kontroll over dataene og fjerne løpende API-kostnader for utvikleren. Opera trekker fram utvidelser som kan sortere faner, oppdage clickbait eller finne relevante stillingsannonser uten konto, abonnementsavgift eller overføring av innhold til en ekstern AI-tjeneste.

Det siste er viktig. En stor del av det folk bruker AI til, krever ikke et datasenter i andre enden. Klassifisering av en nettside, et kort sammendrag eller søk i tekst kan være små nok oppgaver til at en moderne datamaskin gjør jobben selv. Da er det vanskelig å forsvare at alt innhold automatisk skal sendes ut av maskinen bare fordi det har blitt normalen.

For små utviklerteam er regnestykket også fristende. Hvis nettleseren leverer modellen og inferensen, slipper utvikleren både serverdrift og betaling per forespørsel. Det kan gjøre en hel klasse små, smarte utvidelser økonomisk mulig. En nyttig idé trenger ikke lenger et lite faktureringssystem og en skyregning hengende etter seg.

Lokale modeller gir dessuten en annen type robusthet. Funksjonen er ikke nødvendigvis avhengig av at en ekstern API-tjeneste svarer, at brukeren har opprettet konto eller at et abonnement fortsatt er aktivt. Det ligner på tanken bak AMDs GAIA for lokale AI-agenter: Mer av kapasiteten flyttes tilbake til maskinen brukeren faktisk eier.

Tre API-er gir utviklere byggeklossene

Den første WebAI-versjonen gir utviklere tre sentrale byggeklosser: Prompt API for å generere tekst, Decision API for å klassifisere informasjon og Semantic Embeddings API for å finne meningsmessige sammenhenger. Operas utviklerpresentasjon av WebAI viser dermed et bredere bruksområde enn en vanlig chatboks.

Prompt API kan brukes til å skrive, oppsummere eller omarbeide tekst. Decision API kan avgjøre hvilken kategori et innhold hører hjemme i, mens embeddings kan brukes til å finne avsnitt, notater eller nettsider som handler om det samme selv om de ikke bruker identiske ord. Det er grunnleggende funksjoner, men nettopp derfor er de nyttige. De kan settes sammen på svært mange måter.

Opera har laget seks eksperimentelle utvidelser for å vise spennvidden. Project Lens markerer hvilke avsnitt i en artikkel som er relevante for et prosjekt. Got It? lager en liten kunnskapstest fra siden du leser. Semantic Art gjør semantiske likheter mellom setninger om til et bevegelig visuelt kart. En annen demo gjør artikkeltekst om til overdreven motivasjonsprosa. Litt tull må være lov når man introduserer et nytt API.

Poenget med demonstrasjonene er ikke at alle trenger en ASCII-katt som improviserer scener i nettleseren. Poenget er at samme lokale grunnmur kan brukes til både søk, filtrering, læring, kreativitet og personlige hjelpeverktøy. Utvikleren bygger opplevelsen, mens brukeren stiller med regnekraften og beholder innholdet på egen maskin.

Personvern er bedre, men ikke automatisk løst

WebAI er opt-in. Ingenting lastes ned før brukeren slår funksjonen på, og nettstedstillatelser skal avgjøre hvilke sider som får tilgang til lokal AI. Det er riktig utgangspunkt. En nettside bør ikke kunne legge beslag på maskinens modell og regnekraft i bakgrunnen uten et tydelig ja.

Når behandlingen skjer lokalt, trenger ikke selve innholdet å sendes til en AI-leverandør. Det er et reelt personvernfortrinn for tekst du ikke vil dele med en ekstern tjeneste. Det passer også godt med måten jeg ser på lokale modeller: Materiale du lovlig har på egen maskin, bør kunne behandles der uten at det må lastes opp til noen andres sky.

Men «lokalt» er ikke et magisk sikkerhetsstempel. Nettstedet som ber om tilgang, nettleserutvidelsen, modellfilen og dataene som presenteres for modellen er fortsatt deler av angrepsflaten. TechCrunch peker også på at lokal behandling ikke fjerner all personvernrisiko.

Mitt råd er enkelt: Gi bare WebAI-tilgang til nettsteder og utvidelser du faktisk stoler på, og les hva de ber om å behandle. Lokal kjøring er en klar forbedring når alternativet er automatisk opplasting. Det er ikke en unnskyldning for å trykke «tillat» på alt som blinker.

Hvilke maskiner støttes?

WebAI er foreløpig en early preview for 64-biters Windows-maskiner med Intel- eller AMD-prosessor og Mac-er med Apple Silicon. Opera opplyser at forhåndsversjonen ikke støtter Linux, Windows on Arm eller Intel-baserte Mac-er. Ytelsen vil variere med maskinvaren fordi selve inferensen kjører lokalt.

Funksjonen slås på under Opera AI i innstillingene, eller via opera://settings/ai. Når bryteren aktiveres, lastes en kompatibel lokal modell ned. Opera advarer om at dette kan ta noen minutter. Deretter kan brukeren installere en av eksempelutvidelsene og prøve API-ene på faktiske nettsider.

Operas pressemelding sier at de første funksjonene er tilgjengelige i Opera One, med Opera GX og Opera Neon senere. Den mer tekniske WebAI-siden beskriver samtidig early preview på tvers av de tre nettleserne. Det tyder på en gradvis utrulling, så det er fornuftig å kontrollere versjon og innstillinger før du konkluderer med at funksjonen mangler.

Maskinvarekravet er den mest åpenbare begrensningen. En sky-AI kan gi samme kapasitet til en svak bærbar PC og en kraftig arbeidsstasjon, mens lokal AI må leve med minne, prosessor, batteri og kjøling på enheten. Den friheten er ikke gratis. Du betaler med egen regnekraft i stedet for en løpende API-regning.

En foreslått standard er ikke en ferdig standard

WebAI omtales som en foreslått nettstandard, ikke som en ferdig W3C-standard med bred støtte i alle store nettlesere. At Google og Microsoft støtter retningen er betydelig, men utviklere bør ikke bygge en kritisk produksjonstjeneste som om API-ene allerede er universelt tilgjengelige og låst for framtiden.

Dette skillet betyr også noe for ordet «modellagnostisk». Operas løsning er laget for å kunne bruke flere kompatible modeller og leverandører, men en nettstandard garanterer ikke at alle modeller gir samme svar, fart eller kapasitet. Nettleseren kan standardisere hvordan en nettside ber om en oppgave. Den kan ikke gjøre ulik maskinvare og ulike modeller identiske.

Utviklere bør derfor behandle dagens versjon som det den er: et sted å eksperimentere, måle og oppdage hvilke lokale oppgaver som faktisk fungerer godt. Bygg med tydelig feature detection, ha en ærlig reserve når WebAI ikke finnes, og ikke lov brukeren skyfri behandling dersom løsningen i stillhet faller tilbake til et eksternt API.

Det er likevel sånn standarder begynner. Noen må levere en fungerende implementasjon, la utviklere prøve den og finne alle de litt ubehagelige detaljene. Opera gjør mer nytte ved å legge dette i hendene på folk nå enn ved å vise enda en blankpolert konseptvideo.

Dette er nettleser-AI jeg faktisk vil ha

Jeg er oppriktig begeistret for WebAI fordi kontrollen flyttes i riktig retning. Modellen kan kjøre på brukerens maskin, dataene kan bli der, og utvikleren slipper å kreve både konto og betaling for hvert lite AI-kall. Det er konkret nytte, ikke bare en AI-knapp limt på et gammelt produkt.

Den viktigste prøven kommer når vanlige nettsteder begynner å bruke API-ene. Tillatelsene må være forståelige, ressursbruken må være synlig, og nettleseren må gjøre det enkelt å stoppe en side som blir grådig. Hvis Opera får den delen riktig, kan WebAI bli en langt mer personlig og privat AI-plattform enn dagens skybaserte standardløsning.

Foreløpig er dette for nysgjerrige brukere og utviklere med støttet maskinvare. Slå det gjerne på, prøv demonstrasjonene og bygg små verktøy. Bare behold early preview-brillene på. WebAI er et lovende fundament, ikke et ferdig hus.

Ofte stilte spørsmål