Siste nytt
Jan Sverre utforsker OpenAIs WebRTC relay-arkitektur for lav-latens stemme-AI med 900 millioner brukere

OpenAI Voice AI – slik leverer de lav latens til 900 millioner brukere

OpenAI redesignet hele WebRTC-stakken for ChatGPT Voice og Realtime API – relay pluss transceiver-arkitektur, Global Relay og Go-implementasjon som leverer lav latens til 900 millioner ukentlige brukere.
Jan Sverre fascinert over MTPLX ytelsesøkning på MacBook Pro M5 Max - 2,24 ganger raskere MTP-inferens

MTPLX – 2,24 ganger raskere MTP-inferens for Apple Silicon

MTPLX er en ny MTP-inferensmotor for Apple Silicon som gir 2,24 ganger raskere token-generering uten ekstra minne. Qwen3.6-27B gikk fra 28 til 63 tokens per sekund på MacBook Pro M5 Max.
Jan Sverre utforsker LLMSearchIndex - lokal websøk med 203 millioner indekserte sider for RAG-systemer

LLMSearchIndex – lokal websøk med 203 millioner sider for RAG

LLMSearchIndex er et open source Python-bibliotek som lar deg søke på internett lokalt – uten Brave API, SearXNG eller andre betalte tjenester. Over 203 millioner indekserte sider fra FineWeb og Wikipedia, komprimert til en FAISS-indeks som kjører på vanlig hardware med 6 GB RAM.
Jan Sverre utforsker FastDMS KV-cache-komprimering som gir 6,4x minnereduksjon og slår vLLM i hastighet

FastDMS – 6,4x KV-cache-komprimering som slår vLLM i hastighet

FastDMS er en åpen referanseimplementasjon av Dynamic Memory Sparsification som gir 6,4x KV-cache-komprimering og høyere inferenshastighet enn vLLM BF16 og FP8. Her er teknikken bak og hva det betyr for lokal LLM-kjøring.
Jan Sverre utforsker llama.cpp MTP-støtte som gir 2-3 ganger raskere lokal AI-inferens

llama.cpp MTP-støtte i beta – opptil 2,4 ganger raskere lokal inferens

llama.cpp har fått MTP-støtte i beta. Multi-Token Prediction gir opptil 2,4 ganger raskere lokal AI-inferens for Qwen3.5-modeller – fra 7 til 21 tokens per sekund uten ny maskinvare.
Jan Sverre utforsker torch-nvenc-compress biblioteket som multipliserer PCIe-båndbredde ved hjelp av NVENC-silikon på GPU

torch-nvenc-compress – NVENC-silikon som PCIe-båndbreddemultiplikator

torch-nvenc-compress er et Python-bibliotek som bruker GPUens NVENC-videosilikon til å komprimere aktiveringstensorer og KV-cache på farten, og seksdobler effektiv PCIe-båndbredde fra 30 GB/s til 180 GB/s for multi-GPU LLM-inferens.
Mann i hettegenser utforsker alternativ historievisualisering med Qwen Image AI-oppsett og ComfyUI på skjerm

Qwen Image og alternativ historie – slik lager du fotorealistiske bilder fra tidslinjer som aldri skjedde

Qwen Image er Alibabas open source AI-modell for bildegenerering og -redigering. Her er hvordan den brukes til å lage fotorealistiske bilder fra alternative historiske tidslinjer – med ComfyUI-oppsett og GGUF-varianter ned til 8 GB VRAM.
Jan Sverre sammenligner Qwen 3 VL og Gemma 4 vision-modeller lokalt med benchmaxing-vinkel

Qwen 3 VL vs Gemma 4 – hvem vinner egentlig på vision-oppgaver?

Offisielle benchmarks peker mot Qwen 3 VL 32B som vinner over Gemma 4 31B på vision-oppgaver. Men side-om-side-testing med vLLM og FP8 lokalt avslører et annet bilde: Gemma 4 vinner i praksis. Her er hva benchmaxing faktisk betyr for deg som vil kjøre vision-AI lokalt.
Mann i hettegenser som systematisk bygger opp en prompting-struktur med JSON-kode og sjekklister rundt seg

Systematisk prompting – fem teknikker for pålitelige AI-svar

Fem teknikker som gjør AI-svar pålitelige nok for produksjonssystemer: rolle-spesifikk prompting, negativ prompting, JSON-strukturerte svar, ARQ og verbalized sampling. Ingen modelltrening nødvendig – alt skjer i prompten.
Jan Sverre omringet av dollar-sedler og kvitteringer med Claude Code åpen på laptop - illustrasjon av Ubers AI-budsjettsprekk

Uber brukte hele AI-budsjettet for 2026 på Claude Code – på fire måneder

Uber introduserte Claude Code for ingeniørteamet i desember 2025. Innen april 2026 var hele AI-budsjettet for året borte. 95 prosent av ingeniørene bruker AI-verktøy månedlig, og 70 prosent av koden stammer fra AI. Her er hva som skjedde – og hva det betyr for andre selskaper.