Browsing Tag

Mixture of Experts

2 innlegg
Jan Sverre studerer et Mixture of Experts-nettverksdiagram som viser ZAYA1-8B sin selektive parameteraktivering med AMD-hardware i bakgrunnen

ZAYA1-8B – Zyphra sin MoE-modell slår modeller 15 ganger større

ZAYA1-8B fra Zyphra aktiverer bare 760 millioner parametere per inferens, men slår modeller med 119 milliarder parametere på matematikk-benchmarks. Trent ende-til-ende på AMD Instinct MI300x og tilgjengelig under Apache 2.0-lisens.
  • 7. mai 2026
  • 30 visninger
  • 4 minutter lesetid
Jan Sverre i et europeisk datasenter ser tre AI-spesialister smelte sammen til én modell - Mistral Small 4

Mistral Small 4 – én AI-modell som gjør jobben til tre

Mistral Small 4 er en 119 milliarder parameter MoE-modell som kombinerer reasoning, multimodal og agentic koding i ett API-endepunkt. Apache 2.0, europeisk leverandør, potensielt 5-25x billigere enn GPT-4o og Claude for standardoppgaver.
  • 21. mars 2026
  • 89 visninger
  • 4 minutter lesetid