PRISM – fotonisk chip erstatter KV-cache-skanning med lys: 944x raskere enn GPU
En nanofotonikk-doktorgradsstudent har designet PRISM - et fotonisk chip-konsept som erstatter KV-cache-skanningen i LLM-inferens med optisk broadcast. Teoretisk 944 ganger raskere enn GPU-skanning og…