對AI模型進(jìn)行壓縮激活工作，減小對內(nèi)存的消耗

今天的 AI 模型有數(shù)十億或數(shù)萬億個參數(shù)，即輸入和權(quán)重。所以我們需要巨大的內(nèi)存來激活。這當(dāng)然會對芯片設(shè)計產(chǎn)生巨大影響，因為激活存儲器經(jīng)常支配平面布局。我們可以嘗試使用量化、稀疏性、權(quán)重共享等概念來減少所需的內(nèi)存。但它們只能走這么遠(yuǎn)，尤其是在模型龐大且持續(xù)增長的情況下。要是有辦法壓縮激活就好了!好吧，Perceive 的 CEO Steve Teig 想出了一個辦法。