聯(lián)想發(fā)布端側(cè)AI新技術(shù) PC本地推理能力媲美 OpenAI-mini
5月7日消息,今日,聯(lián)想創(chuàng)新科技大會(Tech World)以“讓AI成為創(chuàng)新生產(chǎn)力”為主題,聚焦混合式人工智能,從個人到企業(yè),全方位展示聯(lián)想創(chuàng)新技術(shù)成果。
會上,聯(lián)想展示了其在端側(cè)算力方面的最新創(chuàng)新成果 —— “聯(lián)想推理加速引擎”。
據(jù)了解,這款由聯(lián)想、清華大學(xué)及無問芯穹聯(lián)合研發(fā)的推理引擎,是專為高效AI PC推理而設(shè)計的軟硬件協(xié)同優(yōu)化平臺,可以讓一臺普通PC的本地推理能力,媲美OpenAI去年發(fā)布的o1-mini云端模型。
“聯(lián)想推理加速引擎”通過高性能并行解碼、算子融合優(yōu)化以及異構(gòu)計算技術(shù), 實現(xiàn)了多種應(yīng)用場景下推理速度的大幅提升,以及功耗和內(nèi)存占用的顯著降低。
與大模型推理芯片相結(jié)合,通過硬件加速與軟件優(yōu)化的無縫協(xié)作,進一步放大了性能提升,形成了疊加效應(yīng)。
為直觀展示 “聯(lián)想推理加速引擎”的實力,現(xiàn)場設(shè)置了一場“競速賽”。三臺配置相同的AI PC同時解答2024年高考數(shù)學(xué)壓軸題:
初代大模型:耗時27秒,答案0分。
二代大模型:耗時26秒,答案滿分。
二代大模型+“聯(lián)想推理加速引擎”:耗時13秒,答案滿分。
這表明模型能力的提升和 “聯(lián)想推理加速引擎”對算力的提升,讓設(shè)備的預(yù)填充更為迅速、解碼速度更快、推理時間更短,同時占用內(nèi)存更少,能耗更低,設(shè)備上的 AI 能力得到了大幅提升。
聯(lián)想集團董事長兼CEO楊元慶表示,很快大家就會在即將發(fā)布的下一代 AI PC 上體驗到 “聯(lián)想推理加速引擎”帶來的強大本地推理能力,其性能可以與云端大模型相媲美,但成本卻低得多。