為機(jī)器人提供一站式雙向透視解決方案,萬(wàn)有引力 GravityXR E100低功耗空間渲染和顯示專(zhuān)用芯片
在原HUAWEI天才少年創(chuàng)辦的智元機(jī)器人上,實(shí)現(xiàn)了3D落眼數(shù)字面部表情,表情是浮在其機(jī)器人頭部的外面的,大家可以感受它的立體的感覺(jué)。而這項(xiàng)技術(shù)背后,來(lái)自于萬(wàn)有引力( GravityXR )的反向透明計(jì)算處理芯片技術(shù)加持。
在今天召開(kāi)的第十五屆松山湖中國(guó)IC創(chuàng)新高峰論壇上,萬(wàn)有引力(寧波)電子科技有限公司市場(chǎng)營(yíng)銷(xiāo)總監(jiān)張武龍先生為大家介紹了公司最新的技術(shù)創(chuàng)新——EB100:面向機(jī)器人與XR應(yīng)用的低功耗空間渲染和顯示專(zhuān)用芯片。
EB100:反向透明計(jì)算處理芯片,實(shí)現(xiàn)更快呈現(xiàn)體驗(yàn)
從2024年開(kāi)始,GravityXR推出一款名為EB100的反向透明計(jì)算處理芯片,采用12nm工藝,主要應(yīng)用于數(shù)字人技術(shù),并應(yīng)用于特定的RST領(lǐng)域。
EB100芯片的設(shè)計(jì)目標(biāo)是為XR和機(jī)器人領(lǐng)域提供低功耗、高效能的解決方案。張武龍先生特別提到,EB100芯片通過(guò)集成3D模型實(shí)時(shí)重建與驅(qū)動(dòng)技術(shù),可以實(shí)現(xiàn)更加精確和流暢的3D顯示效果,尤其是在面部表情渲染方面,EB100芯片比蘋(píng)果的技術(shù)實(shí)現(xiàn)了更高的亮度和分辨率,解決了傳統(tǒng)設(shè)備在低亮度條件下的顯示問(wèn)題。同時(shí),EB100芯片能夠與市場(chǎng)上的XR移動(dòng)端芯片(如高通8代、K3588芯片)和PC芯片協(xié)同工作,形成強(qiáng)大的協(xié)同效應(yīng),為用戶(hù)提供更快的呈現(xiàn)體驗(yàn)。
這是一款專(zhuān)為空間渲染和顯示設(shè)計(jì)的芯片,支持3D模型實(shí)時(shí)重建與驅(qū)動(dòng),能夠處理3D顯示圖像并增強(qiáng)其效果。它還具備多視角平行渲染和多圖層混合的能力,能夠提供高效的圖像處理。此外,EB100支持PCIe、USB 3.0和MIPI接口,并且能夠通過(guò)提供SDK、ASIC和3D顯示組件的整體解決方案,支持客戶(hù)在XR和機(jī)器人領(lǐng)域的需求。
如下圖展示了EB100芯片與XR2、XR2 Gen2芯片的配合工作方式。EB100芯片可用于面部掃描、實(shí)時(shí)跟蹤和UI圖層處理,它通過(guò)USB3.0/PCIe2連接進(jìn)行數(shù)據(jù)傳輸,利用XR2 Gen2芯片的資源來(lái)支持離線(xiàn)建模、初始化校準(zhǔn)、面部渲染、光源引擎、圖形管道和模塊補(bǔ)償?shù)裙δ?。此外,EB100還與RST顯示模塊協(xié)同工作,完成顯示與光學(xué)堆棧的校準(zhǔn)和組裝,確保XR設(shè)備的精準(zhǔn)顯示和用戶(hù)交互。
通過(guò)先進(jìn)的空間渲染技術(shù)和數(shù)字人技術(shù),GravityXR公司為XR和機(jī)器人行業(yè)提供的一站式雙向透視解決方案。這個(gè)方案由APP、SDK、ASIC(EB100芯片)以及定制3D顯示模塊組成,可以實(shí)現(xiàn)角色情感的實(shí)時(shí)捕捉與渲染,特別是在面部表情和眼部細(xì)節(jié)的處理上。該方案還支持無(wú)縫內(nèi)容融合與共享,能夠集成數(shù)字UI層,方便內(nèi)容的展示與共享。同時(shí),解決方案提供了增強(qiáng)角色情感表現(xiàn)空間的功能,通過(guò)為Avatar(數(shù)字化身)加入精美的3D表情和藝術(shù)效果,提升用戶(hù)的沉浸感和交互體驗(yàn)。
EB100應(yīng)用前景廣闊:XR教育、數(shù)字人、具身智能等
EB100芯片作為萬(wàn)有引力(寧波)電子科技有限公司推出的低功耗空間渲染和顯示專(zhuān)用芯片,其核心技術(shù)不僅為XR和機(jī)器人領(lǐng)域提供了強(qiáng)大的支持,還在多個(gè)實(shí)際應(yīng)用場(chǎng)景中展現(xiàn)出了巨大的潛力。在XR領(lǐng)域的教育培訓(xùn)應(yīng)用中,EB100芯片通過(guò)其強(qiáng)大的實(shí)時(shí)渲染能力,能夠?yàn)榻處熀蛯W(xué)生提供更加沉浸的互動(dòng)體驗(yàn)。教師佩戴XR頭盔,能夠?qū)崟r(shí)查看學(xué)生的視角,從而進(jìn)行精準(zhǔn)的教學(xué)指導(dǎo)。同時(shí),EB100芯片支持面部表情和肢體動(dòng)作的捕捉與傳輸,能夠更加生動(dòng)地展示教學(xué)內(nèi)容,增強(qiáng)學(xué)生的學(xué)習(xí)體驗(yàn)。通過(guò)混合現(xiàn)實(shí)技術(shù),學(xué)生能夠與虛擬內(nèi)容進(jìn)行互動(dòng),獲取更加直觀和深入的理解。
例如,在一門(mén)科學(xué)課程中,學(xué)生可以通過(guò)XR頭盔與虛擬實(shí)驗(yàn)設(shè)備進(jìn)行互動(dòng),不僅能看到實(shí)驗(yàn)過(guò)程,還能實(shí)時(shí)了解實(shí)驗(yàn)原理和結(jié)果。這種體驗(yàn)方式顯著提高了學(xué)習(xí)的趣味性和實(shí)用性,尤其適用于需要?jiǎng)邮植僮鞯膶?shí)踐性科目。
在數(shù)字人和虛擬角色的應(yīng)用中,數(shù)字人不僅可以用于客戶(hù)服務(wù)、虛擬助手等,還能與真實(shí)用戶(hù)進(jìn)行實(shí)時(shí)互動(dòng)。通過(guò)AI和面部識(shí)別技術(shù),EB100能夠根據(jù)用戶(hù)的面部表情生成高度逼真的虛擬形象,并將其實(shí)時(shí)映射到XR設(shè)備或機(jī)器人平臺(tái)上。
例如,在虛擬會(huì)議中,用戶(hù)可以使用EB100芯片生成虛擬形象,并與其他與會(huì)者進(jìn)行面對(duì)面的互動(dòng),突破了物理距離的限制。在客戶(hù)服務(wù)場(chǎng)景中,數(shù)字人可以通過(guò)EB100芯片與用戶(hù)進(jìn)行自然流暢的對(duì)話(huà),提升用戶(hù)體驗(yàn)。
在機(jī)器人領(lǐng)域,EB100芯片的低功耗和高效能特點(diǎn)使其成為具身智能機(jī)器人的理想解決方案。通過(guò)EB100,機(jī)器人能夠?qū)崟r(shí)渲染并表達(dá)面部表情,提升與用戶(hù)的情感交流能力。該技術(shù)廣泛應(yīng)用于智能陪伴機(jī)器人、遠(yuǎn)程醫(yī)療機(jī)器人等領(lǐng)域。
例如,在智能陪伴機(jī)器人的應(yīng)用中,EB100芯片能夠使機(jī)器人生成真實(shí)的面部表情,并與遠(yuǎn)程用戶(hù)進(jìn)行互動(dòng)。家長(zhǎng)可以遠(yuǎn)程佩戴XR頭盔,與家中的陪伴機(jī)器人進(jìn)行對(duì)話(huà),機(jī)器人通過(guò)EB100芯片同步面部表情,增強(qiáng)親密感和互動(dòng)性。這種技術(shù)使得機(jī)器人不僅僅是一個(gè)工具,更能成為與用戶(hù)建立情感聯(lián)系的伙伴。
不止于此,EB100芯片的實(shí)時(shí)面部表情捕捉與渲染技術(shù),能夠在虛擬社交和娛樂(lè)領(lǐng)域提供極為豐富的體驗(yàn)。用戶(hù)在佩戴XR設(shè)備時(shí),可以與朋友或家人通過(guò)虛擬角色進(jìn)行互動(dòng),甚至在虛擬空間中共同參與游戲或其他娛樂(lè)活動(dòng)。
例如,用戶(hù)可以在虛擬社交平臺(tái)中通過(guò)數(shù)字人代表自己,進(jìn)行語(yǔ)音對(duì)話(huà)和面部表情同步,享受更加自然、真實(shí)的社交體驗(yàn)。此外,結(jié)合XR設(shè)備和EB100芯片,虛擬娛樂(lè)內(nèi)容的呈現(xiàn)也更加生動(dòng),用戶(hù)可以在虛擬世界中享受與現(xiàn)實(shí)無(wú)縫連接的互動(dòng)體驗(yàn)。
EB100芯片憑借其在低功耗、高性能和實(shí)時(shí)渲染方面的優(yōu)勢(shì),廣泛應(yīng)用于XR、機(jī)器人、數(shù)字人和虛擬角色等多個(gè)領(lǐng)域。無(wú)論是教育培訓(xùn)、數(shù)字人生成、具身智能機(jī)器人,還是虛擬社交和娛樂(lè),EB100芯片都能夠?yàn)檫@些應(yīng)用提供強(qiáng)大的技術(shù)支持。隨著技術(shù)的不斷進(jìn)步,EB100芯片將在未來(lái)的多個(gè)行業(yè)中發(fā)揮越來(lái)越重要的作用,推動(dòng)數(shù)字交互和虛擬現(xiàn)實(shí)的全面發(fā)展。
結(jié)語(yǔ)
E100只是個(gè)起點(diǎn),到2025年,萬(wàn)有引力計(jì)劃發(fā)布X100芯片,這是一款功能全面的空間計(jì)算處理芯片,基于5nm + 12nm工藝,專(zhuān)為混合現(xiàn)實(shí)(MR)應(yīng)用設(shè)計(jì),同時(shí)也將與AR眼鏡等設(shè)備配合使用。而在2026年,GravityXR的目標(biāo)是推出X200芯片,這是一款A(yù)I輔助的MR-Lite芯片,專(zhuān)注于AI驅(qū)動(dòng)的MR應(yīng)用。此外,VX100 AI/AR ISP芯片也在開(kāi)發(fā)中,旨在通過(guò)12nm工藝實(shí)現(xiàn)AI與AR的深度結(jié)合,進(jìn)一步推動(dòng)增強(qiáng)現(xiàn)實(shí)和人工智能技術(shù)的應(yīng)用。整個(gè)路線(xiàn)圖表明GravityXR致力于提供不斷優(yōu)化的芯片解決方案,以滿(mǎn)足日益增長(zhǎng)的MR、AR和AI市場(chǎng)需求。