VR技術(shù)實(shí)現(xiàn)手勢(shì)識(shí)別還需要攻克哪些方面的難點(diǎn)
掃描二維碼
隨時(shí)隨地手機(jī)看文章
(文章來(lái)源:yivian)
VR終極手部交互范式并不是單純的“手勢(shì)識(shí)別”,它要滿足4個(gè)基礎(chǔ)條件,這些條件同時(shí)也是需要攻克的難點(diǎn):1. 空間定位:理想的空間定位能力,得到手部與人眼(頭顯)的精準(zhǔn)相對(duì)位置關(guān)系,是正確渲染及交互的基礎(chǔ);2. 手部追蹤:一只正常人手大概有二十多自由度,加上手腕小臂總計(jì)約28個(gè),追蹤需要精準(zhǔn),可靠,低延遲。
3. 觸覺(jué)反饋:給人以更明確更加符合直覺(jué)的反饋效果(基于視覺(jué)原理的裸手操作難以給人明確的反饋);4. 工業(yè)設(shè)計(jì):(實(shí)體外設(shè)需輕便以降低疲勞,同時(shí)不會(huì)影響手部自身活動(dòng)等,以及符合人體工程學(xué)佩戴舒適等)四個(gè)基礎(chǔ)條件中有時(shí)可作為一個(gè)整體討論,統(tǒng)稱為追蹤定位能力,是手部交互的基石,也是通常學(xué)術(shù)界所看重的技術(shù)難點(diǎn)。
手部追蹤定位能力決定了人在虛擬世界能否像現(xiàn)實(shí)世界中一樣自由使用靈巧的雙手。低品質(zhì)的追蹤定位增加了用戶疲勞度,降低了輸入效率(要將手置于可識(shí)別區(qū)域以減少追蹤失效,增大動(dòng)作幅度以彌補(bǔ)精度不足或自由度的缺失),以及帶來(lái)不確定性輸入的困擾。同時(shí)追蹤定位能力前置條件,決定了能否在準(zhǔn)確的位置和時(shí)間觸發(fā)產(chǎn)生反饋效果。所有VR手部追蹤產(chǎn)品只需對(duì)照這四點(diǎn)基礎(chǔ)條件進(jìn)行判斷。
LeapMotion,微軟HL2的手部追蹤,OC6上Oculus Quest推出的手部追蹤,代表了人類在以計(jì)算機(jī)視覺(jué)為基礎(chǔ)的手部追蹤的最高水準(zhǔn)。已經(jīng)展示出了雙手自然交互的魅力,并已經(jīng)在許多低交互需求的場(chǎng)景產(chǎn)生價(jià)值。然而依舊受原理機(jī)制的天花板所限制,低品質(zhì)的追蹤定位能力并不能提供真正可靠舒適的交互體驗(yàn)。LeapMoTIon公司從融資近億美金到最終3000萬(wàn)被收購(gòu),已經(jīng)充分說(shuō)明了基于計(jì)算機(jī)視覺(jué)的手部交互技術(shù)的局限性。
需要說(shuō)明的是AR環(huán)境與VR有所差異,為了開(kāi)放的外部現(xiàn)實(shí)環(huán)境,即使體驗(yàn)相對(duì)較差,AR也會(huì)優(yōu)先采取裸手方案。相比VR環(huán)境已成為基礎(chǔ)配置的6DoF手柄交互以及專門設(shè)計(jì)優(yōu)化的OculusTouch和Knuckles手部控制器,當(dāng)今AR頭顯更多采用效果差強(qiáng)人意的3DoF遙控器和基于計(jì)算機(jī)視覺(jué)的裸手方案。CTRL—Labs現(xiàn)正與Facebook談被收購(gòu)事宜,擬5-10億美金。是當(dāng)今唯一融資額度巨大,對(duì)外宣稱想把此技術(shù)運(yùn)用于VR/AR交互控制的公司。
經(jīng)過(guò)近幾年的行業(yè)發(fā)展,較好的VR頭顯均實(shí)現(xiàn)了6DoF的手柄空間定位,很好地完成了這項(xiàng)基礎(chǔ)而又重要的條件要求。數(shù)據(jù)手套是個(gè)一言難盡的話題。很多人的偏見(jiàn)是認(rèn)為手套形態(tài)設(shè)備就會(huì)很“準(zhǔn)”,同時(shí)也認(rèn)為使用數(shù)據(jù)手套會(huì)降低舒適度?,F(xiàn)實(shí)并非如此,數(shù)據(jù)手套形態(tài)與“準(zhǔn)”并無(wú)因果關(guān)系,市面上充斥的是大量低水準(zhǔn)昂貴的雞肋產(chǎn)品;而工業(yè)設(shè)計(jì)及傳感方案的好壞決定最終舒適程度。
基于數(shù)據(jù)手套捕捉人手姿態(tài)時(shí)主要使用的傳感器類型(技術(shù)原理),包括且不限于機(jī)械外骨骼傳感器式、光纖傳感器式,彎曲傳感器式,磁感應(yīng)式,慣性傳感器(一般為包括加3軸速度計(jì)、3軸陀螺儀和3軸磁力計(jì)的九軸IMU)式等。每一種類別情況要考慮的問(wèn)題均不相同,但總的來(lái)說(shuō),任何一種方案想要做好絕非易事。這也是為什么長(zhǎng)久以來(lái)沒(méi)有誕生一種低成本完成的可靠精細(xì)手部動(dòng)作捕捉的技術(shù)。
當(dāng)今即便普通商用版數(shù)據(jù)手套,有時(shí)用于一些低水平的影視動(dòng)作捕捉,需要復(fù)雜耗時(shí)的人工后期修正處理。若基礎(chǔ)追蹤定位能力都無(wú)法達(dá)標(biāo),在此基礎(chǔ)上去追求更是是本末倒置的做法。僅從動(dòng)作捕捉效果考量,當(dāng)今紙面參數(shù)最好的數(shù)據(jù)手套,是頂配級(jí)別的光纖式數(shù)據(jù)手套,售價(jià)大概在15-20W人民幣每套,成本約在數(shù)萬(wàn)人民幣。其追蹤效果大概與排除了可靠性和視野問(wèn)題的頂級(jí)計(jì)算機(jī)視覺(jué)手部動(dòng)捕方案相當(dāng)。
過(guò)去很長(zhǎng)時(shí)間,計(jì)算機(jī)視覺(jué)有了長(zhǎng)足的發(fā)展,人們總想把一切問(wèn)題都交由計(jì)算機(jī)(視覺(jué))去解決。計(jì)算機(jī)目前是一個(gè)相對(duì)低進(jìn)入門檻卻高產(chǎn)出門檻的行業(yè),吸收了大量資源,也導(dǎo)致流向其它重要行業(yè)的資源十分有限。數(shù)據(jù)手套在看似無(wú)限前景的計(jì)算機(jī)視覺(jué)行業(yè)的夾縫里艱難進(jìn)步,各種方案層出不窮卻未能出現(xiàn)真正好的大一統(tǒng)式的產(chǎn)品變革。可以說(shuō)當(dāng)今的數(shù)據(jù)手套方案與諸如Valve Knuckles和Oculus Touch這樣的新型手柄相比,并無(wú)優(yōu)勢(shì)可言。
? ? ?