小米10率先使用 驍龍865不止提升性能:AI算力和應(yīng)用更有看點(diǎn)
全新一代旗艦移動(dòng)平臺(tái)驍龍865已經(jīng)正式發(fā)布,預(yù)計(jì)2020年第一季度就可以看到搭載該平臺(tái)的產(chǎn)品上市。
從官方公布的數(shù)據(jù)以及隨后披露出的性能測(cè)試數(shù)據(jù)來看,驍龍865無疑還是安卓陣營(yíng)標(biāo)桿產(chǎn)品。
驍龍865安兔兔跑分達(dá)56萬,但這對(duì)于驍龍8系平臺(tái)來說,只是常規(guī)操作,我們已經(jīng)習(xí)以為常。而其不斷增強(qiáng)的AI性能,以及廣泛的AI用例似乎更有看點(diǎn)。
先來回顧一下驍龍865 AI方面數(shù)據(jù)。由CPU、GPU、DSP、內(nèi)存、緩存等模塊共同組成的第五代AI Engine,運(yùn)算能力達(dá)15萬億次/秒(TOPS),是驍龍855的2倍多,是驍龍845的5倍。
其中,作為AI Engine核心的Hexagon 698處理器,引入了全新升級(jí)的Hexagon張量加速器,算力是上代的4倍以上,能效提升35%。
同時(shí)支持深度學(xué)習(xí)帶寬壓縮,無損壓縮率超50%,可為SoC其它部分釋放帶寬,節(jié)省內(nèi)存?zhèn)鬏敹?jié)省功耗。
Adreno 650部分支持16位、32位浮點(diǎn)運(yùn)算,支持新的AI混合精度指令,算力提升2倍以上。另外,LPDDR5內(nèi)存將帶寬增加30%,有助于優(yōu)化AI處理。
驍龍865整體AI性能提升非常明顯,那么這么強(qiáng)大的AI算力能夠做什么,也是我們關(guān)心的。
在驍龍技術(shù)峰會(huì)上,高通展示了豐富的AI用例。AI已經(jīng)并將持續(xù)改善我們的終端使用體驗(yàn)。
1、實(shí)時(shí)互譯+實(shí)時(shí)語音轉(zhuǎn)文字/語音
基于強(qiáng)大的AI算力,驍龍865可以為基于AI的實(shí)時(shí)翻譯提供支持。
在驍龍技術(shù)峰會(huì)現(xiàn)場(chǎng),演示了實(shí)時(shí)的演講語音英中互譯,且實(shí)時(shí)轉(zhuǎn)文字。轉(zhuǎn)換的正確率、效率都達(dá)到了很高的水準(zhǔn)。
演示結(jié)束,現(xiàn)場(chǎng)觀眾無不發(fā)出驚嘆。如此高的互譯速度和效率在移動(dòng)終端平臺(tái)上應(yīng)該尚屬首次。
對(duì)于媒體工作者來說尤其適用,將大大提高工作效率,減少不必要的麻煩。
可能未來在大型的會(huì)議現(xiàn)場(chǎng),不再需要速記,不再需要中英同傳,這些都可以依靠AI來實(shí)現(xiàn)。
關(guān)于實(shí)時(shí)翻譯的另外一個(gè)場(chǎng)景,出國(guó)的時(shí)候相信大家都一定遇到過語言不通的尷尬。
雖然我們也從小開始就學(xué)習(xí)英語,但熟練掌握并運(yùn)用的其實(shí)并不多。上述的演示意味著,未來手機(jī)上實(shí)時(shí)語音互譯不是問題。
需要強(qiáng)調(diào)的是,不同于常規(guī)的翻譯棒產(chǎn)品(需要錄入聲音再翻譯),這一互譯是“實(shí)時(shí)”的。
以后我們?cè)趪?guó)外與當(dāng)?shù)厝私涣鞯臅r(shí)候應(yīng)該是這樣的:對(duì)向而坐,手機(jī)放桌上,你一言我一語。
他說英語你聽到的是中文,你說中文他聽到的是英語,好像用同種語言交流一樣順暢。沒有等待,沒有任何障礙。相比翻譯棒,這種體驗(yàn)可高級(jí)太多了。
Vlog視頻博客的興起,極大改變了用戶獲取信息的方式,更多用戶偏向于用Vlog的形式分享生活、分享各種信息。
而在視頻處理中,添加字幕一直都是最耗費(fèi)時(shí)間和精力的步驟,尤其是視頻剪輯工作者對(duì)此應(yīng)該深有體會(huì)。
在驍龍技術(shù)峰會(huì)之后,首發(fā)驍龍765G移動(dòng)平臺(tái)的Redmi K30正式發(fā)布。
其中,Redmi帶來了一項(xiàng)頗為惹眼的功能:視頻實(shí)時(shí)字幕。即用戶在錄制視頻的時(shí)候,可以將用戶所說的話實(shí)時(shí)生成字幕,并添加到視頻中。
它極大簡(jiǎn)化了視頻剪輯后期的處理時(shí)間,優(yōu)化了效率,讓大眾用戶也能成為專業(yè)的Vlog創(chuàng)作者。而這一功能的實(shí)現(xiàn)自然也是依托于不斷提升的終端AI算力。
2、手機(jī)多攝鏡頭平滑變焦
多攝已經(jīng)成為手機(jī)相機(jī)的主流,其主要作用是用不同的鏡頭應(yīng)對(duì)不同的拍攝場(chǎng)景,以實(shí)現(xiàn)更好的拍攝效果。
另外一大作用就是通過不同焦段的鏡頭組合實(shí)現(xiàn)接力變焦,但現(xiàn)在大多數(shù)安卓手機(jī)上的變焦體驗(yàn)并不是很好,變焦體驗(yàn)飽受詬病。
原因在于鏡頭切換時(shí)因鏡頭素質(zhì)的差異,會(huì)造成白平衡、色彩等觀感的跳變,非常不順滑。
在驍龍技術(shù)峰會(huì)上,高通展示了與虹軟合作,通過虹軟全新算法可實(shí)現(xiàn)媲美單反相機(jī)的平滑自然變焦體驗(yàn)。
AI應(yīng)用于拍照優(yōu)化很早之前就有了,平滑變焦應(yīng)該是拍照優(yōu)化的又一個(gè)延伸。
通過大量的實(shí)時(shí)AI計(jì)算,使各個(gè)鏡頭呈現(xiàn)的畫面觀感達(dá)到驚人的一致,最大程度上消除鏡頭切換時(shí)的跳變,讓變焦變平滑。
3、更好玩、更有趣
驍龍技術(shù)峰會(huì)上,Qualcomm Technologies產(chǎn)品管理副總裁Ziad Asghar展示了LoomieTalk。
該應(yīng)用程序重點(diǎn)展現(xiàn)了在Qualcomm驍龍865移動(dòng)平臺(tái)之第五代AI Engine人工智能引擎上運(yùn)行時(shí),利用Qualcomm驍龍神經(jīng)處理SDK后,Loom.ai實(shí)時(shí)SDK創(chuàng)建的3D虛擬形象極富表現(xiàn)力。
這些虛擬形象可以在手機(jī)的視頻會(huì)議中實(shí)時(shí)鏡像面部表情和動(dòng)作。Loom.ai借由驍龍移動(dòng)平臺(tái)的人工智能功能,可在移動(dòng)硬件上大規(guī)模高效部署Loomie 3D虛擬形象。
Loom.ai只需使用一張照片,就可創(chuàng)建出一個(gè)完全可定制且具有用戶特征和動(dòng)作的Loomie 3D虛擬形象。
它將深度學(xué)習(xí)與高級(jí)CGI相結(jié)合,可捕捉帶有微表情的細(xì)膩動(dòng)作,并將其應(yīng)用到用戶Loomie中。
就現(xiàn)場(chǎng)的實(shí)際體驗(yàn)而言,還是相當(dāng)震撼的。Loomie 3D通過對(duì)使用者的捕捉,可以實(shí)時(shí)呈現(xiàn)出一個(gè)3D的虛擬形象。
即便身處異地,也能通過虛擬形象實(shí)現(xiàn)面對(duì)面的無距離感的交流,增強(qiáng)員工協(xié)作,提高工作效率,所營(yíng)造出的輕松愉快的氛圍同時(shí)也可提升企業(yè)文化。
4、持續(xù)優(yōu)化手機(jī)拍照
前面也已經(jīng)提到,AI很早就已經(jīng)應(yīng)用于手機(jī)拍照優(yōu)化了。
通過對(duì)實(shí)際環(huán)境的捕捉和實(shí)時(shí)分析,甚至可以令手機(jī)的成像水準(zhǔn)突破傳感器成像能力的天花板。
傳感器的成像能力雖然一直都是在逐步提升的,但AI一定更是手機(jī)影像的未來。
AI最早應(yīng)用于手機(jī)拍照優(yōu)化的用例應(yīng)該就是人像美顏了,通過人臉的精確分析,針對(duì)每個(gè)人的臉部特征做針對(duì)性優(yōu)化,避免了整體磨皮、提亮造成的千篇一律。
在AI算力逐步提升之后,不僅照片可以美顏,視頻同樣也可以。
現(xiàn)在已經(jīng)完全可以做到視頻中的實(shí)時(shí)美顏美體,也在一定程度上成就了“全民直播”,人人皆可美,人人皆可做主播。
而到了現(xiàn)在,15TOPS的AI算力可以為手機(jī)影像帶來哪些提升?
相機(jī)傳感器的成像能力是有上限的,無論單位面積多大的進(jìn)光量,在極限夜間、暗光環(huán)境下無論怎么做算法優(yōu)化都不可避免會(huì)出現(xiàn)噪點(diǎn),畫質(zhì)不佳。
AI降噪則可以突破傳感器成像能力上限,通過對(duì)畫面的實(shí)時(shí)捕捉和分析再進(jìn)行處理,優(yōu)化畫質(zhì),提升純凈度,得到一張觀感更好的照片。
因?yàn)槭謾C(jī)的內(nèi)部空間彌足珍貴,手機(jī)相機(jī)傳感器要想獲得更好的畫質(zhì),勢(shì)必要增大傳感器面積和體積,總會(huì)有上限。
并且與手機(jī)追求高度集成、輕薄化的趨勢(shì)相悖。正是因?yàn)榻K端平臺(tái)AI算力的不斷提升,可以對(duì)手機(jī)成像做出更精細(xì)化的處理。
總結(jié)
可以看到,正是依托于驍龍865移動(dòng)平臺(tái)強(qiáng)大的AI性能,更多的功能已經(jīng)得到實(shí)現(xiàn)。
而現(xiàn)在我們看到的功能相信還只是冰山一角,未來,無論在影像、還是交互方面,AI還將持續(xù)對(duì)手機(jī)使用體驗(yàn)做出更深度優(yōu)化。
對(duì)于驍龍8系旗艦平臺(tái)來說,性能方面的領(lǐng)先,已經(jīng)是習(xí)以為常的常規(guī)操作。
而此次驍龍865大幅提升的AI算力以及高通所搭建的AI生態(tài),才更有看點(diǎn)?;贏I,更多的功能演進(jìn)持續(xù)發(fā)生,正不斷提升著用戶體驗(yàn)。
當(dāng)然,還有更重要的是,小米10將首發(fā)驍龍865旗艦平臺(tái),明年Q1將正式亮相。