科普:蘋果iPhone SE 2如何實(shí)現(xiàn)單攝虛化
售價(jià)僅為3299元的iPhone SE2,雖然并不支持5G網(wǎng)絡(luò),但是憑借蘋果A13芯片+IOS系統(tǒng)成為了一款“真香機(jī)”。
不過,有些業(yè)內(nèi)人士表示,iPhone SE2手機(jī)并沒有太多的亮點(diǎn),它更像是一款換芯版的iPhone 8。
4月27日,iFixit 分享了iPhone SE2拆解報(bào)告,確認(rèn)大部分iPhone SE2的零件可以與iPhone 8通用。其中,iPhone SE2的相機(jī)傳感器可以與iPhone 8互換。
手機(jī)具有便捷性這個(gè)顯著的特征,這似乎和攝影功能是天造地設(shè)的一對(duì)。很顯然,整個(gè)電子影像行業(yè)比用戶更早察覺到這一點(diǎn)。
iPhone SE2的攝像功能怎么樣?對(duì)于攝影愛好者來說,iPhone SE2只配備1200萬像素的鏡頭,并缺少廣角和微距鏡頭。iPhone SE2不支持超級(jí)夜景模式,前置攝像頭只有700萬像素。
iPhone SE2是第一部只使用單個(gè)2D圖像就能產(chǎn)生人像效果的iPhone。
例如,當(dāng)使用Halide這款應(yīng)用進(jìn)行測(cè)試時(shí)可以發(fā)現(xiàn),第一方相機(jī)僅允許在人物主體上使用人像模式。
當(dāng)發(fā)現(xiàn)這個(gè)情況的時(shí)候,有些用戶會(huì)表示iPhone XR也如此。盡管iPhone XR具有單個(gè)攝像頭,但它仍然可以通過硬件獲得深度信息。
iPhone XR利用了傳感器的聚焦像素,用戶可以將它們視為旨在幫助手機(jī)聚焦的微小“眼睛”。
iPhone XR利用從每只“眼睛”中看到非常細(xì)微的差異來生成非常粗糙的深度圖。
iPhone SE2無法使用聚焦像素,因?yàn)閕Phone SE2的傳感器覆蓋范圍不足,但是,iPhone SE2完全可以通過機(jī)器學(xué)習(xí)來產(chǎn)生具有深度的照片。
iPhone SE2的這個(gè)特點(diǎn)可以進(jìn)行簡(jiǎn)單的測(cè)試:拍攝照片而不是實(shí)物。
例如,以全屏方式加載這張照片,然后使用iPhone SE2進(jìn)行拍攝:
從圖片上可以看出,使用iPhone XR的時(shí)候可以看到幾乎平坦的表面,似乎是使用了彩色圖像改進(jìn)了該深度圖,可以猜測(cè)該圖中間的部分略高于前景中。
然而,iPhone SE2生成完全不同的深度圖。盡管這個(gè)深度圖是錯(cuò)誤的,但是結(jié)果讓人難以置信!
iPhone SE2在現(xiàn)實(shí)世界中的表現(xiàn)如何?iPhone SE2非常適合給人進(jìn)行拍攝,但是當(dāng)鏡頭里沒有人出現(xiàn)時(shí),這部手機(jī)有時(shí)會(huì)出錯(cuò)。
例如,手機(jī)將背景中的樹木與狗狗的頭部混淆了。
以下圖為例,當(dāng)用戶使用iPhone 11 Pro和SE2拍攝了該照片,很明顯,擁有多個(gè)攝像頭可以生成更好的數(shù)據(jù)。
iPhone 11捕捉了整個(gè)走廊的深度,但iPhone SE2卻錯(cuò)過了退到背景中的地板。
這對(duì)真實(shí)世界的照片意味著什么?以擁有不同層次的多肉植物為例。
iPhone 11 Pro在深度圖中顯示出明顯的邊緣;iPhone SE2獲得了事物的要點(diǎn)。
如果用戶更喜歡iPhone SE2的外觀,則始終可以使用iPhone 11 Pro重新創(chuàng)建它。但是,用戶無法在iPhone SE2上獲得iPhone 11 Pro的獨(dú)特分層。
分層是Apple的另一個(gè)機(jī)器學(xué)習(xí)過程中發(fā)揮作用的地方。
除了iPhone XR外,Apple還引入了“ Portrait Effects Matte” API,可以檢測(cè)照片中的人物并創(chuàng)建非常細(xì)膩的模糊成相。
只要前景中的物體清晰且聚焦,大多數(shù)用戶都可以在背景模糊的情況下玩兒轉(zhuǎn)攝影。
沒有什么可以阻止Apple讓用戶對(duì)所有事物進(jìn)行深度照片拍攝,但是Apple寧愿設(shè)置“人像模式僅適合人”的情景,也不愿讓深度效果不能達(dá)到預(yù)期而讓用戶失望。
機(jī)器學(xué)習(xí)是否會(huì)達(dá)到不再需要多相機(jī)設(shè)備?人類的大腦遠(yuǎn)強(qiáng)于機(jī)器這毋庸置疑。與全新的iPad Pro不同,人類的眼睛沒有任何激光雷達(dá)可以為人們提供深度信息。相反,人類的大腦卻可以從許多源頭收集信息。
最好的深度來源于人類每只眼睛的兩個(gè)圖像,人類大腦在圖像之間“連接點(diǎn)”的差異越大,物體與人眼的距離就越遠(yuǎn)。這種雙目方式類似于雙攝像頭iPhone的深度功能。
猜測(cè)深度的另一種方法是通過運(yùn)動(dòng)。當(dāng)人們走路時(shí),遠(yuǎn)處物體的視覺移動(dòng)速度比附近的物體慢。
這類似于增強(qiáng)現(xiàn)實(shí)應(yīng)用程序感測(cè)用戶在世界中位置的方式。對(duì)于攝影師來說,這不是一個(gè)很好的解決方案,因?yàn)樵谂臄z照片之前要求某人在空中揮動(dòng)手機(jī)幾秒鐘是很麻煩的。
那么,iPhone如何從單個(gè)(單眼)靜止圖像中找出深度?
可以想象一下一個(gè)用一只眼睛看世界的人,他過正常生活的時(shí)候會(huì)經(jīng)歷許多麻煩。例如,開車要花費(fèi)更多的精力。
正常視覺的人以其他線索來判斷距離,例如已知對(duì)象的相對(duì)大小。
【 圖片來源:信息時(shí)報(bào) 所有者:信息時(shí)報(bào) 】
在猜測(cè)深度時(shí),單個(gè)圖像可以有多種解決方案。
歸根結(jié)底,神經(jīng)網(wǎng)絡(luò)具有魔力,但它們受到與人類智能相同局限性的約束。
在某些情況下,僅一張圖像是不夠的。機(jī)器學(xué)習(xí)模型可能會(huì)提出合理的深度圖,但這并不意味著它可以反映現(xiàn)實(shí)。
如果用戶的目標(biāo)是準(zhǔn)確捕獲場(chǎng)景,以最大程度地編輯緯度,則在這里需要雙攝像頭系統(tǒng)或其他傳感器如激光雷達(dá)。
機(jī)器學(xué)習(xí)會(huì)超越多相機(jī)手機(jī)嗎?顯然是不可以的。
正如拿攝像機(jī)與人眼相比,從物種起源開始算起,人類用億萬年的時(shí)間進(jìn)化出來的肉眼,目前來看眼睛的能力機(jī)器是無可替代的。
因此,如果想要機(jī)器學(xué)習(xí)的速度趕超多相機(jī)手機(jī),那么至少需要學(xué)習(xí)幾年甚至幾十年的時(shí)間。