這個(gè)共分四部分的系列文章深入研究了在手機(jī)和其他手持設(shè)備平臺(tái)上的圖像采集與處理的趨勢(shì)以及設(shè)計(jì)上的挑戰(zhàn)。本部分主要討論的是使用軟件增強(qiáng)光學(xué)性能。

晶圓規(guī)模的制造技術(shù)的發(fā)明使得以非常低廉的成本生產(chǎn)及其緊湊的相機(jī)模塊成為可能。處于物理上的原因，很小的相機(jī)模塊其性能要劣于大一些的相機(jī)模塊，但小相機(jī)模塊產(chǎn)生的缺陷可以通過(guò)新式的采用晶圓規(guī)模制造的鏡頭結(jié)構(gòu)來(lái)糾正。然而，這只能用來(lái)保持現(xiàn)狀，無(wú)法提升圖像質(zhì)量也無(wú)法增強(qiáng)用戶的體驗(yàn)。

當(dāng)前，高分辨率拍照手機(jī)的設(shè)計(jì)師們已經(jīng)可以僅突出像素?cái)?shù)量來(lái)向消費(fèi)者推銷其產(chǎn)品。隨著拍照手機(jī)的廣泛應(yīng)用(已經(jīng)超過(guò)80%的手機(jī)安置了至少一個(gè)攝像頭)，消費(fèi)者們已經(jīng)意識(shí)到圖像的質(zhì)量和其像素?cái)?shù)不存在必然的聯(lián)系。事實(shí)上，從火星車上傳回的令人驚嘆的圖片是通過(guò)僅為1M像素的相機(jī)拍攝的。同樣，專業(yè)級(jí)相機(jī)的設(shè)計(jì)師們已經(jīng)很早就知道，為了獲取一個(gè)更高質(zhì)量的數(shù)碼圖片，就需要光學(xué)和軟件的密切配合。

如在本文的第一部分討論的那樣，客戶的需求提高了新式拍照手機(jī)的圖像質(zhì)量以及一系列嵌入式功能。其中最讓人期待的是光學(xué)變焦、調(diào)焦以及低光學(xué)靈敏度，例如沒(méi)有閃光的拍照。所有這些功能都是實(shí)現(xiàn)起來(lái)相對(duì)簡(jiǎn)單的，前提是允許增加高度和成本，尤其是變焦的范圍。傳統(tǒng)的變焦需要兩個(gè)鏡頭來(lái)在相機(jī)內(nèi)的光軸上做相對(duì)運(yùn)動(dòng)。這可以通過(guò)微型驅(qū)動(dòng)器來(lái)完成，但最終的產(chǎn)品會(huì)體積大、功耗大、反應(yīng)速度慢，并且不符合便攜式電子設(shè)備的惡劣環(huán)境下的完整無(wú)損，尤其是“跌落試驗(yàn)”。因此，相機(jī)模型的設(shè)計(jì)師們?nèi)绾文芴峁┧械南M(fèi)者所需的功能，提高圖片質(zhì)量，同時(shí)不影響產(chǎn)品的外觀、可靠性以及最重要的成本?答案就是軟件增強(qiáng)光學(xué)。

軟件增強(qiáng)光學(xué)

軟件增強(qiáng)光學(xué)，或稱之為“智能光學(xué)”，是一種對(duì)已知光學(xué)效應(yīng)進(jìn)行圖像處理的糾正技術(shù)。光學(xué)效應(yīng)可以是必須予以糾正的內(nèi)在缺陷，或有意引入一種能提供某功能或特定效果的人為修正。如果目標(biāo)僅僅是提高圖像的質(zhì)量，那么可以不用投資購(gòu)買高質(zhì)量、高精度的光學(xué)設(shè)備，可以通過(guò)軟件就可以糾正由低廉光學(xué)鏡頭倉(cāng)引來(lái)的已知畸變。例如，如果尺寸以及成本受限，就意味著圖片的角落總是存在相同程度的模糊不清，軟件增強(qiáng)光學(xué)可以應(yīng)用邊緣銳化算法來(lái)修正這些角落區(qū)域。然后，用戶就會(huì)對(duì)這樣的圖片感到滿意，因?yàn)檫@些相機(jī)模塊內(nèi)部固有的缺陷可以修正或被掩蓋，而呈現(xiàn)出的圖片在所有部門都很好。為了進(jìn)一步高效，這種修正可以完全做到對(duì)用戶透明，即無(wú)需用戶干涉。

有了這種軟件增強(qiáng)光學(xué)的概念，新的機(jī)會(huì)處處逢生。這些基本的方法是使用專業(yè)鏡頭，在光線進(jìn)入相機(jī)時(shí)對(duì)這些光線進(jìn)行操作，按照所需的功能來(lái)將這些光線在分布在成像器上。受操作的圖片沒(méi)有直接使用，它需要軟件進(jìn)一步修正。然而，因?yàn)閳D像按照已知的方式被操作，在數(shù)字上是可以被恢復(fù)的，從而高質(zhì)量的輸出被提出出來(lái)。通過(guò)這種辦法便可實(shí)現(xiàn)很多功能，包括無(wú)運(yùn)動(dòng)部件的全光學(xué)變焦、延長(zhǎng)景深以及低能見(jiàn)度環(huán)境下的小F值光學(xué)性能。

用于光學(xué)變焦的軟件增強(qiáng)光學(xué)解決方案利用了這種現(xiàn)象，即在常規(guī)光學(xué)鏡頭倉(cāng)中，信息的密度在視野范圍內(nèi)是不一致的。中心區(qū)域包含了更多的數(shù)據(jù)，而邊緣相反。然而一個(gè)圖像傳感器有一個(gè)規(guī)則的、二維的像素陣列。這意味著取景時(shí)，成像器的中心是正常采樣，而邊緣是過(guò)采樣。軟件增強(qiáng)光學(xué)解決方案利用了特定設(shè)計(jì)的像素鏡頭，從而提供了視野內(nèi)非均勻分布的光學(xué)感應(yīng)性能，從而與固態(tài)成像器的量化格式相吻合。在效果上，這與自然界所采取的傳統(tǒng)方法相反。很多帶有單孔徑眼睛的動(dòng)物，尤其是鳥類，有一個(gè)標(biāo)準(zhǔn)的“鏡頭”，但在視網(wǎng)膜上的導(dǎo)管和圓錐細(xì)胞是非均勻分布的。在這兩種情況中，都會(huì)導(dǎo)致圖像失真，但都可以得到糾正，因?yàn)殓R頭的設(shè)計(jì)以及成像器(或者視網(wǎng)膜)的像素分布都是已知的。

為了能以一樣的放大倍數(shù)查看，算法必須壓縮視野中央?yún)^(qū)域的細(xì)節(jié)，因?yàn)樵谶@個(gè)區(qū)域中專業(yè)鏡頭增加了放大倍數(shù)和分辨率。因此，壓縮不會(huì)降低圖像的質(zhì)量，而實(shí)際上，軟件增強(qiáng)鏡頭解決方案在這樣的設(shè)計(jì)中，可以使得圖像質(zhì)量與傳統(tǒng)的相機(jī)產(chǎn)生的一樣。當(dāng)圖像進(jìn)行縮放時(shí)，圖像的邊框會(huì)出現(xiàn)，而已經(jīng)放大的中央?yún)^(qū)域會(huì)被保留。隨后，圖像會(huì)被糾正失真。這是與數(shù)字變焦最大的不同，因?yàn)樽兘故晴R頭運(yùn)動(dòng)的結(jié)果，并在圖像采集時(shí)已經(jīng)固定下來(lái)，因此變焦后的圖像保留了其原始的較高的分辨率。軟件增強(qiáng)光學(xué)可以實(shí)現(xiàn)3倍的變焦。

圖是一個(gè)使用軟件增強(qiáng)光學(xué)來(lái)提供變焦功能的例子。在這個(gè)方案中，沒(méi)有可運(yùn)動(dòng)的部件，即是物理上的緊湊型、堅(jiān)固耐用、瞬間可視、耗電量很小的、進(jìn)而成本很低。這明顯好于數(shù)字變焦。數(shù)字變焦涉及到了圖像的修剪和擴(kuò)展來(lái)填補(bǔ)視野，這自然會(huì)降低分辨率，因?yàn)榭捎玫男畔⒎稚⒃诟蟮膮^(qū)域上。在一個(gè)3倍的數(shù)字變焦中，幾乎90%的質(zhì)量信息會(huì)在圖像采集時(shí)丟失，這也是為什么數(shù)字變焦只提供了很小倍數(shù)的放大功能。用于變焦的圖像增強(qiáng)解決方案可以通過(guò)固定鏡頭和一個(gè)簡(jiǎn)單的算法來(lái)實(shí)現(xiàn)。這使得這種方案對(duì)所有成像器技術(shù)以及所有分辨率(從QCIF到>10M像素)都適應(yīng)，所以預(yù)計(jì)將在短期內(nèi)廣泛應(yīng)用于拍照手機(jī)中。

圖. 使用OptiMLTM變焦軟件增強(qiáng)光學(xué)解決方案實(shí)現(xiàn)的光學(xué)變焦(僅顯示視野的中央?yún)^(qū)域)(左圖)進(jìn)行失真糾正前的圖像(中圖)經(jīng)過(guò)1倍光學(xué)變焦放大的失真糾正后的圖像(右圖)經(jīng)過(guò)2倍光學(xué)變焦放大的失真糾正后的圖像。來(lái)源：Tessera公司

通過(guò)拍照手機(jī)得到的圖片往往是出于“一時(shí)興起”的事情。消費(fèi)者不希望場(chǎng)景是安排好的，并且將沒(méi)有時(shí)間或感到麻煩來(lái)將相機(jī)和他們本人置于距目標(biāo)最合適的地方。借助于這些小型光學(xué)器件，一個(gè)傳統(tǒng)的相機(jī)模塊只需在一定的距離內(nèi)聚焦目標(biāo)，典型的是60厘米到數(shù)十米。由于未能了解和遵守這個(gè)限制，消費(fèi)者往往對(duì)他們自己成像后的圖片無(wú)法感到滿意。針對(duì)這個(gè)問(wèn)題的圖像增強(qiáng)解決方案是“擴(kuò)展景深”。這導(dǎo)致了場(chǎng)景的所有細(xì)節(jié)將會(huì)被定焦，只要這些細(xì)節(jié)在距相機(jī)模塊10厘米到無(wú)窮遠(yuǎn)的范圍內(nèi)。類似于軟件增強(qiáng)鏡頭變焦方案，這可以通過(guò)專業(yè)鏡頭提供的光學(xué)放大和一個(gè)簡(jiǎn)單算法的合并得到。它不涉及任何運(yùn)動(dòng)部件，因此是堅(jiān)固的、可靠的、瞬時(shí)的并低功耗的。[!--empirenews.page--]

在傳統(tǒng)的相機(jī)模塊中，光學(xué)鏡頭倉(cāng)被設(shè)計(jì)用來(lái)聚焦光源點(diǎn)，因此放置在相機(jī)內(nèi)離成像器一定的距離的位置上。如果鏡頭無(wú)法聚焦或者目標(biāo)離鏡頭太近，涂點(diǎn)會(huì)出現(xiàn)在彌漫的區(qū)域，因此圖像會(huì)變得模糊。這種鏡頭將光源變換成模糊光斑的規(guī)律可以描述成一種數(shù)學(xué)上的變化，稱之為點(diǎn)擴(kuò)散功能。如果鏡頭的點(diǎn)擴(kuò)散功能已知，模糊可以通過(guò)使用數(shù)字信號(hào)處理來(lái)恢復(fù)到原始的現(xiàn)場(chǎng)情景。但當(dāng)圖片中的僅某個(gè)區(qū)域失焦，則不管采用什么變換方法，都無(wú)法可靠的識(shí)別出來(lái)。軟件增強(qiáng)光學(xué)解決了這個(gè)問(wèn)題，方法是通過(guò)可控的方法來(lái)重新定焦整個(gè)圖像。鏡頭有效的創(chuàng)建了一個(gè)不管離光源多遠(yuǎn)模糊程度都一樣的圖像，這可以通過(guò)一個(gè)直接的算法來(lái)進(jìn)行解交織。其結(jié)果使得圖像更加良好、清晰，不管前景、中距或者遠(yuǎn)景都能同時(shí)在焦點(diǎn)上。圖8給出一個(gè)很好的例子。

圖.一種傳統(tǒng)的鏡頭只能聚焦有限范圍內(nèi)的目標(biāo)，尤其是中距和遠(yuǎn)距離的目標(biāo);一種軟件增強(qiáng)光學(xué)解決方案，如OptiML聚焦，可以實(shí)現(xiàn)擴(kuò)展景深，從10厘米到無(wú)窮遠(yuǎn)，而無(wú)需增相機(jī)模塊的高度或者復(fù)雜度。來(lái)源：Tessera公司

關(guān)于拍照手機(jī)的主要抱怨之一是其低能見(jiàn)度時(shí)的性能。其實(shí)這只是一個(gè)半真理命題。小型相機(jī)模塊因?yàn)槠湎袼爻叽绲目s小，無(wú)疑導(dǎo)致了相對(duì)于數(shù)字靜止相機(jī)光學(xué)靈敏度的降低。從2007年像素尺寸為2.2μm到2008年的1.75μm，預(yù)計(jì)2009年會(huì)發(fā)展到1.4μm，最終會(huì)達(dá)到1.1μm，這一趨勢(shì)會(huì)對(duì)低能見(jiàn)度性能和圖像質(zhì)量有著顯著的影響。簡(jiǎn)而言之，隨著像素尺寸的降低，其敏感度也在減小。從更為技術(shù)的角度來(lái)看，光二極管吸收光子和釋放電子的能力隨著像素的下降而減弱。小像素尺寸帶來(lái)的其他相應(yīng)影響，包括第動(dòng)態(tài)范圍和下降的信噪比。現(xiàn)實(shí)中，拍照手機(jī)較差低能見(jiàn)度性能的感知更主要的是由越來(lái)越多在低能見(jiàn)度環(huán)境下拍照而帶來(lái)的;典型的，在晚上以及在如俱樂(lè)部和飯店等場(chǎng)所，在這些地方的光照強(qiáng)度大約在5 lux，而遠(yuǎn)遠(yuǎn)小于白天室外的>350 lux。由于亮度下降，從數(shù)字成像器得到的圖片質(zhì)量自然迅速惡化，如同增加噪聲一樣出現(xiàn)缺陷，細(xì)節(jié)丟失或者色彩錯(cuò)誤。

拍照手機(jī)低能見(jiàn)度性能不足的一個(gè)重要原因是，無(wú)法改變光學(xué)鏡頭倉(cāng)的F值，因?yàn)檫@在制造時(shí)就一定固定了。大多數(shù)數(shù)字靜態(tài)相機(jī)提供了一個(gè)增大光圈的選項(xiàng)，來(lái)補(bǔ)償昏暗場(chǎng)景下光子數(shù)目的減少。但機(jī)械可調(diào)光圈會(huì)使得機(jī)身變得很大、不堅(jiān)固、反應(yīng)速度慢并功耗較高。簡(jiǎn)單的降低固定光圈相機(jī)的F值來(lái)提高低光敏感度，不是一個(gè)很好的選擇，因?yàn)檩^大的光圈會(huì)減小景深，從而當(dāng)場(chǎng)景有景深時(shí)很難獲取一個(gè)很好的圖像質(zhì)量。典型的，標(biāo)準(zhǔn)拍照手機(jī)使用的光圈在F/2.8到F/2.4之間，主要是為了保留足夠的深度，來(lái)對(duì)正常亮度條件下的對(duì)焦。一個(gè)簡(jiǎn)單的成像光圈固定，在低光條件下，不能延長(zhǎng)曝光時(shí)間。然而，這會(huì)使得圖片易受到運(yùn)動(dòng)模糊或機(jī)身晃動(dòng)的影響，并且不可能用于視頻采集，因?yàn)橐曨l采集需要曝光時(shí)間受幀率限制在67毫秒以內(nèi)。

“速度”是描述光學(xué)系統(tǒng)將光線傳遞到成像器的能力的一種簡(jiǎn)單方法。在光線好的環(huán)境下對(duì)“慢鏡頭”進(jìn)行操作。這是因?yàn)?，光學(xué)允許使用小光圈以及慢快門來(lái)獲取很好的景深。而在差光線下或在好光線但需要快門速度很快(如下面提到的體育運(yùn)動(dòng))的條件下拍照，需要一個(gè)“快鏡頭”。因此，這個(gè)挑戰(zhàn)是在光照條件、景深、快門速度間提供一個(gè)很好的聯(lián)系，并開(kāi)發(fā)一種快速鏡頭來(lái)適用于低光場(chǎng)景。

軟件增強(qiáng)光學(xué)為拍照手機(jī)提供了一種全自動(dòng)解決方法，從而可以使消費(fèi)者可以在更廣泛的光照條件下拍攝清晰的圖片。這種方法的基本思想是設(shè)計(jì)帶有低F值光學(xué)器件的相機(jī)模塊，典型是F/1.75，并通過(guò)一種上述的擴(kuò)展景深解決方案來(lái)將景深恢復(fù)成正常情況。低F值光學(xué)器件使超高速鏡頭解決方案適用于靜態(tài)攝影以及視頻采集。信號(hào)處理可以補(bǔ)償對(duì)比度的損失并隨后降低最終圖像中的噪聲，而保留了原始圖像的邊緣、細(xì)節(jié)以及質(zhì)地等。這是可能的，因?yàn)閷懭刖€性緩存器中供算法使用的信息提供了基于像素平均的數(shù)據(jù)，并提高了圖像的信噪比約6個(gè)dB。該種方案的有效性可以通過(guò)對(duì)比圖9中由1.75μm成像器得到的兩張圖來(lái)描述。

實(shí)現(xiàn)

軟件增強(qiáng)光學(xué)綜合了專業(yè)鏡頭和自定義的算法，從而提供了有著卓越質(zhì)量的圖片，并對(duì)用戶完全透明。然而，相機(jī)模塊的設(shè)計(jì)師們需要事先考慮如何將這些增強(qiáng)技術(shù)納入到手持機(jī)中，而不是一個(gè)插件的形式。原則上，所有需求只是一個(gè)客戶制定的光學(xué)鏡頭倉(cāng)中的鏡頭，這可以通過(guò)現(xiàn)有的架構(gòu)和鏡頭材料來(lái)制造而成。自定義的鏡頭可以甚至可以取代現(xiàn)有的鏡頭。和這個(gè)鏡頭一起的，還有圖像處理算法。用于這些方案中的算法可以非常小，通常是10萬(wàn)級(jí)邏輯門。這對(duì)于嵌入到CMOS成像器而言非常小，但這需要與成像器制作商協(xié)調(diào)，然后模具必須安置正確的光學(xué)器件。

另一種放置算法的方法是軟件或固件的形式，可以運(yùn)行在圖像處理器或者手機(jī)處理器上。同樣，兩種方案在技術(shù)角度上都很簡(jiǎn)單，但需要與傳統(tǒng)的相機(jī)模塊供應(yīng)商進(jìn)行很好的溝通。不過(guò)，這些方案的益處是如此引人注目，帶有擴(kuò)展景深的3百萬(wàn)像素拍照手機(jī)已在量產(chǎn)并將在2009年配置到高分辨率相機(jī)-連同變焦和超快速鏡頭解決方案。

雖然這些可以提升高度微型化和低成本相機(jī)模塊的原始性能的軟件增強(qiáng)光學(xué)工作，是獨(dú)立于變焦解決方案，他們都沒(méi)有提供可以提升用戶拍攝體驗(yàn)時(shí)的滿意度的功能。這個(gè)問(wèn)題并不涉及相機(jī)模塊設(shè)計(jì)師們，而是原始設(shè)備制造商的任務(wù)。一個(gè)數(shù)碼相機(jī)最常見(jiàn)的問(wèn)題是紅眼現(xiàn)象，這解釋了為什么當(dāng)前80%以上的數(shù)碼靜態(tài)相機(jī)都實(shí)現(xiàn)了減弱紅眼現(xiàn)象的功能。這些功能是否會(huì)在拍照手機(jī)上提供，以及它們是如何被集成的，我們將在本系列文章的第四部分討論。