網(wǎng)絡(luò)上充斥著大量的圖片，不過(guò)，這些圖片的質(zhì)量不都是好的，有些是收帶寬限制人為壓縮的，有的是拍攝設(shè)備不太好，拍的不夠清晰，有的是上傳到網(wǎng)絡(luò)上自動(dòng)壓縮的，這些都使得畫(huà)質(zhì)變差，如今高分辨率顯示屏幕正在家庭和移動(dòng)設(shè)備上普及，因此，把低分辨率圖片轉(zhuǎn)化為高清晰版本，并可在多種設(shè)備上查看和分享，正在成為一項(xiàng)巨大的需求。日前，Google 推出了一項(xiàng)新技術(shù) RAISR，其全稱(chēng)是“Rapid and Accurate Image Super-Resolution”，意為“快速、精確的超分辨率技術(shù)”。

RAISR 這項(xiàng)技術(shù)能利用機(jī)器學(xué)習(xí)，把低分辨率圖片轉(zhuǎn)為高分辨率圖片。它的效果能達(dá)到甚至超過(guò)現(xiàn)在的超分辨率解決方案，同時(shí)速度提升大約 10 至 100 倍，且能夠在普通的移動(dòng)設(shè)備上運(yùn)行。而且，Google 的技術(shù)可以避免產(chǎn)生混疊效應(yīng)(aliasing artifacts)。

之前已經(jīng)具有透過(guò)升采樣方式，把低分辨率圖片重建為尺寸更大、像素更多、更高畫(huà)質(zhì)圖片的技術(shù)。最廣為人知的升采樣方式是線(xiàn)性方法，即透過(guò)把已知的像素值進(jìn)行簡(jiǎn)單、固定的組合，以添加新的像素值。因?yàn)槭褂霉潭ǖ木€(xiàn)性過(guò)濾器(一個(gè)恒定卷積核對(duì)整個(gè)圖片的無(wú)差別處理)，該方法速度很快。但是它對(duì)于重建高清作品里生動(dòng)的細(xì)節(jié)有些力不從心。正如下面這張圖片，升采樣的圖片看起來(lái)很模糊，很難稱(chēng)得上畫(huà)質(zhì)提升。

▲ 左為原始圖片;右為升采樣處理后圖片。

對(duì)于 RAISR，Google 另辟蹊徑得采用機(jī)器學(xué)習(xí)，用一對(duì)低分辨率、高分辨率圖片訓(xùn)練該程序，以找出能選擇性應(yīng)用于低分辨率圖片中每個(gè)像素的過(guò)濾器，這樣能生成媲美原始圖片的細(xì)節(jié)。目前有兩種訓(xùn)練 RAISR 的方法：

第一種是“直接”方式，過(guò)濾器在成對(duì)高、低分辨率圖片中直接學(xué)習(xí)。

第二種方法需要先對(duì)低分辨率圖片應(yīng)用低功耗的的升采樣，然后在升采樣圖片和高分辨率圖片的組合中學(xué)習(xí)過(guò)濾器。

“直接”方式處理起來(lái)更快，但第二種方法照顧到了非整數(shù)范圍的因素，并且更好地利用硬件性能。

無(wú)論是哪種方式，RAISR 的過(guò)濾器都是根據(jù)圖像的邊緣特征訓(xùn)練的：亮度和色彩梯度、平實(shí)和紋理區(qū)域等。這又受到方向(direction，邊緣角度)、強(qiáng)度(strength，更銳利的邊緣強(qiáng)度更高)和黏性(coherence，一項(xiàng)量化邊緣方向性的指標(biāo))的影響。以下是一組 RAISR 過(guò)濾器，從一萬(wàn)對(duì)高、低分辨率圖片中學(xué)習(xí)得到(低分辨率圖片經(jīng)過(guò)升采樣)。該訓(xùn)練過(guò)程耗費(fèi)約 1 小時(shí)。

注：3 倍超分辨率學(xué)習(xí)，獲得的 11×11 過(guò)濾器集合。過(guò)濾器可以從多種超分辨率因素中學(xué)習(xí)獲得，包括部分超分辨率。注意當(dāng)圖中邊緣角度變化時(shí)，過(guò)濾器角度也跟著旋轉(zhuǎn)。相似的，當(dāng)強(qiáng)度提高時(shí)，過(guò)濾器的銳利度也跟著提高;黏性提高時(shí)，過(guò)濾器的非均相性(anisotropy)也提高。

從左至右，學(xué)習(xí)得到的過(guò)濾器與處理后的邊緣方向有選擇性的呼應(yīng)。舉例來(lái)說(shuō)，最底一行中間的過(guò)濾器最適合強(qiáng)水平邊緣(90 度梯度角)，并具有高黏性(直線(xiàn)的而非彎曲的邊緣)。如果這個(gè)水平邊緣是低對(duì)比度的，那么如同圖中最上一行，另一個(gè)過(guò)濾器就被選擇。

實(shí)際使用中，RAISR 會(huì)在已經(jīng)學(xué)習(xí)到的過(guò)濾器列表中選擇最合適的過(guò)濾器， 應(yīng)用于低分辨率圖片的每一個(gè)像素周?chē)?。?dāng)這些過(guò)濾器被應(yīng)用于更低畫(huà)質(zhì)的圖像時(shí)，它們會(huì)重建出相當(dāng)于原始分辨率的細(xì)節(jié)，這大幅優(yōu)于線(xiàn)性、雙三(bicubic)、蘭索斯(Lancos)解析方式。

▲ RAISR 演算法運(yùn)行圖式下：原始圖像(左)，2 倍雙三解析(中)，RAISR 效果(右)。

一些運(yùn)用 RAISR 進(jìn)行圖片增強(qiáng)的范例：

▲ 上：原始圖片，下：RAISR 2 倍超分辨率效果。

▲ 左：原始圖片，右：RAISR 3 倍超分辨率效果。

超分辨率技術(shù)更復(fù)雜的地方在于如何避免混疊效應(yīng)，例如龜紋(Moire patterns)和高頻率內(nèi)容在低分辨率下渲染產(chǎn)生的鋸齒(對(duì)圖像人為降級(jí)的情形)。這些混疊效應(yīng)的產(chǎn)物會(huì)因?qū)?yīng)部分的形狀不同而變化，并且很難消除。

▲ 左：正常圖像;右：右下角有龜紋(混疊效應(yīng))的圖像。

線(xiàn)性方法很難恢復(fù)圖像結(jié)構(gòu)，但是 RAISR 可以。下面是一個(gè)例子，左邊是低分辨率的原始圖片，左 3 和左 5 有很明顯的空間頻率混淆(aliased spatial frequencies)，而右側(cè)的 RAISR 圖像恢復(fù)了其原始結(jié)構(gòu)。RAISR 的過(guò)濾器學(xué)習(xí)方法還有一項(xiàng)重要的優(yōu)點(diǎn)：用戶(hù)可以把消除噪音以及各類(lèi)壓縮演算法的產(chǎn)物做為訓(xùn)練的一部分。當(dāng) RAISR 被提供相應(yīng)的范例后， 它可以在圖片銳化之外學(xué)會(huì)消除這些效果，并把這些功能加入過(guò)濾器。

▲ 左：有強(qiáng)混疊效應(yīng)的原始圖片;右：RAISR 處理后效果。

超分辨率技術(shù)利用不同的方法已經(jīng)有了不少進(jìn)展。如今，透過(guò)把機(jī)器學(xué)習(xí)與多年來(lái)不斷發(fā)展的成像技術(shù)相結(jié)合，圖像處理技術(shù)有了長(zhǎng)足的進(jìn)步，并帶來(lái)許多好處。舉例來(lái)說(shuō)，除了放大手機(jī)上的圖片，用戶(hù)還可以在低分辨率和超高清下捕捉、儲(chǔ)存、傳輸圖像，使用更少的移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)和儲(chǔ)存空間，而且不會(huì)產(chǎn)生肉眼能觀察到的畫(huà)質(zhì)降低。

小結(jié)：自從喬布斯 2010 年在 iPhone 4s 上推出“視網(wǎng)膜屏幕”概念之后，數(shù)碼產(chǎn)品市場(chǎng)開(kāi)啟了一場(chǎng)超高清顯示革命。如今，家用顯示器逐步走向 4K，各大手機(jī)廠(chǎng)商也競(jìng)相推出 2K 旗艦機(jī)。但 2K、4K 內(nèi)容的缺乏一直是困擾行業(yè)發(fā)展的痛點(diǎn)。之前的超分辨率技術(shù)受成本、硬件限制，主要應(yīng)用于專(zhuān)業(yè)領(lǐng)域，未能大范圍普及。

此次 Google RAISR 大幅降低了圖像增強(qiáng)的時(shí)間成本和硬件要求，有望實(shí)現(xiàn)超分辨率技術(shù)在消費(fèi)領(lǐng)域的應(yīng)用，把充斥網(wǎng)絡(luò)的低畫(huà)質(zhì)圖片轉(zhuǎn)化為高清圖片，大幅提高視覺(jué)效果和用戶(hù)體驗(yàn)。十分期待將來(lái) RAISR 在移動(dòng)設(shè)備的應(yīng)用，例如把消費(fèi)者手機(jī)拍攝的照片轉(zhuǎn)化為媲美單反畫(huà)質(zhì)的高清美圖。