近日，OPPO在今年的INNO DAY活動上發(fā)布了第一款自研芯片——馬里亞納X（ MariSilicon X）。這是一款NPU芯片，但非通常意義上的NPU，而是專門用于影像處理的NPU芯片。 這不僅是一款性能參數(shù)超強的芯片，更是手機的計算影像邁入“一機雙芯”時代的開啟?！?strong>SoC+影像專用NPU”的雙芯方案會帶來手機影像Pipeline管線上全鏈條的最優(yōu)解，實現(xiàn)軟件AI算法和硬件計算資源的緊密耦合，突破旗艦手機的影像體驗。

先來看一下MariSilicon X的表現(xiàn)，據(jù)OPPO介紹有四大特點：

?AI能效突破：18TOPS AI算力；11.6TOPS/w能效比。（參考蘋果A15的NPU算力為15.8TOPS；運行同樣的OPPO的AI降噪算法的速度是搭載驍龍888的Find X3 Pro的20倍，能效比達到40倍。）

?20bit Ultra HDR：覆蓋100萬:1的最大亮度范圍，是目前行業(yè)主流HDR能力（驍龍8、天璣9000）4倍

?實時RAW處理：支持20bit RAW計算，計算前置為整個影像鏈路帶來無損的高質量數(shù)據(jù)，基礎畫質的提升、預覽即成像、三方App畫質提升

?RGBW Pro模式：雙鏈路的設計和2x RAW計算，實現(xiàn)8.6dB的信噪比和1.7倍解析力提升

通過這些強大的特性加持，MariSilicon X大幅提升了夜景視頻拍攝的畫質，將計算影像推向了4K+20bit RAW+AI+Ultra HDR的新極限。

實現(xiàn)如此強大性能的背后，究竟有哪些奧秘？我們接下來一起來解析下MariSilion X的內“芯”。

MariSilicon X：一顆影像處理專用NPU芯片

MariSilicon X采用的是自研DSA架構，其中包含多個IP：有自研NPU IP—MariNeuro、自研ISP IP—MariLumi、自研MIPI接口IP、Arm控制IP以及自主設計的雙層內存系統(tǒng)等。

MariLumi主要進行圖像信號的降噪和HDR處理，MariNeuro主要負責AI降噪算法加速，自研MIPI用于對接各種圖像傳感器，包括OPPO和Sony定制的傳感器，Arm控制IP主要用于IO口控制等，雙層內存架構用于內部數(shù)據(jù)搬運。

NPU core：MariNeuro

對于計算影像應用而言，算力自然是越高越好。但受限于手機的外形和當下的電池能量密度，所以對于這顆NPU的功耗也有著嚴格的要求，不能單純追求算力高，對于能效的控制反而更為關鍵。OPPO在最開始產品定義的時候就充分考慮了，將該NPU的功耗限制在手機功率約束范圍內，在這個限制內進行整體的架構設計。

“手機上一顆NPU設計的關鍵難點不在于算力。因為可以通過增加面積，把算力堆起來，但達到11.6 TOPS/w要難的多?！監(jiān)PPO 芯片產品高級總監(jiān)姜波表示，“有一個NPU不難，但這個NPU真的能用到那個應用場景，在這個應用場景算法約束的情況下達到這樣的能耗效率，是非常難的?！?/p>

如何理解“應用場景算法約束下達到這樣的能耗效率”這一點呢？以Find X3 Pro舉例，雖然搭載的驍龍888平臺上NPU算力很高，但跑OPPO的AI降噪算法最大只能跑到2幀，功耗達到1.7W?！?幀”只能應用在拍照上，遠遠達不到30fps的視頻拍攝最低門檻。如果將算力提高到30fps的水平，功耗也會是1.7W的數(shù)倍，這完全超出了手機的能耗約束水平。

而在OPPO自研的MariNeuro NPU上，可以在800mW的功耗約束范圍內達到40fps的水平。既然視頻拍攝30fps就已經(jīng)足夠，為何要做到40fps？姜波表示，4K 30fps只是一個基礎的要求，為了提供更好的影像效果，比如在夜景錄制的場景下，要在開啟AI降噪同時開啟HDR，這時就需要更多的算力，并且SoC中也會激活一些算力，這時候整體功耗就會提高。在這種場景下，考慮了整個鏈路的功耗，所以MariNeuro需要在30fps 800mW的表現(xiàn)上有足夠的冗余的性能，因此最終在800mW的功耗約束范圍上達到40fps水平。如果不開啟AI降噪，實時拍攝4K 60幀的HDR視頻也毫無壓力。

ISP core：MariLumi

MariSilicon X上搭載的自研ISP IP-MariLumi主要功能是HDR和降噪，采用雙鏈路的設計和2路20bit實時RAW計算，配合NPU的加速達到了120dB的降噪水平，開啟RGBW Pro模式可以實現(xiàn)8.6dB的信噪比提升。

20bit-120dB意味著對于一張圖片而言，最亮和最暗的部分相差100萬倍。參考當前的旗艦SoC（高通驍龍8 gen1和天璣9000）都是將計算位數(shù)提高到了18bit，圖片信噪比做到25萬倍左右。OPPO通過新增MariSilicon X這一顆芯片，將手機影像處理的效果突破了旗艦SoC的設定的極限。

在OPPO的測試平臺上進行對比，在4K場景下有MariSilicon X加持的圖形亮部可以達到了8dB增益，圖形暗部增益可以達到12bit，也就是8倍提升。

為了實現(xiàn)影像體驗突破，從最前端圖像傳感器這一層面上，OPPO此前就與索尼進行了深度傳感器定制。但例如RGBW這種類型的定制傳感器，整體行業(yè)應用量較少，所以SoC廠商并沒有做到最好的適配。需要傳感器端將RGBW信息轉換成傳統(tǒng)RGGB信息，然后傳到SoC進行處理。但這一轉換過程中就會造成有用信息的丟失，因此無法發(fā)揮出RGBW定制傳感器的最佳效果。MariSilicon X就起到了很好的承上啟下的紐帶作用，通過雙路超采樣pipeline（RGB+W），與前端的傳感器實現(xiàn)了緊密耦合，直接在RAW域上進行實時計算。這樣既保證了發(fā)揮定制RGBW傳感器的最佳效果，也優(yōu)化了整體處理鏈路的計算資源分配。

雙層內存系統(tǒng)

MariSilicon X是一個算法與硬件緊密耦合的芯片，因此片上內存的設計和大小也都是根據(jù)應用場景進行定制化設計的結果。據(jù)悉其采用256MB的LPDDR4X的內存顆粒，是片上獨立內存子系統(tǒng)帶寬，遠遠大于傳統(tǒng)的DDR讀寫速度，可以實現(xiàn)Tb級讀寫速度，提供8.5GB/s的影像專用帶寬，為AI的高效運算提供充分的內存讀寫支持。

據(jù)姜波介紹：“對于NPU和AI處理而言，因為是一層層計算的，所以有大量中間的運算數(shù)據(jù)。如果來回在DDR上進行搬運，就無法達成需要的目標。 ”

6nm臺積電制程

為了將整顆NPU的功耗控制在手機功耗水平之內，OPPO選擇了臺積電的6nm工藝制程，這是臺積電第一個主流的采用EUV的制程。據(jù)姜波分享，在早期評估階段，在OPPO想要的芯片表現(xiàn)的需求上，必須上到6nm才能滿足。在6nm的工藝節(jié)點上進行芯片設計，尤其是這么多自研IP的設計，本身也面臨了非常多的挑戰(zhàn)。但最終出來的成片效果非常理想，功耗表現(xiàn)等都與最初的設想相匹配。

一機雙芯：拉出影像鏈上第二條性能上升曲線

目前常規(guī)的影像處理鏈條是“圖像傳感器采集信號??SoC中的ISP進行信號處理??顯示”，計算影像的算法跑在SoC上，所以追求更好效果的方式是SoC廠商迫近更高的影像處理極限，圖像傳感器也迫近更好的性能。但這里面存在著一些難以突破的限制：SoC廠商把握不準用戶場景需求，定制傳感器和SoC無法完美配合，終端廠商的定制算法與SoC硬件資源無法緊密耦合...在OPPO追求極致用戶影像體驗的路上——后端上優(yōu)化和積累算法、在最前端傳感器定制，但不管怎么，都無法突破現(xiàn)在這條影像處理鏈上的掣肘。

手機計算影像的時代，軟硬件的緊密耦合才能發(fā)揮出最佳效果。所以OPPO的MariSilicon X出現(xiàn)了，影像鏈變成了“傳感器??影像專用NPU??SoC??顯示”，在NPU上追求算法和硬件的緊密耦合，這是一條新的性能上升曲線的出現(xiàn)。

計算重心前置的價值

首先，新增的MariSilicon X作為影像專用NPU，釋放了原先后端SoC中的影像處理和計算壓力，將計算中心前置。另外MariSilicon X將除了HDR AI降噪之外的復雜算法都在RAW上實時處理，這種處理的前移進一步保證了后鏈上接收到的影像質量。

據(jù)姜波分享，手機影像從傳感器進入之后，一般是三段式，從RAW到RGB到YUV，其實每一段都有信息損耗，目前傳統(tǒng)的SoC上面都是基于YUV做的，比如降噪、HDR等。在RAW域上對于傳感器的最原始數(shù)據(jù)進行處理，才能達到最好的效果。MariSilicon X的實時RAW處理有著影像線性度、色彩更好的優(yōu)勢，可以保持更多原始信息，實現(xiàn)更高的處理效果。OPPO的芯片設計團隊在最初定義這顆芯片時候，就充分考慮了定制化NPU芯片與OPPO定制sensor有一個最緊密的耦合、最大限度的優(yōu)化。

“通過MariSilicon X這顆影像專用芯片，我們達成了OPPO的自研算法與OPPO自研芯片的深度耦合，以及作為終端廠商，我們看到了整個影像鏈 從傳感器的定制開始、到傳感器信號的接收處理、再到圖像處理鏈條的優(yōu)化，讓算法在NPU上做到性能的最大化和最優(yōu)化，這是一種非常深入的垂直整合，相信這也是OPPO作為手機終端廠商可以達到的差異化的點。”

推動行業(yè)前進的意義

MariSilicon X是OPPO在自己當下行業(yè)位置上能夠作出的影像體驗最大化的突破。因為尚無自研SoC，所以無法直接在SoC中設計和調用NPU和ISP資源來實現(xiàn)與前端定制傳感器、終端算法的緊密耦合，實現(xiàn)軟硬件的最佳協(xié)同來達到其所期用戶體驗效果。這種在SoC外掛一個影像專用NPU的方式，固然會給終端增加較高成本，但對于追求用戶體驗的OPPO而言并不介意。

OPPO此舉為行業(yè)中計算影像的前進提供了一種新的技術路線，也只有終端廠商在深入了解了用戶的發(fā)展需求之后，才可以進行這種探索。因為雖然成本的增加較高，但相比手機終端上極致體驗提升而言并不為過；相反手機SoC廠商作為芯片供應商，如果進行這種細致的行業(yè)方向探索，試錯成本會較高。

手機SoC廠商會不會后期跟進這種思路，直接在SoC中為ISP專門開辟NPU的資源，并且提供與之緊密耦合的算法，達到目前MariSilicon X芯片新建立的旗艦影像體驗？非常有這種可能。但我們認為這種可能不會成為OPPO的顧慮，反而更是一種利好。首先這種集成從系統(tǒng)角度考慮是一種更好的方案，另外這也會為OPPO帶來的終端上成本降低。對于OPPO而言，走到了對的方向上，走到了行業(yè)的前面，這種意義已經(jīng)足夠。

OPPO新的護城河顯現(xiàn)：真正造芯能力

一提到終端廠商造芯，行業(yè)內有一種理所當然的看法是——“直接買IP，交給設計服務即可，并沒什么了不起”。出現(xiàn)這種聲音來自兩個方面：一是因為芯片設計的門檻較高，回報周期長，終端廠商確實難以踏入；二是因為目前行業(yè)內IP廠商和芯片設計服務已經(jīng)非常成熟，這的確也是行業(yè)內不少終端造芯的真實寫照。但經(jīng)過了對MariSilicon X芯片的全面了解之后，可以看到OPPO絕非如此。

引用行業(yè)內資深人士邵魏博士的一句話：“芯片項目是人類歷史上最細微也是最宏大的工程，研發(fā)投入大，項目收益高，試錯成本極高?！币粋€芯片需要經(jīng)過芯片設計、晶圓制造、封裝測試三個重要的環(huán)節(jié)。如果單純看芯片的設計，需要經(jīng)過需求分析??芯片定義??架構設計??邏輯設計??物理實現(xiàn)，以及驗證仿真和原型驗證等環(huán)節(jié)。不僅如此，在當下的芯片產業(yè)中，為了摩爾定律的延續(xù)，芯片設計者還要與晶圓制造廠、封測廠也保持密切的合作，將芯片在先進節(jié)點和封裝上的實現(xiàn)。

圖源：極客時間《說透芯片》

為什么說OPPO是具備了真正的造芯能力？首先從MariSilicon X這顆芯片整體來看，這并不是一個小芯片，其中包含了自研NPU核、ISP的核、Arm核、MIPI核、兩層內存架構等。雖然實現(xiàn)的功能看起來非常聚焦，但體現(xiàn)了OPPO小到IP核、大到SoC的設計能力。

最初的產品定義開始，姜波認為是最難的部分，用戶痛點、OPPO能力、呈現(xiàn)價值這三方面需要連起來做思考。“首先第一步是定位用戶痛點，就是OPPO能做什么，也就是有了這個技術之后能給用戶呈現(xiàn)什么，以及給到用戶的價值在哪，這是第一步。而且要看解決用戶痛點需要的基礎能力是什么，這個基礎能力其實涉及方方面面，可能涉及OPPO自己的技術積累，這個積累包含硬件設計、已有IP、算法，涉及各個方方面面。能否將這些方面垂直整合起來，實現(xiàn)至少有一個點是有突破性的，這個點對用戶有價值的（這就是技術演進的難點）?！?/p>

在產品定義之后，MariSilicon X芯片團隊就比著不同部分功能需求，在市場上找合適參數(shù)的IP。6nm的先進制程節(jié)點上不是沒有相應的IP，但經(jīng)過一番調研之后，設計團隊發(fā)現(xiàn)既有的IP并不能滿足其MariSilicon X芯片在終端層面功耗性能極致的要求。所以不論是NPU、ISP，甚至是MIPI接口，MariSilicon X芯片團隊都進行了自主的研發(fā)。但也這就意味著每一個自研的IP，理論上都要單獨經(jīng)過一個Test chip的驗證和流片，以確保其滿足預先設想的參數(shù)表現(xiàn)。確認自研的各個IP沒有問題之后，再將所有的IP進行布局和RTL綜合，后面才會進行布線、流片和驗證的工作。

在6nm的工藝上，針對每一個自研IP進行流片驗證，這本身對于這顆NPU的設計而言就是極大的挑戰(zhàn)。和經(jīng)過多個自研IP的流片驗證之后，就會消耗極大的時間和精力。姜波表示，“如果按照那樣的流程，今天我很難做在這兒跟大家share這個芯片，我們克服了好多自研上的問題，尤其是你跑到一個更新的工藝制程上，的確是有更多挑戰(zhàn)的，我們對于自研IP的功耗和性能進行了非常精細的預研預判。這里面有很多細節(jié)，這只是其中一個例子?！?/p>

在芯片制造的過程中，要實現(xiàn)一顆成熟的芯片，需要在流片、fix、bug修復、流片的這一過程上反復完善。但據(jù)姜波透露，OPPO的MariSilicon X芯片一次流片就成功了，這也意味著其只花了一次流片費用，并沒有額外的Fix和bug修復的費用。

所以從MariSilicon X的整個誕生的過程，我們可以看到OPPO的造芯能力是實實在在，已經(jīng)具備了世界一流的專業(yè)系統(tǒng)級芯片設計能力。

現(xiàn)在的先進芯片設計者不僅要懂芯片設計，同樣也要在設計過程中保持與IP商、晶圓廠的緊密的配合。這種IP設計能力、系統(tǒng)級芯片設計能力、和芯片設計上下游的協(xié)作能力，是OPPO有別與其他終端廠商的新的護城河。

結語

馬里亞納海溝給人的直觀感受是“黑”，早在兩年前有媒體爆出OPPO馬里亞納芯片計劃之時，輿論的解讀通常是“造芯之路的艱難”，“黑漆漆地摸索”。但我們認為還有另外兩種解讀的角度：

?“探索”：去沒有人到過的地方探索，新的技術，新的可能。這是OPPO作為行業(yè)開拓者的責任，先身探索。

?“更多”：海底蘊藏著極多的寶藏，除了MariSilicon X，未來里還會有更多的驚喜出現(xiàn)，綿源不絕，未來可期。

最后一塊芯片設計能力的拼圖已經(jīng)拼上了，未來OPPO從用戶到終端的全鏈條垂直整合的能力，能夠達到的程度，會越來越強。