Camera知識(shí)體系架構(gòu)之驅(qū)動(dòng)
[導(dǎo)讀]點(diǎn)擊上方「嵌入式云IOT技術(shù)圈」，選擇「置頂公眾號(hào)」第一時(shí)間查看嵌入式筆記！CCamera知識(shí)體系龐大、又雜、又難，雖然資料也不少，但是都很亂，很容易讓人感到迷茫,失去學(xué)習(xí)的信心。對(duì)于初入這個(gè)體系的小白很難找到自己的學(xué)習(xí)的目標(biāo)和方法。眾所周知，學(xué)好Camera相關(guān)的知識(shí)，能夠在音...
點(diǎn)擊上方「嵌入式云IOT技術(shù)圈」，選擇「置頂公眾號(hào)」第一時(shí)間查看嵌入式筆記！C
Camera知識(shí)體系龐大、又雜、又難，雖然資料也不少，但是都很亂，很容易讓人感到迷茫,失去學(xué)習(xí)的信心。對(duì)于初入這個(gè)體系的小白很難找到自己的學(xué)習(xí)的目標(biāo)和方法。眾所周知，學(xué)好Camera相關(guān)的知識(shí)，能夠在音視頻相關(guān)等行業(yè)拿到非常高的報(bào)酬：
根據(jù)最近自己調(diào)試瑞芯微RV1109平臺(tái)Camera的一些心得體會(huì)，我將它們一一總結(jié)出來分享給大家：
1、瑞芯微平臺(tái)Camera調(diào)試知識(shí)體系
1.1、調(diào)試RK平臺(tái)攝像頭的一些關(guān)鍵縮寫語
| 縮寫 | 全稱 |
|---|---|
| 3A =>(AWB, AE, AF) | 表示AWB, AE, AF的簡寫 |
| AE =>(Auto Exposure) | 表示自動(dòng)曝光 |
| AF =>(Auto Focus) | 表示自動(dòng)對(duì)焦 |
| AWB =>(Auto White Balance) | 表示自動(dòng)白平衡 |
| FBC =>(Frame Buffer Compressed) | 表示幀緩沖壓縮 |
| FBC0 =>f(Rockchip yuv420sp fbc encoder) | 表示RK平臺(tái)yuv420sp fbc 編碼 |
| FBC2 =>(Rockchip yuv422sp fbc encoder) | 表示RK平臺(tái)yuv422sp fbc 編碼 |
| RkAiq =>(Rockchip Automatical Image Quality) | 表示RK平臺(tái)自動(dòng)圖像質(zhì)量 |
| IQ =>(Image Quality) | 表示圖像質(zhì)量 |
| ISP =>(Image Signal Process) | 表示圖像信號(hào)處理 |
| ISPP =>(Image Signal Post Process) | 表示圖像信號(hào)后處理 |
1.2、瑞芯微平臺(tái)Camera調(diào)試知識(shí)體系劃分
以上分為：軟件控制流程、圖像算法、圖像效果，這是相對(duì)于Android平臺(tái)來劃分的(圖片來源于韋東山老師專家計(jì)劃的Camera相關(guān)章節(jié)的學(xué)習(xí)筆記)。對(duì)于驅(qū)動(dòng)工程師，我們只需要關(guān)注以下兩個(gè)點(diǎn)：圖像算法：ISP算法(硬件)、3A算法(AE(曝光)，AF(自動(dòng)對(duì)焦)，AWB(自動(dòng)白平衡)、后處理算法(HDR、MFNR)圖像效果調(diào)試(Tunning)：ISP調(diào)試、3A調(diào)試、后處理算法調(diào)試1.3、瑞芯微平臺(tái)中Camera的數(shù)據(jù)流通路
如上圖(圖片來源于瑞芯微原廠文檔)所示，這張圖反饋了以下信息：Camera數(shù)據(jù)經(jīng)過ISP20采集，ISP20再輸出經(jīng)過一系列圖像處理算法后的數(shù)據(jù)，RkAiq不斷從ISP20獲取統(tǒng)計(jì)數(shù)據(jù)，并經(jīng)過3A等算法生成新的參數(shù)反饋給ISP20，如上所示，以上的設(shè)備節(jié)點(diǎn)并不是固定的，它可能會(huì)改變，我們可以使用media-ctl查看對(duì)應(yīng)的節(jié)點(diǎn)。RKISP驅(qū)動(dòng)主要是依據(jù)v4l2 / media framework實(shí)現(xiàn)硬件的配置、中斷處理、控制 buffer輪轉(zhuǎn)，以及控制subdevice(如mipi dphy及sensor)的上下電等功能，它的處理過程其實(shí)是非常復(fù)雜的，我們來看下面這張圖(圖片來源于瑞芯微原廠文檔)就知道了：1.3.1、通過搜索/sys目錄下查找對(duì)應(yīng)的節(jié)點(diǎn)名稱
grep?""?/sys/class/video4linux/*/name
來獲取相應(yīng)的節(jié)點(diǎn)，如下所示，這是通過grep "" /sys/class/video4linux/*/name來獲取的節(jié)點(diǎn)信息：ISP節(jié)點(diǎn)有多個(gè)video節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系，其實(shí)它們是位于不同的media設(shè)備下的，因此在不同的media下所對(duì)應(yīng)的video節(jié)點(diǎn)也是不同的。其中，冒號(hào)前面的一部分表示video節(jié)點(diǎn)，冒號(hào)后面一部分就是ISP節(jié)點(diǎn)：如上所示，video節(jié)點(diǎn)為：/sys/class/video4linux/v4l-subdev0/name
ISP節(jié)點(diǎn)為：rkispp-subdev
1.3.2、通過media-ctl獲取拓?fù)湫畔?/span>
我們可以通過media-ctl獲取拓?fù)湫畔ⅲ缓笳业较鄳?yīng)的數(shù)據(jù)通路，分別輸入以下指令：media-ctl?-p?-d?/dev/media0
media-ctl?-p?-d?/dev/media1
media-ctl?-p?-d?/dev/media2
media-ctl?-p?-d?/dev/media3
然后我們就可以找到ISP20輸出的四路數(shù)據(jù)的信息了：也就是說，我們在應(yīng)用程序中只需要去操作：/dev/video30??或??rkispp_m_bypass
/dev/video31??或??rkispp_scale0
/dev/video32??或??rkispp_scale1
/dev/video33??或??rkispp_scale2
就可以對(duì)攝像頭進(jìn)行驅(qū)動(dòng)了，另外：rkispp_m_bypass這路數(shù)據(jù)流比較特殊，其不支持設(shè)置分辨率，其輸出分辨率由ISP輸入的分辨率決定，可以通過media-ctl查看拓?fù)浣Y(jié)構(gòu)確定ISP輸入的分辨率：如上所示，rkispp_m_bypass這路輸出的分辨率為1920x1080。其它三路數(shù)據(jù):rkispp_scale0、rkispp_scale1、rkispp_scale2節(jié)點(diǎn)支持縮放，每一路支持的最大分辨率如下所示：| 節(jié)點(diǎn)名稱 | 視頻設(shè)備ID | 最大支持寬度 | 支持輸出格式 |
|---|---|---|---|
| rkispp_m_bypass | /dev/video30 | 不支持設(shè)置分辨率，不支持縮放 | NV12/NV16/YUYV/FBC0/FBC2/ |
| rkispp_scale0 | /dev/video31 | max width: 3264,最大支持8倍縮放 | NV12/NV16/YUYV |
| rkispp_scale1 | /dev/video32 | max width: 1280,最大支持8倍縮放 | NV12/NV16/YUYV |
| rkispp_scale2 | /dev/video33 | max width: 1280,最大支持8倍縮放 | NV12/NV16/YUYV |
1.3.3、圖像優(yōu)化調(diào)試3A算法
當(dāng)Sensor輸出RAW BAYER RGB格式時(shí)，如RGGB,BGGR,GBRG,GRBG等，需要ISP20提供一系列圖像處理算法來優(yōu)化圖像效果，此時(shí)需要RkAiq模塊介入。SDK提供了一種3A獨(dú)立進(jìn)程的方式（ispserver）集成了RkAiq庫librkaiq.so，當(dāng)我們使用RK提供的RKMEDIA進(jìn)行編程獲取據(jù)流時(shí)，能夠得到具有ISP調(diào)試效果的圖像。2、RKISP調(diào)試
21、查看攝像頭sensor驅(qū)動(dòng)的適配情況
我選用的是gc2053這款攝像頭，并且在Linux設(shè)備樹中已經(jīng)做了相應(yīng)的支持，故我們可以通過獲取內(nèi)核啟動(dòng)信息來查看攝像頭驅(qū)動(dòng)的加載情況，獲取方法：dmesg?|?grep?"gc2053"
我們可以看到如下信息:其中，如果能在內(nèi)核信息中看到以上兩行信息：[????0.831096]?gc2053?1-0037:?Detected?GC2053?sensor
[????0.831201]?rockchip-mipi-dphy-rx?ff4b0000.csi-dphy:?match?m00_f_gc2053?1-0037:bus?type?4
即表示攝像頭已經(jīng)適配成功了！2.2、獲取驅(qū)動(dòng)版本號(hào)
搜索相應(yīng)的字段：dmesg?|?grep?"rkisp?driver?version"
dmesg?|?grep?"rkispp?driver?version"
如下：或者通過以下命令獲?。?/p>cat?/sys/module/video_rkisp/parameters/version
cat?/sys/module/video_rkispp/parameters/version
如下：2.3、如何判斷RKISP驅(qū)動(dòng)加載狀態(tài)
RKISP驅(qū)動(dòng)如果加載成功，會(huì)有video及media設(shè)備存在于/dev/目錄下。系統(tǒng)中可能存在多個(gè)/dev/video設(shè)備，通過/sys可以查詢到RKISP注冊的video節(jié)點(diǎn)：grep?''?/sys/class/video4linux/video*/name
查詢信息如下：當(dāng)然也可以通過media-ctl命令來打印拓?fù)浣Y(jié)構(gòu)查看pipeline的狀態(tài)是否正常，如果RKISP驅(qū)動(dòng)加載成功，則在內(nèi)核中能看到如下打?。?/p>dmesg?|?grep?Async
往期精彩
超輕量級(jí)網(wǎng)紅軟件定時(shí)器multi_timer(51 stm32雙平臺(tái)實(shí)戰(zhàn))使您的軟件運(yùn)行起來: 防止緩沖區(qū)溢出(C語言精華帖)RT-Thread UART設(shè)備驅(qū)動(dòng)框架初體驗(yàn)(中斷方式接收帶\r\n的數(shù)據(jù))
數(shù)顯儀表盤顯示“速度、方向、計(jì)數(shù)器”的跑馬燈
MCU串口命令解析器的實(shí)現(xiàn)TKM32F499評(píng)估板串口通信學(xué)習(xí)與實(shí)踐筆記
覺得本次分享的文章對(duì)您有幫助，隨手點(diǎn)
[在看]并轉(zhuǎn)發(fā)分享，也是對(duì)我的支持。
下載文檔
