項(xiàng)目概述

　　隨著各種圖形、圖像內(nèi)容質(zhì)量的不斷提升以及系統(tǒng)運(yùn)行實(shí)時(shí)顯示的需要，金融、通信、交通、能源、安全、軍事等越來(lái)越多的行業(yè)需要建立能夠?qū)崟r(shí)整合多路信號(hào)輸入的超大屏幕顯示系統(tǒng)。而數(shù)字技術(shù)的飛速發(fā)展，也使人們對(duì)大尺寸、多畫(huà)面、真色彩、高畫(huà)質(zhì)、高分辨率的計(jì)算機(jī)圖形、圖文、數(shù)據(jù)與各類視頻圖像顯示效果的需求得以滿足。其中，以視頻信息的要求最為強(qiáng)烈，人們不僅希望視頻顯示尺寸的越來(lái)越大，而且視頻顯示質(zhì)量也要求能達(dá)到多畫(huà)面、真色彩、高畫(huà)質(zhì)、高分辨率。

　　在大屏幕拼接系統(tǒng)中，拼接控制器的優(yōu)劣直接決定著整個(gè)大屏幕顯示系統(tǒng)效果的好與壞，目前，拼接控制器的實(shí)現(xiàn)方法共三種：第一代PCI插卡式的工作原理是通過(guò)工控機(jī)，利用多路PCI計(jì)算機(jī)主板，一部分PCI插槽插入視頻采集卡，另外一部分PCI插槽插入視頻輸出卡，輸入和輸出中間由CPU來(lái)構(gòu)建一個(gè)運(yùn)算和處理中心，這時(shí)就組建成了一臺(tái)工控式控制器。他的圖形處理原理是通過(guò)CPU運(yùn)算后將母信號(hào)分割成M*N個(gè)子視頻信號(hào)后，再把每一個(gè)子信號(hào)都進(jìn)行放大處理分別傳送給拼接幕墻上的各個(gè)對(duì)應(yīng)單元，顯示單元將處理器傳送來(lái)的信號(hào)實(shí)現(xiàn)在大屏幕的每個(gè)顯示單元上，而分辨率和處理速度由計(jì)算機(jī)CPU及對(duì)應(yīng)的PCI卡決定，故性能有限。第二代嵌入式拼接器也稱“內(nèi)拼式拼接器”他是基于液晶屏信號(hào)驅(qū)動(dòng)板上增加的運(yùn)算分割技術(shù)，其工作原理先將一個(gè)完整的母畫(huà)面?zhèn)魉椭列盘?hào)運(yùn)算處理器，運(yùn)算處理器以ID地址編碼器的方式開(kāi)始鎖定各自在母畫(huà)面中的位置，以二進(jìn)制BCD碼順序排列開(kāi)始運(yùn)算切割成多個(gè)子畫(huà)面，處理器將各自運(yùn)算好的數(shù)據(jù)直接輸送給液晶驅(qū)動(dòng)板，驅(qū)動(dòng)板將色彩、亮度、對(duì)比度等參數(shù)調(diào)校后以LVDS方式傳送至LCDIC成像器形成圖像，內(nèi)拼式拼接器只是單元內(nèi)部顯示像素的處理，結(jié)果是合成顯示圖像，不能解決信號(hào)高分辨率拼接和任意位置任意大小多窗口信號(hào)處理。第三代拼接系統(tǒng)中控制器采用純硬件處理器FPGA陣列式處理構(gòu)架，全硬件設(shè)計(jì)，無(wú)CPU和操作系統(tǒng)?？刂破骷瑢拵б曨l信號(hào)采集、實(shí)時(shí)高分辨率數(shù)字圖像處理、二維高階數(shù)字濾波等高端圖像處理技術(shù)于一身，具有強(qiáng)大的處理能力?？刂破鞑捎枚嗫偩€并行處理機(jī)制，能從根本上保證對(duì)所有輸入視頻進(jìn)行全實(shí)時(shí)處理，圖像沒(méi)有延遲，無(wú)丟楨現(xiàn)象，由于從結(jié)構(gòu)上就超出了前兩代的機(jī)器的設(shè)計(jì)理念，采用純硬件的處理器運(yùn)算技術(shù)，所以啟動(dòng)時(shí)間快，工作非常穩(wěn)定。

　　數(shù)字化系統(tǒng)產(chǎn)品中，直接采用超大規(guī)模、超高速的現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA，F(xiàn)ield Programmable Gate Array)，基于其高集成度、高速、可編程等優(yōu)點(diǎn)，來(lái)實(shí)現(xiàn)硬件單片集成，已成為必然趨勢(shì)。FPGA豐富的內(nèi)部資源及高速為實(shí)時(shí)視頻處理提供解決途徑。

　　因此，本項(xiàng)目設(shè)計(jì)基于FPGA的數(shù)字視頻處理算法， 實(shí)現(xiàn)對(duì)DVI視頻信號(hào)進(jìn)行解碼，實(shí)時(shí)對(duì)數(shù)字視頻的分割、 視頻圖像的插值放大，并同時(shí)將處理結(jié)果經(jīng)DVI編碼送到LCD顯示，完成大屏幕拼接系統(tǒng)的設(shè)計(jì)。

　　一、1、系統(tǒng)概述

　　1.1系統(tǒng)結(jié)構(gòu)

　　整個(gè)LCD屏幕顯示拼接系統(tǒng)包含DVI解碼模塊、視頻分割模塊、SRAM、視頻延展式線性插值放大模塊、視頻輸出控制模塊、DVI編碼模塊等。FPGA 內(nèi)部邏輯實(shí)現(xiàn)將輸入數(shù)字視頻分成四路并行的子視頻像素流，經(jīng)各自獨(dú)立的視頻處理通道進(jìn)行實(shí)時(shí)插值放大處理。經(jīng)過(guò)視頻編碼電路輸出到由 4個(gè)LCD顯示屏組成的拼接屏幕上進(jìn)行視頻顯示。 應(yīng)用系統(tǒng)硬件平臺(tái)的系統(tǒng)結(jié)構(gòu)設(shè)計(jì)方案， 如圖1所示。

　　圖1 LCD屏幕拼接系統(tǒng)結(jié)構(gòu)圖

　　1.2系統(tǒng)原理

　　LCD屏幕拼接顯示系統(tǒng)的工作原理， 系統(tǒng)接收一路DVI數(shù)字視頻信號(hào)， 進(jìn)行處理前需要先對(duì)最小變換差分信號(hào)(T.M.D.S.)形式的視頻信號(hào)進(jìn)行解碼(decode)處理， 得到 FPGA 可以處理的像素流信息，經(jīng)過(guò)視頻分割，分割后的子視頻與產(chǎn)生的參考視頻流復(fù)合，使各個(gè)子視頻的行場(chǎng)同步控制信號(hào)一致，各個(gè)子視頻經(jīng)過(guò)延展式線性插值放大處理， 得到最小變換差分信號(hào)的數(shù)字視頻信號(hào)， 經(jīng) DVI接口輸出到拼接 LCD 顯示器進(jìn)行顯示。

　　2、算法實(shí)現(xiàn)的功能

　　算法的主要功能如下： FPGA數(shù)字視頻處理電路是對(duì)視頻數(shù)據(jù)進(jìn)行數(shù)字處理的邏輯， 實(shí)現(xiàn)實(shí)時(shí)視頻的預(yù)處理、 圖像的分割、 視頻圖像插值放大等處理， 并通過(guò)視頻輸出模塊控制四路并行的子視頻同步地顯示到 4個(gè) LCD 拼接屏幕上。 具有以下主要功能：

　　(1)通過(guò)內(nèi)部邏輯的視頻輸入模塊(VGA Input)接收從DVI解碼電路送出的視頻圖像數(shù)據(jù)， 包括像素?cái)?shù)據(jù)(R、 G、 B分量)和視頻同步控制信號(hào)(HSYNC、 VSYNC)等， 轉(zhuǎn)換成預(yù)處理的視頻像素流格式。

　　(2)視頻分割模塊實(shí)現(xiàn)原始單幀視頻圖像的分割剪裁， 得到四路完整格式的子視頻像素流 (包含視頻像素?cái)?shù)據(jù)和視頻同步控制數(shù)據(jù))， 并控制4個(gè)子視頻顯示的相互時(shí)序關(guān)系; 各個(gè)拼接屏幕的像素點(diǎn)的掃描規(guī)律相同， 均為逐行掃描形式， 并且子視頻像素點(diǎn)顯示同步， 即行同步和場(chǎng)同步。

　　(3)視頻插值模塊實(shí)現(xiàn)對(duì)視頻分割所得的子視頻進(jìn)行2×2倍地插值放大處理， 該模塊采用并行處理方式， 四路子視頻分別經(jīng)過(guò)各自獨(dú)立的視頻處理通道;插值放大算法是基于在FPGA進(jìn)行延展式線性(extended linear interpolation)待插值像素點(diǎn)的數(shù)據(jù)計(jì)算， 配合視頻生成模塊(VGASyncGen)產(chǎn)生的參考視頻流， 并通過(guò)共享的行緩沖存儲(chǔ)器實(shí)現(xiàn)插值像素?cái)?shù)據(jù)的分時(shí)讀寫(xiě)切換來(lái)實(shí)現(xiàn)的。所得到視頻像素流包含完整視頻像素流格式，并且符合較高分辨率的視頻顯示要求。

　　(4)視頻輸出模塊，完成放大處理后的各個(gè)視頻像素流輸出到DVI 編碼輸出電路。保證各個(gè)顯示屏幕得到的視頻信號(hào)符合VESA 規(guī)定的標(biāo)準(zhǔn)時(shí)序要求。

　　3、算法的FPGA實(shí)現(xiàn)

　　3.1視頻分割算法的實(shí)現(xiàn)

　　算法對(duì)數(shù)字視頻的處理采用并行處理方式， 首先要對(duì)輸入視頻像素流進(jìn)行分割處理， 得到四路具有完整視頻格式的子視頻， 并且輸出的四路子視頻具有相同的掃描規(guī)律， 即行同步和場(chǎng)同步;四路子視頻中， 當(dāng)有一個(gè)視頻進(jìn)行場(chǎng)變換或行變換時(shí)， 其它三路視頻也要同時(shí)完成對(duì)各自視頻的場(chǎng)變換或行變換;當(dāng)顯示屏在對(duì)屏上的第一行像素點(diǎn)進(jìn)行掃描時(shí)，其余各顯示屏也都在對(duì)各自屏上的第一行像素點(diǎn)進(jìn)行掃描。盡管掃描規(guī)律一致， 但每個(gè)子屏幕所顯示的視頻圖像內(nèi)容卻是不同的。

　　(1)片外SRAM分時(shí)切換： 所設(shè)計(jì)視頻分割算法通過(guò)在外部SRAM 中對(duì)輸入視頻像素?cái)?shù)據(jù)幀進(jìn)行緩存，因?yàn)橐M(jìn)行不同順序的讀、寫(xiě)操作。為了保證對(duì)數(shù)據(jù)進(jìn)行讀寫(xiě)處理的連續(xù)性， 即對(duì)RAM的寫(xiě)入和讀出不發(fā)生時(shí)間上中斷， 因此須使用兩組SRAM進(jìn)行讀、 寫(xiě)分時(shí)切換操作， 如圖2 所示。

　　圖2 SRAM讀寫(xiě)切換示意圖

　　在處理算法中使用了A、 B兩組像素?cái)?shù)據(jù)存儲(chǔ)區(qū)， 用以記錄單幀的視頻像素?cái)?shù)據(jù)。FPGA 的分時(shí)切換邏輯是依據(jù)輸入視頻流的場(chǎng)同步控制信號(hào)VSync發(fā)生由高電平到低電平的轉(zhuǎn)換， 以此作為新數(shù)據(jù)幀到來(lái)的標(biāo)識(shí)。場(chǎng)同步控制寄存器Last-VSync 存儲(chǔ)的是像素流中前一個(gè)像素點(diǎn)的場(chǎng)同步控制信息，如果 LastVSync 為高電平“1”且當(dāng)前像素點(diǎn)的場(chǎng)同步信號(hào)VSync 為低電平 “0” ， 則表示新的像素幀開(kāi)始。那么幀存儲(chǔ)器選擇寄存器ReadBank則取反， 從而提示數(shù)據(jù)寫(xiě)入和讀出控制邏輯進(jìn)行讀/寫(xiě)幀緩存的切換;相反，如果場(chǎng)同步控制寄存器LastVSync 與當(dāng)前像素點(diǎn)的 VSync 值同時(shí)為有效“1” ，即表示沒(méi)有新的像素幀的到來(lái)， 幀存儲(chǔ)器選擇寄存器不發(fā)生變化。 這樣將輸入數(shù)據(jù)輪流分配到這兩組幀緩沖存儲(chǔ)器。即可實(shí)現(xiàn)對(duì)輸入視頻像素流的無(wú)縫緩沖與處理。

　　(2)子視頻同步控制獲?。?輸入視頻圖像在一幀內(nèi)的行同步控制信號(hào)(HSync)和場(chǎng)同步控制信號(hào)(VSync)與輸出的四路子視頻的行同步控制信號(hào)及場(chǎng)同步控制信號(hào)并不一致，因此需要在算法中加入一個(gè)參考視頻像素流，用于提供子視頻行場(chǎng)同步控制信息; 該參考視頻流不包含像素點(diǎn)的R、 G、 B數(shù)據(jù)信息， 但滿足輸出子視頻流所需要的行、 場(chǎng)同步控制信號(hào)的時(shí)序特征。在形成的單幀視頻圖像中其水平方向和垂直方向像素點(diǎn)個(gè)數(shù)為輸入視頻像素點(diǎn)個(gè)數(shù)的一半，視頻刷新頻率與輸入視頻保持一致。

　　視頻流的控制邏輯如圖 3 所示， 過(guò)程如下：第1 級(jí)，將參考視頻流復(fù)制成4個(gè)子視頻流(Split4)， 第2級(jí)是對(duì)每一個(gè)視頻像素流地像素坐標(biāo)增加偏移量(dx， dy)， 使其對(duì)應(yīng)不同的子視頻像素點(diǎn)的顯示位置，例如，對(duì)第2 個(gè)子視頻， 由于它要讀取輸入視頻的右上方位置的視頻圖像數(shù)據(jù)，設(shè)置其橫向偏移量為Width/2 和縱向偏移量為0，其它的子視頻與之類似。復(fù)制出的四路參考視頻要轉(zhuǎn)換成串行像素流，輸入到幀緩存讀取像素?cái)?shù)據(jù)，第3級(jí)操作就需要改變它們的像素周期，使子視頻在每4 個(gè)像素周期內(nèi)輸出一個(gè)有效的像素?cái)?shù)據(jù)， Cycles為預(yù)設(shè)置的控制像素周期(Cycles設(shè)置為 4)， 使有效像素?cái)?shù)據(jù)的時(shí)鐘頻率與子視頻像素頻率相同。最后，對(duì)四路參考視頻像素流作不同的延時(shí)處理， 再經(jīng)過(guò)像素流融合(MUX4)為串行的視頻像素流。這樣把并行像素流轉(zhuǎn)為串行像素流，串行像素流讀取一幀像素的時(shí)間與輸入視頻像素流寫(xiě)入一幀像素的時(shí)間是相等的。像素流融合操作對(duì)輸入的四路視頻， 通過(guò)設(shè)置控制參數(shù)(control)， 在不同時(shí)鐘下選取帶有偏移量的視頻像素點(diǎn)。

　　圖 3 視頻流的控制邏輯圖

　　3.2視頻插值放大算法的FPGA實(shí)現(xiàn)

　　視頻插值放大模塊包含了坐標(biāo)計(jì)算單元、加權(quán)系數(shù)產(chǎn)生器、垂直插值單元、虛擬像素緩存器與水平插值單元，如圖4所示：

　　圖3 插值放大模塊的框圖[!--empirenews.page--]

　　3.2.1坐標(biāo)計(jì)算單元

　　延展式線性插值要求源圖像插值點(diǎn)周?chē)?6個(gè)像素點(diǎn)，然后根據(jù)并行計(jì)算單元獲得的插值點(diǎn)的坐標(biāo)。由插值點(diǎn)的坐標(biāo)可以決定臨近的16個(gè)行和列點(diǎn)的坐標(biāo)，接著就可以從memory中獲得16個(gè)點(diǎn)的像素并執(zhí)行線性插值。

　　線性插值的原理可分解為垂直與水平插值，例如在圖4中，在水平方向上的像素點(diǎn)，是第一個(gè)虛擬像素的地址，能使從虛擬像素緩存器正確讀取虛擬像素點(diǎn)與進(jìn)行水平方向的插值。這樣的操作不需要電路都同時(shí)在執(zhí)行，因此只需要一行或列的地址計(jì)算電路。

　　圖3 水平方向與垂直方向的插值

　　對(duì)于列或行地址計(jì)算器，輸入信號(hào)決定水平與垂直方向的坐標(biāo)。坐標(biāo)數(shù)據(jù)包含10位的實(shí)數(shù)以及10位的小數(shù)部分。坐標(biāo)數(shù)據(jù)的第9位是小數(shù)部分最重要的一位，它決定著小數(shù)部分是否大于0.5。同時(shí)由第9位控制的多路選擇器控制用于輸出正確的內(nèi)存地址。如果輸入的是列信號(hào)，那么行地址 ， ， ， 和垂直間隔 可由公式(1)到(3)得到，同理，列地址 ， ， ， 和水平間隔 能由公式(1)，(2)和(4)得到。

　　 (1)

(2)

(3)

　　 (4)

　　3.2.2 加權(quán)系數(shù)產(chǎn)生單元

　　在設(shè)計(jì)的框圖中，水平加權(quán)系數(shù)與垂直加權(quán)系數(shù)的計(jì)算并不是同時(shí)生產(chǎn)盡管它們都由公式(5)和(6)決定。因此，加權(quán)系數(shù)產(chǎn)生器產(chǎn)生水平及垂直加權(quán)系數(shù)，當(dāng)控制信號(hào)為水平信號(hào)時(shí)，最終的輸出為 ， ， ，

，相反的，則輸出 ， ， ，

。在延展式線性插值最大的計(jì)算量是加權(quán)系數(shù)的計(jì)算，而最復(fù)雜的運(yùn)算卻由最簡(jiǎn)單的兩個(gè)加法器和兩個(gè)減法器構(gòu)成。

　　 (5)

　　 (6)

　　3.2.3 水平與垂直插值單元

　　根據(jù)公式(7)和(8)，水平與垂直插值有同樣的運(yùn)算，但是它們是并行執(zhí)行以提高整體的速度。水平與垂直插值的邏輯結(jié)構(gòu)由圖5所示，乘法器與加法器可以有效的完成輸入的數(shù)據(jù)的卷積與拼配相應(yīng)的4個(gè)加權(quán)系數(shù)來(lái)產(chǎn)生插值的電路。

　　 (7)

　　 (8)

　　水平插值單元 垂直插值單元

　　圖5水平與垂直插值單元邏輯框圖

　　3.2.4虛擬像素緩存器

　　虛擬像素點(diǎn)是由垂直插值產(chǎn)生并存于虛擬像素緩存器中，在水平插值的過(guò)程被調(diào)用。一般來(lái)說(shuō)，縮放比例會(huì)決定這緩存器輸入與輸出數(shù)據(jù)的速率，當(dāng)放大的時(shí)候，每個(gè)虛擬像素會(huì)被重新用于水平插值以致于垂直插入器數(shù)據(jù)速率會(huì)比水平的要低，相反的，在縮小的時(shí)候，虛擬像素由垂直插值過(guò)程產(chǎn)生的會(huì)比水平插值過(guò)程所需求的要多。為了調(diào)節(jié)不同的數(shù)據(jù)速率，設(shè)計(jì)虛擬像素緩存器如圖6所示，其中包含1個(gè)計(jì)數(shù)器，8個(gè)寄存器和緩存輸出控制電路。在插值放大的過(guò)程中，緩存器有時(shí)會(huì)延緩垂直插值，虛擬像素?cái)?shù)量比水平插值所需求的確定數(shù)量要多的時(shí)候，就會(huì)停止虛擬像素的產(chǎn)生。計(jì)數(shù)器則是記錄著最新產(chǎn)生的虛擬像素點(diǎn)的列地址并存于reg7.比較器和選擇器對(duì)比計(jì)數(shù)器和 的值來(lái)決定緩存器的輸出。

　　圖6 虛擬像素緩存器

　　4、驗(yàn)證

　　算法的驗(yàn)證是基于Xilinx Virtex-4 FPGA開(kāi)發(fā)平臺(tái)，對(duì)視頻分割模塊及延展式線性插值模塊分別進(jìn)行仿真，驗(yàn)證算法的正確性，再經(jīng)反復(fù)的優(yōu)化及測(cè)試，最后下載到開(kāi)發(fā)板，驗(yàn)證輸出的視頻顯示效果是否能夠滿足視頻放大的應(yīng)用需求，完成LCD大屏幕拼接系統(tǒng)的設(shè)計(jì)。