Versal AI Edge系列提供了一系列功能強(qiáng)大的系統(tǒng)級芯片(SoC)設(shè)備，專門針對邊緣應(yīng)用進(jìn)行了優(yōu)化，特別是涉及人工智能和機(jī)器學(xué)習(xí)的應(yīng)用。

這些設(shè)備結(jié)合了多種處理元素，包括Arm Cortex-A72應(yīng)用處理器、實時Cortex-R5F處理器、可編程邏輯和專用AI引擎。所有這些組件都通過高帶寬、低延遲的片上網(wǎng)絡(luò)(NoC)相互連接，從而實現(xiàn)高效的數(shù)據(jù)移動和跨異構(gòu)計算結(jié)構(gòu)的緊密集成。

利用人工智能和機(jī)器學(xué)習(xí)的眾多邊緣應(yīng)用之一是視頻流檢測和分類。這些系統(tǒng)通常使用卷積神經(jīng)網(wǎng)絡(luò)(cnn)在邊緣執(zhí)行局部推理。這種類型的應(yīng)用非常適合在Versal AI Edge設(shè)備上實現(xiàn)，該設(shè)備結(jié)合了AI引擎、高帶寬片上網(wǎng)絡(luò)(NoC)、可編程邏輯和應(yīng)用處理器，以實現(xiàn)高性能、低延遲的解決方案。

在開發(fā)和部署高級應(yīng)用程序和機(jī)器學(xué)習(xí)模型之前，必須建立一個強(qiáng)大的圖像處理管道。該管道通常與MIPI相機(jī)接口，并執(zhí)行諸如去馬賽克、色彩空間轉(zhuǎn)換和基本圖像增強(qiáng)或預(yù)處理功能等操作。這些步驟確保捕獲的圖像數(shù)據(jù)適合進(jìn)一步的處理和推理。

在許多開發(fā)工作流程中，一個關(guān)鍵的早期里程碑是演示可靠的硬件和攝像機(jī)接口。這包括驗證圖像處理管道是否按預(yù)期工作，MIPI相機(jī)是否可以正確配置，以及是否接收到有效的圖像流。在集成高級AI或應(yīng)用程序邏輯之前，通過確保I/O分配、時鐘策略和圖像處理流的正確實現(xiàn)，及早確認(rèn)這些元素可以降低開發(fā)風(fēng)險。

這個堅實的基礎(chǔ)使得在項目的其余部分中更快地迭代和更自信地進(jìn)展。

在這個項目中，我們將探索創(chuàng)建一個通用AI邊緣圖像處理平臺，目標(biāo)是Alinx VD100開發(fā)板，它具有兩個四通道MIPI輸入和一個LVDS LCD顯示輸出。通用AI Edge設(shè)備可以使用免許可的Vivado標(biāo)準(zhǔn)版進(jìn)行開發(fā)，使該平臺可用于原型設(shè)計和開發(fā)。

整個的調(diào)試

雖然在Versal上調(diào)試應(yīng)用程序與在7系列、UltraScale和UltraScale+設(shè)備上調(diào)試非常相似，而且我們可以使用Chipscope，但需要注意一些重要的區(qū)別。

最重要的變化在于調(diào)試集線器的連接方式。在7系列、UltraScale和UltraScale+設(shè)備中，調(diào)試集線器通過JTAG邊界掃描接口連接到設(shè)計中插入的調(diào)試內(nèi)核。這個調(diào)試中心在實現(xiàn)流的優(yōu)化階段自動插入。

相反，對于Versal，調(diào)試集線器通過CIPS(配置、初始化和電源管理系統(tǒng))塊的AXI4主接口連接到調(diào)試內(nèi)核。此外，與前幾代調(diào)試內(nèi)核使用專有接口不同，Versal調(diào)試內(nèi)核使用標(biāo)準(zhǔn)的AXI4-Stream接口，與平臺的現(xiàn)代化互連體系結(jié)構(gòu)保持一致。

因此，必須在設(shè)計中提供CIPS塊，以促進(jìn)到調(diào)試集線器的axis4主連接。根據(jù)設(shè)計上下文，調(diào)試集線器插入可以是自動的，也可以是手動的。對于包含DFX(動態(tài)功能交換)的設(shè)計，必須手動插入調(diào)試集線器。

另一個關(guān)鍵的區(qū)別是軸流ILA的使用。在Versal中，該IP核將標(biāo)準(zhǔn)ILA和系統(tǒng)ILA功能集成到單個塊中。此外，用戶現(xiàn)在可以選擇用于存儲捕獲數(shù)據(jù)的內(nèi)存類型(BRAM或uram)，從而在捕獲深度和資源使用方面提供更大的靈活性。

調(diào)試方法

在調(diào)試應(yīng)用程序時，我們需要采用邏輯方法。因此，在使用System ILA或ILA時，我們應(yīng)該理解FPGA設(shè)計是一個迭代過程，如果我們從邏輯上解決問題，這是最成功的。

最好的方法是：

?把問題分解成更小的部分

?通過減少變量和變化來簡化

?做一個預(yù)測，然后驗證結(jié)果

?在設(shè)計周期的早期計劃如何以及在哪里進(jìn)行調(diào)試

插裝方法

當(dāng)在實際設(shè)計中使用集成邏輯分析儀(ILA)時，重要的是要有策略地使用儀器來平衡調(diào)試可見性和FPGA資源使用。

ILAs消耗邏輯和塊RAM，這在已經(jīng)接近容量的設(shè)備中成為一個關(guān)鍵問題。

捕獲深度和被監(jiān)測信號的寬度直接影響B(tài)RAM的使用——更寬的探針和更長的捕獲窗口會迅速耗盡可用內(nèi)存。

在早期的版本中，遵循上面概述的方法，重點關(guān)注關(guān)鍵控制信號、重置線和狀態(tài)或錯誤指示器，因為這些通常提供對系統(tǒng)行為的直接洞察，并幫助在調(diào)試周期的早期識別問題。

系統(tǒng)內(nèi)的關(guān)鍵AXI總線，特別是那些與Versal的片上網(wǎng)絡(luò)(NoC)和處理系統(tǒng)接口的總線，也應(yīng)該考慮用于儀表。這些接口是PL、NoC和PS之間的關(guān)鍵數(shù)據(jù)路徑，可能會暴露系統(tǒng)集成和數(shù)據(jù)移動中的微妙問題

雖然這些寬總線是資源密集型的，但它們承載著可編程邏輯和處理系統(tǒng)之間的基本流量，并且可以揭示數(shù)據(jù)處理和系統(tǒng)集成中的微妙問題。

從精心選擇的控制、復(fù)位、狀態(tài)/錯誤和這些關(guān)鍵AXI接口的混合開始，在適當(dāng)?shù)牟东@深度提供了對系統(tǒng)級行為的有價值的可見性，同時為迭代調(diào)試改進(jìn)保留了空間。

Vivado設(shè)計

為了創(chuàng)建一個能夠接收、處理和顯示來自傳感器的圖像的圖像處理管道，我們必須設(shè)計一個在控制、接口和處理系統(tǒng)(CIPS)控制下運行的復(fù)雜系統(tǒng)。

圖像幀通過一系列IP塊捕獲和處理，而應(yīng)用軟件、DDR存儲器訪問以及CIPS和可編程邏輯之間的通信都通過片上網(wǎng)絡(luò)(NoC)進(jìn)行。

這種高性能互連確保了整個系統(tǒng)的高效數(shù)據(jù)移動。該設(shè)計的總體架構(gòu)如下圖所示。

像素將作為10位原始數(shù)據(jù)從傳感器接收，每個時鐘周期處理4個像素。當(dāng)數(shù)據(jù)在管道中移動時，它被轉(zhuǎn)換為RGB格式，從而產(chǎn)生120位寬(4像素× 3通道× 10位)的AXI4-Stream接口。這種寬數(shù)據(jù)路徑確保了整個圖像管道的高吞吐量和低延遲。

雖然設(shè)計中使用的確切IP塊取決于應(yīng)用程序的具體要求，但核心管道通常包括傳感器接口、去馬賽克、色彩空間轉(zhuǎn)換、圖像增強(qiáng)和視頻定時控制模塊，以及AXI流互連和控制邏輯。

為了幫助我確保設(shè)計正確運行，我將在圖像處理管道中插入幾個ila。

?ILA_LCD_LVDS -這將幫助我監(jiān)控LCD / LVDS接口，確保其錯誤和狀態(tài)信號可以很容易地觀察到。

?視頻ILA -使用四個通道來監(jiān)控處理管道中的AXIS視頻。它觀察MIPI輸出、Demosaic、子集轉(zhuǎn)換器和VDMA輸出。這允許我們在管道的任何階段監(jiān)控視頻，無論是進(jìn)入和走出VDMA。

?內(nèi)存ILA—通過NoC監(jiān)視進(jìn)出DDR的AXI4流量，這允許我檢查DDR的數(shù)據(jù)寫入和寫入是否正確。

?輸出ILA -這監(jiān)視AXI流到視頻輸出狀態(tài)，以確保我們可以看到它的狀態(tài)和錯誤條件。

?控制、接口和處理系統(tǒng)(CIPS)配置處理系統(tǒng)(PS)，管理平臺初始化，并提供對基本外設(shè)的訪問。

?片上網(wǎng)絡(luò)(NoC)通過為互連結(jié)構(gòu)提供入口和出口點，促進(jìn)了高帶寬數(shù)據(jù)的移動，并且還集成了DDR存儲器控制器，用于訪問外部存儲器。

?SmartConnect -提供連接到IP塊上的axis - lite寄存器接口，使處理系統(tǒng)能夠控制和配置。

?MIPI CSI-2 RX子系統(tǒng)-實現(xiàn)4通道MIPI CSI-2接口，每通道運行1000 Mbps，實現(xiàn)從兼容相機(jī)傳感器高速圖像數(shù)據(jù)捕獲。

?Demosaic -將原始拜耳模式像素數(shù)據(jù)轉(zhuǎn)換為完整的RGB像素，從傳感器輸入重建每個像素的顏色信息。

?AXI子集轉(zhuǎn)換器-將40位像素數(shù)據(jù)(通常每個RGB通道10位)轉(zhuǎn)換為24位像素格式(每個通道8位)，保持每個時鐘周期4個像素的吞吐量。

?VDMA(視頻直接內(nèi)存訪問)——橋接了AXI4- stream和AXI4內(nèi)存映射接口，通過NoC在DDR內(nèi)存中存儲和檢索視頻幀，并支持處理階段之間的高效緩沖。

?AXI4-Stream to Video Out—將AXI4-Stream視頻流轉(zhuǎn)換為標(biāo)準(zhǔn)視頻輸出格式，生成必要的同步信號，如HSync、VSync和視頻定時，以驅(qū)動顯示接口。

?視頻時序控制器(VTC) -生成所需的視頻時序信號，如HSync， VSync和活動視頻指示器，并與AXI4-Stream to Video Out塊同步，以確保正確的顯示時序。

?LCD LVDS接口-將標(biāo)準(zhǔn)并行視頻輸出轉(zhuǎn)換為串行VESA LVDS流格式，適用于驅(qū)動具有所需時序和信號特性的基于LVDS的LCD面板。

?高級IO向?qū)?配置通用設(shè)備中的XPIO序列化LCD LVDS輸出數(shù)據(jù)，使視頻信號高速傳輸?shù)椒螸VDS VESA標(biāo)準(zhǔn)的顯示器。

為了確保我們能夠驗證和調(diào)試圖像處理管道的操作，我們在設(shè)計中添加了幾個集成邏輯分析儀(ILAs)。這些ila提供關(guān)鍵內(nèi)部信號的實時可視性，并能夠監(jiān)測以下要素：

?ILA_LCD_LVDS -監(jiān)控LCD_LVDS塊的狀態(tài)輸出，以驗證正確的序列化和數(shù)據(jù)傳輸?shù)絃CD面板。

?Video_ILA -監(jiān)控視頻處理管道中的關(guān)鍵點，包括RAW視頻輸出、Demosaic塊的RGB輸出、AXI子集轉(zhuǎn)換器的24位輸出和VDMA的視頻流輸出。這樣可以在每個階段驗證像素數(shù)據(jù)轉(zhuǎn)換。

?Memory_ILA—監(jiān)視通過NoC進(jìn)出DDR內(nèi)存的AXI4事務(wù)，提供對內(nèi)存訪問模式、帶寬利用率和數(shù)據(jù)移動中的潛在瓶頸的可見性。

?Output_ILA—監(jiān)視AXI4-Stream到Video Out IP的狀態(tài)信號，包括同步有效性、數(shù)據(jù)啟用和視頻時序校準(zhǔn)，確保正確切換到顯示接口。

這為我們提供了在整個圖像處理管道中觀察靜態(tài)go/no-go狀態(tài)信號和高帶寬數(shù)據(jù)傳輸?shù)哪芰Α?

完成的設(shè)計如下所示，可以使用本項目附帶的TCL腳本重新創(chuàng)建。

為了生成比特流，我們當(dāng)然需要定義XDC I/O約束，它為所有外部接口指定物理引腳位置和電氣標(biāo)準(zhǔn)。這些I/O位置定義如下：

應(yīng)用軟件

應(yīng)用軟件將使用Vitis統(tǒng)一軟件平臺開發(fā)。該應(yīng)用程序負(fù)責(zé)執(zhí)行以下關(guān)鍵任務(wù)：

?使用Alinx提供的初始化文件配置攝像機(jī)。

?設(shè)置視頻定時控制器(VTC)以生成720p分辨率的適當(dāng)定時信號。

?配置Demosaic IP以實現(xiàn)正確的顏色重建。

?通過GPIO控制信號使能攝像頭。

?將VDMA配置為在DDR內(nèi)存和視頻管道之間讀寫圖像幀，利用NoC進(jìn)行高速數(shù)據(jù)訪問。

?完整的軟件應(yīng)用程序可以在我的GitHub上參考和重用。

伊拉驗證

當(dāng)軟件運行時，我們可以使用ILAs來驗證圖像處理管道是否按預(yù)期運行。這些集成電路在系統(tǒng)優(yōu)化和調(diào)試中也起著關(guān)鍵作用。

在Vivado硬件管理器中，ILA將被重新映射為一個數(shù)值。映射如下圖所示：

?ILA1 -記憶ILA。

?ILA2 -輸出ILA。

?Ila3 - LCD液晶顯示器。

?ILA4 -視頻ILA。

驗證的第一步是監(jiān)視axis4 - stream to Video Out塊的狀態(tài)信號。該IP提供指示器，顯示AXI流和視頻定時信號是否正確同步。如果輸入的視頻時間不匹配或不穩(wěn)定，塊將無法鎖定，從而阻止視頻輸出。

此外，由于該塊包括一個內(nèi)部FIFO，我們可以通過ILA觀察其溢出和下流狀態(tài)信號。這些信號在診斷性能問題(如數(shù)據(jù)饑餓或管道中的反壓)時特別有價值，并有助于指導(dǎo)內(nèi)存帶寬或緩沖策略的改進(jìn)。

觀察作為輸出ILA的ILA1上的信號，我們可以看到包含視頻的AXI流被視頻時序控制器生成的時序信號鎖定。如果AXI流沒有同步，例如，它是一個不同的格式，AXI流到視頻輸出塊將無法鎖定。

驗證過程的下一步是檢查LCD LVDS輸出。此階段提供關(guān)鍵狀態(tài)指示燈，用于確認(rèn)內(nèi)部時鐘是否被鎖定以及接口是否允許向顯示器傳輸下游數(shù)據(jù)。監(jiān)控這些信號有助于確保序列化視頻流正確生成并傳輸?shù)絃CD面板，并可以快速突出與時鐘或鏈路啟用相關(guān)的問題。

在驗證圖像處理路徑本身時，首先要檢查的是MIPI CSI-2 RX子系統(tǒng)的視頻輸出。在這個階段，我們應(yīng)該觀察到每個時鐘4像素的10位原始輸出。如果相機(jī)配置或MIPI接口有問題，通常會出現(xiàn)這種情況——要么是沒有視頻輸出，要么是視頻格式出乎意料。驗證此輸出有助于確認(rèn)相機(jī)已正確初始化，并且MIPI鏈路已正確建立。

MIPI CSI-2 RX子系統(tǒng)的輸出輸入Demosaic模塊，該模塊將10位原始拜耳像素數(shù)據(jù)轉(zhuǎn)換為30位RGB格式，每個顏色通道(紅、綠、藍(lán))有10位。由于管道繼續(xù)以每個時鐘4像素的速度運行，因此Demosaic塊的最終AXI4-Stream輸出為120位寬(4像素× 30位)，在提供完全重構(gòu)的顏色數(shù)據(jù)的同時保持高吞吐量。

液晶顯示器需要24位RGB像素，每個顏色通道8位。為了滿足這一要求，AXI子集轉(zhuǎn)換器將像素深度從每像素30位減少到24位。當(dāng)系統(tǒng)繼續(xù)以每個時鐘4像素的速度運行時，轉(zhuǎn)換器的輸出變?yōu)?6位寬(4像素× 24位)，與下游視頻輸出路徑所期望的格式一致。

最后，在寫入路徑上，我們可以觀察到AXI4事務(wù)將處理過的視頻幀寫入DDR內(nèi)存。這些傳輸由VDMA發(fā)起，VDMA將AXI4- stream視頻管道連接到AXI4內(nèi)存映射接口，從而通過NoC實現(xiàn)幀數(shù)據(jù)的高效存儲。監(jiān)視此活動可確保將幀緩沖區(qū)正確地寫入內(nèi)存以供后續(xù)讀取和顯示。

讀取路徑從VDMA通過NoC發(fā)出AXI4讀取事務(wù)開始，以便從DDR內(nèi)存檢索視頻幀。這些事務(wù)將存儲的幀數(shù)據(jù)移回axis4 - stream域中，在那里它可以通過管道的其余部分流向顯示。觀察這些AXI4讀取可以確認(rèn)內(nèi)存訪問正常工作，并且正在與視頻輸出時間同步獲取幀。

圖像處理管道的最后一個元素是來自VDMA的AXI4-Stream輸出，它每個時鐘提供一個像素。該流被送入AXI4-Stream to Video Out IP塊，在那里它與視頻定時信號同步并準(zhǔn)備顯示。這種切換標(biāo)志著從基于內(nèi)存的緩沖到實時視頻輸出的過渡，完成了圖像管道。

通過觀察所有這些ila，我們獲得了對圖像處理管道內(nèi)部操作的寶貴見解，使我們能夠調(diào)查和查明可能出現(xiàn)的任何問題。通常，這些問題可以追溯到軟件配置錯誤或單個IP塊上的錯誤配置設(shè)置，這在早期的開發(fā)和集成階段是可以預(yù)料到的。

當(dāng)然，對正確系統(tǒng)操作的最直接和最直觀的確認(rèn)是看到屏幕上顯示的實時圖像，但是當(dāng)事情沒有按計劃進(jìn)行時，ILAs提供了所需的更深入的可視性。

總結(jié)

在這個項目中，我們探索了如何在Versal AI Edge設(shè)備上構(gòu)建一個簡單的圖像處理管道并驗證其功能。在繼續(xù)開發(fā)應(yīng)用程序及其算法的高級方面時，建立這個基礎(chǔ)管道可以顯著降低技術(shù)風(fēng)險。

通過利用集成邏輯分析儀(ILAs)，我們能夠觀察和驗證設(shè)計中的關(guān)鍵點，確保每個階段的行為都符合預(yù)期。這種實時可見性使我們能夠快速有效地識別在集成或開發(fā)過程中可能出現(xiàn)的任何問題的根本原因，從而導(dǎo)致更順暢、更可靠的開發(fā)過程。

ChipScope及其集成邏輯分析儀是開發(fā)人員可以快速輕松地調(diào)試應(yīng)用程序的重要元素。

本文編譯自hackster.io