摘要

本文介紹實時安全氣泡探測的架構(gòu)，以及在開發(fā)模塊化解決方案、優(yōu)化高數(shù)據(jù)帶寬應(yīng)用以實現(xiàn)每秒30幀（FPS）運行、設(shè)計多線程應(yīng)用和算法以準(zhǔn)確探測靠近地面的物體等方面所面臨的挑戰(zhàn)。

簡介

機器人的普及程度越來越高，目前正在逐漸提高在各行各業(yè)的效率和生產(chǎn)力。然而，為了確保周邊人員和資產(chǎn)的安全，機器人必須配備碰撞檢測和停止功能。安全氣泡探測器可以探測指定安全區(qū)域內(nèi)是否存在物體或人員。

本文重點介紹如何使用ADI公司的EVAL-ADTF3175D-NXZ飛行時間(ToF)平臺實現(xiàn)安全氣泡探測器應(yīng)用。ADTF3175D模塊具有75°的視場(FoV)。如需在實際應(yīng)用中覆蓋更寬的視場，則可以組合使用多個傳感器。例如，為了覆蓋270°的視場，則需使用四個模塊。安全氣泡探測算法在EVAL-ADTF3175D-NXZ平臺的i.MX8MP處理器上運行，可以捕獲來自傳感器的深度圖像，并探測安全氣泡半徑內(nèi)的任何物體。為了便于集成到機器人應(yīng)用中，通常借助機器人操作系統(tǒng)(ROS)框架來實現(xiàn)安全氣泡探測應(yīng)用。該算法經(jīng)過高度優(yōu)化，在此平臺上實現(xiàn)了30 FPS幀率。安全氣泡探測器是自動導(dǎo)引車(AGV)和自主移動機器人(AMR)的基本組成部分。相關(guān)安全區(qū)通常用AGV/AMR周圍的虛擬圓形區(qū)域表示，如圖1中的紅色圓圈所示。

圖1.安全氣泡探測器

安全氣泡探測器是AGV/AMR系統(tǒng)必不可少的組成部分。圖2中的安全氣泡探測器由四個EVAL-ADTF3175DNXZ模塊構(gòu)成，覆蓋278°的視場。這些模塊呈水平分布，飛行時間(ToF)模塊之間彼此相隔67.5°，這種配置有助于減少盲點，呈現(xiàn)278°的視場。

為了方便ToF模塊和主機系統(tǒng)之間的通信，系統(tǒng)采用ROS發(fā)布者-訂閱者模型，如圖3所示。此設(shè)置使用Ethernet over USB進(jìn)行通信，以確保數(shù)據(jù)完整性并提高通信速度。

圖2.水平設(shè)置。(a)頂視圖；(b)前視圖。

系統(tǒng)采用安全氣泡探測算法來探測安全氣泡半徑內(nèi)的物體。探測標(biāo)志以ROS 話題（Topic）的形式傳輸，主機可以訂閱所有模塊的話題，并合并各個探測結(jié)果。此外，這些模塊還可發(fā)布深度圖像、紅外圖像和輸出圖像以供進(jìn)一步分析。ROS提供了有效的可視化工具，例如rviz，它可以將發(fā)布的話題可視化。該應(yīng)用設(shè)計為高度可配置的，將參數(shù)傳遞給ROS節(jié)點即可調(diào)整攝像頭位置、旋轉(zhuǎn)角度和其他配置值。

該應(yīng)用實現(xiàn)了多線程架構(gòu)，如圖4所示。輸入、處理、輸出三個線程并行運行。該設(shè)計旨在有效減少延遲，確保持續(xù)對最新可訪問幀運行算法模塊。輸入線程從ToF模塊讀取圖像并更新輸入隊列，而處理線程獲取輸入隊列并運行安全氣泡探測算法，發(fā)布探測到的標(biāo)志并將輸出推送到輸出隊列。輸出線程讀取輸出隊列并發(fā)布話題以實現(xiàn)可視化。在實時場景中，當(dāng)算法模塊的幀速率低于輸入線程時，先前未來得及處理的的幀將被丟棄，從而以最小延遲優(yōu)先處理最新的幀。

圖3.主機作為訂閱者、ROS節(jié)點作為發(fā)布者的架構(gòu)

圖4.多線程程序

主機和ToF模塊之間的通信采用TCP/IP協(xié)議，通過ROS發(fā)布者-訂閱者模型進(jìn)行。主機將來自ROS節(jié)點（ToF模塊）的已發(fā)布輸出圖像合并，并發(fā)布合并后的輸出。

如圖5所示，主機是NVIDIA® Jetson Xavier NX，利用Ethernet over USB協(xié)議為所有四個ToF模塊供電并與之通信。

安全氣泡的默認(rèn)半徑為一米，這可以在ROS啟動文件中進(jìn)行配置。如果在該區(qū)域內(nèi)探測到物體，則會觸發(fā)設(shè)置中的物體探測標(biāo)志，并通過ROS主題發(fā)送到主機。主機訂閱每個ToF模塊的物體探測話題。結(jié)果通過簡單的邏輯工作范圍OR（或）運算合并。如果任何一個傳感器在安全氣泡內(nèi)探測到物體，合并后的結(jié)果就會指示存在物體。

圖5.采用NVIDIA Jetson Xavier NX的水平設(shè)置

為了實現(xiàn)可視化，傳感器將獲取的圖像轉(zhuǎn)換為頂視圖，并根據(jù)物體位于安全氣泡內(nèi)部還是外部，用綠色和紅色像素標(biāo)記物體。各傳感器也會將此圖像作為ROS 話題發(fā)布，隨后主機將它們合并成組合圖像。圖6為所有已發(fā)布輸出圖像主題的組合圖像。

圖6.四個TOF模塊的組合頂視圖

為了實現(xiàn)可視化，在左上角繪制一個方框來顯示物體探測狀態(tài)（綠色：未探測到物體；紅色：探測到物體）。參見圖7。

這些圖像可以通過ROS工具rviz進(jìn)行可視化。此外，NVIDIA Jetson Xavier NX可以通過HDMI線連接到顯示器，以便查看輸出。為了進(jìn)行分析，我們可以啟用輸入圖像的深度圖像、點云和頂視圖等可視化功能。這些可視化功能為探測到的物體及其空間關(guān)系提供更詳細(xì)的信息和洞察。參見圖8。

圖7.可視化。(a)未探測到物體；(b)探測到物體。

圖8.可視化（用于分析的調(diào)試圖像）

所用SQA流程

采用標(biāo)準(zhǔn)軟件質(zhì)量保證(SQA)方法來確保軟件的安全性和質(zhì)量。

單元測試：ROS支持多級別的單元測試。

庫單元測試：測試獨立于ROS的庫。

ROS節(jié)點單元測試：節(jié)點單元測試啟動節(jié)點及其外部API，即已發(fā)布話題、已訂閱話題和服務(wù)。

代碼覆蓋率：代碼覆蓋率分析由ROS的一個工具包完成，有助于消除從未被執(zhí)行的“死代碼”并提高單元測試質(zhì)量。

文檔：ROS有一個工具包ros_doc_lite，它能為源文件生成doxygen格式的文檔。

使用Clang格式來格式化代碼，并使用Clang-tidy來維護(hù)ROS編碼風(fēng)格指南。

安全氣泡探測器能夠可靠地探測各種形狀、顏色和尺寸的物體，包括厚度僅5毫米的電纜。

算法的延遲非常低，只有30 ms，可確保實時探測物體并作出響應(yīng)。

由于充分利用了ROS框架來構(gòu)建用戶界面和提供可視化功能，該應(yīng)用具有高度可移植性，可兼容任何使用ROS的主機，幫助縮短客戶產(chǎn)品的上市時間。

對于透明和低反射物體，ToF傳感器的準(zhǔn)確度較低。因此，對玻璃瓶和塑料球等物體，會出現(xiàn)探測滯后。例如，圖9顯示了算法探測到物體的距離（安全半徑設(shè)置為100 cm）。y軸代表測試對象。玻璃瓶(12, 7)表示玻璃瓶高12 cm，寬7 cm。如果括號中只有一個參數(shù)，則它表示物體的半徑或立方體的邊長。表1總結(jié)了安全氣泡探測器的規(guī)格。

圖9.探測準(zhǔn)確度

表1.安全氣泡探測器規(guī)格

結(jié)論

這款由ADTF3175D和EVAL-ADTF3175DNXZ ToF平臺組成的安全氣泡探測器具有許多優(yōu)勢。它針對i.MX8MP平臺進(jìn)行了高度優(yōu)化，實現(xiàn)了30 FPS的流暢性能；而且采用多線程方法來有效減少延遲，確?？焖夙憫?yīng)；此外還實施了SQA方法來確保軟件安全并維護(hù)質(zhì)量標(biāo)準(zhǔn)。

致謝

感謝ADI-TOF SDK團(tuán)隊的支持。

參考文獻(xiàn)

“工業(yè)視覺技術(shù)”。ADI公司?！癆nalog Devices ToF”。GitHub, Inc.

“Analog Devices 3DToF ADTF31xx”。GitHub, Inc.

“Analog Devices 3DToF Safety Bubble Detector”。GitHub, Inc.“Analog Devices 3DToF Floor Detector”。GitHub, Inc.

“Analog Devices 3DToF Image Stitching”。GitHub, Inc.