SAR圖像數(shù)據(jù)集：BBox-SSDD、RBox-SSDD和PSeg-SSDD
[導(dǎo)讀]本文和之前的兩篇：《SSDD數(shù)據(jù)集的標準規(guī)范》和《SAR圖像船舶目標檢測數(shù)據(jù)集SSDD》均來自文獻：SARShipDetectionDataset(SSDD)-Of?cialReleaseandComprehensiveDataAnalysis。需要英文原文的請給“雷達通信電子戰(zhàn)...
本文和之前的兩篇：《SSDD數(shù)據(jù)集的標準規(guī)范》和《SAR圖像船舶目標檢測數(shù)據(jù)集SSDD》均來自文獻：SAR Ship Detection Dataset (SSDD)-Of?cial Release and Comprehensive Data Analysis。需要英文原文的請給“雷達通信電子戰(zhàn)”發(fā)送“1018”，鐵桿會員可進入日常更新文件夾下載中文WORD版。
01BBox-SSDD數(shù)據(jù)集統(tǒng)計信息介紹
BBox-SSDD的標簽采用PASCAL VOC格式進行標注。一個BBox由x-y圖像坐標中的兩個點描述，即A（xmin，ymin）和B（xmax，ymax）。一些基于CNN的檢測器采用BBox的一些其他描述，例如YOLO的（xmin，ymin，w，h），用戶可以靈活轉(zhuǎn)換它們。
通過BBox-SSDD數(shù)據(jù)集上的數(shù)計結(jié)果可以得出以下結(jié)論：
SSDD中的船舶普遍較小，船舶的平均尺寸只有大約35×35像素，要發(fā)現(xiàn)這樣的小船是非常困難的，因此學者們應(yīng)該特別關(guān)注這一現(xiàn)象。
船舶的寬度和長度在圖像坐標系中沒有完全區(qū)分，有時BBox的寬度和高度會混淆，BBox船舶的長寬比嚴重失衡，大多數(shù)船舶的長寬比小于1，由于缺乏訓練數(shù)據(jù)，一些具有極端長寬比的船舶很容易漏檢，可以使用90°旋轉(zhuǎn)數(shù)據(jù)增強來緩解這一問題。此外，還可以只對長寬比較大的船舶數(shù)據(jù)進行選擇性增強，從而實現(xiàn)網(wǎng)絡(luò)的學習平衡。
可以發(fā)現(xiàn)SAR船非常小但BBox區(qū)域的上限相當大，即有些船的尺寸非常大，但數(shù)量卻非常少。例如，在整個數(shù)據(jù)集中，>50000的區(qū)域數(shù)只有4個。這些船可能具有最高的分辨率，因為BBox的面積是根據(jù)像素數(shù)計算的。同一船舶在高分辨率圖像中的面積大于低分辨率圖像中的面積。這種大型跨尺度船舶檢測是一項具有挑戰(zhàn)性的任務(wù)。
為了實現(xiàn)多分辨率條件下的多尺度船舶檢測，學者們可以對大型船舶進行適當?shù)南虏蓸?，以提高網(wǎng)絡(luò)多尺度特征學習的效益。此外，對于太小的船舶，可以通過上采樣插值來改進，以避免其在網(wǎng)絡(luò)中的信息丟失。
02RBox-SSDD數(shù)據(jù)集統(tǒng)計信息介紹
下圖顯示了RBox-SSDD的標注格式。一個RBox可以由四個頂點描述，即A（x1，y1），B（x2，y2），C（x3，y3）和D（x4，y4），稱這種方案為四點類型，這里四邊形的四個角是直角。上述表示可能是最直觀的，但一些檢測采用不同的編碼模式，即圖中的（x，y，w，h，θ），其中x，y是中心P的坐標，θ是方向角，稱這種方案為中心角類型。在RBox SSDD中，θ∈[0°，90°]基于角度系統(tǒng)，而不是弧度系統(tǒng)。θ是船舶主軸和負y軸之間的角度。
通過RBox-SSDD數(shù)據(jù)集上的數(shù)據(jù)統(tǒng)計結(jié)果可以看出，與BBox尺寸分布相比，船舶的尺寸分布更靠近漏斗邊緣，即幾乎沒有一艘船是方形的，這符合常識。BBox船呈對角出現(xiàn)，因為船的方向約為45°，
所以BBox的寬度等于高度。這表明RBox比BBox更先進，能更好地描述真實船舶。RBox的寬高比分布規(guī)律不同于BBox，當長寬比為3左右時，會出現(xiàn)一個小波峰。這是因為RBox可以成功識別船舶的長邊和短邊，因此長寬比大多大于1。
然而，事實上，RBox對于非常小的船仍然無能為力，因為船的像素總數(shù)太小了。還可以看出，大多數(shù)船舶在SAR圖像中保持相對的垂直和水平狀態(tài)，但一些?？吭诟劭诘拇翱赡軙a(chǎn)生較大的方向角。根據(jù)這一現(xiàn)象，可大致識別近岸船舶，然后有針對性地設(shè)計網(wǎng)絡(luò)，提高近岸船舶的檢測精度。
03PSeg-SSDD數(shù)據(jù)集統(tǒng)計信息介紹
下圖顯示了PSeg-SSDD測試集中的船舶多邊形分割標簽。在圖中不同的船舶被不同的顏色覆蓋，采用多邊形分割標簽檢測船舶是最令人滿意的，該任務(wù)是在像素級執(zhí)行的，類似于傳統(tǒng)的恒虛警檢測。
下圖顯示了PSeg-SSDD的標簽格式，可以看出，有一系列點用于描述船舶的輪廓。這些點可以連接成閉合多邊形，可使用標注工具LabelMe來獲取這些點。需要明確的是，由于SSDD中船舶的尺度差異，不同尺度或尺寸的船舶必須產(chǎn)生不同數(shù)量的輪廓點。大型船只提供更多的點，而小型船只提供更少的點。
基于PSeg-SSDD，可以使用完全卷積網(wǎng)絡(luò)（FCN）或U-Net來研究語義切分任務(wù)。語義分割是指對圖像中的每個像素進行分類。對于SAR船舶檢測，這將是一項船舶背景二進制像素級分類任務(wù)。
如果用“1”標簽預(yù)測一個像素，那么它將被視為一個像素。相反，對于“0”標簽，它是背景。在圖7b中，遮罩中的黑色區(qū)域?qū)儆诒尘跋袼?，而綠色區(qū)域?qū)儆诒尘跋袼亍Ｒ驗橹挥幸粋€船舶類別，所以遮罩中的顏色只有黑色和綠色。
此外，基于PSeg-SSDD，可以使用Mask R-CNN或PANet研究實例分割任務(wù)。實例分割是指用目標檢測方法從圖像中自動框出不同的實例，然后用語義分割方法在不同的實例區(qū)域逐像素進行標記。對于實例分割任務(wù)，訓練標簽下圖所示。實際上，多邊形分割的標簽可以用作BBox和RBox的標簽。
在上圖中，每艘船都同時有一個多邊形輪廓標簽和一個水平矩形框。對于同一艘船，多邊形輪廓標簽和水平矩形框的顏色相同。此外，不同船舶的顏色是不同的，因為它們是不同的實例，這取決于實例分割的定義。
根據(jù)PSeg-SSDD數(shù)據(jù)集上的數(shù)據(jù)統(tǒng)計結(jié)果可以看出，大型船舶的數(shù)量遠小于小型船舶的數(shù)量。這種數(shù)量上的不平衡將不可避免地使網(wǎng)絡(luò)難以有效地了解大型船舶的特性。因此，大型船舶的檢測精度低于小型船舶。這種現(xiàn)象似乎與常識相反，因為事實上，小型船舶通常更難被發(fā)現(xiàn)。通過下采樣可以降低大型船舶圖像的分辨率，提高大型船舶的檢測性能。
一艘船的面積越大，并不一定意味著它的周長越大。這是由船的扁平形狀造成的。此外，散斑噪聲的存在可能會影響船舶實際周長的統(tǒng)計，因為噪聲會使船舶邊緣更加不均勻，從而增加船舶與海洋之間的接觸面積。因此，在使用SSDD時，最好考慮抑制散斑噪聲。
從統(tǒng)計結(jié)果可以看出，SAR船舶在整個圖像中所占的比例很小，大多數(shù)小于4%。這展示了SAR“鳥瞰”視圖的特點。因此，SAR遙感圖像不同于具有“人眼”視角的自然場景的光學圖像。這表明將計算機視覺領(lǐng)域的深度學習檢測器直接應(yīng)用于SAR船舶檢測是不可行的。學者們應(yīng)該根據(jù)SAR的特點設(shè)計網(wǎng)絡(luò)，從而實現(xiàn)有目的的船舶檢測，而不是一般的目標檢測。
往期推薦
本文和之前的兩篇：《SSDD數(shù)據(jù)集的標準規(guī)范》和《SAR圖像船舶目標檢測數(shù)據(jù)集SSDD》均來自文獻：SAR Ship Detection Dataset (SSDD)-Of?cial Release and Comprehensive Data Analysis。需要英文原文的請給“雷達通信電子戰(zhàn)”發(fā)送“1018”，鐵桿會員可進入日常更新文件夾下載中文WORD版。
01BBox-SSDD數(shù)據(jù)集統(tǒng)計信息介紹
BBox-SSDD的標簽采用PASCAL VOC格式進行標注。一個BBox由x-y圖像坐標中的兩個點描述，即A（xmin，ymin）和B（xmax，ymax）。一些基于CNN的檢測器采用BBox的一些其他描述，例如YOLO的（xmin，ymin，w，h），用戶可以靈活轉(zhuǎn)換它們。
通過BBox-SSDD數(shù)據(jù)集上的數(shù)計結(jié)果可以得出以下結(jié)論：
SSDD中的船舶普遍較小，船舶的平均尺寸只有大約35×35像素，要發(fā)現(xiàn)這樣的小船是非常困難的，因此學者們應(yīng)該特別關(guān)注這一現(xiàn)象。
船舶的寬度和長度在圖像坐標系中沒有完全區(qū)分，有時BBox的寬度和高度會混淆，BBox船舶的長寬比嚴重失衡，大多數(shù)船舶的長寬比小于1，由于缺乏訓練數(shù)據(jù)，一些具有極端長寬比的船舶很容易漏檢，可以使用90°旋轉(zhuǎn)數(shù)據(jù)增強來緩解這一問題。此外，還可以只對長寬比較大的船舶數(shù)據(jù)進行選擇性增強，從而實現(xiàn)網(wǎng)絡(luò)的學習平衡。
可以發(fā)現(xiàn)SAR船非常小但BBox區(qū)域的上限相當大，即有些船的尺寸非常大，但數(shù)量卻非常少。例如，在整個數(shù)據(jù)集中，>50000的區(qū)域數(shù)只有4個。這些船可能具有最高的分辨率，因為BBox的面積是根據(jù)像素數(shù)計算的。同一船舶在高分辨率圖像中的面積大于低分辨率圖像中的面積。這種大型跨尺度船舶檢測是一項具有挑戰(zhàn)性的任務(wù)。
為了實現(xiàn)多分辨率條件下的多尺度船舶檢測，學者們可以對大型船舶進行適當?shù)南虏蓸?，以提高網(wǎng)絡(luò)多尺度特征學習的效益。此外，對于太小的船舶，可以通過上采樣插值來改進，以避免其在網(wǎng)絡(luò)中的信息丟失。
02RBox-SSDD數(shù)據(jù)集統(tǒng)計信息介紹
下圖顯示了RBox-SSDD的標注格式。一個RBox可以由四個頂點描述，即A（x1，y1），B（x2，y2），C（x3，y3）和D（x4，y4），稱這種方案為四點類型，這里四邊形的四個角是直角。上述表示可能是最直觀的，但一些檢測采用不同的編碼模式，即圖中的（x，y，w，h，θ），其中x，y是中心P的坐標，θ是方向角，稱這種方案為中心角類型。在RBox SSDD中，θ∈[0°，90°]基于角度系統(tǒng)，而不是弧度系統(tǒng)。θ是船舶主軸和負y軸之間的角度。
通過RBox-SSDD數(shù)據(jù)集上的數(shù)據(jù)統(tǒng)計結(jié)果可以看出，與BBox尺寸分布相比，船舶的尺寸分布更靠近漏斗邊緣，即幾乎沒有一艘船是方形的，這符合常識。BBox船呈對角出現(xiàn)，因為船的方向約為45°，
所以BBox的寬度等于高度。這表明RBox比BBox更先進，能更好地描述真實船舶。RBox的寬高比分布規(guī)律不同于BBox，當長寬比為3左右時，會出現(xiàn)一個小波峰。這是因為RBox可以成功識別船舶的長邊和短邊，因此長寬比大多大于1。
然而，事實上，RBox對于非常小的船仍然無能為力，因為船的像素總數(shù)太小了。還可以看出，大多數(shù)船舶在SAR圖像中保持相對的垂直和水平狀態(tài)，但一些?？吭诟劭诘拇翱赡軙a(chǎn)生較大的方向角。根據(jù)這一現(xiàn)象，可大致識別近岸船舶，然后有針對性地設(shè)計網(wǎng)絡(luò)，提高近岸船舶的檢測精度。
03PSeg-SSDD數(shù)據(jù)集統(tǒng)計信息介紹
下圖顯示了PSeg-SSDD測試集中的船舶多邊形分割標簽。在圖中不同的船舶被不同的顏色覆蓋，采用多邊形分割標簽檢測船舶是最令人滿意的，該任務(wù)是在像素級執(zhí)行的，類似于傳統(tǒng)的恒虛警檢測。
下圖顯示了PSeg-SSDD的標簽格式，可以看出，有一系列點用于描述船舶的輪廓。這些點可以連接成閉合多邊形，可使用標注工具LabelMe來獲取這些點。需要明確的是，由于SSDD中船舶的尺度差異，不同尺度或尺寸的船舶必須產(chǎn)生不同數(shù)量的輪廓點。大型船只提供更多的點，而小型船只提供更少的點。
基于PSeg-SSDD，可以使用完全卷積網(wǎng)絡(luò)（FCN）或U-Net來研究語義切分任務(wù)。語義分割是指對圖像中的每個像素進行分類。對于SAR船舶檢測，這將是一項船舶背景二進制像素級分類任務(wù)。
如果用“1”標簽預(yù)測一個像素，那么它將被視為一個像素。相反，對于“0”標簽，它是背景。在圖7b中，遮罩中的黑色區(qū)域?qū)儆诒尘跋袼?，而綠色區(qū)域?qū)儆诒尘跋袼亍Ｒ驗橹挥幸粋€船舶類別，所以遮罩中的顏色只有黑色和綠色。
此外，基于PSeg-SSDD，可以使用Mask R-CNN或PANet研究實例分割任務(wù)。實例分割是指用目標檢測方法從圖像中自動框出不同的實例，然后用語義分割方法在不同的實例區(qū)域逐像素進行標記。對于實例分割任務(wù)，訓練標簽下圖所示。實際上，多邊形分割的標簽可以用作BBox和RBox的標簽。
在上圖中，每艘船都同時有一個多邊形輪廓標簽和一個水平矩形框。對于同一艘船，多邊形輪廓標簽和水平矩形框的顏色相同。此外，不同船舶的顏色是不同的，因為它們是不同的實例，這取決于實例分割的定義。
根據(jù)PSeg-SSDD數(shù)據(jù)集上的數(shù)據(jù)統(tǒng)計結(jié)果可以看出，大型船舶的數(shù)量遠小于小型船舶的數(shù)量。這種數(shù)量上的不平衡將不可避免地使網(wǎng)絡(luò)難以有效地了解大型船舶的特性。因此，大型船舶的檢測精度低于小型船舶。這種現(xiàn)象似乎與常識相反，因為事實上，小型船舶通常更難被發(fā)現(xiàn)。通過下采樣可以降低大型船舶圖像的分辨率，提高大型船舶的檢測性能。
一艘船的面積越大，并不一定意味著它的周長越大。這是由船的扁平形狀造成的。此外，散斑噪聲的存在可能會影響船舶實際周長的統(tǒng)計，因為噪聲會使船舶邊緣更加不均勻，從而增加船舶與海洋之間的接觸面積。因此，在使用SSDD時，最好考慮抑制散斑噪聲。
從統(tǒng)計結(jié)果可以看出，SAR船舶在整個圖像中所占的比例很小，大多數(shù)小于4%。這展示了SAR“鳥瞰”視圖的特點。因此，SAR遙感圖像不同于具有“人眼”視角的自然場景的光學圖像。這表明將計算機視覺領(lǐng)域的深度學習檢測器直接應(yīng)用于SAR船舶檢測是不可行的。學者們應(yīng)該根據(jù)SAR的特點設(shè)計網(wǎng)絡(luò)，從而實現(xiàn)有目的的船舶檢測，而不是一般的目標檢測。
往期推薦
本文和之前的兩篇：《SSDD數(shù)據(jù)集的標準規(guī)范》和《SAR圖像船舶目標檢測數(shù)據(jù)集SSDD》均來自文獻：SAR Ship Detection Dataset (SSDD)-Of?cial Release and Comprehensive Data Analysis。需要英文原文的請給“雷達通信電子戰(zhàn)”發(fā)送“1018”，鐵桿會員可進入日常更新文件夾下載中文WORD版。
下載文檔
