引言

當(dāng)前對(duì)蘋果品質(zhì)的檢測(cè)工作主要依靠人工完成,但是人工檢測(cè)會(huì)存在誤判、效率低和成本高等問(wèn)題,且對(duì)于后期的水果分揀工作也存在效率和準(zhǔn)確率低的問(wèn)題。機(jī)器視覺(jué)就是用圖像攝取裝置等來(lái)代替人眼做一些分析和判斷,自動(dòng)得到一些問(wèn)題的結(jié)果,近年來(lái)其以速度快、信息量大、功能多等特點(diǎn)在水果分級(jí)分揀領(lǐng)域得到了廣泛應(yīng)用。本研究從水果的分級(jí)分揀環(huán)節(jié)入手,利用圖像分割和深度學(xué)習(xí)算法,達(dá)到了準(zhǔn)確高效分揀水果的目的。

1水果分級(jí)分揀系統(tǒng)硬件搭建

水果分級(jí)分揀系統(tǒng)樣機(jī)如圖1所示,其主要由硬件系統(tǒng)和軟件系統(tǒng)構(gòu)成。

(1）硬件系統(tǒng)包括圖像采集模塊、機(jī)械手模塊。圖像采集模塊用于圖像的獲取,作為圖像分析的數(shù)據(jù)源:機(jī)械手模塊用于對(duì)水果進(jìn)行抓取。

(2）軟件系統(tǒng)主要實(shí)現(xiàn)蘋果的智能識(shí)別和自動(dòng)抓取功能,包括蘋果定位模塊、蘋果分類識(shí)別模塊和機(jī)械手抓取模塊。其中抓取系統(tǒng)的x軸、y軸運(yùn)動(dòng)利用標(biāo)準(zhǔn)滑臺(tái)實(shí)現(xiàn),Z軸運(yùn)動(dòng)利用滾珠絲杠花鍵實(shí)現(xiàn),同時(shí)還可以實(shí)現(xiàn)旋轉(zhuǎn)和旋轉(zhuǎn)移動(dòng):利用pLC對(duì)電機(jī)進(jìn)行閉環(huán)控制,實(shí)現(xiàn)抓取裝置準(zhǔn)確定位:利用氣缸驅(qū)動(dòng)夾具實(shí)現(xiàn)抓取功能。

2水果分級(jí)分揀系統(tǒng)關(guān)鍵技術(shù)研究

基于機(jī)器視覺(jué)的蘋果分揀系統(tǒng)要解決兩個(gè)關(guān)鍵問(wèn)題,一是如何通過(guò)圖像來(lái)確定蘋果的空間位置,二是如何通過(guò)圖像來(lái)確定蘋果的分類和分級(jí)。因此,本項(xiàng)目以蘋果為研究對(duì)象,從圖像分割算法、相機(jī)標(biāo)定、特征學(xué)習(xí)和水果分揀等關(guān)鍵技術(shù)著手開(kāi)展研究。

2.1卷積神經(jīng)網(wǎng)絡(luò)的分類能力

基于成像分析的傳統(tǒng)視覺(jué)方法需要對(duì)被識(shí)別的目標(biāo)建立數(shù)學(xué)模型,而蘋果的色澤、表面缺陷、花尊、果梗等特征很難用數(shù)學(xué)模型進(jìn)行準(zhǔn)確描述,而卷積神經(jīng)網(wǎng)絡(luò)不需要建立特征模型,只需利用一個(gè)帶標(biāo)簽的圖像集作為訓(xùn)練集,對(duì)卷積神經(jīng)網(wǎng)絡(luò)開(kāi)展訓(xùn)練,模型會(huì)自動(dòng)學(xué)習(xí)樣本中不同等級(jí)蘋果的特征,這樣利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò),可以很容易對(duì)不同特征的蘋果進(jìn)行分類。本研究采用深度學(xué)習(xí)算法,針對(duì)采樣訓(xùn)練需要海量數(shù)據(jù)的缺點(diǎn),選取同一蘋果不同的側(cè)面,使得模型可以更好地學(xué)習(xí)目標(biāo)屬性特征,克服不同角度下分類不準(zhǔn)確的問(wèn)題,從而有效提升模型的整體性能、泛化能力和學(xué)習(xí)能力?；诰矸e神經(jīng)網(wǎng)絡(luò)的

2.2Mask-RCNN圖像語(yǔ)義分割的準(zhǔn)確性

圖像分割是機(jī)械手精確測(cè)量和識(shí)別定位的關(guān)鍵環(huán)節(jié),傳統(tǒng)的圖像分割方法對(duì)圖像紋理、明暗、背景和復(fù)雜度等因素非常敏感,很難確保圖像分割質(zhì)量。Mask-RCNN網(wǎng)絡(luò)可以自動(dòng)提取目標(biāo)特征信息,將圖像上每一個(gè)像素進(jìn)行分類,即每一個(gè)像素均具有屬性類別,因此屬于蘋果像素就被歸類為蘋果,可避免圖像噪聲、復(fù)雜背景的影響。本研究為保證視覺(jué)測(cè)量的精確性和識(shí)別的準(zhǔn)確性,采用Mask-RCNN網(wǎng)絡(luò)的圖像分割方法,并在Caffe深度學(xué)習(xí)框架下,將最新的Mask-RCNN算法與ResNet特征提取網(wǎng)絡(luò)相結(jié)合進(jìn)行圖像分割訓(xùn)練。

Mask-RCNN分割算法結(jié)構(gòu)和流程圖如圖3所示。對(duì)目標(biāo)圖像,首先輸入到卷積神經(jīng)網(wǎng)絡(luò)ResNet中進(jìn)行特征提取得到feafuremap,并對(duì)這個(gè)feafuremap通過(guò)目標(biāo)估計(jì)網(wǎng)絡(luò)RPN提取可能存在的目標(biāo)區(qū)域ROI。然后ROI經(jīng)過(guò)ROIAlign層被映射成固定維數(shù)的特征向量,其中兩個(gè)分支通過(guò)全連接層進(jìn)行分類和包圍框的回歸,另一分支經(jīng)過(guò)全卷積進(jìn)行采樣得到分割圖。輸出包含3個(gè)分支:目標(biāo)分類、目標(biāo)包圍框坐標(biāo)和目標(biāo)二值掩碼。其中分類和回歸部分均由基于區(qū)域的目標(biāo)檢測(cè)網(wǎng)絡(luò)Faster-RCNN完成,目標(biāo)的像素級(jí)分割由全卷積神經(jīng)網(wǎng)絡(luò)FCN完成。

圖3Mask-RCNN網(wǎng)絡(luò)結(jié)構(gòu)圖

2.3攝像機(jī)標(biāo)定

攝像機(jī)的安裝位置、鏡頭畸變、光心坐標(biāo)等參數(shù)會(huì)影響測(cè)量精度,因此,利用攝像機(jī)對(duì)蘋果的尺寸和空間位姿進(jìn)行準(zhǔn)確測(cè)量,必須對(duì)攝像機(jī)進(jìn)行標(biāo)定,確定攝像機(jī)的內(nèi)外參數(shù)。本研究采用opencv棋盤格法進(jìn)行標(biāo)定,利用相機(jī)標(biāo)定將已知參數(shù)的棋盤格作為標(biāo)定板,在進(jìn)行圖像采集時(shí),通過(guò)調(diào)整棋盤格的位置,得到多個(gè)不同角度的棋盤格圖像,取圖像的角點(diǎn),找出其與棋盤格的對(duì)應(yīng)關(guān)系,從而估算出相機(jī)內(nèi)外參數(shù),然后采用最小二乘法估算實(shí)際存在徑向畸變下的畸變系數(shù),并利用極大似然法對(duì)參數(shù)進(jìn)行優(yōu)化,進(jìn)而提升估計(jì)精度。

2.4機(jī)械手目標(biāo)抓取

機(jī)械手的自主抓取主要基于視覺(jué)定位和視覺(jué)伺服。首先通過(guò)動(dòng)力學(xué)與運(yùn)動(dòng)學(xué)分析,采用智能算法規(guī)劃軌跡,完成機(jī)械臂智能抓取、運(yùn)動(dòng)軌跡規(guī)劃和運(yùn)動(dòng)軌跡控制,通過(guò)研究運(yùn)動(dòng)過(guò)程中誤差的來(lái)源,建立誤差智能補(bǔ)償方案:其次是針對(duì)運(yùn)動(dòng)過(guò)程誤差實(shí)時(shí)補(bǔ)償?shù)男枰?采用圖像信息的視覺(jué)伺服控制系統(tǒng),將蘋果位姿產(chǎn)生的誤差、軌跡跟蹤產(chǎn)生的誤差轉(zhuǎn)變?yōu)閳D像信息,發(fā)送給控制系統(tǒng),控制系統(tǒng)實(shí)時(shí)對(duì)誤差進(jìn)行補(bǔ)償,實(shí)現(xiàn)每次抓取位置誤差最小。

3應(yīng)用前景

當(dāng)前我國(guó)已成為世界上最大的蘋果生產(chǎn)國(guó)和消費(fèi)國(guó),市場(chǎng)占有率在50%以上,但國(guó)內(nèi)對(duì)水果品質(zhì)的檢測(cè)方法大部分還是采用傳統(tǒng)的人工方式,造成蘋果分級(jí)存在控制不嚴(yán)、品質(zhì)不高、良莠不齊和效率較低等問(wèn)題,與世界知名農(nóng)產(chǎn)品相比,無(wú)法形成品牌優(yōu)勢(shì)。例如,國(guó)外對(duì)蘋果大小分級(jí)要求85mm果中不能有80mm、75mm果,80mm果中不能有75mm果:同一規(guī)格的,裝箱果徑相差不能超過(guò)3mm。顯然,按照上述分級(jí)標(biāo)準(zhǔn)要求,簡(jiǎn)單的分級(jí)方法和分級(jí)設(shè)備是無(wú)法達(dá)到的,必須通過(guò)精確的測(cè)量才能實(shí)現(xiàn)嚴(yán)格的分級(jí)。本研究從水果的分級(jí)分揀環(huán)節(jié)入手,相對(duì)于人工而言,通過(guò)引入機(jī)器視覺(jué)分級(jí)分揀系統(tǒng)達(dá)到準(zhǔn)確高效分揀水果的目的,在重復(fù)性較高的工作中,提高該系統(tǒng)對(duì)工作環(huán)境的適應(yīng)能力以及生產(chǎn)效率和系統(tǒng)柔性,對(duì)于提高水果生產(chǎn)效率及普及水果等級(jí)標(biāo)準(zhǔn)的執(zhí)行具有推動(dòng)意義。

4結(jié)語(yǔ)

采用基于卷積神經(jīng)網(wǎng)絡(luò)CNN模型的圖像識(shí)別,機(jī)器能直接以圖像的像素作為輸入,自己學(xué)習(xí)得出最合適的圖像特征,不需要大量的先驗(yàn)知識(shí),從而避免了因人為設(shè)計(jì)特征不合適而造成的圖像識(shí)別效果變差等問(wèn)題。本項(xiàng)目將深度學(xué)習(xí)引入水果分揀系統(tǒng),搭建卷積神經(jīng)網(wǎng)絡(luò)模型CNN和Mask-RCNN網(wǎng)絡(luò)模型,同時(shí)對(duì)傳統(tǒng)的深度學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)和特征提取進(jìn)行改進(jìn),進(jìn)而在農(nóng)產(chǎn)品的檢測(cè)精度和效率上實(shí)現(xiàn)了進(jìn)一步提升。