改進YOLOv5的蘋果花生長狀態檢測方法

所屬分類：農業論文閱讀次時間：2021-11-12 15:53

本文摘要：摘要：針對現有目標檢測算法難以在果園復雜環境下對蘋果花朵生長狀態進行高精度檢測的問題，提出一種改進YOLOv5的蘋果花朵生長狀態檢測方法，對花蕾、半開、全開、凋落四類蘋果樹開花期花朵生長狀態進行檢測。該方法首先對跨階段局部網絡模塊進行改進，并調整模塊數量

　　摘要：針對現有目標檢測算法難以在果園復雜環境下對蘋果花朵生長狀態進行高精度檢測的問題，提出一種改進YOLOv5的蘋果花朵生長狀態檢測方法，對花蕾、半開、全開、凋落四類蘋果樹開花期花朵生長狀態進行檢測。該方法首先對跨階段局部網絡模塊進行改進，并調整模塊數量，結合協同注意力模塊設計主干網絡，提高模型檢測性能并減少參數。其次，結合新的檢測尺度與基于拆分的卷積運算設計特征融合網絡，提升網絡特征融合能力，最后選用CIoU作為邊框回歸的損失函數實現高精度的定位。將所改進算法與原始YOLOv5算法在自建數據集上進行對比實驗，通過實驗結果表明，本文方法mAP達到92.2%，比YOLOv5提高5.4%，與其他主流算法相比檢測精度有較大提升，證明了算法的有效性。

　　關鍵詞：YOLOv5;農業自動監測;特征融合;目標檢測

蘋果種植

　　近幾年來我國經濟林果產業飛速發展，蘋果作為最常見的經濟林果之一，其規模與產量逐年增加，但目前經濟林果的栽培質量與技術仍然有待提高。在蘋果發育的整個物候期中，想要提高蘋果產量除了要做好土、肥、水管理和病蟲害防治外，花期管理在整個過程中也具有非常重要的地位，在不同的花朵生長狀態對其進行人工干預可以有效提高坐果率和果實品質。對于蘋果花朵生長狀態的自動檢測也成為一項具有重要價值的研究。目前，國內外對經濟林果等農作物的自動觀測已經展開了非常廣泛的研究，通過計算機視覺技術可以實現農作物的自動化觀測，從而提高對農作物的管理效率。

　　目前已經有多種方法實現了對蘋果的自動觀測，觀測的工作集中于對蘋果果實的檢測與產量估計，以及對蘋果物候期的檢測。但是，關于蘋果花期生長狀態識別方面的研究目前還存在很多不足，當前的已有成果只能單獨檢測全開的花朵而無法將各種生長狀態的花朵進行高精度的分類檢測。現階段對農作物花期的自動觀測集中于圖像分割與目標檢測的手段。鄧穎等[1]使用基于MaskRCNN的神經網絡模型完成了花朵的識別和分割任務所提出的柑橘花朵分割識別方法實現了對柑橘花朵目標的高效檢測。

　　Sharma等[2]通過對花朵的形狀分析，使用HSV色彩空間的圖像分割和圓形擬合算法計算出的圓心提出了一種花朵自動分割與數量估算方法。劉雙喜等[3]通過分析花朵簇輪廓面積值特征，并將其作為聚類特征，建立花量的模糊聚類模型，實現蘋果的花朵數量估計。DiasP等[4]使用SLIC和CNN結合的思想，提出一種對預訓練卷積神經網絡進行微調以使其對花朵敏感的花朵分割方法。鄭玉龍等[5]提出一種結合Adam及Sgd的深度學習模型Resnet20實現自然環境下的花朵識別。

　　DihuaWu等[6]在CSPDarknet53框架下構建YOLOv4模型，使用通道修剪算法對模型進行了修剪，從而實現快速，準確地檢測蘋果花�？偨Y以上方法，基于通用深度學習的模型雖然在蘋果花朵檢測這一領域做了大量研究且對比傳統方法有效提升了檢測性能，但對蘋果花朵生長狀態進行高精度檢測方面的研究尚未取得有效成果。在現階段模型訓練與推理時也會占用大量的計算資源。致使無法做到低成本的學習，也難以實現低成本、高精度的農業自動化管理。在此現狀下，亟須一種針對蘋果花朵生長狀態的一階段檢測方法，從而實現對復雜場景下蘋果花朵生長狀態的檢測。

　　因此，本文針對現存問題構建了一個真實果園場景下的蘋果花期花朵圖像數據集，提出了一種改進YOLOv5的蘋果花朵生長狀態檢測方法，直接針對花朵區域，對花朵花蕾期、半開期、全開期、凋落期四種生長狀態進行識別，具有模型架構簡單，容易訓練，收斂快的優勢。該方法基于YOLOv5架構，結合協同注意力機制CA(CoordinateAttention)模塊[7]對主干網絡模塊進行改進和調整，減少模型參數并利用更多的淺層特征;設計多尺度檢測結構，提高對于小目標物體的檢測性能;融合基于分離的卷積運算[8]重新設計特征融合網絡;使用CIoU作為邊界框回歸的損失函數。實驗表明，本文方法對小目標檢測效果良好，可以應對花朵半開與全開特征不明顯而導致的誤檢情況，并在精度上相比于基線方法都取得一定幅度提升。

　　1YOLO目標檢測模型

　　目前，基于深度學習的目標檢測技術框架主要分為一階段與兩階段目標檢測器兩大類，兩階段的檢測器首先生成可能包含目標物體的候選區域，并從每個候選區域中提取特征，再對候選區域進行進一步的分類和校準，從而得到最終的結果，如FasterRCNN[9]、CascadeRCNN[10]等。單階段檢測器可以直接對特征圖上每個位置的目標進行分類預測，具有更高的檢測效率，如RetinaNet[11]、SSD[12]、CenterNet[13]等。兩階段檢測器通常在數據集上具有更好的檢測性能，單階段檢測器在保障檢測精度的前提下具有更高的時間效率，對硬件設備的要求更低，在農業自動觀測領域具有更好的適用性。

　　1.1YOLOv5架構

　　YOLOv5(YouOnlyLookOnce)是由UitralyticsLLC公司發布的一種單階段目標檢測算法，YOLOv5相比YOLOv4[14]而言，在檢測平均精度降低不多的基礎上，具有均值權重文件更小，訓練時間和推理速度更短的特點。YOLOv5的網絡結構分為輸入端、Backbone、Neck、Head四個部分。輸入端主要包括Mosaic數據增強、圖片尺寸處理以及自適應錨框計算三部分。

　　Mosaic數據增強將四張圖片進行組合，達到豐富圖片背景的效果;圖片尺寸處理對不同長寬的原始圖像自適應的添加最少的黑邊，統一縮放為標準尺寸;自適應錨框計算在初始錨框的基礎上，將輸出預測框與真實框進行比對，計算差距后再反向更新，不斷迭代參數來獲取最合適的錨框值。Backbone主要包含了BottleneckCSP[15]和Focus模塊。BottleneckCSP模塊在增強整個卷積神經網絡學習性能的同時大幅減少了計算量;Focus模塊對圖片進行切片操作，將輸入通道擴充為原來的4倍，并經過一次卷積得到下采樣特征圖，在實現下采樣的同時減少了計算量并提升了速度。

　　Neck中采用了FPN[16]與PAN結合的結構，將常規的FPN層與自底向上的特征金字塔進行結合，將所提取的語義特征與位置特征進行融合，同時將主干層與檢測層進行特征融合，使模型獲取更加豐富的特征信息。Head輸出一個向量，該向量具有目標對象的類別概率、對象得分和該對象邊界框的位置。檢測網絡由三層檢測層組成，不同尺寸的特征圖用于檢測不同尺寸的目標對象。每個檢測層輸出相應的向量，最后生成原圖像中目標的預測邊界框和類別并進行標記。

　　1.2YOLOv5在花朵生長狀態檢測中的問題

　　盡管YOLOv5已經具有了良好的檢測性能和推理速度，但針對本文所解決問題，仍然存在以下缺陷：

　　(1)算法中主干網絡有較多的Bottleneck結構，卷積操作中的卷積核包含大量參數，導致識別模型中含有大量參數，增加了模型的部署成本。由于花蕾期目標較小，且小目標的物體更依賴于淺層特征，故特征提取中通過大量的卷積之后容易對小目標對象的特征提取造成一定的信息丟失。(2)原始模型中分別利用8倍下采樣、16倍下采樣、32倍下采樣的特征圖作為特征層去檢測目標，當輸入圖像尺寸為640×640時，大小分別為80×80、40×40、20×20的檢測層大小可以用來分別檢測大小在8×8、16×16、32×32以上的目標，所以當某一目標在原輸入圖像中大小小于8×8時去檢測目標將會變得困難。

　　(3)在路徑聚合網絡PANet[17](PathAggregationNetwork)中雖然將深層特征圖和淺層特征圖拼接來融合不同級別的特征信息，但其并未將更加底層的特征圖與高層特征圖進行融合，且未考慮特征內部的模式冗余。(4)當預測框在目標框內部且預測框大小一致時，邊界框回歸損失函數GIoU完全退化為IoU損失函數，無法實現高精度的定位。2改進的YOLOv5算法針對YOLOv5在花朵生長狀態檢測中所存在的問題，本文對模型做出如下改進來提升對花朵生長狀態的檢測效果：

　　(1)在主干網絡中引入協同注意力機制，在捕獲跨通道信息的同時，還能捕獲方向感知和位置感知信息，幫助模型更加精準地定位和識別感興趣區域。對BottleneckCSP結構修改，并減少模塊數量來保留更多的淺層特征。(2)在原有網絡結構三層檢測層的基礎上，添加小目標檢測層，從而提高對小目標物體的檢測性能。(3)將PANet中更加底層的特征圖與高層特征圖進行融合，且在PANet中使用基于分離的卷積運算來消除同一層內輸入特征圖中存在的冗余問題。(4)使用CIoU作為邊界框回歸的損失函數，解決預測框在目標框內部且預測框大小一致的情況，提高定位精度。

　　3實驗

　　3.1數據集

　　本文的數據來源于中國山西臨猗農田試驗站，參考農業氣象觀測規范，制定適宜本地的蘋果花期觀測標準，于2019年4月(花蕾期)開始，采集至2019年5月(凋落期)結束，使用38885184像素分辨率的田間實時監測設備在不同花期進行圖像采集，采集時間段設定為每天8點11點、12點15點、16點19點，構建了蘋果花期花朵不同生長狀態的圖像數據集。

　　4結束語

　　本文針對通用深度學習目標檢測技術難以在復雜果園背景下對蘋果花朵不同生長狀態進行高精度檢測的問題，提出一種改進YOLOv5的蘋果花朵生長狀態檢測方法。該方法基于YOLOv5網絡架構，結合CA注意力模塊與改進的BSP_1模塊設計主干網絡提取特征;增加多尺度檢測結構并融合基于分離的卷積運算設計了高效的目標提取網絡;使用CIoU作為邊框回歸的損失函數，提高邊框回歸精度。

　　實驗表明，本文所提出的檢測方法能夠準確、快速地檢測出不同生長狀態下的花朵圖像。本文方法在NvidiaRTX2080Ti測試條件下mAP達到0922，速度為9321FPS，實現了高精度、高速率的檢測，性能高于通用目標檢測模型，該方法為蘋果花期管理提供了有益的幫助。下一步將在嵌入式設備上進行模型的性能改進，進一步改進網絡結構，以實現移動端實時花朵生長狀態檢測。

　　參考文獻

　　[1]鄧穎,吳華瑞,朱華吉.基于實例分割的柑橘花朵識別及花量統計[J].農業工程學報,2020,036(7):200207.DengYing,WuHuarui,ZhuHuaji.Citrusfloweridentificationandflowervolumestatisticsbasedoninstancesegmentation[J].TransactionsoftheChineseSocietyofAgriculturalEngineering,2020,036(7):200207.

　　[2]SharmaA,SharmaVK,SrivastavaDK.Overlappedflowersyielddetectionusingcomputerbasedinterface[J].PerspectivesinScience,2016,8:2527.

　　[3]劉雙喜,孫林林,王震等.復雜背景下蘋果樹花量模糊聚類準確估測模型[J].中國農機化學報,2017,38(8):7481.LiuShuangxi,SunLinlin,WangZhen,etal.FuzzyClusteringAccurateEstimationModelofAppleTreeFlowerVolumeunderComplexBackground[J].ChineseJournalofAgriculturalMachineryChemistry,2017,38(8):P.7481

　　[4]DiasPA,TabbA,MedeirosH.Appleflowerdetectionusingdeepconvolutionalnetworks[J].ComputersinIndustry,2018,99:1728.

　　[5]鄭玉龍趙明基于深度學習的自然環境下花朵識別[J].計算技術與自動化,2019,(2):114118.ZhengYL,ZhaoM.Flowerrecognitioninnaturalenvironmentbasedondeeplearning[J].ComputingTechnologyandAutomation,2019,(2):114118.

　　作者：楊其晟，李文寬，楊曉峰，岳琳茜，李海芳