及早發(fā)現(xiàn)具有重要經(jīng)濟價值的植物的病害，如灰霉病菌引起的灰霉病，對于及時應用病害管理策略和減少對作物生產(chǎn)和環(huán)境的影響至關(guān)重要。本研究在受控環(huán)境下對黃瓜植株葉片進行了人工接種。利用多光譜成像技術(shù)，在 460、540、640、700、775 和 875 納米波段，同時利用 RGB 和近紅外（NIR）通道，捕捉真菌的光譜響應。從收集到的多光譜圖像中創(chuàng)建了兩個注釋圖像數(shù)據(jù)集，分別命名為 "Botrytis-detection "和 "Botrytis-classification"。在這兩個數(shù)據(jù)集上進行了多項基于深度學習的分類和物體檢測實驗。分類結(jié)果表明，深度學習模型能以 0.93 的準確率（F1 分數(shù) 0.89）將兩個類別區(qū)分開來。而物體檢測的平均精度（mAP50）為 0.88，為今后在早期檢測出灰霉病菌引起的灰霉病鋪平了道路。

1.       說明

1.1.   病害

灰霉病菌（Botrytis cinerea）是一種壞死性真菌病原體，可感染 500 多種植物。這種病原體對農(nóng)業(yè)部門產(chǎn)生了巨大的經(jīng)濟影響，每年給全球作物生產(chǎn)造成 100 多億美元的損失。由于巨大的經(jīng)濟影響力以及頻繁防治導致的環(huán)境影響，灰霉病菌被列為第二大植物病原體。灰霉病菌是一種通過空氣傳播的植物病原體，但它也可以通過水或土壤傳播。低溫、高濕度、空氣流通差和樹冠潮濕有利于灰霉病菌的感染。由于這些條件主要存在于受保護的環(huán)境中，因此溫室中種植的作物比露天種植的作物感染的病害更嚴重。灰霉病的癥狀出現(xiàn)在植物的花、葉、莖和果實上，影響作物的生長和產(chǎn)量。由于灰霉病菌引起的癥狀與其他生物或非生物制劑引起的癥狀相似，因此僅憑目測癥狀無法檢測和識別病原體，除非這些癥狀上出現(xiàn)真菌跡象（分生孢子梗和分生孢子）。一旦肉眼觀察到灰霉病的癥狀（病斑、枯萎、腐爛和萎蔫），就可以主要使用傳統(tǒng)的化學殺菌劑來控制灰霉病。由于早期癥狀更可能是非特異性的，而且變化很大，因此要確定可能的感染，應在目視檢查后進行實驗室檢測，如分離和培養(yǎng)酶聯(lián)免疫吸附試驗（ELISA）、聚合酶鏈反應（PCR）和組織印跡分析等。然而，上述方法耗時耗力，成本也高。因此，必須及早發(fā)現(xiàn)灰霉病，以限制其蔓延，減少園藝中化學殺蟲劑和有害殺蟲劑的總體使用量。

1.2.   光譜成像技術(shù)

事實證明，光譜成像是一種創(chuàng)新技術(shù)，在表型分析和非侵入式感知作物生理狀態(tài)方面潛力巨大，有助于植物病害檢測。最近的一項研究表明，近紅外光譜是區(qū)分受感染的葉片區(qū)域最有參考價值的光譜范圍。

1.3.   文獻綜述

近年來，機器學習和深度學習方法在植物真菌病害的檢測中得到了廣泛應用，提供了一種具有高精確度結(jié)果的強大工具。Sanchez 等人（2020 年）使用 K 近鄰算法、支持向量機、隨機森林和人工神經(jīng)網(wǎng)絡等機器學習技術(shù)，以及高斯濾波器和形態(tài)學運算來提取圖像特征，從而對石榴的灰霉病進行識別和分類。結(jié)果顯示，擬議方法的準確率為 96%。Qasrawi 等人（2021 年）對機器學習模型進行了訓練，以對番茄植物病害（包括 B.cinerea）進行聚類、預測和分類，神經(jīng)網(wǎng)絡和邏輯回歸模型的準確率分別達到了 70.3% 和 68.9%。Jung 等人（2022 年）的研究使用了接種了灰霉病菌的草莓葉片的高光譜圖像（150 個波段），并利用二維和三維卷積神經(jīng)網(wǎng)絡 (CNN) 將其分為感染區(qū)、無癥狀區(qū)和健康區(qū)，準確率分別為 74% 和 84%。

盡管已對許多蔬菜作物上的黑穗病所引起的癥狀進行了研究，但在利用深度學習結(jié)合光譜成像檢測黃瓜植株上的黑穗病所引起的早期癥狀方面還缺乏研究。不過，上述植物在其他真菌病害方面的研究也取得了可喜的成果。Fernandez 等人（2021 年）利用黃瓜植株上的多光譜圖像檢測白粉病（Podosphaera xanthii）。Mia 等人（2021 年） 對感染了多種病害（霜霉病、白粉病、馬賽克病毒、腹腐病、瘡痂病和棉花漏）的黃瓜植株使用了傳統(tǒng)的 RGB 成像技術(shù)，深度學習的準確率達到了 93.23%。

1.4.   貢獻

在本研究中，我們旨在利用深度學習模型研究多光譜成像在檢測黃瓜植株中的灰霉病方面的實用性。本文有三方面的貢獻，目的是：i) 建立一個多光譜圖像數(shù)據(jù)集，用于檢測（邊界框）灰霉病感染植物和健康植物的葉片并進行分類，以作為訓練和標桿；ii) 進行灰霉病的檢測和分類實驗，并提出最合適的方法；iii) 檢驗近紅外光譜對灰霉病識別的有用性，并確定可用光譜中最有影響力的波段。本文結(jié)構(gòu)如下。第 2 節(jié)介紹了數(shù)據(jù)集的獲取、標記和圖像統(tǒng)計。第 3 節(jié)介紹實驗結(jié)果。第 4 節(jié)為研究結(jié)論。

2.       數(shù)據(jù)集

2.1.   實驗設置

為了收集數(shù)據(jù)，對健康的黃瓜植株進行了灰霉病人工接種。本實驗使用了在馬鈴薯葡萄糖瓊脂上常規(guī)培養(yǎng)的灰霉病菌分離株。植物病原真菌的接種物來自在 23°C 生長 3 周的培養(yǎng)物。為了制備接種體，使用滅菌菌環(huán)從孢子培養(yǎng)物中獲取孢子，并將其懸浮在 5 毫升添加了葡萄糖（4% w/v）的去離子水中。然后用消毒紗布過濾懸浮液以去除菌絲，并用血細胞計數(shù)器測量孢子濃度。將孢子懸浮液稀釋至1*10⁵個孢子/毫升的濃度。

四株黃瓜盆栽播種后在植物生長室的可控條件下生長（25°C，68% 濕度，16 小時光照—8 小時黑暗，光源：GRO-LUX LED 全光譜燈）并進行人工接種，另外四株相同的黃瓜盆栽作為對照樣本。在每株植物的兩片葉子上，用無菌吸管尖劃傷表皮，產(chǎn)生兩個直徑約 0.5 厘米的表皮病變。隨后，在每個病變體上滴兩滴液體接種體（每滴 10 微升）。接種后的植物用黑色塑料袋覆蓋，以保持濕度，為真菌感染提供理想的條件。

2.2.   數(shù)據(jù)采集

對于蔬菜作物來說，成像信息量最大的波長范圍是可見光范圍（紅、綠、藍：RGB）和近紅外（NIR）范圍。顯然，RGB 波段（400-700 納米）能更好地捕捉葉片色素的變化，而近紅外波段（700-1300 納米）則能反映葉肉細胞結(jié)構(gòu)的變化。為了捕捉多光譜圖像，我們使用了MUSES9-MS相機，調(diào)諧波長為460、540、640、700、775和875nm，包括可見光譜和近紅外光譜，分辨率為3096×2080像素。 

數(shù)據(jù)采集從人工接種后（時間點 0）開始，連續(xù)進行五天。接種后 72 小時，農(nóng)藝師目測接種葉片上的真菌感染癥狀。多光譜成像技術(shù)用于捕捉灰霉病的早期癥狀。第一張圖片是在接種灰霉病菌的當天拍攝的，隨后連續(xù)五天在 12:00 時，在人工和自然光下重復拍攝。目的是獲得多光譜照相機能檢測到但肉眼難以發(fā)現(xiàn)的真菌早期癥狀的數(shù)據(jù)。圖1和圖2顯示了各個光譜的示例。拍攝到的圖像包括單株植物，清晰地描繪了它們的所有葉片。此外，還采集了植物群的圖像，以模擬現(xiàn)實條件。這樣，就可以模擬實地條件，從而使結(jié)果可以在實驗室條件之外使用。

圖1：黃瓜植株接種 4 天后的六個不同光譜波段（460、540、640、700、775、875）以及邊界框注釋。

綠色：健康葉片，紫色：灰霉病葉片。

圖2：灰霉病菌分類數(shù)據(jù)集中感染灰霉病菌 4 天后的黃瓜葉片的六個不同光譜帶（460、540、640、700、775 和 875）。

2.3.   數(shù)據(jù)注釋

收集到的 121 幅圖像（98幅有癥狀的植物圖像和 23幅健康植物圖像）已用方框標注，方框內(nèi)的葉片分為兩類：感染灰霉病的葉片和作為對照的健康葉片。為此，我們使用了基于 YOLOv5 實現(xiàn)的自定義葉片檢測器，并在 PlantDoc 數(shù)據(jù)集上進行了訓練。自定義樹葉檢測器對收集到的圖像中的大部分樹葉進行了標注。之后，農(nóng)學家通過添加缺失的邊界框和完善現(xiàn)有的邊界框來修改注釋。此外，農(nóng)藝師還為每片標注的葉片貼上正確的標簽：感染或健康的葉片。由此產(chǎn)生的邊界框以及隨后的葉片數(shù)量為 580 片；138 片感染了 B. cinerea 的葉片和 442 片健康葉片（來自接種和未接種的植物）。

2.4.   創(chuàng)建數(shù)據(jù)集

根據(jù)收集到的多光譜圖像創(chuàng)建了兩個數(shù)據(jù)集。第一個數(shù)據(jù)集是灰霉病檢測數(shù)據(jù)集，包括邊界框注釋，對應于健康葉片和受灰霉病感染葉片的檢測（見圖 1）。第二種是灰霉病分類，相當于將葉片分為兩類：感染了灰霉病的葉片和健康的葉片（見圖 2）。后者是通過裁剪前者的每個邊框并將其保存為單獨圖像而生成的。這兩個數(shù)據(jù)集都分為訓練-測試兩部分，其中測試集由包含一種特定受感染黃瓜植物的所有圖像組成。這一選擇是為了訓練出盡可能無偏的模型，使其能夠泛化到未見過的數(shù)據(jù)中。表1列出了兩個數(shù)據(jù)集中的圖像數(shù)量，其中還報告了感染灰霉病的葉片和健康葉片的數(shù)量。最后兩列表示每個類別中邊界框的數(shù)量和裁剪圖像的數(shù)量。

表1：灰霉病檢測數(shù)據(jù)集和灰霉病分類數(shù)據(jù)集的各分集圖數(shù)量

3.       實驗評估

3.1.   標桿實驗

為了全面評估創(chuàng)建的灰霉病數(shù)據(jù)集，首先利用 CNN 評估了灰霉病分類數(shù)據(jù)集的分類性能。隨后，在帶有邊界框注釋的灰霉病檢測數(shù)據(jù)集中對最先進的物體檢測模型進行了評估。分類實驗的目的是確定哪種波長組合最有信息量，以便利用從分類實驗中提取的知識進一步開展重點檢測實驗。

3.2.   評估標準

在分類任務中，F(xiàn)1 分數(shù)是比較模型結(jié)果的主要指標。為深入了解情況，還報告了準確率、回歸率和精確率。準確度通常描述了模型在所有類別中的表現(xiàn)。精確度衡量模型僅識別相關(guān)對象的能力，而回歸率衡量模型找到所有相關(guān)情況（所有地面真實邊界框）的能力。F1 分數(shù)綜合了精確度和回歸率兩個指標，因此更加全面。

至于物體檢測任務，則采用了 COCO 檢測指標，這是一種更為全面和通用的檢測指標。使用的度量指標包括：，

3.3.   數(shù)據(jù)增強

根據(jù) Krizhevsky 等人（2012 年）的研究，當數(shù)據(jù)集中的圖像數(shù)量不足時，有必要進行數(shù)據(jù)擴增，以便模型能更好地泛化。我們使用了幾種技術(shù)，人為地擴大了所創(chuàng)建數(shù)據(jù)集中的圖像數(shù)量。就灰霉病分類數(shù)據(jù)集而言，這些技術(shù)包括幾何變換（水平翻轉(zhuǎn)、縮放、平移）。此外，在灰霉病數(shù)據(jù)集中還使用了馬賽克增強技術(shù)，該技術(shù)可在遮擋（物體隱藏在另一個物體后面）或平移的情況下改進模型。這些技術(shù)只用于訓練，而不用于評估。

3.4.   分類結(jié)果

在分類任務中，使用了多個深度學習分類模型，包括 這些模型包括：AlexNet、DenseNet-121、EfficientNet B0 和 B1、GoogLeNet、MobileNet v3 small、ResNet-18、ResNet-34 和 ResNet-50、VGG-11 和 VGG-11 with Batch Normalization (BN)。目標是為每種波長組合找到最佳架構(gòu)。

所有網(wǎng)絡都在 ImageNet 上進行了預訓練，并在灰霉病分類數(shù)據(jù)集上進行了微調(diào)。每個模型的所有層都通過隨機梯度下降優(yōu)化器（Stochastic Gradient Descent optimizer）進行了微調(diào)，批量大小為16，歷時100次。權(quán)重衰減和動量參數(shù)分別設置為0.0001和0.9。輸入圖像的大小固定為224×224。分類實驗使用PyTorch實現(xiàn)，并在配備8GB板載內(nèi)存的英偉達RTX 3070 Ti GPU上執(zhí)行。

表2顯示了模型在不同評價指標上的分類性能。僅報告了三波長的結(jié)果。表2顯示了模型在不同評價指標上的分類性能。此外，還對所有六種波長以及 PCA 轉(zhuǎn)換后的波長（從6 到3）進行了實驗，但結(jié)果遠遠不能使用。

表2：灰霉病分類結(jié)果

*：粗體行表示 F1 分數(shù)最高的試驗。

就所有評估指標而言，RGB和近紅外波長的性能完全相同。然而，波長為875nm、460nm 和640nm的波長組合優(yōu)于所有其他光譜，F(xiàn)1得分為0.888，是實驗中觀察到的最高分。后者的回歸率也是最高的，而回歸率是識別灰霉病的重點。在識別病害的情況下，將健康葉片誤判為感染了灰霉病（以精確度衡量）并不那么重要。不過，為了平衡精確度和回歸率之間的平衡，F(xiàn)1 分數(shù)更為可取。值得注意的是，除 RGB 和近紅外波長外，F(xiàn)1-分數(shù)最高的前五個模型都包含 875 nm 波長，這似乎提高了模型的回歸率，從而提高了檢測灰霉病菌的能力。除了波長為 460、540 和 700 nm 的通道外，波長為 875 nm 的通道出現(xiàn)在所有評級最高的回歸率中。關(guān)于性能最佳模型的結(jié)構(gòu)，帶有 BN 的 VGG-11 似乎是最主要的結(jié)構(gòu)，無論輸入是什么，它都具有很高的泛化能力。

3.5.   檢測結(jié)果

對于物體檢測任務，我們采用了先進深度學習檢測器，并在灰霉菌檢測數(shù)據(jù)集上進行了評估： YOLOv5和YOLOv7都是實時的，計算成本較低。YOLOv5選擇CSP-Darknet53作為CNN骨干，YOLOv7選擇 E-ELAN作為CNN骨干。每個模型都使用隨機梯度下降優(yōu)化器進行訓練，批量大小為8。學習率設定為0.001。權(quán)重衰減和動量參數(shù)分別設置為0.0001和0.937。輸入圖像的大小固定為1024×1024。檢測實驗基于PyTorch對YOLOv5和YOLOv7進行，在英偉達RTX 3070 Ti GPU上進行的。

檢測結(jié)果如表3所示。需要注意的是，YOLOv5使用的是中型模型（YOLOv5m），在給定的設置中，與 YOLOv5的其他變體相比，YOLOv5m的性能更好。至于 YOLOv7，使用的是YOLOv7-E6E，其性能優(yōu)于同類的所有其他型號，在所有波長上都有較高的指標。

表3：灰霉病檢測結(jié)果

在疾病檢測場景中，重要的指標是mAP50，其次是回歸率?；貧w率指標顯示了模型檢測受灰霉病感染葉片的能力。從結(jié)果中可以看出，460、640和875nm組合的mAP50最高。不過，要在mAP50和回歸率之間進行良好權(quán)衡，460、775和875nm的組合似乎與的表現(xiàn)類似，但回歸率明顯更高（0.857；就mAP50而言，比表現(xiàn)最好的模型高出0.125）。因此，具有最高回歸率的后一種模型具有更強的檢測灰霉菌的能力，但卻會將健康的葉片誤判為感染了灰霉菌。此外，將部分 RGB 波段與一個或兩個近紅外波段相結(jié)合似乎能提高模型的性能，而僅使用 RGB 或僅使用近紅外波段則性能較低。因此，875 nm 波長對于實現(xiàn)高指標和準確檢測灰霉病至關(guān)重要。

4.       結(jié)論

在本研究中，利用多光譜圖像進行了深度學習實驗，以對黃瓜葉片上的灰霉菌進行分類和檢測。根據(jù)我們的研究結(jié)果，將近紅外光譜與部分 RGB 通道相結(jié)合，可以顯著提高模型檢測感染了灰霉病的葉片的能力，這是因為健康葉片和受感染葉片的反射率反差較大。更確切地說，波長為 875 nm 的紅外光譜是取得最佳結(jié)果的關(guān)鍵。初步分類實驗表明，深度學習模型能以 0.89 的 F1 分數(shù)區(qū)分受感染的葉片。進一步的實驗表明，目前最先進的物體檢測模型可以檢測出感染黑葉病的葉片，檢測結(jié)果為 mAP50=0.88。我們相信，這項工作將有助于未來的灰霉病識別研究，以支持現(xiàn)場的高效監(jiān)測方法，從而根據(jù)從農(nóng)場到餐桌的戰(zhàn)略進行早期檢測和控制。

摘自：Deep learning-based multi-spectral identification of grey mould：Nikolaos Giakoumoglou, Eleftheria Maria Pechlivani , Athanasios Sakelliou,Christos Klaridopoulos,