基于自組織增量圖卷積神經網絡的金相圖半監督學習

　　摘 要：采用深度學習對鋼鐵材料顯微組織圖像分類，需要大量帶標注信息的訓練集。針對訓練集人工標注效率低下問題，該文提出一種新的融合自組織增量神經網絡和圖卷積神經網絡的半監督學習方法。首先，采用遷移學習獲取圖像數據樣本的特征向量集合;其次，通過引入連接權重策略的自組織增量神經網絡(WSOINN)對特征數據進行學習，獲得其拓撲圖結構，并引入勝利次數進行少量人工節點標注;然后，搭建圖卷積網絡(GCN)挖掘圖中節點的潛在聯系，利用Dropout手段提高網絡的泛化能力，對剩余節點進行自動標注進而獲得所有金相圖的分類結果。針對從某國家重點實驗室收集到的金相圖數據，比較了在不同人工標注比例下的自動分類精度，結果表明：在圖片標注量僅為傳統模型12%時，新模型的分類準確度可達到91%。

　　關鍵詞：自組織增量神經網絡;圖卷積神經網絡;自動標注;鋼材顯微組織

　　1引言

　　鋼的微觀組織決定其使用性能，對微觀組織的定性和定量研究一直都是鋼鐵材料領域的重要工作[1–3]。將采用適當方法(如拋光、腐蝕)處理后的實驗鋼試樣置于光學顯微鏡(Optical Microscope,OM)或電子顯微鏡(Electron Microscope, EM)下，可觀察到鋼的顯微組織形貌圖像，即金相圖[4,5]。

　　傳統上，金相圖的辨識由人工完成，對人的專業經驗依賴性較大，即使是經驗豐富的專家也會因為肉眼看不到的圖像細節而分析失誤。而現代鋼材種類越來越多，其內部顯微組織越來越復雜，人工辨識面臨巨大挑戰[6,7]。隨著計算機視覺的深入發展，國內外研究者已開始將深度學習用于金相圖的自動辨識問題。Pauly等人[8]使用數據挖掘方法對金相圖分類，但由于不同類別間提取到的特征差異性不夠，在測試集上僅獲得48%的精度。

　　Chowdhury等人[9]組合不同的特征提取和特征選擇方法作用于金相圖，并選擇不同分類器，比較了不同組合間模型性能的差異。Azimi等人[10]采用全卷積神經網絡對金相圖進行分類，在所收集的數據集上能夠獲取90%以上的精度。文獻[11]融合多種圖像增強方法，并改進AlexNet, VGGNet, ResNet, GoogleNet適用于金相圖，在所收集的數據集上能夠獲取95%以上的精度。上述研究所使用的一般均是小規模數據集，且由于人工標注困難、效率低問題，用于模型訓練的已標記圖像數量較少，模型泛化能力弱、實際應用困難。圖G=(V,E)[12–14]能表達非歐空間復雜數據關系[15]，圖卷積(Graph Convolutional Network,GCN)可用于超維關聯數據的挖掘和分析[16–18]。

　　基于已有拓撲學習模型[19]，本文提出一種基于自組織增量-圖卷積神經網絡的半監督學習方法。在原自組織增量神經網絡(Self-Organizing Incremental Neural Network, SOINN)中引入連接權重概念來表示兩節點相似性，得到引入連接權重策略的自組織增量神經網絡(Weighted SOINN, WSOINN)，并引入節點勝利次數以挑選少量節點進行人工標注;進而，搭建GCN學習拓撲圖中高階特征來預測節點的類別信息，達到用較少的圖像標注量獲取較高模型分類準確率的目的。本文用WSOINN獲取拓撲圖結構描述圖像數據的空間分布，用GCN將WSOINN拓展至半監督學習，實現鋼鐵材料金相圖的自動分類。針對收集到的貝氏體、低碳板條馬氏體、高碳片狀馬氏體、鐵素體、下貝氏體、珠光體6種類型的金相圖進行實驗，結果表明，本方法具有較高的準確性和適應性。

　　2自組織增量-圖卷積神經網絡(WSOINNGCN)

　　本節首先給出WSOINN-GCN的整體框架;然后，分小節介紹各個模塊：2.1節介紹圖像數據特征提取;2.2節給出WSOINN算法步驟;2.3節結合金相圖特征設計GCN;2.4節給出WSOINN-GCN的算法步驟。它由3部分組成：第1部分基于遷移學習獲得圖像數據的特征向量集合;第2部分采用引入連接權重策略的自組織增量神經網絡(WSOINN)提取特征數據的拓撲圖結構，并按照節點勝利次數選擇少量節點進行人工標注;第3部分搭建圖卷積網絡(GCN)，采用交叉熵損失函數、Adam算法優化網絡參數，自動標注剩余節點，最后基于歐式距離來分類所有圖像數據。

　　2.1遷移學習獲取特征向量集合

　　收集自某國家重點實驗室場發射掃描電子顯微鏡所拍攝的不同鋼鐵材料的微觀組織圖片，依次為鐵素體、珠光體、貝氏體、下貝氏體、板條馬氏體、片狀馬氏體，共2342張，圖片像素大小均為221×221。本文采用在ImageNet數據集上已訓練好的VGG16卷積模塊提取每張金相圖的特征，并對從每張金相圖獲得的512張特征圖作全局均值池化，每張圖輸出一個512維的特征向量，從而得到所有金相圖特征提取后的數據特征集合。

　　3實驗結果及分析

　　本節先給出WSOINN-GCN模型參數的優選方法，再比較在不同節點標注率下模型的節點標注精度及金相圖分類精度，最后給出其他常見方法的對比實驗結果。

　　3.1實驗環境及模型指標

　　本實驗硬件支持有CPU為i5-7500，4核4線程，主頻3.41 GHz，內存12 GB, GPU為NVIDIAGeFore GTX 1060，顯存6 GB，操作系統為win10，編程環境為spyder,Python3.7，框架平臺為tensorflow。對于圖卷積網絡結構，采用Adam算法優化參數，初始學習率為0.01, dropout神經元失活的概率為0.5, Glorot_normal初始化參數，采用Early Stopping提前終止。統計精確率與召回率2個指標。

　　3.2WSOINN-GCN模型參數分析

　　ppWmaxpWmaxWSOINN在每輸入樣本的百分比例后，會刪除孤立節點，會影響最終節點輸出數量。節點數過多可能含有噪聲節點，節點數過少不能全面反映所有樣本分布，從而間接影響自動標注精度。圖5表示為列舉了不同,值下，WSOINN獲取拓撲圖節點的數量情況，顏色越深代表產生的節點數越少，節點數最大值為865，最小值256。

　　隨著,增大，節點數隨之增大，連接矩陣越稠密。實驗收集到的金相圖總樣本數有2432張，用n、a別代表WSOINN輸出圖的節點數和連接矩陣中非0元素個數，為保證精度同時加快運算，選擇節點數為原數據量的1/10～1/6的W-SOINN進一步分析。表1列舉了節點標注率為0.3、不同p,Wmax值時模型對剩余節點的自動標注精度，其中Acc_w是按照勝利次數選擇標注的結果，Acc_r是隨機選擇節點標注的結果。

　　深度學習論文范例：基于深度學習算法的學術查詢意圖分類器構建

　　4結論

　　(1)針對深度學習中圖像數據標注困難的問題，融合拓撲學習與圖卷積理論，本文提出一種新的基于自組織增量-圖卷積神經網絡(WSOINNGCN)的半監督學習方法。通過引入連接權重來改進自組織增量神經網絡(WSOINN)，從而提取數據圖結構，并按照節點重要性指標節點勝利次數選擇部分節點進行標注，進而搭建圖卷積網絡(GCN)挖掘圖中節點的潛在聯系，融合Dropout正則化手段與Adam算法對GCN進行網絡參數尋優，自動標注剩余節點信息，并基于歐氏距離來自動分類金相圖，結果表明該模型具有可行性。

　　(2)針對從某國家重點實驗室掃描電子顯微鏡拍攝到的鋼鐵材料微觀組織圖片樣本，比較了不同節點標注率、有無Dropout 對模型的影響，結果表明：隨著節點標注率增加，WSOINN-GCN與WSOINN-MLP模型的精度都會增加，且前者性能要優于后者，當節點標注率為0.3時，前者精度可達93%，而后者僅為86%;對于WSOINN-GCN而言，當節點標注率較低時(≤0.4)，含有Dropout比未含有Dropout有更好性能表現;對于WSOINNMLP而言，無論節點標注率多少，使用Dropout策略能一直提高其精度。

　　(3)與現有的人工標注或其他監督學習算法相比，本文所提出的WSOINN-GCN模型有效解決了實際應用時金相圖片訓練集數據人工標注困難的問題，為金相圖片數據標注、分類等提供了新的解決思路。在金相圖片標注量僅為VGG等傳統深度學習網絡的12%時，新模型比傳統模型精度高，分類準確度高達91%;在達到相同的分類精度90%時，人工標注量僅為傳統模型的5.6%，同時保證了效率優勢。WSOINN-GCN具有自動提取數據圖結構、實施半監督學習、動態調整網絡結構等特性，在圖片數據標注、分類等領域有理論研究價值和廣闊的應用前景。

　　參考文獻

　　ZHAO H, WYNNE B P, and PALMIERE E J. A phasequantification method based on EBSD data for acontinuously cooled microalloyed steel[J]. MaterialsCharacterization, 2017, 123: 339–348. doi: 10.1016/j.matchar.2016.11.024.

　　[1]YANG Youwen, HE Chongxian, E Dianyu, etal. Mg boneimplant: Features, developments and perspectives[J].Materials&Design, 2020, 185: 108259. doi: 10.1016/j.matdes.2019.108259.

　　作者：李維剛* 諶竟成 謝 璐 趙云濤

轉載請注明來自發表學術論文網：http://www.zpfmc.com/jjlw/26450.html