基于DDPG算法的游船航行避碰路徑規劃

　　摘要:[目的]作為船舶航行安全的核心問題，若船舶避碰完全依賴船長的個人狀態和判斷將存在一定的安全隱患。為了統籌關鍵水域上所有船舶(游船、貨船等)并進行路徑預測，需要建立防碰撞預警機制。[方法]利用深度確定性策略梯度(DDPG)算法和船舶領域模型，采用電子海圖模擬船舶的航行路徑，提出基于失敗區域重點學習的DDPG算法改進策略，并針對游船特點改進的船舶領域模型參數等改進方法，提高航線預測和防碰撞準確率。[結果]使用改進的DDPG算法和改進的船舶領域模型，與未改進前的算法相比，船舶避碰正確率由84.9%升至89.7%，模擬航線與真實航線的平均誤差由25.2m降至21.4m。[結論]通過基于改進的DDPG算法和改進的船舶領域模型開展船舶避碰路徑規劃，可以實現水域船舶航線監管功能，且當預測航線與其他船舶存在交會時，告警調度人員，從而實現防碰撞預警機制。

　　關鍵詞：混合航道;船舶領域;船舶避碰;深度確定性策略梯度算法;失敗區域探索策略

　　0引　言

　　本文主要研究周莊水域的船舶航行安全。由于該水域急水港航道由4級升為3級，通行的各類貨船無論是數量還是噸位都有明顯的增加，而游船進出港穿越航道并與貨船共線航行會增加游船的碰撞風險，人為駕駛因素也會引發碰撞事故，進而造成嚴重的經濟損失和人員傷亡[1-2]。

　　船舶論文范例： 環保新政下的內河船舶用油分析

　　因此，開展船舶避碰研究，對推動水運行業安全發展具有積極意義。現有的船舶避碰算法，例如遺傳算法[3-4]、粒子群算法以及蟻群算法[5-6]等，都存在實時性差的問題，因為無法預先從樣本數據中建立模型，所以在應用過程中需要重復進行路徑優化搜索過程，造成大量無用的計算，且其依賴的評價函數較簡單，在不同水域應用環境下的魯棒性較差。所以，船舶避碰算法需能夠從大量經驗數據中學習避碰策略，同時保證在未知環境下依然可以保證避碰策略的準確性[7-10]。

　　DDPG算法具有多維特征提取能力，能從大量樣本中學習避碰模型及評價函數，而且具備良好的泛化應用能力[11-14]，其采用的DQN(deepQnetwork)算法可根據不同應用環境選擇合適的避碰策略[15-16]，較現有的避碰算法有明顯的優勢。但DDPG訓練收斂速度慢[17]，訓練過程所采用的經驗池隨機采樣方式一定程度上降低了有效樣本數據的利用率。針對此問題，陳希亮等[18]優化了優先緩存經驗回放機制，提高了有效數據在學習時被選中的概率，提升了算法的學習效率。

　　但上述對經驗池回放機制的改進大都集中在提高樣本的利用率方面，而忽略了智能體盲目探索時造成有效數據不足的問題。鑒于以上存在的不足之處，本文將提出基于失敗區域重點學習的DDPG算法改進策略，在訓練過程中的失敗區域擴大探索的隨機性，有針對性地收集該區域的學習樣本，提高避碰學習效率。同時，提出根據游船特征改進的船舶領域模型參數等方法，保障領域模型的正確性，進一步提高路徑預測的準確性。

　　1游船航道環境下的船舶領域模型

　　船舶領域模型被廣泛應用于船舶的避碰分析中。上世紀60~70年代，Fujii等[19-20]提出了船舶領域的概念，將其定義為“絕大部分后續船舶駕駛人員避免侵入前一艘船舶周圍的領域”。我國內河流域水道狹窄彎曲，藤井(Fujii)提出的狹窄水域船舶領域模型對內河貨船有著較好的適用性。本文的研究內容主要應用于周莊客貨混合航道，航道長約1.5km，寬約130m。周莊水域中貨船平均長寬為43和7m，游船平均長寬為24和6m。

　　由于游船與貨船在長寬比、尺度以及駕駛規范方面存在的差異，藤井狹窄船舶領域模型難以準確適用于游船。為進一步提高游船避碰路徑規劃的精度，本文在藤井狹窄船舶領域模型的基礎上采用數據統計方式建立了游船的船舶領域改進模型。傳統的數據統計主要依賴于船舶自動識別(AIS)系統，AIS系統雖能提供大量的船舶數據，但也存在覆蓋率不足的問題，例如在游船水域存在大量未安裝AIS系統的漁船。

　　由其確定的橢圓區域為游船的船舶領域范圍，橢圓船舶領域的長半軸為60.3m，短半軸為25.2m。藤井狹窄水域船舶領域的長軸為船長的6倍，短軸為船長的1.6倍，基于藤井模型的游船領域長軸為144m，短軸為38.4m，相較于傳統藤井船舶領域模型，改進后的游船領域模型長軸更短，長寬比更小，體現出游船慣性小、駕駛更加靈活的特性，所以基于最大密度法改進的游船領域模型更符合游船航行的特征。

　　2DDPG船舶避碰路徑規劃算法設計

　　strtatst+1rt+1DDPG是基于Actor-Critic框架的深度確定性策略梯度(deepdeterministicpolicygradient)算法，其可有效解決復雜物理系統的控制和決策問題。強化學習智能體與系統環境交互的過程中，智能體根據當前狀態和環境獎勵值選擇下一步動作，達到新的狀態以及獲取環境獎勵值;而智能體根據當前狀態，以最大化獎勵期望值為目標，在與實際環境交互過程中不斷學習并改進動作策略，其中DDPG使用深度神經網絡擬合策略和價值函數，運用經驗回放和目標網絡技術提高算法的收斂性與穩定性。

　　本文的防碰撞系統通過AIS系統實時讀取水域內所有船舶的真實經緯度信息，并同步到電子海圖中。游船智能體依據當前周圍船舶的分布及航道走向、長寬等信息來規劃航線。當游船智能體規劃的未來航線不可避免地與其他船舶發生碰撞時，防碰撞系統將給出告警提示，指揮中心調度員將對目標船舶進行緊急調度，通過預測航線實現船舶碰撞提前預警、緊急調度的功能，從而進一步保障游船的航行安全。本文模擬的船舶智能體主要通過DDPG算法對周圍水域環境數據進行處理，輸出船舶未來最佳行駛路徑。DDPG算法的設計主要包括在船舶避碰路徑規劃過程中的狀態設計、船舶動作設計和所獲獎勵值的設計。

　　1)DDPG算法的狀態設計。強化學習中智能體在決策時需要參考當前智能體自身狀態及環境因素。船舶要從當前位置駛向目標點，避碰算法模型需考慮船舶當前的位置、速度、航向、目標點位置以及與周圍障礙物之間的距離和方位等信息。在船舶避碰仿真環境中，船舶的位置、速度及航向通過AIS系統獲得;目標點位置的選取依賴于航行水域的環境信息;對于障礙物和其他船的船舶方位、距離等信息，采用模擬雷達的方式掃描周圍環境獲得。

　　2)DDPG算法的動作設計。在航行過程中遇到其他船舶或障礙物時，駕駛員通常采取改變航向的方式以避碰。船舶需要在舵的控制下才能改變航向。本文在仿真環境中設定船舶單位時間航向變化量在到之間。通過對船舶進行直角轉彎過程的實測數據分析，航向角變化約為1(°)/s。因此，本文將設置為1°，使船舶智能體的轉向輸出更貼近實際情況。

　　3)DDPG算法的獎勵值設計。船舶避碰路徑規劃過程可以分為2個部分：一是船舶周圍無危險障礙物時駛向目標點;二是船舶存在碰撞危險時進行避碰路徑規劃。本文使用的DDPG算法的獎勵函數設計分別圍繞以上內容展開。

　　3DDPG算法改進

　　3.1基于失敗區域重點學習的改進DDPG算法

　　受人類學習過程的啟發，針對智能體盲目探索時造成有效數據不足的問題，有學者提出了失敗區域重點學習方法，該方法有以下幾個要點：

　　1)失敗區域的反復試錯學習。前期DDPG探索中，通過在行為的確定性策略上添加高斯噪聲來使算法實現探索的隨機性。

　　2)經驗池分類。為進一步增強算法對學習樣本中有用數據的利用效率，本文采用了經驗池分類的方法將主經驗池A的樣本數據分為2類：常規樣本經驗池和重點區域樣本經驗池。其中，常規樣本經驗池為正常探索時獲得的樣本數據，重點區域樣本經驗池為單獨經驗池B復制過來的反復試錯的樣本數據。

　　3.2改進算法會遇仿真實驗

　　船舶在航行中會存在與其他船舶航線會遇的情況，這會增加碰撞風險。本文通過DDPG算法建立船舶會遇避碰路徑規劃模型，實現了船舶在會遇時的避碰路徑規劃，從而可以保障船舶航行安全。

　　3.3原始與改進的DDPG算法比較

　　為驗證改進算法的有效性，本文分別從學習速率和學習效果這兩個方面對原始算法和改進算法進行比較。其中，對學習速率的比較主要依據計算達到相同正確率的訓練迭代次數;對學習效果的比較主要通過每步平均獎勵值，每步平均獎勵值越大表示學習效果越好。

　　4結　語

　　本文將深度強化學習的DDPG算法與船舶領域模型相結合，利用改進的游船船舶領域模型，提出了基于失敗區域重點學習的DDPG算法改進策略。通過仿真實驗表明，基于失敗區域重點學習的改進DDPG算法無論是在學習速率，還是在學習效果方面都優于原始的DDPG算法。通過對改進的算法預測路徑與真實航跡的比較，結果顯示，改進算法獲得的航跡點平均距離偏差降低了15.1%，轉向正確率提高了4.8%。將改進DDPG算法和游船船舶領域模型運用于周莊水域，實現了對游船的避碰路徑規劃，驗證了改進算法在真實水域環境下的可行性。

　　參考文獻：

　　吳飛,李志特.新時期中國內河航運發展問題分析[J].珠江水運,2020(15):87–88.WUF,LIZT.AnalysisofthesustainabledevelopmentofChina'sinlandriverinthenewera[J].PearlRiverWaterTransport,2020(15):87–88(inChinese).

　　[1]童霖.內河船舶避碰事故調查處理要點[C]//中國航海學會內河船舶駕駛專業委員會橋區船舶航行安全與管理學術會議論文集.珠海:中國航海學會,2010:3.TONGL.Keypointsofinvestigationandhandlingofinlandwatercraftcollisionavoidanceaccidents[C]//PapersonNavigationSafetyandManagementinBridgeArea(1).Zhuhai:ChinaNauticalSociety,2010:3(inChinese).

　　[2]倪生科,劉正江,蔡垚,等.基于遺傳算法的船舶避碰決策輔助[J].上海海事大學學報,2017,38(1):12–15.NISK,LIUZJ,CAIY,etal.Shipcollisionavoidancedecisionaidsbasedongeneticalgorithm[J].JournalofShanghaiMaritimeUniversity,2017,38(1):12–15(inChinese).

　　[3]倪生科,劉正江,蔡垚,等.基于混合遺傳算法的船舶避碰路徑規劃[J].上海海事大學學報,2019,40(1):21–26.

　　作者：周怡，袁傳平，謝海成，羊箭鋒

轉載請注明來自發表學術論文網：http://www.zpfmc.com/jjlw/28954.html