基于視頻時空關系的高速公路異常停車檢測

　　摘要：針對傳統高速公路異常事件檢測方法效率低、漏檢率高、實時性較差等問題，提出基于視頻時空關系的高速公路異常停車檢測方法。首先，采用基于交通流頻率分析的無監督分割方法分割道路圖像，去除較小連通域提取道路分割圖;然后，通過透視關系模型將近遠目標歸一化到同一尺度并進行裁剪，輸入YOLOv4網絡進行二次檢測增強對近遠目標檢測的魯棒性;最后建立時空信息矩陣，通過時空矩陣的更新與NMS(Non-MaximumSuppression)方法檢測合并異常區域并輸出檢測結果。實驗結果顯示，該方法在遠距離場景中的準確率為95%，在擁擠場景中的準確率為93%;通過對比實驗結果發現該方法能夠有效提高復雜場景下異常停車檢測準確率且具有良好的泛化能力。

　　關鍵詞：智能交通;異常停車;道路分割;YOLOv4;透視關系;時空關系

　　0引言

　　近年來，我國機動車數量不斷增加，給現有道路通行能力和交通管控能力帶來了巨大挑戰。特別是在高速公路環境中，車輛違停等異常行為一旦發生，將會導致嚴重的交通事故。因此及時發現異常行駛車輛，檢測交通異常事件十分重要。傳統人工觀看視頻監控并判斷交通事件異常的檢測方式勞動強度大，工作效率低且存在漏判現象，已不能滿足智能交通發展的需求，基于計算機視覺的交通異常事件自動檢測技術越來越受到學者們的重視[1~3]。

　　目前主流的基于計算機視覺的異常自動檢測方法包括：基于模型的異常行為檢測和基于深度學習的異常行為檢測[4]。基于模型的方法通常采用正常樣本進行模型構造，由于異常行為會偏離正常行為模型，故在測試階段偏離模型的樣本即可判定為異常。

　　高斯混合模型(GMM)、隱馬爾可夫模型(HMM)是異常檢測中常用的參數模型。在車輛異常行為檢測算法中，GMM模型可以自動獲取關聯屬性并通過曲面擬合和加權抽樣策略克服異常檢測中樣本不足的問題[5,6]，但其計算過程復雜且特征數目較大時計算成本較高。HMM模型可以依據時域特征將目標行為分解為簡單和復雜兩部分以有效檢測場景中的細微異常行為[7]，但其在訓練時需提前設定狀態數目且無法更改，因此僅適用于對場景先驗知識較了解的情況。狄利克雷混合模型(DPMM)是一種非參數模型，基于DPMM對車輛行為建模時無須提前設定模型數目，相比于參數模型更適用于對視頻中復雜場景的異常檢測[8,9]。

　　上述基于模型的異常檢測雖然具有良好的檢測效果，但其依賴于手工提取時空域特征且場景遷移能力差。因此隨著深度學習的發展，異常行為檢測算法正由基于模型的方法向基于深度學習的方法轉換。基于深度學習的異常檢測方法通過特定的網絡結構，從大量訓練數據中自動提取由低階邊緣到高階語義等更具有判別性的行為表示特征，具有更優異的行為檢測性能。

　　基于深度學習的異常檢測方法可分為基于監督學習的方法和基于無監督學習的方法。基于監督學習的方法操作簡單、易于理解，但標注數據需要大量時間，面對真實場景時檢測效果不佳，此外該方法需要大量時間調節參數以獲取最佳異常檢測結果[10,11]。所以基于深度學習的方法更多的采用無監督的訓練方法。Lazzaretti等應用自動編碼器對正常樣本行為進行特征表示，再利用解碼器對視頻幀進行重建，最后根據重建誤差檢測異常[12]。

　　文獻[13]基于變分自編碼器(VAE)通過端對端的深度學習技術將正常樣本的隱層表示約束成一個高斯分布，計算測試樣本隱層表示屬于高斯分布的概率并根據檢測門限判斷其是否異常。Liu等利用生成對抗網絡(generativeadversarialnetwork，GAN)等生成式網絡對視頻進行重建或預測，再將重建誤差大于閾值的個例判定為異常[14]。Chong等通過將空間卷積特征提取器和時間特征提取器合并到深度自動編碼器中，構建了一個端到端的異常檢測模型[15]。Medel等采用基于卷積LSTM(convolutionalLSTM，Conv-LSTM)網絡的自編碼器對正常行為的外觀和運動模式進行建模，進一步提高了基于自編碼器的異常行為檢測方法的性能[16]。

　　基于無監督的車輛異常行為檢測算法無須對樣本進行注釋，僅依靠樣本數據自身分布規律將小概率事件判定為異常。但在異常檢測時需要構建復雜的網絡模型，檢測效率低且需要對原始樣本數據進行大量的處理和分析。例如，自編碼器通過無監督的方式對交通場景中的車輛正常行為進行特征表示，但車輛異常行為的檢測需要對比分析正常樣本檢測來重建誤差。基于以上工作，本文提出基于時空關系的異常停車檢測，該方法采用無監督學習，檢測結果僅依賴于目標識別結果，無須對待測數據進行分析與處理，能夠準確定位異常啟停時間，有效適應多變的環境。

　　首先使用均值法建立背景，再依據交通流頻率信息分割路面;其次將透視關系與YOLOv4網絡結合以進行車輛目標檢測，該操作將處于圖像中不同位置的目標歸一化，提高了遠處小目標檢測的精度;然后根據車輛檢測結果構造時空矩陣以記錄每個被檢像素的時空狀態;最后依據時空矩陣的更新檢測異常，并對得到的異常采用非極大值抑制(NMS)方法進行回溯合并以得到準確的異常區域和開始、結束時間。該檢測方法能夠快速高效的檢測異常停車事件且具有良好的泛化能力。

　　1基于透視關系和YOLOv4模型的車輛檢測

　　1.1交通流頻率道路分割

　　為了獲取車輛坐標位置，判斷車輛違停狀態，精確提取運動目標前景是后續目標檢測和異常檢測的關鍵。高速公路監控視頻圖像視野較大，需要選用合適的方法分割路面以排除場景外房屋或路側樹木對目標檢測的影響。本文應用一種基于交通流頻率分析的無監督分割方法，該方法操作簡單且效果良好。

　　1.2透視關系建模

　　濾除運動目標后需要檢測靜止車輛，然而實際交通場景中遠處小目標容易漏檢從而導致異常事件漏檢。因此本文利用透視關系[18]將近遠目標歸一化到一個更小的波動范圍以增強對近遠目標檢測的魯棒性。

　　1.3基于透視關系的YOLOv4車輛檢測

　　透視關系的建立主要依靠檢測框結果，因此選用合適的目標檢測算法進行初始檢測十分重要。目前主流的目標檢測算法有ONE-STAGE和TWO-STAGE兩種，TWO-STAGE指檢測算法分兩步完成，首先獲取候選區域，然后進行分類，典型代表有CNN[21]系列;與之相對的ONESTAGE檢測則無須單獨尋找候選區域，如SSD[22]/YOLO[23]系列。

　　YOLO能夠在GPU上每秒處理較高幀數，同時提供與其他先進的模型相同甚至更好的精度[24]。速度是交通視頻檢測異常的關鍵，因此本文選用YOLOv4網絡作為車輛目標檢測網絡并將其與透視關系結合以獲取車輛的精確位置。首先利用YOLOv4獲取初始檢測框結果，然后應用線性回歸計算透視關系中的關鍵系數和，基于此就能夠對圖像中不同區域的尺度進行歸一化裁剪。裁剪區域面積根據區域內可容納的目標數量進行劃分。

　　2基于時空關系的車輛異常停車檢測方法

　　通過透視檢測模塊能夠獲取靜止車輛位置信息，但并非所有檢測的靜止車輛都可判定為異常，并且根據檢測結果確定同一異常開始和結束時間十分困難。一個常用方法是使用對象跟蹤[26,27]或光流法[28]分析同一車輛的軌跡以判定異常。但是基于軌跡特征的異常檢測依賴于軌跡提取，而視頻質量、車輛間互相干擾都會導致軌跡縮減。其中，當連續檢測到某位置時，該位置進入可疑異常狀態，該異常狀態由Vstate更新，當檢測到最新異常時，計數矩陣Vdetected和連續未檢測矩陣Vundetected更新。

　　道路異常停車的一個主要標準是停車時間長短。故本文只分析進入可疑異常狀態且持續時間最長的位置。當異常持續時間過長(大于60s)時，以該位置為起點進行廣度優先遍歷，以得到Vdetected中計數值相似的連通區域。同時記錄該連通區域進入異常狀態的開始時間Vstart，同時待該區域的異常狀態Vstate更新后輸出結束時間Vend，并將檢測到連通區域位置的平均得分作為異常得分。

　　為了獲取準確完整的異常停車區域，本文應用NMS方法合并上述連通區域，并將大于閾值IOU(IntersectionoverUnion)的異常更新最早時間定義為異常停車的開始時間，最晚時間為結束時間。因算法輸入為加權平均后的圖像，故檢測到靜止車輛時間存在延遲。針對這一問題，本文在固定時間長度內對異常區域的原始圖像進行時間回溯。回溯過程中的異常區域與當前輸出異常區域面積的IOU大于0.5時，更新異常開始時間。同時，如果在此異常區域內持續檢測到車輛則繼續回溯，直到未檢測到新異常為止。算法1基于時空矩陣的異常停車檢測算法

　　3實驗結果與分析

　　3.1實驗方法

　　3.2實驗數據集

　　本文選取來自三個真實高速公路中不同場景的監控視頻和UADETRAC數據集[16]作為車輛檢測數據樣本。其中UADETRAC包含使用CannonEOS550D相機在在中國北京和天津不同位置拍攝的24個10小時視頻，分辨率為960*540。高速公路監控視頻包含雨天、夜晚等復雜天氣和匝道、主干道、上坡等不同場景的5段視頻，分辨率為1270*980，從中抽取若干幀采用人工方式進行標注和分類。該混合數據集共包含5200張圖像，采用隨機選擇的方式將數據集分成80%的訓練集和20%的測試集。

　　訓練集有3924張圖像，其中，包含2616張來自真實高速公路的監控視頻，1308張來自UADETRAC數據集。測試集有1276張圖像車輛目標與訓練集完全不同的圖像以測試已訓練模型的準確率。由于來自真實環境的異常數據難以捕捉，因此本次實驗使用英偉達官方發布的異常事件檢測數據集[29]。該數據集由100個視頻組成，每個視頻平均時長約15分鐘，幀速為每秒30幀，分辨率為800*410，共包含18起由車禍、違章停車引起的異常停車事件。

　　3.3實驗評價指標

　　異常數據集包含異常停車事件及異常開始及結束時間，所以應用F1-Score衡量模型檢測性能，F1分數越大，模型檢測異常準確率越高，應用均方根誤差(RMSE)衡量檢測時間誤差，時間誤差越小，模型檢測異常起始時間越準確。

　　3.4實驗過程及評價

　　本文以上述異常數據集為研究對象，驗證異常停車檢測算法的正確性。其中視頻分辨率為800*410，幀率為30幀/s。截取自高速公路異常停車事件發生視頻的第1803幀、第5623幀、第7023幀、第10168幀及包括本文算法在內的三種異常算法檢測結果。該視頻展示的是目標車輛由正常行駛狀態逐漸變為減速慢行狀態，最后變成停車狀態的過程。從圖中可以看出，從1803幀到5623幀車輛由正常行駛開始逐漸減速行駛，單位時間內的位移逐漸變小;從5623幀到7023幀，車輛由減速行駛變為停止狀態，且在該位置停止了一段時間，在10168幀時異常停車狀態結束。

　　其中第一行為基于時序模型[16]的檢測結果，該方法對運動目標的速度和方向進行建模，提取光流特征至卷積神經網絡并結合分類算法實現異常停車檢測，但是由于異常發生時間過長，該時序模型已經無法保持異常檢測狀態導致在7023幀時丟失異常。中間為基于運動目標軌跡[28]的檢測結果，該方法通過檢測運動目標軌跡并創建基于軌跡的異常判斷模型檢測出了異常停車事件，但是在5623幀中，受異常停車事件影響而行車緩慢的兩輛車軌跡與異常軌跡高度相似(綠色框標注)，導致基于軌跡的異常檢測模型檢測失誤。

　　最后一行為本文異常檢測模型的檢測結果，通過輸入加權平均圖像至本文所述異常停車檢測算法，準確的檢測到了異常停止車輛并給出了異常開始和結束時間。 為了驗證本文異常停車檢測算法的有效性，分別對高速公路近遠距離場景及道路擁擠場景進行檢測并使用基于運動目標軌跡的異常檢測算法、基于時序模型的檢測算法作對比實驗。實驗中對相關參數進行設置，將正常狀態轉換到可疑狀態的閾值設置為6個連續幀，thresholddetected=6，可疑狀態轉換到正常狀態的閾值設置為8個連續幀，thresholdundetected=8，輸出異常的最短時間閾值為60s，檢測異常的最小分數閾值為0.8。

　　在近距離和遠距離場景中，本文方法在時間誤差和準確率方面均表現出了更好的性能。在遠距離場景中本文方法的F1分數和S分數更高，說明本文方法能夠提升遠距離場景的事件檢測能力，有效減少事件的漏檢而且檢測時間誤差小。采用基于運動目標軌跡的異常檢測算法，當背景經常變化或者目標較小時，易將車輛過濾掉而導致車輛不能有效追蹤，從而使得遠距離場景下的異常事件準確性較低。采用基于時序模型的檢測方法在異常事件持續時間較長時無法保持檢測狀態且應用深度卷積神經網絡提高檢測準確率需花費較長的時間，難以滿足實時性的要求。

　　在道路擁擠和正常路況中，本文方法的時間誤差(RMSE)更小，S分數更大，說明本文方法對異常停車的檢測反應更敏感，定位更準確。由于擁堵場景中運動目標數量多，軌跡匹配和切換復雜導致獲取運動目標的軌跡質量差，難以精確定位停車異常。基于時序模型的方法需要對運動目標速度方向建模而擁擠道路中車輛運動速度緩慢，提取出的光流特征難以區分導致異常檢測能力下降。

　　4結束語

　　本文完成了基于視頻時空關系的異常停車檢測研究，該方法能夠最大限度減少非異常信息的干擾。首先，量化空間交通頻率得交通流頻率分割圖，二值化分割圖后過濾小的獨立連接域實現無監督道路分割，消除道路外因素的干擾;通過不斷疊加輸入幀來增強靜態對象，消除動態交通干擾。其次，利用透視關系和YOLOv4獲取車輛坐標，透視關系將視頻遠近區域轉換成統一的尺度，提高了目標檢測精度。

　　最后，提取視頻時空矩陣分析異常空間中的車輛位置，應用NMS模塊合并異常檢測信息得到異常的開始和結束時間。實驗結果表明，本文提出的高速公路異常停車檢測算法可以提升遠距離場景和擁堵場景下異常事件的檢測準確率，且無須標注數據和構建復雜的網絡模型，計算速度快，占用資源少，體現了識別準確性和實時性。但該方法無法在線實時應用，后續計劃將檢測結果替換為車輛密度圖，以實現對車輛位置和概率分布的更連續估計，并提高時間估計的準確性。

　　參考文獻：

　　[1]MouLuntian,MaoShasha,XieHaitao,etal.Structuredbehaviorpredictionofon-roadvehiclesviadeepforest[J].ElectronicsLetters,2019,55(8):452-454.

　　[2]LINWY,ZHOUY,XUHT,etal.Atube-and-droplet-basedapproachforrepresentingandanalyzingmotiontrajectories.IEEETransactionsonPatternAnalysisandMachineIntelligence,2017,39(8):1489-1503.

　　[3]DegardinB,ProenaH.Iterativeweak/self-supervisedclassificationframeworkforabnormaleventsdetection[J].PatternRecognitionLetters,2021:145.

　　[4]ShiraziMS,MorrisBT.Lookingatintersections:Asurveyofintersectionmonitoringbehaviorandsafetyanalysisofrecentstudies[J]. IEEETransactionsonIntelligentTransportationSystems,2017:1-21.

　　[5]李楠芳,王旭,馬學智,等.基于隱高斯模型的多元離散數據異常檢測[J].計算機應用與軟件,2018,35(08):249-253.(LiNanfang,WangXu,MaXuezhi.et.al.MultivariateDiscreteDataAnomalyDetectionBasedonHiddenGaussianModel.Computerapplicationsandsoftware.2018,35(08):249-253.)

　　[6]Aköz,Ömer,KarsligilME.Trafficeventclassificationatintersectionsbasedontheseverityofabnormality[J].MachineVisionandApplications.2014,25(3):613-632.

　　[7]NganHYT,YungNHC,YehAGO.Outlierdetectionintrafficdatabasedonthedirichletprocessmixturemodel[J].IntelligentTransportSystemsIet,2015,9(7):773-781.

　　[8]SanthoshKK,DograDP,RoyPP,etal.Trajectory-basedsceneunderstandingusingdirichletprocessmixturemodel[J].IEEEtransactionsoncybernetics.2018,51(8):4148-4161.

　　[9]ChalapathyR,BorzeshiEZ,PiccardiM.Aninvestigationofrecurrentneuralarchitecturesfordrugnamerecognition[C]/ProceedingsoftheSeventhInternationalWorkshoponHealthTextMiningandInformationAnalysis.2016.(2016-9-24)[2021-7-30].http://arxiv.org/abs/1609.07585.

　　作者：梁睿琳1a，王銳2†，郭迎1a,1b

轉載請注明來自發表學術論文網：http://www.zpfmc.com/jjlw/29432.html