基于三維視頻融合的礦山視頻監控技術研究

　　摘要傳統礦山視頻監控存在視頻數據量大、視頻圖像之間關聯性差、缺乏與三維空間位置信息的直接聯動等問題，監管人員在面對多個碎片化的監控視頻圖像時難以有效復現場景及位置，這使得突發事件發生時不能及時解決相關問題，嚴重影響了礦山活動的經濟環保和應急救援。針對以上問題，提出一種基于三維視頻融合的礦山視頻監控方法，利用三維視頻融合技術，將實時監控視頻作為紋理構建幾何體，通過特征點選擇、匹配與礦山三維模型進行融合，在此基礎上為了使三維視頻紋理融合效果更好，采用拉普拉斯網格形變算法對視頻幾何體紋理的畸變進行校正。試驗結果表明，三維視頻融合具有較強的視覺觀感效果，視頻與視頻之間相互關聯，整合了碎片化的視頻，視頻與三維模型融合，解決了三維空間數據與視頻不聯動的問題，彌補了傳統視頻監管技術的缺陷，豐富了礦山監測的手段。

　　關鍵詞三維可視化三維視頻融合礦山視頻監控網格形變紋理校正

　　當前智慧礦山正向著安全、高效、綠色的方向發展，對礦山信息的呈現從二維到三維進行轉變[1]。視頻監控是礦山生產監管的重要手段之一，傳統的礦山視頻監控技術往往采用平面列表的可視化方式，與三維地理信息結合不緊密，通常采用給視頻編號的方式記錄其攝像監控設置的位置，只有熟悉現場的人員才能網絡首發時間：2021-12-2710:58:52網絡首發地址：https://kns.cnki.net/kcms/detail/34.1055.TD.20211224.1209.002.html對監控區域進行快速的定位，監管效率低，阻礙了智慧礦山的建設[2]。通過融合三維模型地理空間位置信息與實時監控視頻，將對礦山風險預測、危機預警、安全監管等方面起到重要的輔助作用。

　　因此，可以使用三維可視化技術對傳統礦山視頻監控技術進行改進。近年來，諸多學者對礦山的三維可視化技術進行了大量研究。如：周羽結合地表建模及可疊加遙感技術對礦山進行了全方位的立體建模，實現了地上地下一體化顯示[3];李昀等基于WebGL構建了三維礦山巷道系統的架構，實現了三維巷道可視化、二維三維一體顯示和路徑分析應用功能[4];黃青青等設計了基于Unity3D平臺實現了對大孤山露天鐵礦的三維可視化，真實地展示了大孤山露天鐵礦復雜的礦巖關系和時空關系，增強了三維立體直觀的表現[5]。

　　上述研究對礦山的三維可視化技術進行了完善，將礦山數據與三維地理信息相結合，進行了可視化的展示，增強了虛擬三維場景的真實性，為礦山的開發管理和日常調度提供依據，但是這些研究都未能結合實時的礦山生產數據，礦山生產變化快，時效性強，空間位置信息不斷變化，這些研究利用已有的數據進行三維可視化展示，缺乏時效性，往往只具有展示的作用，將實時的數據進行三維可視化能幫助管理人員對礦山生產的突發事件進行及時的處理，能在實質上提升管理效率、保障生產安全。一些其他領域的學者嘗試將三維模型與實時的視頻進行融合，產生了三維視頻融合技術[6]。

　　HU利用構建紋理幾何體的方式，將視頻圖像作為紋理構建幾何體，融合到三維模型上[7];DE等采用投影融合的方式，將視頻圖像投影到三維模型表面[8]。目前三維視頻融合技術處在發展階段，仍存在一些問題需要進一步解決，如：三維模型與視頻紋理不契合，攝像機因為拍攝角度出現偏差導致視頻圖像失真，紋理會產生畸變[9]。針對以上研究存在的不足，本文使用三維可視化技術對傳統的礦山視頻監控技術進行改進，提出一種基于三維視頻融合的礦山視頻監控技術，通過構建紋理幾何體的方式，將實時監控視頻與礦山三維模型進行融合。

　　構建紋理幾何體的方式相較于投影融合的方式優勢在于：當視頻數量過多時采用投影融合的方法會影響著色器執行，當接入多視頻時用構建紋理幾何體的方式進行三維視頻融合穩定性更高。因此，本文采用了構建視頻紋理幾何體的方式進行三維視頻融合，三維場景漫游更穩定，同時針對視頻紋理畸變的問題，本文使用了拉普拉斯網格形變算法對紋理畸變進行校正，使三維視頻融合更貼近礦山真實的生產環境。

　　1技術路線

　　本研究提出的礦山視頻監控技術基于三維視頻融合思路，其技術路線主要分為構建礦山三維模型、獲取礦山實時監控視頻、搭建三維場景3個部分。

　　1.1礦山三維模型構建

　　礦山三維建模步驟為：①利用無人機傾斜攝影技術，收集礦山現場數據[10];①使用contextcapture軟件針對視頻監控區域進行初步建模;①由于無人機傾斜攝影測量技術對于精細物體的建模效果不佳，通過3DStudioMax軟件對三維模型進行細部的修正，優化模型細節，為視頻融合提供三維模型基礎。對模型缺損或存在懸浮物的部分進行了修正、優化。

　　1.2礦山實時監控視頻獲取

　　攝像機采集實時視頻圖像與磁盤相互連接，對視頻進行同步存儲。攝像機采集的原始視頻通過編碼器轉為網絡傳輸格式，發送到流媒體服務器。客戶端可以通過流媒體服務器提供的數據傳輸接口，經過HLS協議獲取到視頻[11]。

　　1.3三維場景搭建

　　搭建三維場景，導入構建的礦山三維模型，調整模型的位置、角度、大小等參數以符合虛擬現實場景;導入礦山實時視頻數據，以視頻作為紋理生成視頻幾何體，對其進行裁切，保留視頻圖像清晰、光線佳、形變小的部分。最后將模型和視頻幾何體通過特征點提取、特征點匹配以及紋理畸變校正等步驟實現三維視頻融合。

　　2三維視頻融合

　　本研究通過構建視頻紋理幾何體，進行三維視頻融合。具體實現步驟為：首先采集三維模型與視頻幾何體的特征點，確定模型與視頻幾何體特征點的對應關系;然后對視頻區域進行三角網格劃分，為紋理校正做準備;最后將模型與視頻幾何體進行特征點匹配，同時通過拉普拉斯網格形變算法對視頻幾何體的頂點進行調整[12-14]，對三角網格進行變形處理，從而校正畸變的紋理，實現三維模型與視頻的融合。為了提高三維視頻融合的渲染效率，攝像機安裝位置和鏡頭角度一旦確定之后不隨意更改，可以防止視頻幾何體拼接處出現錯位、減少特征點提取和匹配的計算量，在提取特征點時可以抓取具有代表性的視頻畫面。

　　2.1特征點提取和匹配

　　本文用SIFT算法采集模型與視頻幾何體上的特征點，并使用人機交互的方式修正部分點的位置、去除雜亂的點。利用上一步得到的特征點，在視頻幾何體中添加特征點作為頂點，使用Delaunay三角剖分的方法，對視頻幾何體進行三角網格的劃分，為后續紋理校正做準備。為了使紋理校正時，紋理變化更均勻，在進行三角網格劃分時可以采用手動或自動的方式在視頻幾何體上添加一些非特征點。最后通過模型和視頻幾何體特征點之間的位置關系，進行特征點的匹配。

　　2.1.1SIFT算法特征點提取

　　SIFT(Scale-invariantfeaturetransform)是一種能檢測圖像局部特征的算法。視頻具有動態性，存在動態變化的物體，并且不同時刻的現場光照強度和天氣狀況不一樣，會影響對視頻圖像的特征點提取。該算法具有較強的穩定性，能在一定程度上適應圖像旋轉、尺度和亮度的變化[16]。用SIFT算法對相同區域的三維模型與視頻圖像進行了特征點提取。

　　借助SIFT算法能快速提取特征點，但進行特征點匹配時要保證模型和視頻幾何體提取的特征點數量相同，所以還需要通過人機交互的方式剔除雜亂的特征點，調整部分區域特征點的位置，使三維模型和視頻幾何體的特征點相對應。

　　2.1.2Delaunay三角剖分

　　Delaunay三角剖分是將有限的點集合組成封閉線段平面圖。平面圖中的邊不包括點集的所有端點，線段之間不交叉，在平面圖中所有的平面都是三角形平面，且每個三角形平面的合集都為凸包。在進行視頻融合時，為了使視頻融合效果更佳，視頻幾何體需經過裁切，去除重疊部分或是圖像質量不佳部分，因此視頻幾何體會被裁切成任意凸多邊形或凹多邊形。

　　幾何體在進行三角剖分時，要保證其輪廓形狀不發生改變，需要使用有約束條件的Delaunay三角剖分方法，考慮約束線段即幾何體的輪廓線，采用遞歸割耳法，先將影響區域調整為簡單多邊形，再遞歸尋找并割去多邊形的耳，最終將影響區域重新三角剖分[15]。將無約束和有約束的Delaunay三角剖分方法對三角網格劃分的結果進行對比，三角網格構成了多邊形ABFECD，剔除了三角形ADC部分。因此，用有約束條件的Delaunay三角剖分方法能約束三角網格輪廓，該方法能實現對任意輪廓的視頻幾何體進行三角網格劃分。

　　2.2紋理畸變校正

　　特征點匹配的結果容易出現視頻紋理畸變的現象，其原因有：①攝像機所拍攝的視頻圖像會因為透視原理產生離視點近的物體大、離視點遠的物體小的現象，因此將視頻圖像作為紋理與模型融合時會出現紋理不匹配的情況;①三維模型的精度不夠高，模型紋理與現實場景有偏差，導致模型與視頻圖像不契合。本文采用拉普拉斯網格形變算法，從視頻幾何體的紋理上進行調整，使視頻紋理與三維模型更貼合。

　　2.2.1拉普拉斯網格形變定義

　　傳統的三維曲面基于笛卡爾坐標系，只能描述每個頂點的空間位置信息，而基于曲面微分表達的方式能夠描述包括尺寸和方向在內的局部信息[12]。拉普拉斯坐標能表示點與相鄰三角網格點之間的相對位置關系，因此包含了三維曲面的局部特征信息，在進行特征點匹配時，利用拉普拉斯網格形變算法能保持局部紋理細節，減少紋理扭曲。

　　3試驗與分析

　　3.1試驗數據與環境

　　本研究以武鋼資源集團烏龍泉礦業有限公司某露天礦區域為例開展相關試驗，通過利用蒼穹數碼技術股份有限公司的KQGIS軟件對采場區域數據進行格式轉換、配準和編輯等預處理。試驗的硬件環境：顯卡：NVIDIAGeForceGTX1660SUPER，運行內存：16GB，操作系統：window10，瀏覽器：Chrome。

　　3.2試驗結果與分析

　　3.2.1穩定性驗證

　　文獻[18]用投影融合的方法，基于WebGL協議通過CesiumJS接口進行視頻融合。為了驗證本文方法頁面渲染的穩定性，使用CesiumJS接口構建三維場景，記錄加載1路到10路視頻時頁面的幀率變化情況，同時保證視頻畫面的大小、位置等變量相同，使用投影融合的方法加載視頻，記錄其幀率變化。

　　頁面幀率大于20幀/s時，能實現三維場景的正常漫游，當低于20幀/s時，三維場景會出現明顯的延時卡頓現象，因此頁面幀率是否大于20幀/s是檢驗頁面渲染穩定性優劣的重要指標。當視頻數量大于5時，使用投影融合方法，不能滿足三維場景的正常漫游，會出現卡頓現象;而本文方法在視頻數量達到10時，其融合幀率為22幀/s，場景仍能實現流暢的渲染;從折線圖進行縱向比較，顯示使用本文方法加載1到10路視頻，頁面渲染的幀率均高于使用投影融合方法加載視頻的頁面幀率。

　　綜上可知，投影融合的方法在視頻數量少時可以進行三維場景的正常渲染，視頻數量過多時則不能滿足常規的操作;而本文所采用的三維視頻融合方法可穩定的進行三維場景漫游，能滿足加載多視頻流，對于三維場景中的視頻融合具有較強的適用性，更接近虛擬現實的理想化理念。

　　3.2.2優越性驗證

　　傳統投影融合方法，忽略了紋理的畸變，本研究視頻融合方法相較于傳統的視頻融合方法來說，能有效地進行紋理畸變的校正，使用拉普拉斯網格形變算法解決了因三維模型紋理與視頻圖像存在差異而產生的不匹配問題，提高了三維視頻融合之后的視覺觀感效果。拉普拉斯網格形變算法常用于調整三維模型的頂點，約束其局部特征，本研究使用拉普拉斯網格形變算法來調整視頻幾何體的頂點，對局部紋理特征進行調整，從而實現真實感更佳的三維視頻融合。

　　4結論

　　(1)傳統的礦山視頻監控存在視頻數量多、視頻圖像關聯性不強、缺乏三維空間位置信息等問題，這些問題嚴重影響了智慧礦山的建設。本研究提出的基于三維視頻融合的礦山視頻監控技術利用三維可視化的方式將視頻與三維模型相融合，解決了傳統視頻監控缺少位置信息的問題，使位置信息與視頻緊密聯動，有效提高了監管效率。本文方法較以往在三維視頻融合的研究相比，渲染穩定性更高，使用拉普拉斯網格形變算法對視頻幾何體紋理畸變進行校正，實現了融合度的極大提高。(2)本研究方法不足在于，實時視頻的動態性降低了特征點的選取效率、影響了特征點的代表性。提高特征點的選取效率和精度，從而提升三維視頻融合的效率，是未來的重點研究方向。

　　參考文獻：

　　[1]荊永濱，孫光中，畢林.地下金屬礦山三維可視化采礦設計研究[J].金屬礦山，2017(4)：132-136.JINGYongbin,SUNGuangzhong,BILin.Researchon3Dvisualminingdesignforundergroundmetalmine[J].MetalMine,2017(4):132-136.

　　[2]海云瑞.無人機傾斜攝影與視頻融合技術在生態農業園區全景監控中的應用研究[J].寧夏農林科技，2018，59(8)：44-46.HAIYunrui.Theapplicationofunmannedaerialvehicleobliquephotographyandvideofusiontechnologyinpanoramicmonitoringofecologicalagricultureparks[J].NingxiaJournalofAgricultureandForestryScienceandtechnology,2018,59(8):44-46.

　　[3]周羽.鈾礦三維可視化技術與實現[J].測繪科學，2017，42(4)：162-167.ZHOUYu.Researchon3Dvisualizationforuraniumdeposit[J].ScienceofSurveyingandMapping,2017,42(4):162-167.

　　[4]李昀，蘇小東，董加巖，等.基于WebGL的三維礦山巷道系統研究[J].工礦自動化，2017，43(11)：70-74.LIYun,SUXiaodong,DONGJiayan,etal.Researchonthree-dimensionalmineroadwaysystembasedonWebGL[J].IndustryandMineAutomation,2017,43(11):70-74.

　　作者：苗作華1,2湯陽1任磊1王夢婷1謝媛1戰川1李宏亮3

轉載請注明來自發表學術論文網：http://www.zpfmc.com/jzlw/29223.html