本文摘要:摘要:基于數據挖掘技術,結合工程實例,設計開發了軟件對公路控制測量平差結果進行數據挖掘提
摘 要:基于數據挖掘技術,結合工程實例,設計開發了軟件對公路控制測量平差結果進行數據挖掘提取、質量分析與評價,并形成了質量驗收報告。處理過程快速高效,結果準確可靠,大大提高了質量檢查效率,促進了對公路勘測質量的有效控制。
關鍵詞:數據挖掘;公路勘測;質量控制;質量評價
勘測成果資料作為項目設計、施工的基礎資料,其重要性不言而喻。如今的公路工程項目一般規模大、工程量大、建設難度高,對于控制測量而言,其產生的觀測數據、計算數據和平差報告的數據量很大,如何在短時間內從大量數據中獲取有用信息,并對測量過程和結果進行質量控制與評價是一大難點。目前多采用人工檢查的方式檢查測量平差成果質量,但效率偏低、數據利用率低、不能及時準確地反映測量過程中的質量問題。利用數據挖掘技術可從海量數據中挖掘并提取有用信息[1],用于質量評價和分析決策,已被廣泛應用于商業領域[2]以及智慧城市建設中[3]。借助云計算技術進行數據挖掘提取,可提高數據挖掘的準確性,同時降低挖掘成本[4]。
將PageRank、K-means等數據挖掘算法應用到管理系統海量數據的挖掘分析中,獲取有價值的信息,從而為管理系統的優化與升級提供參考依據[5]。本文探討了數據挖掘技術在公路勘測質量控制中的應用,并結合工程實例,設計編寫了軟件,以實現對公路控制測量平差結果的快速數據挖掘提取與質量評價。
數據挖掘論文范例:論數據挖掘技術在計算機網絡病毒防范中的應用
1數據挖掘技術與公路勘測質量控制
1.1數據挖掘技術
數據挖掘技術的實質是一種人工智能技術,隨著大數據技術的興起而發展成熟,通過數據挖掘與分析從海量數據中提取有價值的信息。海量數據具有不規則性、隨機性、多樣性等特點,數據表達較模糊,因此需首先對海量數據進行預處理,再進行數據挖掘,然后采用一定的算法和規則對挖掘的數據進行分析和判斷,從而提取出有價值的信息,用于下一步分析與評價。數據挖掘技術的特點包括:①數據處理量大,在大數據時代,隨著社會和科技的發展,未來各行業的數據量將有增無減,且種類繁多、混亂無序;②數據挖掘算法和規則應緊跟用戶需求,不斷發展,數據挖掘的最終目的是為了獲取有用信息或摒棄無用信息,因此數據篩選標準和算法應圍繞用戶需求展開,針對性強,并隨之不斷發展;③自動化程度高、人工干預少;④處理過程高效、準確。
1.2公路勘測質量控制
公路勘測所產生的數據較多,而控制測量作為各項測量工作的基礎,對其成果質量的控制就顯得尤為重要。目前,通常是根據規范要求對控制測量成果進行質量檢查與驗收,對于中間測量過程數據質量的控制較薄弱,這樣不利于及時發現該環節中的錯誤和質量問題,從而導致采取措施不夠及時、有效,將給項目造成一定的損失。數據挖掘技術能較好地解決這些問題,能應用于控制網設計、觀測數據、數據計算、平差報告等各階段數據質量檢查中。
數據挖掘技術一方面可通過聚類分析、粒度分析、關聯分析等方式從大量測量數據中獲取有用信息,用于進一步的分析與判斷;另一方面可根據一定的規則和標準對海量數據進行自動檢核與分析,清理不合格、無用的錯誤和冗余信息,提高數據整體的準確率和有效性,同時提高數據利用率。數據挖掘技術在公路勘測質量控制中的應用依據為:JTGC10-2007《公路勘測規范》[6]、JTG/TC10-2007《公路勘測細則》[7]、GB/T24356-2009《測繪成果質量檢查與驗收》[8]和GB/T18316-2008《數字測繪成果質量檢查與驗收》[9]等相關規范規定。
數據挖掘主要分為文本挖掘和圖像挖掘兩種方式,其中文本包括原始觀測數據、計算書、平差報告等資料,文本挖掘通過讀取文本數據進行挖掘分析和信息提取;圖像包括控制點點位分布圖、GNSS控制網網型圖等各種圖件資料,以GNSS控制網網型圖為例,利用計算機圖形圖像處理技術和數據挖掘技術分析控制點的空間距離與分布,從而判斷控制網的整體網型強度、點位連接強度等,為控制網的設計優化提供參考依據。數據挖掘技術在公路勘測質量控制中的應用具體表現為:
1)數據清理。測量數據中存在一些噪聲或粗差,甚至是錯誤,因此采用數據挖掘技術基于一定的規則對冗余和錯誤數據進行清理,如一組觀測數據中某個觀測值隨機誤差超過閾值可認定為粗差,并自動將其清理。另外,對于不符合規范要求的測量數據,也可利用數據挖掘功能將其清理掉,如在GNSS靜態觀測數據中,對于錯誤的儀器天線高數據以及觀測時間不足、觀測值超限等不合格數據均可根據規范要求進行清除。2)空間粒度分析。對于控制點點位空間分布的位置屬性,以點位精度為基準進行數據挖掘分析,如在平面控制測量平差報告中,對于三維自由網的平差結果,將規范中相應等級控制網的控制點點位精度要求設定為閾值,挖掘提取平差結果的點位信息,包括控制點三維坐標、點位中誤差等,再對點位中誤差大于閾值的控制點進行標記,以精度指標超限處理。
3)空間尺寸挖掘。以控制點之間的相對關系為基準,對控制點空間分布的相對關系和屬性進行挖掘分析,如相鄰平面控制點之間的邊長距離、邊長相對中誤差、相對點位中誤差等信息;對平面控制網平差解算后的二維自由網結果進行挖掘提取,包括二維基線向量、平面坐標、平差后邊長及其相對中誤差、相鄰點坐標分量及其相對中誤差等信息,根據規范中的精度指標要求進行分析判斷。4)關聯分析。以數據之間的內在聯系為基準,通過數據挖掘對各項數據進行歸納與分析,尋找對象之間的變化規律和影響因素,如在高程控制測量平差中,挖掘提取各測段的高差、路線長度等數據,按照規范中的精度指標要求,根據控制等級、路線長度計算閉合水準路線的閉合差并判斷是否超限,若不超限則根據各測段長度將閉合差分配到各測段高差中。
2軟件研發與工程應用
結合具體工程案例,本文設計編寫了軟件對控制測量平差結果進行數據挖掘提取與質量評價。
2.1軟件研發
科傻系統(COSA)是武漢大學研發的一款商業軟件,包括CosaGPS、CosaWin兩個子系統,分別對GNSS靜態觀測數據和高程控制測量數據進行平差解算。在公路工程項目中,首先利用COSA系統進行控制測量數據的平差解算,并生成平差文件;然后將平差文件導入自編軟件中進行數據挖掘提取,根據軟件中預設的相關規范要求進行計算分析、指標判斷和質量評價;最后形成并輸出標準化的質量驗收報告。該軟件制定了標準化的數據文件模塊,包括平差報告數據模塊、專家知識庫模塊和驗收報告模塊。
平差報告數據模塊是針對COSA平差軟件生成的平差報告文件編寫的文件讀取模塊,能與平差軟件無縫對接,直接準確讀取每個平差文件的內容,其中平面控制測量平差報告包括重復基線計算結果、異步環閉合差計算結果、三維控制網平差結果和二維控制網平差結果4個文件;高程控制測量平差報告包括已知點高程、測段高差和長度,高差閉合差計算結果,高程平差值結果3個文件。
專家知識庫模塊包括JTGC10-2007《公路勘測規范》等規范中具體的精度指標和相關規定,是文本數據挖掘后進行精度指標判斷和質量評價的依據。驗收報告模塊包括平面控制測量和高程控制測量質量驗收報告,驗收報告的內容、格式相對固定,基本包含了公路工程平面和高程控制測量的主要精度指標以及平差報告的主要內容。軟件功能主要包括平差報告讀取與數據挖掘、數據計算與指標判斷、驗收報告輸出。平差報告讀取與數據挖掘,即根據平差報告數據模塊讀取各文件數據,并進行數據挖掘和信息提取;數據計算與指標判斷,即對提取的信息數據進行空間粒度分析、空間尺寸挖掘、關聯分析等,并對分析結果進行整理歸納,根據專家知識庫中的規范要求進行指標判斷與質量分析;驗收報告輸出,即輸出標準化的質量驗收報告。
2.2軟件應用
本文采用自編軟件,對某高速公路項目平面控制測量平差結果進行質量檢查。該項目布設GNSS控制點169個,其中已知點5個,測量等級為一級。首先采用COSA系統對控制測量數據進行控制網平差計算,再將得到的平差文件導入自編軟件中進行數據挖掘計算與質量分析,最后輸出驗收報告。
3結 語
結合工程實例,通過軟件設計與開發,本文對數據挖掘技術在公路勘測質量控制中的應用進行了探討,得到的結論為:1)利用數據挖掘技術可根據規范要求對測量數據進行自動檢核與分析,去除冗余和錯誤數據,提高數據整體的準確率和有效性。2)采用數據挖掘技術可對測量過程數據進行質量檢核,及時發現質量問題并予以解決,避免造成更多返工和更大損失,從而有助于加強對工程測量過程的質量控制,促進項目整體質量水平的提升。3)設計與開發公路工程測量質量控制軟件,可直接讀取平差軟件解算后的平差文件,并進行數據挖掘提取與質量評價,最終形成標準化的質量驗收報告。整個過程快速高效,結果準確可靠,大大提高了成果質量檢查的效率,有效促進了對公路勘測的質量控制。
參考文獻
[1]杜江毅,邊馥苓.面向大數據的空間數據挖掘綜述[J].地理空間信息,2017,15(1):8-12
[2]王鵬.大數據時代數據挖掘技術分析[J].農家參謀,2020(24):90
[3]朱宏列,戚欣.數據挖掘在智慧城市中的應用[J].計算機時代,2020(10):40-42
[4]何欣.基于云計算技術下海量數據挖掘的實現研究[J].現代信息科技,2020,4(9):91-93
[5]李加慶,原士棟.數據挖掘關鍵技術分析探索[J].計算機產品與流通,2020(3):81
[6]公路勘測規范:JTGC10-2007[S].北京:人民交通出版社,2007
[7]公路勘測細則:JTG/TC10-2007[S].北京:人民交通出版社,2007
[8]測繪成果質量檢查與驗收:GB/T24356-2009[S].北京:中國標準出版社,2009
[9]數字測繪成果質量檢查與驗收:GB/T18316-2008[S].北京:中國標準出版社,2008
作者:向榮榮1,李 松1,王守彬1
轉載請注明來自發表學術論文網:http://www.zpfmc.com/dzlw/25690.html