基于大數(shù)據(jù)挖掘的行業(yè)知識服務(wù)研究

　　摘要：[目的/意義]近年來大數(shù)據(jù)技術(shù)和產(chǎn)業(yè)快速發(fā)展，將技術(shù)與行業(yè)內(nèi)容知識相結(jié)合對行業(yè)服務(wù)創(chuàng)新具有重大意義。[方法/過程]在調(diào)研學(xué)術(shù)研究與實踐進展基礎(chǔ)上，構(gòu)建了基于大數(shù)據(jù)挖掘的行業(yè)知識服務(wù)層次模型，并立足行業(yè)知識服務(wù)現(xiàn)狀對基于大數(shù)據(jù)挖掘的行業(yè)知識服務(wù)發(fā)展策略進行探討。[結(jié)果/結(jié)論]基于大數(shù)據(jù)挖掘可以從專家發(fā)現(xiàn)、創(chuàng)新支持、市場信息和行業(yè)管理支持方面深化行業(yè)知識服務(wù)，其實現(xiàn)模型可以分為基礎(chǔ)設(shè)施層、數(shù)據(jù)資源層、數(shù)據(jù)治理層、數(shù)據(jù)挖掘?qū)�、服�?wù)功能層五個層次。為發(fā)展基于大數(shù)據(jù)挖掘的行業(yè)知識服務(wù)，需要重點推進行業(yè)大數(shù)據(jù)建設(shè)的跨組織協(xié)同機制構(gòu)建、跨語言行業(yè)大數(shù)據(jù)資源建設(shè)與挖掘以及開放化的行業(yè)知識服務(wù)平臺構(gòu)建。

　　關(guān)鍵詞：行業(yè)大數(shù)據(jù);大數(shù)據(jù)挖掘;行業(yè)知識服務(wù);發(fā)展機制

　　互聯(lián)網(wǎng)+環(huán)境下大數(shù)據(jù)技術(shù)和產(chǎn)業(yè)的發(fā)展，其在知識服務(wù)領(lǐng)域的應(yīng)用也受到了普遍關(guān)注，推動著知識服務(wù)領(lǐng)域的深刻變革。基于大數(shù)據(jù)的服務(wù)創(chuàng)新主要從兩個方面開展，一是基于用戶大數(shù)據(jù)提升服務(wù)的個性化、精準化水平，從用戶與資源匹配角度優(yōu)化用戶體驗;二是通過大數(shù)據(jù)挖掘分析，獲得更多新的知識，從資源供給角度優(yōu)化用戶體驗。

　　以圖情機構(gòu)為主體的知識服務(wù)中，這兩個方面的研究與實踐探索都在積極開展，并取得一定成效[1-5];但在行業(yè)知識服務(wù)領(lǐng)域，盡管也有一些機構(gòu)開展了實踐探索和理論研究，但總體來說仍然不夠充分、系統(tǒng)，未能結(jié)合行業(yè)資源特點和用戶需求進行服務(wù)功能的全面創(chuàng)新�；�于此，本文擬圍繞基于大數(shù)據(jù)挖掘的行業(yè)知識服務(wù)實現(xiàn)模型和發(fā)展策略進行探討，從而為基于行業(yè)大數(shù)據(jù)的服務(wù)創(chuàng)新研究與實踐提供參考。

　　大數(shù)據(jù)論文范例：大數(shù)據(jù)視角下移動互聯(lián)網(wǎng)的汽車營銷策略分析

　　1相關(guān)研究與實踐

　　大數(shù)據(jù)環(huán)境的形成為知識服務(wù)創(chuàng)新提供了新的契機，立足大數(shù)據(jù)環(huán)境的行業(yè)知識服務(wù)理論創(chuàng)新與實踐探索也受到了學(xué)界和業(yè)界的廣泛關(guān)注，并取得了初步研究與實踐成果。

　　1.1理論研究

　　理論研究方面，大數(shù)據(jù)環(huán)境下的行業(yè)知識服務(wù)創(chuàng)新主要圍繞關(guān)鍵技術(shù)研究、服務(wù)平臺構(gòu)建、服務(wù)模式創(chuàng)新等主題進行。關(guān)鍵技術(shù)研究中，唐明偉、蘇新寧等根據(jù)大數(shù)據(jù)計算的特點以及相應(yīng)的方法，從總體架構(gòu)、功能及實現(xiàn)方法等方面構(gòu)建了基于大數(shù)據(jù)的情報分析框架，探討了不同行業(yè)應(yīng)用該框架的一些細則問題[6];高偉等以數(shù)據(jù)源構(gòu)建、數(shù)據(jù)采集、數(shù)據(jù)集成、數(shù)據(jù)分析和數(shù)據(jù)服務(wù)為主線構(gòu)建了情報分析方法和技術(shù)體系[7];化柏林針對科技信息大數(shù)據(jù)，構(gòu)建了以多源異構(gòu)融合技術(shù)、用戶畫像與需求探測技術(shù)、屬性計算與情景計算技術(shù)、知識抽取與本體構(gòu)建技術(shù)等為主體關(guān)鍵技術(shù)體系[8]。

　　除了技術(shù)框架體系外，還有一些研究針對具體的技術(shù)問題提出了解決方案，包括大數(shù)據(jù)環(huán)境下的專利分析技術(shù)[9-10]、基于新聞大數(shù)據(jù)的行業(yè)熱點監(jiān)測技術(shù)[11]、面向用戶評論大數(shù)據(jù)的情感計算技術(shù)[12-13]等。行業(yè)服務(wù)平臺構(gòu)建方面，胡昌平和張晶從分析產(chǎn)業(yè)鏈中的跨行業(yè)知識需求入手，構(gòu)建了面向我國工業(yè)體系中各主要行業(yè)的集成服務(wù)平臺整體框架[14];李嘉璐在分析大數(shù)據(jù)環(huán)境下行業(yè)高校圖書館為母體行業(yè)企業(yè)提供大數(shù)據(jù)相關(guān)情報服務(wù)可行性的基礎(chǔ)上，構(gòu)建了基于大數(shù)據(jù)的行業(yè)情報服務(wù)平臺模型[15]。行業(yè)知識服務(wù)模式研究方面，李麗梅和吳新年提出基于大數(shù)據(jù)的產(chǎn)業(yè)競爭情報服務(wù)模式需要能夠精準捕獲并滿足個性化定制需求、重視多源動態(tài)情報、強化實時高效互通機制、依托新型技術(shù)創(chuàng)新供給方式、全社會廣泛參與[16]。

　　王學(xué)東等提出了平臺自助式信息服務(wù)模式和企業(yè)聯(lián)盟知識推薦服務(wù)模式兩種面向戰(zhàn)略性新興產(chǎn)業(yè)提供個性化服務(wù)模式，并認為其有助于滿足產(chǎn)業(yè)發(fā)展過程中不同的知識需求[17];熊回香等認為大數(shù)據(jù)環(huán)境下戰(zhàn)略性新興產(chǎn)業(yè)服務(wù)平臺需融合公共信息平臺、信息交易平臺和信息論壇三大部分，并進而提出戰(zhàn)略性新興產(chǎn)業(yè)知識服務(wù)可以按照共性化、個性化和特色化三種模式開展[18]。

　　孫立和焦微玲通過分析工業(yè)大數(shù)據(jù)驅(qū)動下知識發(fā)現(xiàn)與知識服務(wù)面臨的挑戰(zhàn)與企業(yè)具體需求，構(gòu)建市場供需對接切入模型[19];陳銳等分析了大數(shù)據(jù)對生物醫(yī)學(xué)知識服務(wù)流程中數(shù)據(jù)來源、數(shù)據(jù)采集、存儲、組織、分析及可視化呈現(xiàn)等各環(huán)節(jié)的影響，并從觀念、內(nèi)容、技術(shù)、人才、制度和合作模式6方面對生物醫(yī)學(xué)知識服務(wù)如何適應(yīng)大數(shù)據(jù)的時代發(fā)展要求提出建議[20]。1.2實踐探索基于大數(shù)據(jù)的行業(yè)服務(wù)實踐探索方面，國內(nèi)部分行業(yè)服務(wù)平臺立足各自的產(chǎn)業(yè)特點和積累的大數(shù)據(jù)資源進行了初步探索，較具有代表性的包括以下幾個平臺。

　　①制造強國公共信息服務(wù)平臺(http://www.iipsp.cn/)。其在采集物聯(lián)網(wǎng)、云計算、人工智能等行業(yè)大數(shù)據(jù)的基礎(chǔ)上，面向用戶提供基于大數(shù)據(jù)挖掘的行業(yè)知名品牌關(guān)注度、喜好度、價值認可度、負面敏感度監(jiān)測，行業(yè)熱點話題監(jiān)測，基于專利的技術(shù)預(yù)警服務(wù)。②交通行業(yè)知識服務(wù)系統(tǒng)(https://transport.ckcest.cn/main)。其在全面采集科技項目、科技文獻、工程建設(shè)信息、統(tǒng)計數(shù)據(jù)、儀器設(shè)備、科研平臺等交通行業(yè)大數(shù)據(jù)基礎(chǔ)上，向用戶提供領(lǐng)域?qū)＜�、團隊發(fā)現(xiàn)、技術(shù)演化分析服務(wù)。③中國水泥網(wǎng)(http://www.ccement.com/)。其在全面采集水泥行業(yè)大數(shù)據(jù)基礎(chǔ)上，面向行業(yè)用戶提供水泥市場信心指數(shù)、價格、庫容、運轉(zhuǎn)率、產(chǎn)銷、產(chǎn)能、成本等水泥信息的監(jiān)測與走勢預(yù)測，水泥地圖可視化展示服務(wù)。

　　總體來說，圍繞基于大數(shù)據(jù)的行業(yè)知識服務(wù)理論研究具有現(xiàn)實性，所取得的理論成果對行業(yè)實踐開展具有參考意義;同時，已有少量行業(yè)信息服務(wù)機構(gòu)開始了基于大數(shù)據(jù)挖掘的行業(yè)服務(wù)創(chuàng)新探索，一定程度上改善了行業(yè)用戶的服務(wù)使用體驗。然而，行業(yè)實踐應(yīng)用仍處于初期，大數(shù)據(jù)的價值發(fā)揮仍不夠充分;相關(guān)理論研究多是將大數(shù)據(jù)作為背景要素進行平臺架構(gòu)、服務(wù)模式探討，專門基于大數(shù)據(jù)挖掘的行業(yè)知識服務(wù)研究仍不夠系統(tǒng)、深入�；�于此，本文擬從大數(shù)據(jù)挖掘的行業(yè)知識服務(wù)模型出發(fā)，探索基于大數(shù)據(jù)挖掘的行業(yè)知識服務(wù)創(chuàng)新的系統(tǒng)思路，進而提出后續(xù)發(fā)展策略。

　　2基于大數(shù)據(jù)挖掘的行業(yè)知識服務(wù)分層結(jié)構(gòu)

　　基于大數(shù)據(jù)挖掘的行業(yè)知識服務(wù)創(chuàng)新的實質(zhì)在于，全面采集行業(yè)政策、市場、技術(shù)、產(chǎn)品、企業(yè)、客戶等相關(guān)的大數(shù)據(jù)資源，進行挖掘分析，發(fā)現(xiàn)大數(shù)據(jù)背后的規(guī)律性知識和隱藏知識，并以多種模式向用戶提供服務(wù)，滿足其無法通過既有行業(yè)信息資源得到滿足的需求。

　　為達成這一目標，從實施角度出發(fā)，除了具備行業(yè)大數(shù)據(jù)資源和大數(shù)據(jù)挖掘工具、算法外，還需要找到合適的應(yīng)用場景和需求痛點，開展服務(wù)模式創(chuàng)新。同時，行業(yè)大數(shù)據(jù)資源的采集、存儲、加工、挖掘等都離不開軟硬件基礎(chǔ)設(shè)施的支撐。根據(jù)這一認識，基于大數(shù)據(jù)挖掘的行業(yè)知識服務(wù)模型可以分為5個層次：基礎(chǔ)設(shè)施層、數(shù)據(jù)資源層、數(shù)據(jù)治理層、數(shù)據(jù)挖掘?qū)�、服�?wù)功能層。

　　其中，基礎(chǔ)設(shè)施層負責提供基于大數(shù)據(jù)挖掘的行業(yè)知識服務(wù)系統(tǒng)運行所需的軟硬件設(shè)施，數(shù)據(jù)資源層是行業(yè)大數(shù)據(jù)建設(shè)的信息源，數(shù)據(jù)治理層負責行業(yè)大數(shù)據(jù)的采集、預(yù)處理、組織與存儲，數(shù)據(jù)挖掘?qū)觿t立足需求進行行業(yè)大數(shù)據(jù)挖掘分析，生成服務(wù)所需的知識信息，服務(wù)功能層負責對接用戶，并提供多樣化的行業(yè)知識服務(wù)。

　　2.1基礎(chǔ)設(shè)施層

　　行業(yè)大數(shù)據(jù)的采集、存儲、組織、管理、挖掘分析需要軟硬件基礎(chǔ)設(shè)施提供穩(wěn)固支撐。高性能、高帶寬、高可靠、大緩存的硬件基礎(chǔ)設(shè)施是行業(yè)大數(shù)據(jù)資源建設(shè)與挖掘分析的物質(zhì)前提，主要包括存儲設(shè)備、計算設(shè)備、網(wǎng)絡(luò)設(shè)備。軟件基礎(chǔ)設(shè)施主要包括云計算基礎(chǔ)平臺、大數(shù)據(jù)基礎(chǔ)平臺和機器學(xué)習(xí)基礎(chǔ)平臺，其中云計算基礎(chǔ)平臺主要用于滿足行業(yè)大數(shù)據(jù)大數(shù)據(jù)采集、組織與挖掘分析中的存儲、計算資源配置、管理需求;大數(shù)據(jù)基礎(chǔ)平臺則主要用于搭建支撐行業(yè)大數(shù)據(jù)采集、分布式存儲、分布式計算及高性能服務(wù)的基礎(chǔ)支撐平臺，保障數(shù)據(jù)安全及數(shù)據(jù)處理與服務(wù)的效率、安全性。

　　機器學(xué)習(xí)基礎(chǔ)平臺則用于為大數(shù)據(jù)挖掘分析提供支撐，提升大數(shù)據(jù)挖掘算法研發(fā)、運行的效率，確保數(shù)據(jù)挖掘分析的效果。軟件基礎(chǔ)設(shè)施建設(shè)，需要選用工業(yè)級驗證的、開放成熟的基礎(chǔ)技術(shù)工具，如Hadoop，MapReduce，Spark等大數(shù)據(jù)基礎(chǔ)平臺，AmazonMachineLearning(AML)，AzureMLStudio，TensorFlow，PyTorch，百度飛槳，modelarts等機器學(xué)習(xí)基礎(chǔ)平臺，并需要注重不同類型工具間的協(xié)調(diào)性。

　　2.2資源采集層

　　為全面獲取行業(yè)相關(guān)的大數(shù)據(jù)資源，需要建立覆蓋全面、系統(tǒng)可靠的大數(shù)據(jù)信息源體系，包括文獻數(shù)據(jù)庫、電商網(wǎng)站、網(wǎng)絡(luò)社區(qū)、社交網(wǎng)絡(luò)、新聞網(wǎng)站、政府網(wǎng)站、企業(yè)官網(wǎng)、大數(shù)據(jù)提供商等。其中，文獻數(shù)據(jù)庫可以提供學(xué)術(shù)論文、專利、標準、科技成果、報告等文獻信息，是技術(shù)信息獲取的重要渠道。

　　電商網(wǎng)站可以提供產(chǎn)品信息、銷售渠道信息、銷售狀況信息、客戶評論信息等產(chǎn)品、市場相關(guān)信息;網(wǎng)絡(luò)社區(qū)、社交網(wǎng)絡(luò)、新聞網(wǎng)站可以提供行業(yè)從業(yè)人員和客戶、社會公眾對行業(yè)的討論和新聞報道信息，對了解行業(yè)熱點、輿情、口碑非常重要;政府既掌握了大量的政策信息，也是行業(yè)、企業(yè)信息的重要擁有者，合理利用政府渠道可以采集到很多行業(yè)重要信息，如宏觀環(huán)境信息、行業(yè)統(tǒng)計信息、價格信息、行政許可信息、企業(yè)信用信息等;企業(yè)官網(wǎng)上則常常匯聚了與企業(yè)相關(guān)的產(chǎn)品、技術(shù)、市場等重要信息。

　　隨著大數(shù)據(jù)的價值得到越來越多的認可，市場上也涌現(xiàn)了一批以大數(shù)據(jù)采集、建設(shè)為主要業(yè)務(wù)的機構(gòu)，如上海合合信息科技發(fā)展有限公司收錄了2.3億工商主體的大數(shù)據(jù)信息，此類機構(gòu)常常能夠采集到更為全面、系統(tǒng)的行業(yè)大數(shù)據(jù)信息，成為其他渠道的重要補充。

　　大數(shù)據(jù)資源采集中，需要結(jié)合數(shù)據(jù)源特點選用合適的采集方式，如網(wǎng)絡(luò)抓取、購買、交換共享、印本加工等，從而初步形成包括文獻大數(shù)據(jù)、電商大數(shù)據(jù)、社交大數(shù)據(jù)、媒體大數(shù)據(jù)、政策大數(shù)據(jù)、企業(yè)大數(shù)據(jù)在內(nèi)的行業(yè)大數(shù)據(jù)體系。值得指出的是，隨著產(chǎn)業(yè)競爭的全球化，為適應(yīng)國際國內(nèi)雙循環(huán)的新環(huán)境，需要關(guān)注跨語言資源的采集問題;同時，行業(yè)大數(shù)據(jù)資源建設(shè)是個復(fù)雜的系統(tǒng)工程，為降低實施難度，行業(yè)信息服務(wù)機構(gòu)需要解決與外部相關(guān)機構(gòu)的協(xié)同問題。

　　2.3數(shù)據(jù)治理層

　　鑒于行業(yè)大數(shù)據(jù)的來源非常廣泛，數(shù)據(jù)異構(gòu)、質(zhì)量參差不齊的問題較為嚴重，因此需要綜合采取多種手段進行治理，實現(xiàn)行業(yè)大數(shù)據(jù)的質(zhì)量提升和增值。該層次的核心功能包括：①數(shù)據(jù)標準管理，即結(jié)合行業(yè)數(shù)據(jù)特點和應(yīng)用需求，建立系統(tǒng)、完善的行業(yè)大數(shù)據(jù)標準體系，包括元數(shù)據(jù)標準、數(shù)據(jù)模型標準、主數(shù)據(jù)和參考數(shù)據(jù)標準、數(shù)據(jù)質(zhì)量標準等，為數(shù)據(jù)組織與規(guī)范化提供支持;②大數(shù)據(jù)質(zhì)量控制與提升，即對通過各種途徑獲取的行業(yè)大數(shù)據(jù)進行預(yù)處理，剔除錯誤數(shù)據(jù)、作弊數(shù)據(jù)、異常數(shù)據(jù)、重復(fù)數(shù)據(jù)，有效處理存在缺失值的數(shù)據(jù)、格式不規(guī)范的數(shù)據(jù)，進行多來源數(shù)據(jù)的集成、融合，保證行業(yè)大數(shù)據(jù)的完整性、可信性、規(guī)范性。

　　③大數(shù)據(jù)組織，即按照元數(shù)據(jù)著錄要求進行大數(shù)據(jù)內(nèi)容特征和外部特征的提取、揭示，挖掘、識別數(shù)據(jù)間的關(guān)聯(lián)關(guān)系;④大數(shù)據(jù)存儲與索引，即采用分布式處理技術(shù)進行行業(yè)大數(shù)據(jù)的存儲與索引，為后續(xù)的高效加工處理奠定基礎(chǔ);⑤大數(shù)據(jù)安全管理，即綜合采用數(shù)據(jù)脫敏、數(shù)據(jù)加密、訪問控制等安全技術(shù)手段，確保數(shù)據(jù)在存儲與流動過程中的安全。

　　3基于大數(shù)據(jù)挖掘的行業(yè)知識服務(wù)發(fā)展策略

　　為推進基于大數(shù)據(jù)挖掘的行業(yè)知識服務(wù)健康發(fā)展，行業(yè)信息服務(wù)機構(gòu)需要加強跨組織協(xié)調(diào)工作，以實現(xiàn)行業(yè)大數(shù)據(jù)的全面、系統(tǒng)采集，并保障大數(shù)據(jù)質(zhì)量;突破跨語言行業(yè)大數(shù)據(jù)處理技術(shù)，適應(yīng)全球化環(huán)境下行業(yè)大數(shù)據(jù)多語種分布的基本現(xiàn)實;構(gòu)建開放化的行業(yè)知識服務(wù)平臺，實現(xiàn)基于大數(shù)據(jù)挖掘的服務(wù)應(yīng)用供給側(cè)改革，全面滿足行業(yè)用戶的知識需求。

　　4結(jié)束語

　　當前，利用大數(shù)據(jù)深化行業(yè)知識服務(wù)已經(jīng)成為行業(yè)信息服務(wù)機構(gòu)關(guān)注的焦點問題。用好大數(shù)據(jù)，將能夠形成行業(yè)信息服務(wù)新的增長點，鞏固和提升行業(yè)信息服務(wù)機構(gòu)在產(chǎn)業(yè)創(chuàng)新、發(fā)展中的重要地位。圍繞這一問題，本文探討了基于大數(shù)據(jù)挖掘?qū)崿F(xiàn)行業(yè)知識服務(wù)創(chuàng)新的理論模型，構(gòu)建了基于大數(shù)據(jù)挖掘的行業(yè)知識服務(wù)功能體系，并提出了深入推進基于大數(shù)據(jù)挖掘的行業(yè)知識服務(wù)創(chuàng)新發(fā)展策略。未來行業(yè)信息服務(wù)機構(gòu)應(yīng)更加注重基于大數(shù)據(jù)的行業(yè)知識服務(wù)實踐探索，建立健全行業(yè)大數(shù)據(jù)建設(shè)機制，突破行業(yè)大數(shù)據(jù)挖掘分析關(guān)鍵技術(shù)，開展資源驅(qū)動的知識服務(wù)模式創(chuàng)新，將行業(yè)知識服務(wù)推向新的發(fā)展階段，更好地支撐行業(yè)知識創(chuàng)新、市場運營、行業(yè)管理。

　　參考文獻：

　　[1]羅圣梅敖小爽江鐵成面向大數(shù)據(jù)環(huán)境的高校圖書館學(xué)科化服務(wù)研究[J].大學(xué)圖書館學(xué)報,2020,38(5):128.

　　[2]蒲科大數(shù)據(jù)驅(qū)動下圖書館服務(wù)模式的創(chuàng)新路徑與價值增值研究[J].國家圖書館學(xué)刊,2020,29(4):6574.

　　[3]雷潔趙瑞雪李思經(jīng)鮮國建寇遠濤知識圖譜驅(qū)動的科研檔案大數(shù)據(jù)管理系統(tǒng)構(gòu)建研究[J].數(shù)字圖書館論壇,2020(2):1927.

　　[4]曹樹金劉慧云王連喜大數(shù)據(jù)驅(qū)動的圖書館精準服務(wù)研究[J].大學(xué)圖書館學(xué)報,2019,37(4):5460.

　　[5]龐娜錢力段美珍大數(shù)據(jù)環(huán)境下科技信息精準搜索服務(wù)探析[J].情報科學(xué),2020,38(7):6976.

　　[6]唐明偉蘇新寧肖連杰面向大數(shù)據(jù)的情報分析框架[J].情報學(xué)報,2018,37(5):467476.

　　[7]高偉薛夢瑤于成成面向大數(shù)據(jù)的情報分析方法和技術(shù)體系研究[J].情報理論與實踐,2019,42(12):4348，35.

　　作者：胡潛，李夢婷,黃家娥

轉(zhuǎn)載請注明來自發(fā)表學(xué)術(shù)論文網(wǎng)：http://www.zpfmc.com/jjlw/26449.html