本文摘要：【提要】當(dāng)前，全球大數(shù)據(jù)正進(jìn)入加速發(fā)展時(shí)期，技術(shù)產(chǎn)業(yè)與應(yīng)用創(chuàng)新不斷邁向新高度。大數(shù)據(jù)通過(guò)數(shù)字化豐富要素供給，通過(guò)網(wǎng)絡(luò)化擴(kuò)大組織邊界，通過(guò)智能化提升產(chǎn)出效能，不僅是推進(jìn)網(wǎng)絡(luò)強(qiáng)國(guó)建設(shè)的重要領(lǐng)域，更是新時(shí)代加快實(shí)體經(jīng)濟(jì)質(zhì)量變革、效率變革、動(dòng)力變
【提要】當(dāng)前，全球大數(shù)據(jù)正進(jìn)入加速發(fā)展時(shí)期，技術(shù)產(chǎn)業(yè)與應(yīng)用創(chuàng)新不斷邁向新高度。大數(shù)據(jù)通過(guò)數(shù)字化豐富要素供給，通過(guò)網(wǎng)絡(luò)化擴(kuò)大組織邊界，通過(guò)智能化提升產(chǎn)出效能，不僅是推進(jìn)網(wǎng)絡(luò)強(qiáng)國(guó)建設(shè)的重要領(lǐng)域，更是新時(shí)代加快實(shí)體經(jīng)濟(jì)質(zhì)量變革、效率變革、動(dòng)力變革的戰(zhàn)略依托。本文聚焦近期大數(shù)據(jù)各領(lǐng)域的進(jìn)展和趨勢(shì)，梳理主要問(wèn)題并進(jìn)行展望。在技術(shù)方面，重點(diǎn)探討了近兩年最新的大數(shù)據(jù)技術(shù)及其融合發(fā)展趨勢(shì);在產(chǎn)業(yè)方面，重點(diǎn)討論了中國(guó)大數(shù)據(jù)產(chǎn)品的發(fā)展情況;在數(shù)據(jù)資產(chǎn)管理方面，介紹了行業(yè)數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)資產(chǎn)管理工具的最新發(fā)展情況，并著重探討了數(shù)據(jù)資產(chǎn)化的關(guān)鍵問(wèn)題;在安全方面，從多種角度分析了大數(shù)據(jù)面臨的安全問(wèn)題和技術(shù)工具。
【關(guān)鍵詞】大數(shù)據(jù);數(shù)據(jù)分析;云計(jì)算
一、國(guó)際大數(shù)據(jù)發(fā)展概述
近年，全球大數(shù)據(jù)的發(fā)展仍處于活躍階段。根據(jù)國(guó)際權(quán)威機(jī)構(gòu)Statista的統(tǒng)計(jì)和預(yù)測(cè)，全球數(shù)據(jù)量在2019年有望達(dá)到41ZB。2019年以來(lái)，全球大數(shù)據(jù)技術(shù)、產(chǎn)業(yè)、應(yīng)用等多方面的發(fā)展呈現(xiàn)了新的趨勢(shì)，也正在進(jìn)入新的階段。本章將對(duì)國(guó)外大數(shù)據(jù)戰(zhàn)略、技術(shù)、產(chǎn)業(yè)等領(lǐng)域的最新進(jìn)展進(jìn)行簡(jiǎn)要敘述。
(一)大數(shù)據(jù)戰(zhàn)略持續(xù)拓展
相較于幾年前，2019年國(guó)外大數(shù)據(jù)發(fā)展在政策方面略顯平淡，只有美國(guó)的《聯(lián)邦數(shù)據(jù)戰(zhàn)略第一年度行動(dòng)計(jì)劃(FederalDataStrategyYear-1ActionPlan)》草案比較受到關(guān)注。2019年6月5日，美國(guó)發(fā)布了《聯(lián)邦數(shù)據(jù)戰(zhàn)略第一年度行動(dòng)計(jì)劃》草案，這個(gè)草案包含了每個(gè)機(jī)構(gòu)開(kāi)展工作的具體可交付成果，以及由多個(gè)機(jī)構(gòu)共同協(xié)作推動(dòng)的政府行動(dòng)，旨在編纂聯(lián)邦機(jī)構(gòu)如何利用計(jì)劃、統(tǒng)計(jì)和任務(wù)支持?jǐn)?shù)據(jù)作為戰(zhàn)略資產(chǎn)來(lái)發(fā)展經(jīng)濟(jì)、提高聯(lián)邦政府的效率、促進(jìn)監(jiān)督和提高透明度。
相對(duì)于三年前頒布的《聯(lián)邦大數(shù)據(jù)研發(fā)戰(zhàn)略計(jì)劃》，美國(guó)對(duì)于數(shù)據(jù)的重視程度繼續(xù)提升，并出現(xiàn)了聚焦點(diǎn)從“技術(shù)”到“資產(chǎn)”的轉(zhuǎn)變，其中更是著重提到了金融數(shù)據(jù)和地理信息數(shù)據(jù)的標(biāo)準(zhǔn)統(tǒng)一問(wèn)題。此外，配套文件中“共享行動(dòng)：政府范圍內(nèi)的數(shù)據(jù)服務(wù)”成為亮點(diǎn)，針對(duì)數(shù)據(jù)跨機(jī)構(gòu)協(xié)同與共享，從執(zhí)行機(jī)構(gòu)到時(shí)間節(jié)點(diǎn)都進(jìn)行了戰(zhàn)略部署。
早些時(shí)候，歐洲議會(huì)通過(guò)了一項(xiàng)決議，敦促歐盟及其成員國(guó)創(chuàng)造一個(gè)“繁榮的數(shù)據(jù)驅(qū)動(dòng)經(jīng)濟(jì)”。該決議預(yù)計(jì)，到2020年，歐盟GDP將因更好的數(shù)據(jù)使用而增加1.9%。但遺憾的是，據(jù)統(tǒng)計(jì)目前只有1.7%的公司充分利用了先進(jìn)的數(shù)字技術(shù)。
拓寬和深入大數(shù)據(jù)技術(shù)應(yīng)用是各國(guó)數(shù)據(jù)戰(zhàn)略的共識(shí)之處。據(jù)了解，美國(guó)2020年人口普查有望采用差分隱私等大數(shù)據(jù)隱私保護(hù)技術(shù)來(lái)提高對(duì)個(gè)人信息的保護(hù)。英國(guó)政府統(tǒng)計(jì)部門(mén)正在探索利用交通數(shù)據(jù)，通過(guò)大數(shù)據(jù)分析及時(shí)跟蹤英國(guó)經(jīng)濟(jì)走勢(shì)，提供預(yù)警服務(wù)，幫助政府進(jìn)行精準(zhǔn)決策。
(二)大數(shù)據(jù)底層技術(shù)逐步成熟
近年來(lái)，大數(shù)據(jù)底層技術(shù)發(fā)展呈現(xiàn)出逐步成熟的態(tài)勢(shì)。在大數(shù)據(jù)發(fā)展的初期，技術(shù)方案主要聚焦于解決數(shù)據(jù)“大”的問(wèn)題，ApacheHadoop定義了最基礎(chǔ)的分布式批處理架構(gòu)，打破了傳統(tǒng)數(shù)據(jù)庫(kù)一體化的模式，將計(jì)算與存儲(chǔ)分離，聚焦于解決海量數(shù)據(jù)的低成本存儲(chǔ)與規(guī)模化處理。Hadoop憑借其友好的技術(shù)生態(tài)和擴(kuò)展性?xún)?yōu)勢(shì)，一度對(duì)傳統(tǒng)大規(guī)模并行處理(MassivelyParallelProcessor,MPP)數(shù)據(jù)庫(kù)的市場(chǎng)造成影響。但當(dāng)前MPP在擴(kuò)展性方面不斷突破(2019年中國(guó)信通院大數(shù)據(jù)產(chǎn)品能力評(píng)測(cè)中，MPP大規(guī)模測(cè)試集群規(guī)模已突破512節(jié)點(diǎn))，使得MPP在海量數(shù)據(jù)處理領(lǐng)域又重新獲得了一席之位。
MapReduce暴露的處理效率問(wèn)題以及Hadoop體系龐大復(fù)雜的運(yùn)維操作，推動(dòng)計(jì)算框架不斷進(jìn)行著升級(jí)演進(jìn)。隨后出現(xiàn)的ApacheSpark已逐步成為計(jì)算框架的事實(shí)標(biāo)準(zhǔn)。在解決了數(shù)據(jù)“大”的問(wèn)題后，數(shù)據(jù)分析時(shí)效性的需求愈發(fā)突出，ApacheFlink、KafkaStreams、SparkStructuredStreaming等近年來(lái)備受關(guān)注的產(chǎn)品為分布式流處理的基礎(chǔ)框架打下了基礎(chǔ)。在此基礎(chǔ)上，大數(shù)據(jù)技術(shù)產(chǎn)品不斷分層細(xì)化，在開(kāi)源社區(qū)形成了豐富的技術(shù)棧，覆蓋存儲(chǔ)、計(jì)算、分析、集成、管理、運(yùn)維等各個(gè)方面。據(jù)統(tǒng)計(jì)，目前大數(shù)據(jù)相關(guān)開(kāi)源項(xiàng)目已達(dá)上百個(gè)。
(三)大數(shù)據(jù)產(chǎn)業(yè)規(guī)模平穩(wěn)增長(zhǎng)
國(guó)際機(jī)構(gòu)Statista在2019年8月發(fā)布的報(bào)告顯示，到2020年，全球大數(shù)據(jù)市場(chǎng)的收入規(guī)模預(yù)計(jì)將達(dá)到560億美元，較2018年的預(yù)期水平增長(zhǎng)約33.33%，較2016年的市場(chǎng)收入規(guī)模翻一倍。隨著市場(chǎng)整體的日漸成熟和新興技術(shù)的不斷融合發(fā)展，未來(lái)大數(shù)據(jù)市場(chǎng)將呈現(xiàn)穩(wěn)步發(fā)展的態(tài)勢(shì)，增速維持在14%左右。在2018-2020年的預(yù)測(cè)期內(nèi)，大數(shù)據(jù)市場(chǎng)整體的收入規(guī)模將保持每年約70億美元的增長(zhǎng)，復(fù)合年均增長(zhǎng)率約為15.33%。
從細(xì)分市場(chǎng)來(lái)看，大數(shù)據(jù)硬件、軟件和服務(wù)的市場(chǎng)規(guī)模均保持較穩(wěn)定的增長(zhǎng)，預(yù)計(jì)到2020年，三大細(xì)分市場(chǎng)的收入規(guī)模將分別達(dá)到150億美元(硬件)、200億美元(軟件)、210億美元(服務(wù))。具體來(lái)看，2016-2017年，軟件市場(chǎng)規(guī)模增速達(dá)到了37.5%，在數(shù)值上超過(guò)了傳統(tǒng)的硬件市場(chǎng)。隨著機(jī)器學(xué)習(xí)、高級(jí)分析算法等技術(shù)的成熟與融合，更多的數(shù)據(jù)應(yīng)用和場(chǎng)景正在落地，大數(shù)據(jù)軟件市場(chǎng)將繼續(xù)高速增長(zhǎng)。預(yù)計(jì)在2018-2020年間，每年約有30億美元的增長(zhǎng)規(guī)模，復(fù)合年均增長(zhǎng)率約為19.52%。大數(shù)據(jù)相關(guān)服務(wù)的規(guī)模始終最高，預(yù)計(jì)在2018-2020年間的復(fù)合年均增長(zhǎng)率約為14.56%。相比之下，硬件市場(chǎng)增速最低，但仍能保持約11.8%的復(fù)合年均增長(zhǎng)率。從整體占比來(lái)看，軟件規(guī)模占比將逐漸增加，服務(wù)相關(guān)收益將保持平穩(wěn)發(fā)展的趨勢(shì)，軟件與服務(wù)之間的差距將不斷縮小，而硬件規(guī)模在整體的占比則逐漸減小。
(四)大數(shù)據(jù)企業(yè)加速整合
近兩年來(lái)，國(guó)際具有影響力的大數(shù)據(jù)公司也遭遇了一些變化。2018年10月，美國(guó)大數(shù)據(jù)技術(shù)巨頭Cloudera和Hortonworks宣布合并。在Hadoop領(lǐng)域，兩家公司的合并意味著“強(qiáng)強(qiáng)聯(lián)手”，而在更加廣義的大數(shù)據(jù)領(lǐng)域，則更像是“抱團(tuán)取暖”。但毫無(wú)疑問(wèn)，這至少可以幫助兩家企業(yè)結(jié)束近十年的競(jìng)爭(zhēng)，并且依靠壟斷地位早日擺脫長(zhǎng)期虧損的窘?jīng)r。而從第三方的角度來(lái)看，這無(wú)疑會(huì)影響整個(gè)Hadoop的生態(tài)。開(kāi)源大數(shù)據(jù)目前已經(jīng)成為互聯(lián)網(wǎng)企業(yè)的基礎(chǔ)設(shè)施，兩家公司合并意味著Hadoop的標(biāo)準(zhǔn)將更加統(tǒng)一，長(zhǎng)期來(lái)看新公司的盈利能力也將大幅提升，并將更多的資源用于新技術(shù)的投入。從體量和級(jí)別上來(lái)看，新公司將基本代表Hadoop社區(qū)，其他同類(lèi)型企業(yè)將很難與之競(jìng)爭(zhēng)。
2019年8月，惠普(HPE)收購(gòu)大數(shù)據(jù)技術(shù)公司MapR的業(yè)務(wù)資產(chǎn)，包括MapR的技術(shù)、知識(shí)產(chǎn)權(quán)以及多個(gè)領(lǐng)域的業(yè)務(wù)資源等。MapR創(chuàng)立于2009年，屬于Hadoop全球軟件發(fā)行版供應(yīng)商之一。專(zhuān)家普遍認(rèn)為，企業(yè)組織越來(lái)越多以云服務(wù)形式使用數(shù)據(jù)計(jì)算和分析產(chǎn)品是使得MapR需求減少的重要原因之一。用戶(hù)需求正從采購(gòu)以Hadoop為代表的平臺(tái)型產(chǎn)品，轉(zhuǎn)向結(jié)合云化、智能計(jì)算后的服務(wù)型產(chǎn)品。這也意味著，全球企業(yè)級(jí)IT廠商的戰(zhàn)爭(zhēng)已經(jīng)進(jìn)入到了一個(gè)新階段，即滿足用戶(hù)從平臺(tái)產(chǎn)品到云化服務(wù)，再到智能解決方案的整體需求。
(五)數(shù)據(jù)合規(guī)要求日益嚴(yán)格
近兩年來(lái)，各國(guó)在數(shù)據(jù)合規(guī)性方面的重視程度越來(lái)越高，但數(shù)據(jù)合規(guī)的進(jìn)程仍任重道遠(yuǎn)。2019年5月25日，旨在保護(hù)歐盟公民的個(gè)人數(shù)據(jù)、對(duì)企業(yè)的數(shù)據(jù)處理提出了嚴(yán)格要求的《通用數(shù)據(jù)保護(hù)條例》(GDPR)實(shí)施滿一周年，數(shù)據(jù)保護(hù)相關(guān)的案例與公開(kāi)事件數(shù)量攀升，同時(shí)也引起了諸多爭(zhēng)議。
牛津大學(xué)的一項(xiàng)研究發(fā)現(xiàn)，GDPR實(shí)施滿一年后，未經(jīng)用戶(hù)同意而設(shè)置的新聞網(wǎng)站上的Cookies數(shù)量下降了22%。歐盟EDPB的報(bào)告顯示，GDPR實(shí)施一年以來(lái)，歐盟當(dāng)局收到了約145000份數(shù)據(jù)安全相關(guān)的投訴和問(wèn)題舉報(bào);共判處5500萬(wàn)歐元行政罰款。蘋(píng)果、微軟、Twitter、WhatsApp、Instagram等企業(yè)也都遭到調(diào)查或處罰。
GDPR正式實(shí)施之后，帶來(lái)了全球隱私保護(hù)立法的熱潮，并成功提升了社會(huì)各領(lǐng)域?qū)τ跀?shù)據(jù)保護(hù)的重視。例如，2020年1月起，美國(guó)加州消費(fèi)者隱私法案(CCPA)也將正式生效。與GDPR類(lèi)似，CCPA將對(duì)所有和美國(guó)加州居民有業(yè)務(wù)的數(shù)據(jù)商業(yè)行為進(jìn)行監(jiān)管。CCPA在適用監(jiān)管的標(biāo)準(zhǔn)上比GDPR更寬松，但是一旦滿足被監(jiān)管的標(biāo)準(zhǔn)，違法企業(yè)受到的懲罰更大。
2019年8月份，IAPP(世界上信息隱私方面的專(zhuān)業(yè)協(xié)會(huì))OneTrust(第三方風(fēng)險(xiǎn)技術(shù)平臺(tái))對(duì)部分美國(guó)企業(yè)進(jìn)行了CCPA準(zhǔn)備度調(diào)查，結(jié)果顯示，74%的受訪者認(rèn)為他們的企業(yè)應(yīng)該遵守CCPA，但只有大約2%的受訪者認(rèn)為他們的企業(yè)已經(jīng)完全做好了應(yīng)對(duì)CCPA的準(zhǔn)備。除加州CCPA外，更多的法案正在美國(guó)紐約州等多個(gè)州陸續(xù)生效。
二、融合成為大數(shù)據(jù)技術(shù)發(fā)展的重要特征
當(dāng)前，大數(shù)據(jù)體系的底層技術(shù)框架已基本成熟。大數(shù)據(jù)技術(shù)正逐步成為支撐型的基礎(chǔ)設(shè)施，其發(fā)展方向也開(kāi)始向提升效率轉(zhuǎn)變，逐步向個(gè)性化的上層應(yīng)用聚焦，技術(shù)的融合趨勢(shì)愈發(fā)明顯。本章將針對(duì)當(dāng)前大數(shù)據(jù)技術(shù)的幾大融合趨勢(shì)進(jìn)行探討。
(一)算力融合：多樣性算力提升整體效率
隨著大數(shù)據(jù)應(yīng)用的逐步深入，場(chǎng)景愈發(fā)豐富，數(shù)據(jù)平臺(tái)開(kāi)始承載人工智能、物聯(lián)網(wǎng)、視頻轉(zhuǎn)碼、復(fù)雜分析、高性能計(jì)算等多樣性的任務(wù)負(fù)載。同時(shí)，數(shù)據(jù)復(fù)雜度不斷提升，以高維矩陣運(yùn)算為代表的新型計(jì)算范式具有粒度更細(xì)、并行更強(qiáng)、高內(nèi)存占用、高帶寬需求、低延遲高實(shí)時(shí)性等特點(diǎn)，以CPU為底層硬件的傳統(tǒng)大數(shù)據(jù)技術(shù)無(wú)法有效滿足新業(yè)務(wù)需求，出現(xiàn)性能瓶頸。
當(dāng)前，以CPU為調(diào)度核心，協(xié)同GPU、FPGA、ASIC及各類(lèi)用于AI加速“xPU”的異構(gòu)算力平臺(tái)成為行業(yè)熱點(diǎn)解決方案，以GPU為代表的計(jì)算加速單元能夠極大提升新業(yè)務(wù)計(jì)算效率。不同硬件體系融合存在開(kāi)發(fā)工具相互獨(dú)立、編程語(yǔ)言及接口體系不同、軟硬件協(xié)同缺失等工程問(wèn)題。為此，產(chǎn)業(yè)界試圖從統(tǒng)一軟件開(kāi)發(fā)平臺(tái)和開(kāi)發(fā)工具的層面來(lái)實(shí)現(xiàn)對(duì)不同硬件底層的兼容，例如Intel公司正在設(shè)計(jì)支持跨多架構(gòu)(包括CPU、GPU、FPGA和其他加速器)開(kāi)發(fā)的編程模型oneAPI，它提供一套統(tǒng)一的編程語(yǔ)言和開(kāi)發(fā)工具集，來(lái)實(shí)現(xiàn)對(duì)多樣性算力的調(diào)用，從根本上簡(jiǎn)化開(kāi)發(fā)模式，針對(duì)異構(gòu)計(jì)算形成一套全新的開(kāi)放標(biāo)準(zhǔn)。
(二)流批融合：平衡計(jì)算性?xún)r(jià)比的最優(yōu)解
流處理能夠有效處理即時(shí)變化的信息，從而反映出信息熱點(diǎn)的實(shí)時(shí)動(dòng)態(tài)變化。而離線批處理則更能夠體現(xiàn)歷史數(shù)據(jù)的累加反饋。考慮到對(duì)于實(shí)時(shí)計(jì)算需求和計(jì)算資源之間的平衡，業(yè)界很早就有了lambda架構(gòu)的理論來(lái)支撐批處理和流處理共同存在的計(jì)算場(chǎng)景。隨著技術(shù)架構(gòu)的演進(jìn)，流批融合計(jì)算正在成為趨勢(shì)，并不斷在向更實(shí)時(shí)更高效的計(jì)算推進(jìn)，以支撐更豐富的大數(shù)據(jù)處理需求。
流計(jì)算的產(chǎn)生來(lái)源于對(duì)數(shù)據(jù)加工時(shí)效性的嚴(yán)苛要求。數(shù)據(jù)的價(jià)值隨時(shí)間流逝而降低時(shí)，我們就必須在數(shù)據(jù)產(chǎn)生后盡可能快的對(duì)其進(jìn)行處理，比如實(shí)時(shí)監(jiān)控、風(fēng)控預(yù)警等。早期流計(jì)算開(kāi)源框架的典型工具是Storm，雖然它是逐條處理的典型流計(jì)算模式，但并不能滿足“有且僅有一次(Exactly-once)”的處理機(jī)制。
之后的Heron在Storm上做了很多改進(jìn)，但相應(yīng)的社區(qū)并不活躍。同期的Spark在流計(jì)算方面先后推出了SparkStreaming和StructuredStreaming，以微批處理的思想實(shí)現(xiàn)流式計(jì)算。而近年來(lái)出現(xiàn)的ApacheFlink，則使用了流處理的思想來(lái)實(shí)現(xiàn)批處理，很好地實(shí)現(xiàn)了流批融合的計(jì)算，國(guó)內(nèi)包括阿里、騰訊、百度、字節(jié)跳動(dòng)，國(guó)外包括Uber、Lyft、Netflix等公司都是Flink的使用者。2017年由伯克利大學(xué)AMPLab開(kāi)源的Ray框架也有相類(lèi)似的思想，由一套引擎來(lái)融合多種計(jì)算模式，螞蟻金服基于此框架正在進(jìn)行金融級(jí)在線機(jī)器學(xué)習(xí)的實(shí)踐。
(三)TA融合：混合事務(wù)/分析支撐即時(shí)決策
TA融合是指事務(wù)(Transaction)與分析(Analysis)的融合機(jī)制。在數(shù)據(jù)驅(qū)動(dòng)精細(xì)化運(yùn)營(yíng)的今天，海量實(shí)時(shí)的數(shù)據(jù)分析需求無(wú)法避免。分析和業(yè)務(wù)是強(qiáng)關(guān)聯(lián)的，但由于這兩類(lèi)數(shù)據(jù)庫(kù)在數(shù)據(jù)模型、行列存儲(chǔ)模式和響應(yīng)效率等方面的區(qū)別，通常會(huì)造成數(shù)據(jù)的重復(fù)存儲(chǔ)。事務(wù)系統(tǒng)中的業(yè)務(wù)數(shù)據(jù)庫(kù)只能通過(guò)定時(shí)任務(wù)同步導(dǎo)入分析系統(tǒng)，這就導(dǎo)致了數(shù)據(jù)時(shí)效性不足，無(wú)法實(shí)時(shí)地進(jìn)行決策分析。
混合事務(wù)/分析處理(HTAP)是Gartner提出的一個(gè)架構(gòu)，它的設(shè)計(jì)理念是為了打破事務(wù)和分析之間的“墻”，實(shí)現(xiàn)在單一的數(shù)據(jù)源上不加區(qū)分的處理事務(wù)和分析任務(wù)。這種融合的架構(gòu)具有明顯的優(yōu)勢(shì)，可以避免頻繁的數(shù)據(jù)搬運(yùn)操作給系統(tǒng)帶來(lái)的額外負(fù)擔(dān)，減少數(shù)據(jù)重復(fù)存儲(chǔ)帶來(lái)的成本，從而及時(shí)高效地對(duì)最新業(yè)務(wù)操作產(chǎn)生的數(shù)據(jù)進(jìn)行分析。
(四)模塊融合：一站式數(shù)據(jù)能力復(fù)用平臺(tái)
大數(shù)據(jù)的工具和技術(shù)棧已經(jīng)相對(duì)成熟，大公司在實(shí)戰(zhàn)經(jīng)驗(yàn)中圍繞工具與數(shù)據(jù)的生產(chǎn)鏈條、數(shù)據(jù)的管理和應(yīng)用等逐漸形成了能力集合，并通過(guò)這一概念來(lái)統(tǒng)一數(shù)據(jù)資產(chǎn)的視圖和標(biāo)準(zhǔn)，提供通用數(shù)據(jù)的加工、管理和分析能力。
數(shù)據(jù)能力集成的趨勢(shì)打破了原有企業(yè)內(nèi)的復(fù)雜數(shù)據(jù)結(jié)構(gòu)，使數(shù)據(jù)和業(yè)務(wù)更貼近，并能更快地使用數(shù)據(jù)驅(qū)動(dòng)決策。主要針對(duì)性地解決三個(gè)問(wèn)題：一是提高數(shù)據(jù)獲取的效率;二是打通數(shù)據(jù)共享的通道;三是提供統(tǒng)一的數(shù)據(jù)開(kāi)發(fā)能力。這樣的“企業(yè)級(jí)數(shù)據(jù)能力復(fù)用平臺(tái)”是一個(gè)由多種工具和能力組合而成的數(shù)據(jù)應(yīng)用引擎、數(shù)據(jù)價(jià)值化的加工廠，來(lái)連接下層的數(shù)據(jù)和上層的數(shù)據(jù)應(yīng)用團(tuán)隊(duì)，從而形成敏捷的數(shù)據(jù)驅(qū)動(dòng)精細(xì)化運(yùn)營(yíng)的模式。阿里巴巴提出的“中臺(tái)”概念和華為公司提出的“數(shù)據(jù)基礎(chǔ)設(shè)施”概念都是模塊融合趨勢(shì)的印證。
(五)云數(shù)融合：云化趨勢(shì)降低技術(shù)使用門(mén)檻
大數(shù)據(jù)基礎(chǔ)設(shè)施向云上遷移是一個(gè)重要的趨勢(shì)。各大云廠商均開(kāi)始提供各類(lèi)大數(shù)據(jù)產(chǎn)品以滿足用戶(hù)需求，紛紛構(gòu)建自己的云上數(shù)據(jù)產(chǎn)品。早期的云化產(chǎn)品大部分是對(duì)已有大數(shù)據(jù)產(chǎn)品的云化改造，現(xiàn)在，越來(lái)越多的大數(shù)據(jù)產(chǎn)品從設(shè)計(jì)之初就遵循了云原生的概念進(jìn)行開(kāi)發(fā)，生于云長(zhǎng)于云，更適合云上生態(tài)。
向云化解決方案演進(jìn)的最大優(yōu)點(diǎn)是用戶(hù)不用再操心如何維護(hù)底層的硬件和網(wǎng)絡(luò)，能夠更專(zhuān)注于數(shù)據(jù)和業(yè)務(wù)邏輯，在很大程度上降低了大數(shù)據(jù)技術(shù)的學(xué)習(xí)成本和使用門(mén)檻。
(六)數(shù)智融合：數(shù)據(jù)與智能多方位深度整合
大數(shù)據(jù)與人工智能的融合主要體現(xiàn)在大數(shù)據(jù)平臺(tái)的智能化與數(shù)據(jù)治理的智能化。智能的平臺(tái)：用智能化的手段來(lái)分析數(shù)據(jù)是釋放數(shù)據(jù)價(jià)值高階之路，但用戶(hù)往往不希望在兩個(gè)平臺(tái)間不斷的搬運(yùn)數(shù)據(jù)，這促成了大數(shù)據(jù)平臺(tái)和機(jī)器學(xué)習(xí)平臺(tái)深度整合的趨勢(shì)，大數(shù)據(jù)平臺(tái)在支持機(jī)器學(xué)習(xí)算法之外，還將支持更多的AI類(lèi)應(yīng)用。
Databricks為數(shù)據(jù)科學(xué)家提供一站式的分析平臺(tái)DataScienceWorkspace，Cloudera也推出了相應(yīng)的分析平臺(tái)ClouderaDataScienceWorkbench。2019年底，阿里巴巴基于Flink開(kāi)源了機(jī)器學(xué)習(xí)算法平臺(tái)Alink，并已在阿里巴巴搜索、推薦、廣告等核心實(shí)時(shí)在線業(yè)務(wù)中有廣泛實(shí)踐。
智能的數(shù)據(jù)治理：數(shù)據(jù)治理的輸出是人工智能的輸入，即經(jīng)過(guò)治理后的大數(shù)據(jù)。AI數(shù)據(jù)治理，是通過(guò)智能化的數(shù)據(jù)治理使數(shù)據(jù)變得智能：通過(guò)智能元數(shù)據(jù)感知和敏感數(shù)據(jù)自動(dòng)識(shí)別，對(duì)數(shù)據(jù)自動(dòng)分級(jí)分類(lèi)，形成全局統(tǒng)一的數(shù)據(jù)視圖。通過(guò)智能化的數(shù)據(jù)清洗和關(guān)聯(lián)分析，把關(guān)數(shù)據(jù)質(zhì)量，建立數(shù)據(jù)血緣關(guān)系。數(shù)據(jù)能夠自動(dòng)具備類(lèi)型、級(jí)別、血緣等標(biāo)簽，在降低數(shù)據(jù)治理復(fù)雜性和成本的同時(shí)，得到智能的數(shù)據(jù)。
三、大數(shù)據(jù)產(chǎn)業(yè)蓬勃發(fā)展
近年來(lái)，中國(guó)大數(shù)據(jù)產(chǎn)業(yè)蓬勃發(fā)展，融合應(yīng)用不斷深化，數(shù)字經(jīng)濟(jì)量質(zhì)提升，對(duì)經(jīng)濟(jì)社會(huì)的創(chuàng)新驅(qū)動(dòng)、融合帶動(dòng)作用顯著增強(qiáng)。本章將從政策環(huán)境、主管機(jī)構(gòu)、產(chǎn)品生態(tài)、行業(yè)應(yīng)用等方面對(duì)中國(guó)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的態(tài)勢(shì)進(jìn)行簡(jiǎn)要分析。
(一)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展政策環(huán)境日益完善
產(chǎn)業(yè)發(fā)展離不開(kāi)政策支撐。中國(guó)政府高度重視大數(shù)據(jù)的發(fā)展。自2014年以來(lái)，中國(guó)國(guó)家大數(shù)據(jù)戰(zhàn)略的謀篇布局經(jīng)歷了四個(gè)不同階段。
1.預(yù)熱階段：2014年3月，“大數(shù)據(jù)”一詞首次寫(xiě)入政府工作報(bào)告，為中國(guó)大數(shù)據(jù)發(fā)展的政策環(huán)境搭建開(kāi)始預(yù)熱。從這一年起，“大數(shù)據(jù)”逐漸成為各級(jí)政府和社會(huì)各界的關(guān)注熱點(diǎn)，中央政府開(kāi)始提供積極的支持政策與適度寬松的發(fā)展環(huán)境，為大數(shù)據(jù)發(fā)展創(chuàng)造機(jī)遇。
2.起步階段：2015年8月31日，國(guó)務(wù)院正式印發(fā)了《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》(國(guó)發(fā)〔2015〕50號(hào))，成為中國(guó)發(fā)展大數(shù)據(jù)的首部戰(zhàn)略性指導(dǎo)文件，對(duì)包括大數(shù)據(jù)產(chǎn)業(yè)在內(nèi)的大數(shù)據(jù)整體發(fā)展作出了部署，體現(xiàn)出國(guó)家層面對(duì)大數(shù)據(jù)發(fā)展的頂層設(shè)計(jì)和統(tǒng)籌布局。
3.落地階段：《十三五規(guī)劃綱要》的公布標(biāo)志著國(guó)家大數(shù)據(jù)戰(zhàn)略的正式提出，彰顯了中央對(duì)于大數(shù)據(jù)戰(zhàn)略的重視。2016年12月，工信部發(fā)布《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016-2020年)》，為大數(shù)據(jù)產(chǎn)業(yè)發(fā)展奠定了重要的基礎(chǔ)。
4.深化階段：隨著國(guó)內(nèi)大數(shù)據(jù)迎來(lái)全面良好的發(fā)展態(tài)勢(shì)，國(guó)家大數(shù)據(jù)戰(zhàn)略也開(kāi)始走向深化階段。2017年10月，黨的十九大報(bào)告中提出推動(dòng)大數(shù)據(jù)與實(shí)體經(jīng)濟(jì)深度融合，為大數(shù)據(jù)產(chǎn)業(yè)的未來(lái)發(fā)展指明方向。12月，中央政治局就實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略進(jìn)行了集體學(xué)習(xí)。2019年3月，政府工作報(bào)告第六次提到“大數(shù)據(jù)”，并且有多項(xiàng)任務(wù)與大數(shù)據(jù)密切相關(guān)。
自2015年國(guó)務(wù)院發(fā)布《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》系統(tǒng)性部署大數(shù)據(jù)發(fā)展工作以來(lái)，各地陸續(xù)出臺(tái)促進(jìn)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的規(guī)劃、行動(dòng)計(jì)劃和指導(dǎo)意見(jiàn)等文件。截至目前，除港澳臺(tái)外全國(guó)31個(gè)省級(jí)單位均已發(fā)布了推進(jìn)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的相關(guān)文件。可以說(shuō)，中國(guó)各地推進(jìn)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的設(shè)計(jì)已經(jīng)基本完成，陸續(xù)進(jìn)入了落實(shí)階段。
梳理31個(gè)省級(jí)行政單位的典型大數(shù)據(jù)產(chǎn)業(yè)政策可以看出，大部分省(區(qū)、市)的大數(shù)據(jù)政策集中發(fā)布于2016年至2017年。而在近兩年發(fā)布的政策中，更多的地方將新一代信息技術(shù)整體作為考量，并加入了人工智能、數(shù)字經(jīng)濟(jì)等內(nèi)容，進(jìn)一步地拓展了大數(shù)據(jù)的外延。同時(shí)，各地在頒布大數(shù)據(jù)政策時(shí)，除注重大數(shù)據(jù)產(chǎn)業(yè)的推進(jìn)外，也在更多地關(guān)注產(chǎn)業(yè)數(shù)字化和政務(wù)服務(wù)等方面，這也體現(xiàn)出了大數(shù)據(jù)與行業(yè)應(yīng)用結(jié)合及政務(wù)數(shù)據(jù)共享開(kāi)放近年來(lái)取得的進(jìn)展。
(二)各地大數(shù)據(jù)主管機(jī)構(gòu)陸續(xù)成立
近年來(lái)，部分省市陸續(xù)成立了大數(shù)據(jù)局等相關(guān)機(jī)構(gòu)，對(duì)包括大數(shù)據(jù)產(chǎn)業(yè)在內(nèi)的大數(shù)據(jù)發(fā)展進(jìn)行統(tǒng)一管理。以省級(jí)大數(shù)據(jù)主管機(jī)構(gòu)為例，從2014年廣東省設(shè)立第一個(gè)省級(jí)大數(shù)據(jù)局開(kāi)始，截至2019年5月，共有14個(gè)省級(jí)地方成立了專(zhuān)門(mén)的大數(shù)據(jù)主管機(jī)構(gòu)。
除此之外，上海、天津、江西等省市組建了上海市大數(shù)據(jù)中心、天津市大數(shù)據(jù)管理中心、江西省信息中心(江西省大數(shù)據(jù)中心)，承擔(dān)了一部分大數(shù)據(jù)主管機(jī)構(gòu)的職能。部分省級(jí)以下的地方政府也相應(yīng)組建了專(zhuān)門(mén)的大數(shù)據(jù)管理機(jī)構(gòu)。根據(jù)黃璜等人的統(tǒng)計(jì)，截至2018年10月已有79個(gè)副省級(jí)和地級(jí)城市組建了專(zhuān)門(mén)的大數(shù)據(jù)管理機(jī)構(gòu)。
(三)大數(shù)據(jù)技術(shù)產(chǎn)品水平持續(xù)提升
從產(chǎn)品角度來(lái)看，目前大數(shù)據(jù)技術(shù)產(chǎn)品主要包括大數(shù)據(jù)基礎(chǔ)類(lèi)技術(shù)產(chǎn)品(承擔(dān)數(shù)據(jù)存儲(chǔ)和基本處理功能，包括分布式批處理平臺(tái)、分布式流處理平臺(tái)、分布式數(shù)據(jù)庫(kù)、數(shù)據(jù)集成工具等)、分析類(lèi)技術(shù)產(chǎn)品(承擔(dān)對(duì)于數(shù)據(jù)的分析挖掘功能，包括數(shù)據(jù)挖掘工具、bi工具、可視化工具等)、管理類(lèi)技術(shù)產(chǎn)品(承擔(dān)數(shù)據(jù)在集成、加工、流轉(zhuǎn)過(guò)程中的管理功能，包括數(shù)據(jù)管理平臺(tái)、數(shù)據(jù)流通平臺(tái)等)等。中國(guó)在這些方面都取得了一定的進(jìn)展。
中國(guó)大數(shù)據(jù)基礎(chǔ)類(lèi)技術(shù)產(chǎn)品市場(chǎng)成熟度相對(duì)較高。一是供應(yīng)商越來(lái)越多，從最早只有幾家大型互聯(lián)網(wǎng)公司發(fā)展到目前的近60家公司可以提供相應(yīng)產(chǎn)品，覆蓋了互聯(lián)網(wǎng)、金融、電信、電力、鐵路、石化、軍工等不同行業(yè);二是產(chǎn)品功能日益完善，根據(jù)中國(guó)信通院的測(cè)試，分布式批處理平臺(tái)、分布式流處理平臺(tái)類(lèi)的參評(píng)產(chǎn)品功能項(xiàng)通過(guò)率均在95%以上;三是大規(guī)模部署能力有很大突破，例如阿里云MaxCompute通過(guò)了10000節(jié)點(diǎn)批處理平臺(tái)基礎(chǔ)能力測(cè)試，華為GuassDB通過(guò)了512臺(tái)物理節(jié)點(diǎn)的分析型數(shù)據(jù)庫(kù)基礎(chǔ)能力測(cè)試;四是自主研發(fā)意識(shí)不斷提高，目前有很多基礎(chǔ)類(lèi)產(chǎn)品源自對(duì)于開(kāi)源產(chǎn)品進(jìn)行的二次開(kāi)發(fā)，特別是分布式批處理平臺(tái)、流處理平臺(tái)等產(chǎn)品九成以上基于已有開(kāi)源產(chǎn)品開(kāi)發(fā)。
中國(guó)大數(shù)據(jù)分析類(lèi)技術(shù)產(chǎn)品發(fā)展迅速，個(gè)性化與實(shí)用性趨勢(shì)明顯。一是滿足跨行業(yè)需求的通用數(shù)據(jù)分析工具類(lèi)產(chǎn)品逐漸應(yīng)運(yùn)而生，如百度的機(jī)器學(xué)習(xí)平臺(tái)Jarvis、阿里云的機(jī)器學(xué)習(xí)平臺(tái)PAI等;二是隨著深度學(xué)習(xí)技術(shù)的相應(yīng)發(fā)展，數(shù)據(jù)挖掘平臺(tái)從以往只支持傳統(tǒng)機(jī)器學(xué)習(xí)算法轉(zhuǎn)變?yōu)轭~外支持深度學(xué)習(xí)算法以及GPU計(jì)算加速能力;三是數(shù)據(jù)分析類(lèi)產(chǎn)品易用性進(jìn)一步提升，大部分產(chǎn)品都擁有直觀的可視化界面以及簡(jiǎn)潔便利的交互操作方式。
中國(guó)大數(shù)據(jù)管理類(lèi)技術(shù)產(chǎn)品還處于市場(chǎng)形成的初期。目前，國(guó)內(nèi)常見(jiàn)的大數(shù)據(jù)管理類(lèi)軟件有20多款。數(shù)據(jù)管理類(lèi)產(chǎn)品雖然涉及的內(nèi)容龐雜，但技術(shù)實(shí)現(xiàn)難度相對(duì)較低，一些開(kāi)源軟件如Kettle、Sqoop和Nifi等，為數(shù)據(jù)集成工具提供了開(kāi)發(fā)基礎(chǔ)。中國(guó)信通院測(cè)試結(jié)果顯示，參照囊括功能全集的大數(shù)據(jù)管理軟件評(píng)測(cè)標(biāo)準(zhǔn)，所有參評(píng)產(chǎn)品符合程度均在90%以下。隨著數(shù)據(jù)資產(chǎn)的重要性日益突出，數(shù)據(jù)管理類(lèi)軟件的地位也將越來(lái)越重要，未來(lái)將機(jī)器學(xué)習(xí)、區(qū)塊鏈等新技術(shù)與數(shù)據(jù)管理需求結(jié)合，還有很大的發(fā)展空間。
(四)大數(shù)據(jù)行業(yè)應(yīng)用不斷深化
前幾年，大數(shù)據(jù)的應(yīng)用還主要在互聯(lián)網(wǎng)、營(yíng)銷(xiāo)、廣告領(lǐng)域。這幾年，無(wú)論是從新增企業(yè)數(shù)量、融資規(guī)模還是應(yīng)用熱度來(lái)說(shuō)，與大數(shù)據(jù)結(jié)合緊密的行業(yè)逐步向工業(yè)、政務(wù)、電信、交通、金融、醫(yī)療、教育等領(lǐng)域廣泛滲透，應(yīng)用逐漸向生產(chǎn)、物流、供應(yīng)鏈等核心業(yè)務(wù)延伸，涌現(xiàn)了一批大數(shù)據(jù)典型應(yīng)用，企業(yè)應(yīng)用大數(shù)據(jù)的能力逐漸增強(qiáng)。電力、鐵路、石化等實(shí)體經(jīng)濟(jì)領(lǐng)域龍頭企業(yè)不斷完善自身大數(shù)據(jù)平臺(tái)建設(shè)，持續(xù)加強(qiáng)數(shù)據(jù)治理，構(gòu)建起以數(shù)據(jù)為核心驅(qū)動(dòng)力的創(chuàng)新能力，行業(yè)應(yīng)用“脫虛向?qū)?rdquo;趨勢(shì)明顯，大數(shù)據(jù)與實(shí)體經(jīng)濟(jì)深度融合不斷加深。
電信行業(yè)方面，電信運(yùn)營(yíng)商擁有豐富的數(shù)據(jù)資源。數(shù)據(jù)來(lái)源涉及移動(dòng)通話和固定電話、無(wú)線上網(wǎng)、有線寬帶接入等所有業(yè)務(wù)，也涵蓋線上線下渠道在內(nèi)的渠道經(jīng)營(yíng)相關(guān)信息，所服務(wù)的客戶(hù)涉及個(gè)人客戶(hù)、家庭客戶(hù)和政企客戶(hù)。三大運(yùn)營(yíng)商2019年以來(lái)在大數(shù)據(jù)應(yīng)用方面都走向了更加專(zhuān)業(yè)化的階段。電信行業(yè)在發(fā)展大數(shù)據(jù)上有明顯的優(yōu)勢(shì)，主要體現(xiàn)在數(shù)據(jù)規(guī)模大、數(shù)據(jù)應(yīng)用價(jià)值持續(xù)凸顯、數(shù)據(jù)安全性普遍較高。2019年，三大運(yùn)營(yíng)商都已經(jīng)完成了全集團(tuán)大數(shù)據(jù)平臺(tái)的建設(shè)，設(shè)立了專(zhuān)業(yè)的大數(shù)據(jù)運(yùn)營(yíng)部門(mén)或公司，開(kāi)始了數(shù)據(jù)價(jià)值釋放的新舉措。通過(guò)對(duì)外提供領(lǐng)先的網(wǎng)絡(luò)服務(wù)能力，深厚的數(shù)據(jù)平臺(tái)架構(gòu)和數(shù)據(jù)融合應(yīng)用能力，高效可靠的云計(jì)算基礎(chǔ)設(shè)施和云服務(wù)能力，打造數(shù)字生態(tài)體系，加速非電信業(yè)務(wù)的變現(xiàn)能力。
金融行業(yè)方面，隨著金融監(jiān)管日趨嚴(yán)格，通過(guò)金融大數(shù)據(jù)規(guī)范行業(yè)秩序并降低金融風(fēng)險(xiǎn)逐漸成為金融大數(shù)據(jù)的主流應(yīng)用場(chǎng)景。同時(shí)，各大金融機(jī)構(gòu)由于信息化建設(shè)基礎(chǔ)好、數(shù)據(jù)治理起步早，使得金融業(yè)成為數(shù)據(jù)治理發(fā)展較為成熟的行業(yè)。
互聯(lián)網(wǎng)營(yíng)銷(xiāo)方面，隨著社交網(wǎng)絡(luò)用戶(hù)數(shù)量不斷擴(kuò)張，利用社交大數(shù)據(jù)來(lái)做產(chǎn)品口碑分析、用戶(hù)意見(jiàn)收集分析、品牌營(yíng)銷(xiāo)、市場(chǎng)推廣等“數(shù)字營(yíng)銷(xiāo)”應(yīng)用，將是未來(lái)大數(shù)據(jù)應(yīng)用的重點(diǎn)。電商數(shù)據(jù)直接反映用戶(hù)的消費(fèi)習(xí)慣，具有很高的應(yīng)用價(jià)值。伴隨著移動(dòng)互聯(lián)網(wǎng)流量見(jiàn)頂，以及廣告主營(yíng)銷(xiāo)預(yù)算的下降，如何利用大數(shù)據(jù)技術(shù)幫助企業(yè)更高效地觸達(dá)目標(biāo)用戶(hù)成為行業(yè)最熱衷的話題。“線下大數(shù)據(jù)”“新零售”的概念日漸火熱，但其對(duì)于個(gè)人信息保護(hù)方面容易存在漏洞，也使得合規(guī)性成為這一行業(yè)發(fā)展的核心問(wèn)題。
工業(yè)方面，工業(yè)大數(shù)據(jù)是指在工業(yè)領(lǐng)域里，在生產(chǎn)鏈過(guò)程包括研發(fā)、設(shè)計(jì)、生產(chǎn)、銷(xiāo)售、運(yùn)輸、售后等各個(gè)環(huán)節(jié)中產(chǎn)生的數(shù)據(jù)總和。隨著工業(yè)大數(shù)據(jù)成熟度的提升，工業(yè)大數(shù)據(jù)的價(jià)值挖掘也逐漸深入。目前，各個(gè)工業(yè)企業(yè)已經(jīng)開(kāi)始面向數(shù)據(jù)全生命周期的數(shù)據(jù)資產(chǎn)管理，逐步提升工業(yè)大數(shù)據(jù)成熟度，深入工業(yè)大數(shù)據(jù)價(jià)值挖掘。
能源行業(yè)方面，2019年5月，國(guó)家電網(wǎng)大數(shù)據(jù)中心正式成立，該中心旨在打通數(shù)據(jù)壁壘、激活數(shù)據(jù)價(jià)值、發(fā)展數(shù)字經(jīng)濟(jì)，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的統(tǒng)一運(yùn)營(yíng)，推進(jìn)數(shù)據(jù)資源的高效使用。這是傳統(tǒng)能源行業(yè)擁抱大數(shù)據(jù)應(yīng)用的一次機(jī)制創(chuàng)新。
醫(yī)療健康方面，醫(yī)療大數(shù)據(jù)成為2019年大數(shù)據(jù)應(yīng)用的熱點(diǎn)方向。2018年7月頒布的《國(guó)家健康醫(yī)療大數(shù)據(jù)標(biāo)準(zhǔn)、安全和服務(wù)管理辦法》為健康行業(yè)大數(shù)據(jù)服務(wù)指導(dǎo)了方向。電子病歷、個(gè)性化診療、醫(yī)療知識(shí)圖譜、臨床決策支持系統(tǒng)、藥品器械研發(fā)等成為行業(yè)熱點(diǎn)。
除以上行業(yè)之外，教育、文化、旅游等各行各業(yè)的大數(shù)據(jù)應(yīng)用也都在快速發(fā)展。中國(guó)大數(shù)據(jù)的行業(yè)應(yīng)用更加廣泛，正加速滲透到經(jīng)濟(jì)社會(huì)的方方面面。
四、數(shù)據(jù)資產(chǎn)化步伐穩(wěn)步推進(jìn)
在黨的十九屆四中全會(huì)上，中央首次公開(kāi)提出“健全勞動(dòng)、資本、土地、知識(shí)、技術(shù)、管理和數(shù)據(jù)等生產(chǎn)要素按貢獻(xiàn)參與分配的機(jī)制”。這是中央首次在公開(kāi)場(chǎng)合提出數(shù)據(jù)可作為生產(chǎn)要素按貢獻(xiàn)參與分配，反映了隨著經(jīng)濟(jì)活動(dòng)數(shù)字化轉(zhuǎn)型加快，數(shù)據(jù)對(duì)提高生產(chǎn)效率的乘數(shù)作用凸顯，成為最具時(shí)代特征新生產(chǎn)要素的重要變化。
(一)數(shù)據(jù)：從資源到資產(chǎn)
“數(shù)據(jù)資產(chǎn)”這一概念是由信息資源和數(shù)據(jù)資源的概念逐漸演變而來(lái)的。信息資源是在20世紀(jì)70年代計(jì)算機(jī)科學(xué)快速發(fā)展的背景下產(chǎn)生的，信息被視為與人力資源、物質(zhì)資源、財(cái)務(wù)資源和自然資源同等重要的資源，高效、經(jīng)濟(jì)地管理組織中的信息資源是非常必要的。數(shù)據(jù)資源的概念是在20世紀(jì)90年代伴隨著政府和企業(yè)的數(shù)字化轉(zhuǎn)型而產(chǎn)生，是有含義的數(shù)據(jù)集結(jié)到一定規(guī)模后形成的資源。數(shù)據(jù)資產(chǎn)在21世紀(jì)初大數(shù)據(jù)技術(shù)的興起背景下產(chǎn)生，并隨著數(shù)據(jù)管理、數(shù)據(jù)應(yīng)用和數(shù)字經(jīng)濟(jì)的發(fā)展而普及。
中國(guó)信通院在2017年將“數(shù)據(jù)資產(chǎn)”定義為“由企業(yè)擁有或者控制的，能夠?yàn)槠髽I(yè)帶來(lái)未來(lái)經(jīng)濟(jì)利益的，以一定方式記錄的數(shù)據(jù)資源”。這一概念強(qiáng)調(diào)了數(shù)據(jù)具備的“預(yù)期給會(huì)計(jì)主體帶來(lái)經(jīng)濟(jì)利益”的資產(chǎn)特征。
(二)數(shù)據(jù)資產(chǎn)管理理論體系仍在發(fā)展
數(shù)據(jù)管理的概念是伴隨著20世紀(jì)80年代數(shù)據(jù)隨機(jī)存儲(chǔ)技術(shù)和數(shù)據(jù)庫(kù)技術(shù)的使用而誕生的，主要指在計(jì)算機(jī)系統(tǒng)中的數(shù)據(jù)可以被方便地存儲(chǔ)和訪問(wèn)。經(jīng)過(guò)40年的發(fā)展，數(shù)據(jù)管理的理論體系主要形成了國(guó)際數(shù)據(jù)管理協(xié)會(huì)(DAMA)、IBM和數(shù)據(jù)管控機(jī)構(gòu)(DGI)所提出的三個(gè)流派。然而，以上三種理論體系都是大數(shù)據(jù)時(shí)代之前的產(chǎn)物，其視角還是將數(shù)據(jù)作為信息來(lái)管理，更多的是為了滿足監(jiān)管要求和企業(yè)考核的目的，并沒(méi)有從數(shù)據(jù)價(jià)值釋放的維度來(lái)考慮。
在數(shù)據(jù)資產(chǎn)化背景下，數(shù)據(jù)資產(chǎn)管理是在數(shù)據(jù)管理基礎(chǔ)上的進(jìn)一步發(fā)展，可以視作數(shù)據(jù)管理的“升級(jí)版”。主要區(qū)別表現(xiàn)為以下三方面。一是管理視角不同，數(shù)據(jù)管理主要關(guān)注的是如何解決問(wèn)題數(shù)據(jù)帶來(lái)的損失，而數(shù)據(jù)資產(chǎn)管理則關(guān)注如何利用數(shù)據(jù)資產(chǎn)為企業(yè)帶來(lái)價(jià)值，需要基于數(shù)據(jù)資產(chǎn)的成本、收益來(lái)開(kāi)展數(shù)據(jù)價(jià)值管理。
二是管理職能不同，傳統(tǒng)數(shù)據(jù)管理的管理職能包含數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)模型管理、數(shù)據(jù)安全管理等，而數(shù)據(jù)資產(chǎn)管理針對(duì)不同的應(yīng)用場(chǎng)景和大數(shù)據(jù)平臺(tái)建設(shè)情況，增加了數(shù)據(jù)價(jià)值管理和數(shù)據(jù)共享管理等職能。三是組織架構(gòu)不同，在“數(shù)據(jù)資源管理轉(zhuǎn)向數(shù)據(jù)資產(chǎn)管理”的理念影響下，相應(yīng)的組織架構(gòu)和管理制度也有所變化，需要有更專(zhuān)業(yè)的管理隊(duì)伍和更細(xì)致的管理制度來(lái)確保數(shù)據(jù)資產(chǎn)管理的流程性、安全性和有效性。
(三)各行業(yè)積極實(shí)踐數(shù)據(jù)資產(chǎn)管理
各行業(yè)實(shí)踐數(shù)據(jù)資產(chǎn)管理普遍經(jīng)歷3-4個(gè)階段。最初，行業(yè)數(shù)據(jù)資產(chǎn)管理主要是為了解決報(bào)表和經(jīng)營(yíng)分析的準(zhǔn)確性，并通過(guò)建立數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn)。隨后，行業(yè)數(shù)據(jù)資產(chǎn)管理的目的是治理數(shù)據(jù)，管理對(duì)象由分析域延伸到生產(chǎn)域，并在數(shù)據(jù)庫(kù)中開(kāi)展數(shù)據(jù)標(biāo)準(zhǔn)管理和數(shù)據(jù)質(zhì)量管理。隨著大數(shù)據(jù)技術(shù)的發(fā)展，企業(yè)數(shù)據(jù)逐步匯總到大數(shù)據(jù)平臺(tái)，形成了數(shù)據(jù)采集、計(jì)算、加工、分析等配套工具，建立了元數(shù)據(jù)管理、數(shù)據(jù)共享、數(shù)據(jù)安全保護(hù)等機(jī)制，并開(kāi)展了數(shù)據(jù)創(chuàng)新應(yīng)用。
而目前，許多行業(yè)的數(shù)據(jù)資產(chǎn)管理已經(jīng)進(jìn)入到數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)階段，數(shù)據(jù)成為了企業(yè)核心的生產(chǎn)要素，不僅滿足企業(yè)內(nèi)部各項(xiàng)業(yè)務(wù)創(chuàng)新，還逐漸成為服務(wù)企業(yè)外部的數(shù)據(jù)產(chǎn)品。企業(yè)也積極開(kāi)展如數(shù)據(jù)管理能力成熟度模型(DCMM)等數(shù)據(jù)管理能力評(píng)估工作，不斷提升數(shù)據(jù)資產(chǎn)管理能力。金融、電信等行業(yè)普遍在2000年至2010年間就開(kāi)始了數(shù)據(jù)倉(cāng)庫(kù)建設(shè)(簡(jiǎn)稱(chēng)數(shù)倉(cāng)建設(shè))，并將數(shù)據(jù)治理范圍逐步擴(kuò)展到生產(chǎn)域，建立了比較完善的數(shù)據(jù)治理體系。2010年后通過(guò)引入大數(shù)據(jù)平臺(tái)，企業(yè)實(shí)現(xiàn)了數(shù)據(jù)的匯聚，并逐漸向數(shù)據(jù)湖發(fā)展，內(nèi)部的數(shù)據(jù)應(yīng)用較為完善，不少企業(yè)逐漸在探索數(shù)據(jù)對(duì)外運(yùn)營(yíng)和服務(wù)。
(四)數(shù)據(jù)資產(chǎn)管理工具百花齊放
數(shù)據(jù)資產(chǎn)管理工具是數(shù)據(jù)資產(chǎn)管理工作落地的重要手段。由于大數(shù)據(jù)技術(shù)棧中開(kāi)源軟件的缺失，數(shù)據(jù)資產(chǎn)管理的技術(shù)發(fā)展沒(méi)有可參考的模板，工具開(kāi)發(fā)者多從數(shù)據(jù)資產(chǎn)管理實(shí)踐與項(xiàng)目中設(shè)計(jì)工具架構(gòu)，各企業(yè)數(shù)據(jù)資產(chǎn)管理需求的差異化使得數(shù)據(jù)資產(chǎn)管理工具的形態(tài)各異。因此，數(shù)據(jù)資產(chǎn)管理工具市場(chǎng)呈現(xiàn)百花齊放的狀態(tài)。數(shù)據(jù)資產(chǎn)管理工具可以是多個(gè)工具的集成，并以模塊化的形式集中于數(shù)據(jù)管理平臺(tái)。
元數(shù)據(jù)管理工具、數(shù)據(jù)標(biāo)準(zhǔn)管理工具、數(shù)據(jù)質(zhì)量管理工具是數(shù)據(jù)資產(chǎn)管理工具的核心，數(shù)據(jù)價(jià)值工具是數(shù)據(jù)資產(chǎn)化的有力保障。中國(guó)信通院對(duì)數(shù)據(jù)管理平臺(tái)的測(cè)試結(jié)果顯示，數(shù)據(jù)管理平臺(tái)對(duì)于元數(shù)據(jù)管理工具、數(shù)據(jù)標(biāo)準(zhǔn)管理工具和數(shù)據(jù)質(zhì)量管理工具的覆蓋率達(dá)到了100%，這些工具通過(guò)追蹤記錄數(shù)據(jù)、標(biāo)準(zhǔn)化數(shù)據(jù)、稽核數(shù)據(jù)的關(guān)鍵活動(dòng)，有效地管理了數(shù)據(jù)，提升了數(shù)據(jù)的可用性。
與此同時(shí)，主數(shù)據(jù)管理工具和數(shù)據(jù)模型管理工具的覆蓋率均低于20%，其中主數(shù)據(jù)管理多以解決方案的方式提供服務(wù)，而數(shù)據(jù)模型管理多在元數(shù)據(jù)管理中實(shí)現(xiàn)，或以獨(dú)立工具在設(shè)計(jì)數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)階段完成。超過(guò)80%的數(shù)據(jù)價(jià)值工具以直接提供數(shù)據(jù)源的方式進(jìn)行數(shù)據(jù)服務(wù)，其它的數(shù)據(jù)服務(wù)方式包括數(shù)據(jù)源組合、數(shù)據(jù)可視化和數(shù)據(jù)算法模型等。超過(guò)95%的數(shù)據(jù)價(jià)值工具動(dòng)態(tài)展示數(shù)據(jù)的分布應(yīng)用和存儲(chǔ)計(jì)算情況，但僅有不到10%的工具量化數(shù)據(jù)價(jià)值，并提供數(shù)據(jù)增值方案。
未來(lái)，數(shù)據(jù)資產(chǎn)管理工具將向智能化和敏捷化發(fā)展，并以自助服務(wù)分析的方式深化數(shù)據(jù)價(jià)值。Gartner在2019年關(guān)于分析與商務(wù)智能軟件市場(chǎng)的調(diào)研報(bào)告中顯示，該市場(chǎng)在2018年增長(zhǎng)了11.7%，而基于自助服務(wù)分析的現(xiàn)代商務(wù)智能和數(shù)據(jù)科學(xué)平臺(tái)分別增長(zhǎng)了23.3%和19%。隨著數(shù)據(jù)量的增加和數(shù)據(jù)應(yīng)用場(chǎng)景的豐富，數(shù)據(jù)間的關(guān)系變得更加復(fù)雜，問(wèn)題數(shù)據(jù)也隱藏于數(shù)據(jù)湖中難以被發(fā)覺(jué)。智能化的探索梳理結(jié)構(gòu)化數(shù)據(jù)間、非結(jié)構(gòu)化數(shù)據(jù)間的關(guān)系將節(jié)省巨大的人力，快速發(fā)現(xiàn)并處理問(wèn)題數(shù)據(jù)也將極大的提升數(shù)據(jù)的可用性。在數(shù)據(jù)交易市場(chǎng)尚未成熟的情況下，通過(guò)擴(kuò)展數(shù)據(jù)使用者的范圍，提升數(shù)據(jù)使用者挖掘數(shù)據(jù)價(jià)值的能力，將最大限度地開(kāi)發(fā)和釋放數(shù)據(jù)價(jià)值。
(五)數(shù)據(jù)資產(chǎn)化面臨諸多挑戰(zhàn)
目前，困擾數(shù)據(jù)資產(chǎn)化的關(guān)鍵問(wèn)題主要包括數(shù)據(jù)確權(quán)困難、數(shù)據(jù)估值困難和數(shù)據(jù)交易市場(chǎng)尚未成熟。
1.數(shù)據(jù)確權(quán)困難。
明確數(shù)據(jù)權(quán)屬是數(shù)據(jù)資產(chǎn)化的前提，但目前在數(shù)據(jù)權(quán)利主體以及權(quán)力分配上存在諸多爭(zhēng)議。數(shù)據(jù)權(quán)不同于傳統(tǒng)物權(quán)。物權(quán)的重要特征之一是對(duì)物的直接支配，但數(shù)據(jù)權(quán)在數(shù)據(jù)的全生命周期中有不同的支配主體，有的數(shù)據(jù)產(chǎn)生之初由其提供者支配，有的產(chǎn)生之初便被數(shù)據(jù)收集人支配(如微信聊天內(nèi)容、電商消費(fèi)數(shù)據(jù)、物流數(shù)據(jù)等);在數(shù)據(jù)處理階段被各類(lèi)數(shù)據(jù)主體所支配。原始數(shù)據(jù)只是大數(shù)據(jù)產(chǎn)業(yè)的基礎(chǔ)，其價(jià)值屬性遠(yuǎn)低于集合數(shù)據(jù)為代表的增值數(shù)據(jù)所產(chǎn)生的價(jià)值。
因此，法律專(zhuān)家們傾向于將數(shù)據(jù)的權(quán)屬分開(kāi)，即不探討整體數(shù)據(jù)權(quán)，而是從管理權(quán)、使用權(quán)、所有權(quán)等維度進(jìn)行探討。而由于數(shù)據(jù)從法律上目前尚沒(méi)有被賦予資產(chǎn)的屬性，所以數(shù)據(jù)所有權(quán)、使用權(quán)、管理權(quán)、交易權(quán)等權(quán)益沒(méi)有被相關(guān)的法律充分認(rèn)同和明確界定。數(shù)據(jù)也尚未像商標(biāo)、專(zhuān)利一樣，有明確的權(quán)利申請(qǐng)途徑、權(quán)利保護(hù)方式等，對(duì)于數(shù)據(jù)的法定權(quán)利，尚未有完整的法律保護(hù)體系。
2.數(shù)據(jù)估值困難。
影響數(shù)據(jù)資產(chǎn)價(jià)值的因素主要有質(zhì)量、應(yīng)用和風(fēng)險(xiǎn)三個(gè)維度。質(zhì)量是決定數(shù)據(jù)資產(chǎn)價(jià)值的基礎(chǔ)，合理評(píng)估數(shù)據(jù)的質(zhì)量水平，才能對(duì)數(shù)據(jù)的應(yīng)用價(jià)值進(jìn)行準(zhǔn)確預(yù)測(cè);應(yīng)用是數(shù)據(jù)資產(chǎn)形成價(jià)值的方式，數(shù)據(jù)與應(yīng)用場(chǎng)景結(jié)合才能貢獻(xiàn)經(jīng)濟(jì)價(jià)值;風(fēng)險(xiǎn)則是指法律和道德等方面存在的限制。
目前，常用的數(shù)據(jù)資產(chǎn)估值方法主要有成本法、收益法和市場(chǎng)法三類(lèi)。成本法從資產(chǎn)的重置角度出發(fā)，重點(diǎn)考慮資產(chǎn)價(jià)值與重新獲取或建立該資產(chǎn)所需成本之間的相關(guān)程度;收益法基于目標(biāo)資產(chǎn)的預(yù)期應(yīng)用場(chǎng)景，通過(guò)未來(lái)產(chǎn)生的經(jīng)濟(jì)效益的折現(xiàn)來(lái)反映數(shù)據(jù)資產(chǎn)在投入使用后的收益能力，而根據(jù)衡量無(wú)形資產(chǎn)經(jīng)濟(jì)效益的不同方法又可具體分為權(quán)利金節(jié)省法、多期超額收益法和增量收益法;市場(chǎng)法則是在相同或相似資產(chǎn)的市場(chǎng)可比案例的交易價(jià)格的基礎(chǔ)上，對(duì)差異因素進(jìn)行調(diào)整，以此反映數(shù)據(jù)資產(chǎn)的市場(chǎng)價(jià)值。
評(píng)估數(shù)據(jù)資產(chǎn)的價(jià)值需要考慮多方面因素，數(shù)據(jù)的質(zhì)量水平、不同的應(yīng)用場(chǎng)景和特定的法律道德限制均對(duì)數(shù)據(jù)資產(chǎn)價(jià)值有所影響。雖然目前已有從不同角度出發(fā)的數(shù)據(jù)資產(chǎn)估值方法，但在實(shí)際應(yīng)用中均存在不同的問(wèn)題，有其適用性的限制。構(gòu)建成熟的數(shù)據(jù)資產(chǎn)評(píng)價(jià)體系，還需要以現(xiàn)有方法為基礎(chǔ)框架，進(jìn)一步探索在特定領(lǐng)域和具體案例中的適配方法。
3.數(shù)據(jù)交易市場(chǎng)尚未成熟。
2014年以來(lái)，國(guó)內(nèi)出現(xiàn)了一批數(shù)據(jù)交易平臺(tái)，各地方政府也成立了數(shù)據(jù)交易機(jī)構(gòu)，包括貴陽(yáng)大數(shù)據(jù)交易所、長(zhǎng)江大數(shù)據(jù)交易中心、上海數(shù)據(jù)交易中心等。同時(shí)，互聯(lián)網(wǎng)領(lǐng)軍企業(yè)也在積極探索新的數(shù)據(jù)流通機(jī)制，提供了行業(yè)洞察、營(yíng)銷(xiāo)支持、輿情分析、引擎推薦、API數(shù)據(jù)市場(chǎng)等數(shù)據(jù)服務(wù)，并針對(duì)不同的行業(yè)提出了相應(yīng)的解決方案。
但是，由于數(shù)據(jù)權(quán)屬和數(shù)據(jù)估值的限制，以及數(shù)據(jù)交易政策和監(jiān)管的缺失等因素，目前國(guó)內(nèi)的數(shù)據(jù)交易市場(chǎng)盡管在數(shù)據(jù)服務(wù)方式上有所豐富，卻發(fā)展依然面臨諸多困難，阻礙了數(shù)據(jù)資產(chǎn)化的進(jìn)程。主要體現(xiàn)在如下兩點(diǎn)。一是市場(chǎng)缺乏信任機(jī)制，技術(shù)服務(wù)方、數(shù)據(jù)提供商、數(shù)據(jù)交易中介等可能會(huì)私下緩存并對(duì)外共享、交易數(shù)據(jù)，數(shù)據(jù)使用企業(yè)不按協(xié)議要求私自留存、復(fù)制甚至轉(zhuǎn)賣(mài)數(shù)據(jù)的現(xiàn)象普遍存在。中國(guó)各大數(shù)據(jù)交易平臺(tái)并未形成統(tǒng)一的交易流程，甚至有些交易平臺(tái)沒(méi)有完整的數(shù)據(jù)交易規(guī)范，使得數(shù)據(jù)交易存在很大風(fēng)險(xiǎn)。
二是缺乏良性互動(dòng)的數(shù)據(jù)交易生態(tài)體系。數(shù)據(jù)交易中所涉及的采集、傳輸、匯聚活動(dòng)日益頻繁，相應(yīng)的，個(gè)人隱私、商業(yè)機(jī)密等一系列安全問(wèn)題也日益突出，亟需建立包括監(jiān)管機(jī)構(gòu)和社會(huì)組織等多方參與的，法律法規(guī)和技術(shù)標(biāo)準(zhǔn)多要素協(xié)同的，覆蓋數(shù)據(jù)生產(chǎn)流通全過(guò)程和數(shù)據(jù)全生命周期管理的數(shù)據(jù)交易生態(tài)體系。
五、數(shù)據(jù)安全合規(guī)要求不斷提升
2019年以來(lái)，大數(shù)據(jù)安全合規(guī)方面不斷有事件曝出。2019年9月6日，位于杭州的大數(shù)據(jù)風(fēng)控平臺(tái)杭州魔蝎數(shù)據(jù)科技有限公司被警方控制，高管被帶走，相關(guān)服務(wù)暫時(shí)癱瘓。同日，另一家提供大數(shù)據(jù)風(fēng)控服務(wù)的新顏科技人工智能科技有限公司高管被帶走協(xié)助調(diào)查。以?xún)善脚_(tái)被查為開(kāi)端，短短一周內(nèi)，多家征信企業(yè)分別有人被警方帶走調(diào)查，市場(chǎng)紛紛猜測(cè)是否與爬蟲(chóng)業(yè)務(wù)有關(guān)。一時(shí)間，大數(shù)據(jù)安全合規(guī)的問(wèn)題，特別是對(duì)于個(gè)人信息保護(hù)的問(wèn)題，再次成為了行業(yè)關(guān)注熱點(diǎn)。
(一)數(shù)據(jù)相關(guān)法律監(jiān)管日趨嚴(yán)格規(guī)范
與全球不斷收緊的數(shù)據(jù)合規(guī)政策相類(lèi)似，中國(guó)在數(shù)據(jù)法律監(jiān)管方面也日趨嚴(yán)格規(guī)范。當(dāng)前中國(guó)大數(shù)據(jù)方面的立法呈現(xiàn)出以個(gè)人信息保護(hù)為核心，包含基本法律、司法解釋、部門(mén)規(guī)章、行政法規(guī)等綜合框架。一些綜合性法律中也涉及了個(gè)人信息保護(hù)條款。
2019年以來(lái)，數(shù)據(jù)安全方面的立法進(jìn)程明顯加快。中央網(wǎng)信辦針對(duì)四項(xiàng)關(guān)于數(shù)據(jù)安全的管理辦法相繼發(fā)布征求意見(jiàn)稿，其中，《兒童個(gè)人信息網(wǎng)絡(luò)保護(hù)規(guī)定》已正式公布，并于2019年10月1日開(kāi)始施行。一系列行政法規(guī)的制訂，喚起了民眾對(duì)數(shù)據(jù)安全的強(qiáng)烈關(guān)注。
但不可否認(rèn)的是，從法律法規(guī)體系方面來(lái)看，中國(guó)的數(shù)據(jù)安全法律法規(guī)仍不夠完善，呈現(xiàn)出缺乏綜合性統(tǒng)一法律、缺乏法律細(xì)節(jié)解釋、保護(hù)與發(fā)展協(xié)調(diào)不夠等問(wèn)題。2018年，十三屆全國(guó)人大常委會(huì)立法規(guī)劃中的“條件比較成熟、任期內(nèi)擬提請(qǐng)審議的法律草案”包括了《個(gè)人信息保護(hù)法》《數(shù)據(jù)安全法》兩部。個(gè)人信息和數(shù)據(jù)保護(hù)的綜合立法時(shí)代即將來(lái)臨。
(二)數(shù)據(jù)安全技術(shù)助力大數(shù)據(jù)合規(guī)要求落地
數(shù)據(jù)安全的概念來(lái)源于傳統(tǒng)信息安全的概念。在傳統(tǒng)信息安全中數(shù)據(jù)是內(nèi)涵，信息系統(tǒng)是載體，數(shù)據(jù)安全是整個(gè)信息安全的關(guān)注重點(diǎn)，信息安全的主要內(nèi)容是通過(guò)安全技術(shù)保障數(shù)據(jù)的秘密性、完整性和可用性。從數(shù)據(jù)生命周期的角度區(qū)分，數(shù)據(jù)安全技術(shù)包括作用于數(shù)據(jù)采集階段的敏感數(shù)據(jù)鑒別發(fā)現(xiàn)、數(shù)據(jù)分類(lèi)分級(jí)標(biāo)簽、數(shù)據(jù)質(zhì)量監(jiān)控;作用于數(shù)據(jù)存儲(chǔ)階段的數(shù)據(jù)加密、數(shù)據(jù)備份容災(zāi);作用于數(shù)據(jù)處理階段的數(shù)據(jù)脫敏、安全多方計(jì)算、聯(lián)邦學(xué)習(xí);作用于數(shù)據(jù)刪除階段的數(shù)據(jù)全副本銷(xiāo)毀;作用于整個(gè)數(shù)據(jù)生命周期的用戶(hù)角色權(quán)限管理、數(shù)據(jù)傳輸校驗(yàn)與加密、數(shù)據(jù)活動(dòng)監(jiān)控審計(jì)等。
當(dāng)前中國(guó)數(shù)據(jù)安全法律法規(guī)重點(diǎn)關(guān)注個(gè)人信息的保護(hù)，大數(shù)據(jù)行業(yè)整體合規(guī)也必然將以此作為核心。而在目前的數(shù)據(jù)安全技術(shù)中有為數(shù)不少的技術(shù)手段瞄準(zhǔn)了敏感數(shù)據(jù)在處理使用中的防護(hù)，例如數(shù)據(jù)脫敏、安全多方計(jì)算、聯(lián)邦學(xué)習(xí)等。
在《數(shù)據(jù)安全管理辦法(征求意見(jiàn)稿)》中明確要求，對(duì)于個(gè)人信息的提供和保存要經(jīng)過(guò)匿名化處理，而數(shù)據(jù)脫敏技術(shù)是實(shí)現(xiàn)數(shù)據(jù)匿名化處理的有效途徑。應(yīng)用靜態(tài)脫敏技術(shù)可以保證數(shù)據(jù)對(duì)外發(fā)布不涉及敏感信息，同時(shí)在開(kāi)發(fā)、測(cè)試環(huán)境中保證敏感數(shù)據(jù)集本身特性不變的情況下能夠正常進(jìn)行挖掘分析;應(yīng)用動(dòng)態(tài)脫敏技術(shù)可以保證在數(shù)據(jù)服務(wù)接口能夠?qū)崟r(shí)返回?cái)?shù)據(jù)請(qǐng)求的同時(shí)杜絕敏感數(shù)據(jù)泄露風(fēng)險(xiǎn)。
安全多方計(jì)算和聯(lián)邦學(xué)習(xí)等技術(shù)能夠確保在協(xié)同計(jì)算中任何一方實(shí)際數(shù)據(jù)不被其他方獲得的情況下完成計(jì)算任務(wù)并獲得正確計(jì)算結(jié)果。應(yīng)用這些技術(shù)能夠在有效保護(hù)敏感數(shù)據(jù)以及個(gè)人隱私數(shù)據(jù)不存在泄露風(fēng)險(xiǎn)的同時(shí)完成原本需要執(zhí)行的數(shù)據(jù)分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等任務(wù)。
上述技術(shù)是當(dāng)前最為主流的數(shù)據(jù)安全保護(hù)技術(shù)，也是最有利于大數(shù)據(jù)安全合規(guī)落地的數(shù)據(jù)安全保護(hù)技術(shù)。其中的各項(xiàng)技術(shù)分別具有各自的技術(shù)實(shí)現(xiàn)方式、應(yīng)用場(chǎng)景、技術(shù)優(yōu)勢(shì)和當(dāng)前存在的問(wèn)題，具體的對(duì)比如表3。
上述技術(shù)均存在多種技術(shù)實(shí)現(xiàn)方式，不同實(shí)現(xiàn)方式可能達(dá)到對(duì)于隱私數(shù)據(jù)的不同程度保護(hù)，不同的應(yīng)用場(chǎng)景對(duì)于隱私數(shù)據(jù)的保護(hù)程度和可用性也有不同的需求。作為助力實(shí)現(xiàn)大數(shù)據(jù)安全合規(guī)落地的主要技術(shù)，在實(shí)際應(yīng)用中使用者應(yīng)根據(jù)具體的應(yīng)用場(chǎng)景選擇合適的隱私保護(hù)技術(shù)以及合適的實(shí)現(xiàn)方式，而繁多的實(shí)現(xiàn)方式和產(chǎn)品化的功能點(diǎn)區(qū)別導(dǎo)致技術(shù)使用者具體進(jìn)行選擇時(shí)會(huì)遇到很大的困難。通過(guò)標(biāo)準(zhǔn)對(duì)相應(yīng)隱私保護(hù)技術(shù)進(jìn)行規(guī)范化，可以有效地應(yīng)對(duì)這種情況。
未來(lái)伴隨著大數(shù)據(jù)產(chǎn)業(yè)的不斷發(fā)展，個(gè)人信息和數(shù)據(jù)安全相關(guān)法律法規(guī)將不斷出臺(tái)，在企業(yè)合規(guī)方面，應(yīng)用標(biāo)準(zhǔn)化的數(shù)據(jù)安全技術(shù)是十分有效的合規(guī)落地手段。隨著公眾數(shù)據(jù)安全意識(shí)的提升和技術(shù)本身的不斷進(jìn)步完善，數(shù)據(jù)安全技術(shù)將逐漸呈現(xiàn)出規(guī)范化、標(biāo)準(zhǔn)化的趨勢(shì)，參照相關(guān)法律法規(guī)要求進(jìn)行相關(guān)產(chǎn)品技術(shù)標(biāo)準(zhǔn)制定，應(yīng)用符合相應(yīng)技術(shù)標(biāo)準(zhǔn)的數(shù)據(jù)安全技術(shù)產(chǎn)品，保證對(duì)于敏感數(shù)據(jù)和個(gè)人隱私數(shù)據(jù)的使用合法合規(guī)，將成為未來(lái)大數(shù)據(jù)產(chǎn)業(yè)合規(guī)落地的一大趨勢(shì)。
(三)數(shù)據(jù)安全標(biāo)準(zhǔn)規(guī)范體系不斷完善
相對(duì)于法律法規(guī)和針對(duì)于數(shù)據(jù)安全技術(shù)的標(biāo)準(zhǔn)，在大數(shù)據(jù)安全保護(hù)中，標(biāo)準(zhǔn)和規(guī)范也發(fā)揮著不可替代的作用。《信息安全技術(shù)個(gè)人信息安全規(guī)范》是個(gè)人信息保護(hù)領(lǐng)域重要的推薦性標(biāo)準(zhǔn)。標(biāo)準(zhǔn)結(jié)合國(guó)際通用的個(gè)人信息和隱私保護(hù)理念，提出了“權(quán)責(zé)一致、目的明確、選擇同意、最少夠用、公開(kāi)透明、確保安全、主體參與”七大原則，為企業(yè)完善內(nèi)部個(gè)人信息保護(hù)制度及實(shí)踐操作規(guī)則提供了更為細(xì)致的指引。2019年6月25日，該標(biāo)準(zhǔn)修訂后的征求意見(jiàn)稿正式發(fā)布。
一系列聚焦數(shù)據(jù)安全的國(guó)家標(biāo)準(zhǔn)近年來(lái)陸續(xù)發(fā)布。包括《大數(shù)據(jù)服務(wù)安全能力要求》(GB/T35274-2017)《大數(shù)據(jù)安全管理指南》(GB/T37973-2019)《數(shù)據(jù)安全能力成熟度模型》(GB/T37988-2019)《數(shù)據(jù)交易服務(wù)安全要求》(GB/T37932-2019)等，這些標(biāo)準(zhǔn)對(duì)于中國(guó)數(shù)據(jù)安全領(lǐng)域起到了重要的指導(dǎo)作用。
中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會(huì)(CCSATC601)推出的《可信數(shù)據(jù)服務(wù)》系列規(guī)范將個(gè)人信息保護(hù)推廣到企業(yè)數(shù)據(jù)綜合合規(guī)。標(biāo)準(zhǔn)針對(duì)數(shù)據(jù)供方和數(shù)據(jù)流通平臺(tái)的不同角色身份，從管理流程和管理內(nèi)容等方面對(duì)企業(yè)數(shù)據(jù)合規(guī)提出了推薦性建議。規(guī)范列舉了數(shù)據(jù)流通平臺(tái)提供數(shù)據(jù)流通服務(wù)時(shí)，在平臺(tái)管理、流通參與主體管理、流通品管理、流通過(guò)程管理等方面的管理要求和建議，以及數(shù)據(jù)供方提供數(shù)據(jù)產(chǎn)品時(shí)，在數(shù)據(jù)產(chǎn)品管理、數(shù)據(jù)產(chǎn)品供應(yīng)管理等方面需滿足和體現(xiàn)服務(wù)能力與服務(wù)質(zhì)量的要求。系列規(guī)范已于2019年6月發(fā)布。
六、大數(shù)據(jù)發(fā)展展望
黨的十九屆四中全會(huì)提出將數(shù)據(jù)與資本、土地、知識(shí)、技術(shù)和管理并列作為可參與分配的生產(chǎn)要素，這體現(xiàn)出數(shù)據(jù)在國(guó)民經(jīng)濟(jì)運(yùn)行中變得越來(lái)越重要，數(shù)據(jù)對(duì)經(jīng)濟(jì)發(fā)展、社會(huì)生活和國(guó)家治理正在產(chǎn)生著根本性、全局性、革命性的影響。
技術(shù)方面，我們?nèi)匀惶幵?ldquo;數(shù)據(jù)大爆發(fā)”的初期，隨著5G、工業(yè)互聯(lián)網(wǎng)的深入發(fā)展，將帶來(lái)更大的“數(shù)據(jù)洪流”，這就為大數(shù)據(jù)的存儲(chǔ)、分析、管理帶來(lái)更大的挑戰(zhàn)，牽引大數(shù)據(jù)技術(shù)再上新的臺(tái)階。硬件與軟件的融合、數(shù)據(jù)與智能的融合將帶動(dòng)大數(shù)據(jù)技術(shù)向異構(gòu)多模、超大容量、超低時(shí)延等方向拓展。
應(yīng)用方面，大數(shù)據(jù)行業(yè)應(yīng)用正在從消費(fèi)端向生產(chǎn)端延伸，從感知型應(yīng)用向預(yù)測(cè)型、決策型應(yīng)用發(fā)展。當(dāng)前，互聯(lián)網(wǎng)行業(yè)已經(jīng)從“IT時(shí)代”全面進(jìn)入“DT時(shí)代”(DataTechnology)。未來(lái)幾年，隨著各地政務(wù)大數(shù)據(jù)平臺(tái)和大型企業(yè)數(shù)據(jù)中臺(tái)的建成，將促進(jìn)政務(wù)、民生與實(shí)體經(jīng)濟(jì)領(lǐng)域的大數(shù)據(jù)應(yīng)用再上新的臺(tái)階。
治理方面，隨著國(guó)家數(shù)據(jù)安全法律制度的不斷完善，各行業(yè)的數(shù)據(jù)治理也將深入推進(jìn)。數(shù)據(jù)的采集、使用、共享等環(huán)節(jié)的亂象得到遏制，數(shù)據(jù)的安全管理成為各行各業(yè)自覺(jué)遵守的底線，數(shù)據(jù)流通與應(yīng)用的合規(guī)性將大幅提升，健康、可持續(xù)的大數(shù)據(jù)發(fā)展環(huán)境逐步形成。
然而，中國(guó)大數(shù)據(jù)發(fā)展也同樣面臨著諸多問(wèn)題。例如，大數(shù)據(jù)原創(chuàng)性的技術(shù)和產(chǎn)品尚不足;數(shù)據(jù)開(kāi)放共享水平依然較低，跨部門(mén)、跨行業(yè)的數(shù)據(jù)流通仍不順暢，有價(jià)值的公共信息資源和商業(yè)數(shù)據(jù)沒(méi)有充分流動(dòng)起來(lái);數(shù)據(jù)安全管理仍然薄弱，個(gè)人信息保護(hù)面臨新威脅與新風(fēng)險(xiǎn)。這就需要大數(shù)據(jù)從業(yè)者們?cè)诖髷?shù)據(jù)理論研究、技術(shù)研發(fā)、行業(yè)應(yīng)用、安全保護(hù)等方面付出更多的努力。
新的時(shí)代，新的機(jī)遇。我們也看到，大數(shù)據(jù)與5G、人工智能、區(qū)塊鏈等新一代信息技術(shù)的融合發(fā)展日益緊密。特別是區(qū)塊鏈技術(shù)，一方面區(qū)塊鏈可以在一定程度上解決數(shù)據(jù)確權(quán)難、數(shù)據(jù)孤島嚴(yán)重、數(shù)據(jù)壟斷等“先天病”，另一方面隱私計(jì)算技術(shù)等大數(shù)據(jù)技術(shù)也反過(guò)來(lái)促進(jìn)了區(qū)塊鏈技術(shù)的完善。在新一代信息技術(shù)的共同作用下，中國(guó)的數(shù)字經(jīng)濟(jì)正向著更加互信、共享、均衡的方向發(fā)展，數(shù)據(jù)的“生產(chǎn)關(guān)系”正在進(jìn)一步重塑。
參考文獻(xiàn)：
[1]陳一：《我國(guó)大數(shù)據(jù)交易產(chǎn)權(quán)管理實(shí)踐及政策進(jìn)展研究》，《現(xiàn)代情報(bào)》，2019年第11期。
[2]黃璜、孫學(xué)智：《中國(guó)地方政府?dāng)?shù)據(jù)治理機(jī)構(gòu)的初步研究：現(xiàn)狀與模式》，《中國(guó)行政管理》，2018年第12期。
大數(shù)據(jù)方向論文范文：大數(shù)據(jù)時(shí)代的企業(yè)財(cái)務(wù)管理研究
摘要：在大數(shù)據(jù)時(shí)代，誰(shuí)掌握信息化技術(shù)，誰(shuí)就掌握了贏得市場(chǎng)的先機(jī)。為了提升財(cái)務(wù)管理能力，企業(yè)必須要加強(qiáng)信息技術(shù)的應(yīng)用。通過(guò)推進(jìn)財(cái)務(wù)管理信息化，進(jìn)一步提升財(cái)務(wù)管理的效用，有關(guān)領(lǐng)導(dǎo)一定要堅(jiān)持創(chuàng)新的原則，不斷提升信息化工作意識(shí)，提高信息化水平，完善信息化制度體系，從而從根本上推動(dòng)財(cái)務(wù)管理工作的發(fā)展，促進(jìn)企業(yè)提升競(jìng)爭(zhēng)實(shí)力，更好地適應(yīng)瞬息萬(wàn)變的市場(chǎng)。
轉(zhuǎn)載請(qǐng)注明來(lái)自發(fā)表學(xué)術(shù)論文網(wǎng)：http://www.zpfmc.com/jjlw/22446.html
