基于深度學習的專利知識推薦服務研究

　　摘要：專利作為一種包含大多數領域中最完整的設計信息，可以為設計者解決設計問題提供有價值的指導。針對現有的專利推薦方法難以有效地推薦跨領域專利的問題，提出一種基于深度學習的跨領域專利知識推薦方法，用于創新產品的概念設計。首先對產品功能和知識需求情境進行建模，將設計問題進行標準化表達，生成設計問題空間。其次，提出一種半監督學習算法(TGTCI)將專利功能信息按照功能基自動分類和標記，利用實體識別算法(BERTBiLSTMCRF)提取專利應用場景術語、技術術語，結合國際專利分類(IPC)信息以表示專利的功能、情境、技術和領域屬性，從而生成專利知識空間。通過設計問題空間到專利知識空間的功能基和知識情境映射查找所需的跨領域專利，根據技術和領域屬性對它們進行聚類和評估，選出特定的專利以激發設計者的創造力。最后以一個實際案例進行分析驗證，證明了基于深度學習的專利知識推薦模型的可行性及有效性。

　　關鍵詞：產品創新;專利數據;深度學習;知識需求情境;知識資源推薦

　　隨著經濟全球化的發展，市場環境動態多變，企業之間的競爭日益激烈。面對激烈的市場競爭，企業創新設計能力已成為決定企業競爭是否占優的關鍵，企業需要不斷提高自己的創新能力來提升自身的核心競爭力。產品創新設計是一個創新密集型過程，需要大量的知識和設計經驗[1]。在產品創新設計過程中，知識重用和重組已被證明是創新的主要來源[2]，但如今的知識重用研究主要集中在同一應用領域設計知識的重用。然而其他應用領域的知識往往更好解決產品創新中的問題，從各種各樣的領域汲取靈感進行創新設計正成為一種趨勢。

　　專利申請知識： 廢鐵壓塊設備實用新型專利申請時間多長

　　因此，研究如何利用多領域知識進行產品創新具有巨大的現實意義。專利知識包含了各個應用領域最新的技術和研究成果，許多學者使用詞頻統計、機器學習、深度學習三種方法分析專利中的知識來輔助產品創新設計。其中基于詞頻統計和機器學習的研究有梁艷紅等人[3]基于發明問題解決理論(TRIZ)提取專利中產品創新知識。YOON等人[4]利用線性判別式分析算法提取專利主題，并根據協同過濾算法識別潛在競爭對手，以此輔助產品設計。

　　陳憶群等人[5]利用支持向量機(SVM)算法將關鍵詞抽取轉化為分類問題提取關鍵詞。林園園等人[6]構建功能原理結構模型，使用K均值聚類算法(Kmeans)對專利進行聚類，實現推薦相關的專利組合方案給產品設計者。Chen等人[7]提出了一種結構函數式知識抽取方法，識別包含結構和功能的潛在知識。劉龍繁等人[8]提出一種使用樸素貝葉斯算法(NaiveBayes)，以功能基為分類標準的專利分類方法，為設計者提供相關專利知識。但基于統計詞頻以及共現的方法只能統計專利的顯性信息，對產品創新提供幫助較小，機器學習方法抽取知識較為片面且精度不高、效率較低。

　　而深度學習可以解決以上問題，可以抽取專利實現的功能效果，為產品創新設計提供類似的成功案例。例如董文斌等人[9]利用BERTBiLSTMCRF算法識別專利中的功能、原理、結構三類實體，并提取實體之間的關系，構建專利知識結構模型。Xu等人[10]預先定義實體類型和語義關系庫，提出一種利用BiGRUHAN算法的專利知識提取框架。張盤龍[11]利用實體識別算法構建專利知識圖譜進行專利推薦。但現有的深度學習研究大多缺乏對專利知識應用情境和專利技術原理的深入分析，因而無法有效解決跨領域推薦專利的準確性。

　　除此之外，專利數量呈指數級上漲，并非所有專利都具有同等重要的創新意義[12]，有必要為設計師評估檢索到的專利。劉勤等人[13]采用熵權法對專利特征、發明人特征及權力人特征進行賦權，構建專利價值評估模型。Verhoeven[14]使用IPC分類號和引用信息來衡量技術的新穎性。李欣[15]選取專利技術、經濟、法律和主體四大維度，運用機器學習方法對專利質量進行評估。但大多數研究僅用一個指標對專利進行評估，缺乏從多個角度評估專利創新價值。

　　基于以上問題，本文提出一種基于深度學習的專利知識推薦模型，從文本分類的角度提取專利的功能信息。其次，利用深度學習算法提取情境、技術屬性，結合IPC分類號信息，生成專利知識空間。為滿足設計者不同的知識需求，提出技術成熟性，新穎性和可擴展性三種評價指標，以向設計者推薦其他領域專利知識，激發設計者創造更多的創新設計理念。基于深度學習的專利研究進展目前，由于出色的表示學習能力，深度學習在自然語言處理領域取得了巨大的成功，許多學者致力于利用深度學習提取專利中的隱形知識，主要分為專利知識提取、專利知識推薦、專利評估及演化三個方向。

　　文獻[10]、[16]利用實體識別算法提取專利中的技術術語，構建了專利知識提取框架，方便使用者更快的理解專利。文獻[9]、[11]、[17]在專利知識提取框架的基礎上，提取專利的功能、技術等知識構建專利知識圖譜,推薦合適的專利輔助產品創新。文獻[18]、[19]利用深度學習構建專利相似性網絡，根據技術進行專利聚類，判斷專利技術的潛在價值，準確地預測新興技術，為未來技術發展提供方向。 從現有研究成果來看，當前的專利知識研究主要集中在當前領域知識推薦的準確性，忽略了知識的多樣性，既其他領域的專利知識。而其他領域的知識往往更好的解決當前的設計問題。因此本文對專利知識情境進行深入分析，解決產品創新設計的多樣性知識需求，提高專利知識推送質量、增強企業創新能力和競爭能力。

　　基于深度學習的專利知識推薦模型框架在產品設計中，設計者通過知識重用和重組來解決設計問題。專利作為包含大多數應用領域知識的重要知識資源，可以幫助設計者完成各種設計任務。其中產品是由功能和功能承載結構所組成的系統，功能分析貫穿產品設計的整個過程。

　　將設計問題抽象解釋為功能需求問題可以在任何領域中使用，但通過功能檢索到的專利通常大量重復或者相似，設計者仍需要花費大量時間去尋找和理解檢索到的所有專利，最終找到合適的專利。不同的知識具有不同的應用情境[20]，在特定情境下其他領域知識才可以發揮效用。此外，不同的專利文本具有不同的技術成熟性和新穎性，這對不同的設計者有著不同的啟發性影響。因此，本文提出一種基于深度學習的專利知識推薦模型，它可以推薦其他應用領域的專利知識，實現了跨領域的知識遷移。

　　設計問題經過問題表征被描述為功能需求，并描述當前知識需求情境，對功能進行建模并分解為三層功能結構，根據功能基和需求情境將其解釋為設計問題空間。由于專利文獻為半結構化數據，閱讀專利全文獲取知識需要花費高昂的時間成本、人力成本等。于是本文提出一種TGTCI(TwoGranularityThreeClassifierIntegration)半監督文本分類算法從文本分類的角度提取專利的功能信息，分別從字符級(BERT)和詞語級(Word2vec)對專利文本進行特征向量表示，可以有效解決專利文本中一詞多義、歧義等現象。

　　并集成支持向量機(SVM)、貝葉斯(NaiveBayes)、K近鄰分類(KNN)三種不同基分類器的優點，提高專利功能分類的準確性。采用BERTBiLSTMCRF實體識別算法從專利說明書中自動提取專利的知識應用情境、技術術語，實現使用計算機自動提取專利知識，降低人力成本和研發時間。結合IPC分類號信息分別代表專利的功能、情境、技術、領域屬性，構成專利知識空間。

　　首先根據功能基和知識情境實現設計問題空間到專利知識空間的映射，搜索相關專利。其次，檢索后的專利通過技術術語將實現同一功能并技術手段相似的專利采用Kmeans算法進行聚類，形成專利技術集群，之后設計者根據設計需求選擇相應的評估指標通過IPC信息對專利技術集群進行評估和排序。最后，向設計者推薦三層呈現的專利知識信息，以激發設計者的創新思維，進行新產品概念設計中的知識轉移。必要的是，需要定時從專利網站中搜尋專利文本，通過上述知識抽取過程，將這些專利文本存儲在本地專利數據庫中，以便可以實時更新專利知識空間。

　　3基于功能基和知識情境的專利知識推薦方法

　　3.1研究思路

　　當前設計者搜尋專利由于受到自身知識經驗和專利的分類體系(IPC)的約束，只能找到本專業或本領域的專利文獻。從產品創新角度來說，其他領域知識往往更好激發設計者的創新思維，因為不同領域的產品設計問題，可能會采用相似的技術方案。因此，本文將功能基和知識情境引入產品設計流程中，來為設計者提供跨領域專利知識，輔助產品創新設計。

　　在引入功能基和知識情境之前，設計者由于自身知識的不足影響了功能層與原理解層的映射，從而限制了產品概念方案的生成。通過引入功能基和知識情境方便設計過程信息的表達，建立了統一的表達標準。由于功能基高度抽象，可以突破功能應用領域的限制，并根據知識應用情境的匹配程度對其他領域知識進行篩選，獲得更多創新解決方案。

　　3.2基于功能需求和知識需求情境的設計問題空間

　　產品創新設計是復雜的思維活動，設計問題求解可以理解為“發掘設計問題與已有知識之間的相關性，并進行知識的遷移和組合”的過程[21]。功能是產品的核心要素，而產品創新設計的核心是知識從一種情境轉換到另一種情境[21]。通過對設計問題的功能需求和知識需求情境的問題表征，將設計問題進行標準化表達，可以得到產品的功能結構模型和知識情境模型，同時形成設計問題空間。設計者利用功能基和知識情境檢索專利知識庫中已有的解決方案和知識，并將其與當前的設計問題進行類比，以生成新的設計方案。

　　3.2.1功能建模

　　產品設計的本質是設計具有特定功能、滿足特定設計要求的產品。產品建模是產品設計的基礎，功能建模是產品設計的首要任務。為了對功能進行統一的表達，Stone等[22]提出了功能基(Functionalbase)的概念，采用“元功能+流”的表示形式。Hirtz[23]整合并統一了元功能和流的分類，建立了功能基的標準詞典。但該詞典創建距今已經十多年時間，不能很好的適用于當前的設計活動。

　　為此，本文根據TRIZ功能分析理論，提出一種采用“動作+對象”描述功能，“動作”描述了功能的作用方式，“對象”描述工作的對象。其中動作包括導向、聚集、轉換、連接、感知、調節、分離、供應、支持九個一級功能類別，結合Hirtz對流的分析進一步細化為39個二級功能類別與234個三級功能類別。顯示了一個功能基的實例，設計者可以選擇合適的功能基來定義任何產品的功能。由于功能基高度抽象，使用功能基表示設計問題的功能需求可以在任何領域中使用。

　　3.2.2知識情境建模

　　基于功能基向設計者推薦其他領域專利知識時，大量跨領域專利滿足當前功能需求，檢索結果冗余度高，無法滿足知識推薦的準確性。然而知識的產生和應用都具有特定的背景和環境[20]，知識情境可以視為知識應用的限定條件，是知識共享和知識重用的重要基礎，能夠有效解決基于功能基檢索后的專利知識過載問題[24]。通過對設計問題和知識主體之間的情境匹配度計算將極大的提高設計者知識檢索的效率，進而縮短產品創新設計的開發周期，提高創新質量。

　　為此，本文建立一個可擴展的知識情境模型，用以判斷其他領域知識解決當前設計問題的可行性。在產品設計過程中，根據5W1H分析法可得知識情境就是描述當前的設計者的5W1H信息(Who、What、Where、When、Why、How)，即設計者在某一時間某一地點用某種方法從事當前的設計活動。但僅這六個維度可能造成設計需求識別不完整，降低工作效率。

　　因此，本文以設計過程為線索，結合5W1H分析法將知識情境維度進行提煉，構建知識情境模型，形式化表達為：知識情境={問題、任務、設計過程、設計執行者、設計活動、設計對象、知識資源、地點、時間}，其中設計執行的時間和地理位置和在設計活動中沒有實際意義，本文將產品的業務周期作為時間維度，產品工作時的應用地點作為地點維度。知識情境各維度之間存在著緊密的聯系，知識情境交互關系模型。

　　問題維度、任務維度、知識執行者維度以及設計活動維度之間存在相互傳遞轉換關系：設計問題分解成多個任務目標;任務目標由設計活動實現;設計活動由相關部門和組織組成的設計執行者全權負責;并且在設計活動維度中，時間和地點兩個維度是設計活動執行的條件限制，設計活動使用相應的知識資源驅動設計過程的執行。在知識執行者維度中，知識員工存在于各個業務執行組織，在特定的設計活動中具備一定的求解技能、求解經驗以及對應的執行職位。需要說明的一點是，本文列出了知識情境的主要維度，企業在實際應用時需根據自身的業務特點和業務數據進行維度的擴展和細化。

　　3.3專利知識空間的知識表示

　　專利知識是創新的重要資源，有效地整合產品創新所需的專利知識資源方便企業創新人員對相關專利知識的檢索和利用[25]。密阮建馳等人[26]提出知識應與情境相結合，以方便設計者更全面的理解知識，促進知識之間的共享和重用。為此，本文將情境化設計引入FBS模型，構建功能描述層、技術描述層、詳細描述層三層知識表示結構，形成專利知識空間。

　　功能描述層體現了專利發明人的主觀意愿，是產品的最終目的。技術描述層包括情境屬性、技術屬性、領域屬性，分別由專利應用情境、技術術詞、IPC分類號信息組成，方便設計者更快速理解專利的應用場景和所使用的技術。詳細描述層包含專利中的具體實施方式和專利顯性信息。該專利知識空間模型從左到右的知識抽象程度逐漸減少，較高抽象的知識更容易進行知識轉移，利于設計者從多個角度理解專利知識。

　　4實例驗證

　　為了驗證本文提出的專利知識推薦模型的可行性，以橋梁冰雪清除裝置設計進行實例驗證。通過將傳統的基于關鍵詞檢索和本文提出的方法進行對比，并根據專利技術集群生成四種清除積雪的設計方案，驗證本文提出的專利知識推薦模型在跨應用領域推薦專利知識方面的有效性和可行性。

　　4.1專利數據獲取及處理本文在專利商業網站(incopat)中下載50000條發明專利數據。本文使用的專利數據包括標題、摘要、說明書和權力要求等，我們采用jieba分詞對專利數據進行分詞，去除停用詞，以便進行更深入的信息分析。

　　4.2設計問題空間的構建在寒冷地區，大雪和低氣溫的情況比較普遍。積雪在道路橋梁上會造成堆積和結冰影響行車安全的問題。目前除冰方式主要是人工灑融雪劑或借助機械設備完成。但由于人工清理有被車撞到的危險，且融雪劑會污染環境、清雪車的清雪結構簡單清雪不徹底，對于冰面和已經壓實的雪清理效果不好。因此，有必要設計一種有效、安全的除冰設備。

　　5結束語

　　為了更好的滿足設計者知識多樣性的需求，本文提出了一種基于深度學習的專利知識推薦模型框架。主要貢獻總結為三點：

　　(1)基于功能基和知識情境的設計問題表征。本文對產品功能和知識情境分別建模，在產品設計流程中引入功能基和知識情境對設計問題進行標準化表達，對比實驗證明本文方法可以在更大范圍找到更多的解決方案。(2)自動提取專利知識并構建表示模型。本文提出TGTCI算法根據功能基從本文分類角度提取專利功能信息，利用實體識別方法提取專利情境、技術術詞構建專利知識空間，便于設計者快速理解當前專利。(3)多指標專利評估方法。本文利用Kmeans算法對相似專利進行聚類，并提出成熟性、新穎性、擴展性三種指標對專利聚類進行評價，方便設計者選擇合適的評價指標滿足自己的設計需求，提高設計知識重用率。 但仍存在一些問題需要解決。

　　首先本文的領域屬性是根據專利的IPC分類來定義，具有局限性。其次，本文僅對專利一級功能進行分類提取，之后需要根據二級類別、三級類別進行進一步分類。最后專利知識表示需要行更深入的分析，專業技術術語和知識情境專業性較強，需要更高的知識背景。今后我們將進一步深入研究領域之間的知識轉移，完善功能詞典，改善專利功能分類的準確性，并且進一步完善專利內容研究，需要更深入地開發專利知識，更全面地發現潛在的領域知識，進而更智能化的實現設計者的知識需求。

　　參考文獻：

　　[1]王克勤,毋鳳君.面向產品設計改進的在線評論挖掘[J].計算機工程與應用,2019,55(19):235245+252.WANGKQ,WUFJ.Onlinecommentminingforproductdesignimprovement[J].ComputerEngineeringandApplications,2019,55(19):235245+252.

　　[2]JianChengGuan,YanYan.Technologicalproximityandrecombinativeinnovationinthealternativeenergyfield[J].ResearchPolicy,2016,45(7).

　　[3]梁艷紅,檀潤華,馬建紅.面向產品創新設計的專利文本分類研究[J].計算機集成制造系統,2013,19(02):382390.LIANGYH,TANRH,MAJH.ResearchonPatentTextClassificationforProductInnovationDesign[J].ComputerIntegratedManufacturingSystem,2013,19(02):382390.

　　[4]JanghyeokYoon,WonchulSeo,ByoungYoulCoh,InseokSong,JaeMinLee.Identifyingproductopportunitiesusingcollaborativefilteringbasedpatentanalysis[J].Computers&IndustrialEngineering,2016:

　　[5]陳憶群,周如旗,朱蔚恒,李夢婷,印鑒.挖掘專利知識實現關鍵詞自動抽取[J].計算機研究與發展,2016,53(08):17401752.CHENYQ,ZHOURQ,ZHUWH,LIMT,YINJ.Miningpatentknowledgetorealizeautomatickeywordextraction[J].ComputerResearchandDevelopment,2016,53(08):17401752.

　　作者：李振宇1，戰洪飛1，余軍合1，王瑞1，鄧慧君2

轉載請注明來自發表學術論文網：http://www.zpfmc.com/nylw/28904.html