基于實體活躍度及復制生成的時序知識圖譜推理

　　摘要：現有的時序知識圖譜推理主要是基于靜態知識圖譜的推理方法，通過知識圖譜的結構特征挖掘潛在的語義信息和關系特征，忽略了實體時序信息的重要性，因此提出一種基于實體活躍度及復制生成機制的時序知識圖譜推理方法(EACG)。首先，通過改進的圖卷積神經網絡對多關系實體建模，有效挖掘知識圖譜的潛在語義信息和結構特征。其次，時序編碼器基于實體活躍度學習實體的時序特征。最后，使用復制生成機制進一步學習知識圖譜的歷史信息，提升對時序數據建模的能力。在時序知識圖譜數據集ICEWS14、ICEWS05-15、GDELT上推理的實驗結果表明，EACG在MRR評估指標中分別優于次優方法2個百分點、10個百分點和5個百分點。

　　關鍵詞：知識圖譜;推理;時序;圖卷積神經網絡;門控循環單元

　　0引言

　　知識圖譜推理已廣泛應用于社交網絡[1]、智能問答[2]、生物網絡[3]等領域。在實際應用中，知識圖譜隨著時間的推移不斷發生變化，實體和關系可能會消失或新增。例如，知識圖譜中存在四元組(馬云，創立，阿里巴巴，1999/09/09)以及(彭蕾，創立，阿里巴巴，1999/09/09)，但同時也存在大量缺失關系的四元組，例如(馬云，彭蕾，1999/09/09)。

　　目前大部分研究工作集中于靜態知識圖譜推理[4,5]，通過學習知識圖譜的靜態拓撲結構，難以有效的利用時間信息，無法適用于時序知識圖譜推理。近年來，由于研究人員對時序知識圖譜推理的廣泛關注，時序知識圖譜推理取得了很大的發展，相關文獻陸續發表，本文將時序知識圖譜推理分為基于時間點過程的推理[6,7]、基于時間步的推理[8,9]和基于動態網絡的推理[10,11]。

　　以Knowevolve[6]、Dyrep[7]為代表的基于時間點過程的推理，將時序知識圖譜中連續時間內發生的事件建模，可以精確推理事件發生的時間點。然而基于時間點過程的推理模型專注于事件在時間序列上的變化，忽略了對知識圖譜局部和全局結構特征的提取，且基于時間點過程的推理模型在單個時間步中獨立地處理事件，難以有效挖掘鄰域實體潛在的重要信息�；�于時間步的推理模型將知識圖譜劃分為不同的時間步，分別學習知識圖譜不同時間步的語義信息，再結合時間序列模型進行推理分析。

　　然而，對于缺失時間步信息的事件，基于時間步的推理模型難以有效學習并推理，真實的場景中有許多四元組缺失時間步信息。且基于時間步的推理模型通過時間序列預測模型學習不同時間步的知識圖譜嵌入后，生成固定的實體嵌入用于推理，在推理不同時間步的事件時均使用這個固定的實體嵌入。

　　但是發生在不同時間步的事件存在著不同的結構特征，因此難以有效的利用事件發生時間步的知識圖譜拓撲結構特征�；�于動態網絡的推理模型僅僅通過學習實體嵌入進行推理，一些學者直接將動態網絡模型應用在時序知識圖譜中，而知識圖譜中連接實體的關系包含了重要的語義信息，忽略對關系嵌入的學習將導致推理精度下降。由于上述存在的問題，本文提出基于實體活躍度及復制生成機制的時序知識圖譜推理模型EACG(EntityActivityand CopyGeneration,EACG)。

　　為了克服基于時間步的推理模型難以學習缺失時間步事件的缺點，EACG基于時間感知復制生成機制學習已知事件。同時，為了有效學習知識圖譜的時序特征，EACG在學習知識圖譜拓撲結構后，基于實體活躍度對不同時間步中實體權重進行調整，并結合復制模塊的結果進行進一步的推理。相比于上述時序知識圖譜模型，EACG模型可以對頭尾實體之間存在多個關系的事件進行建模，能夠有效學習實體和關系嵌入以捕獲實體和關系的潛在特征，推理未來新增或消失的事件。

　　1相關研究

　　自2012年Google提出知識圖譜概念以來，知識推理作為知識圖譜的重要組成部分引發了廣泛關注，有許多研究者提出了有效的方法提高推理的精度，現有的大多數研究是針對靜態知識圖譜的推理。例如Trans系列的翻譯模型TransE、TransH等，張量分解模型DistMult、ComplEx和SimplE等。

　　TransE[12]模型將實體和關系嵌入到低維向量空間中，將頭實體向量與關系向量做向量加法翻譯為尾實體，TransE還具有訓練速度快、易于實現等優點，但是不能解決多對一和一對多關系的問題，且TransE在訓練模型時為了滿足三角閉包關系，訓練出來的頭實體向量會很相似。TransH[13]為了解決上述問題，不再嚴格要求三元組滿足三角閉包關系，只需滿足頭實體和尾實體在關系平面上的投影在一條直線上即可，在保證算法效率的同時提高了推理的準確率。DistMult[14]用矩陣表示關系，將頭實體通過線性變換映射尾實體。ComplEx[15]通過復值嵌入擴展DistMult，可以有效地對非對稱關系進行建模。

　　SimplE[16]利用關系的逆在三元組得分函數中加上了一個對稱項，為每個實體和關系分配兩個向量分別進行學習，在實驗中展現了良好的性能。 近年來，一些研究者嘗試把時序信息加入到知識圖譜推理中，如HyTE、AtiSE、TeRo、DE系列模型，使推理方法更加契合真實的應用場景。HyTE[9](Hyperplane-basedTemporallyawareKGEmbedding,HyTE)將知識圖譜按時間戳劃分為不同的超平面，將實體和關系映射到超平面上。

　　HyTE即整合了時間維度信息，又通過超平面解決了實體間多關系難以推理的問題。AtiSE[17]針對實體和關系的時間序列進行分析，通過將實體和關系映射到高維的高斯空間中獲取時序和結構特征。TeRo[18]將實體嵌入的時間演化定義為在復向量空間中從初始時間到當前時間的旋轉，對于存在時間間隔的事件，事件中的關系表示為兩個嵌入向量，分別處理關系的開始和結束。DE系列模型[19]在靜態推理方法的基礎上將實體嵌入融入時間步信息，通過實驗證明了DE-TransE、DEDistMult和De-SimplE等系列模型相比于靜態方法能夠充分挖掘潛在的時序特征，對于后續時序知識圖譜推理方法具有較重要的參考意義。

　　上述推理方法主要通過學習實體和關系嵌入進行知識圖譜推理，然而，如果知識圖譜的網絡結構在演化的過程中發生改變，僅僅學習實體和關系的嵌入難以有效的推理。DyRep不再學習節點的固定表示，而是學習節點的表示方法，即使知識圖譜的網絡結構發生變化，也可以快速得到新的實體嵌入。DyRep通過對連續時間內發生的事件進行建模，結合注意力機制調整鄰居節點權重，根據新發生的事件不斷更新實體嵌入，從而有效捕獲知識圖譜的時序信息。

　　此外，DySAT[20](DynamicSelf-AttentionNetwork,DySAT)還使用無監督學習算法推理未來新增的節點。DySAT首先分別捕獲每個時間步知識圖譜的結構特征，然后對不同時間步中實體嵌入做向量加法，通過得分函數進行推理。然而，此類模型對相同時間步發生的事件建模能力較差，且在學習時序信息時會丟失實體和關系的初始信息。為了有效獲取實體領域特征和時序特征，基于圖卷積神經網絡和循環神經網絡的模型相繼被提出。

　　EvolveGCN[21](EvolvingGraphConvolutionalNetworks,EvolveGCN)通過GCN得到知識圖譜的結構特征，通過循環神經網絡捕獲知識圖譜的演化信息，進一步提高了時序知識圖譜推理的精度。GCRN[22](GraphConvolutionalRecurrentNetwork,GCRN)結合卷積神經網絡(ConvolutionalNeuralNetworks,CNN)和循環神經網絡(RecurrentNeuralNetwork,RNN)學習知識圖譜的結構和時序特征。GN[23](GraphNetworks,GN)和RRN[24]通過不同時間步的信息傳遞更新實體嵌入。DDNE[25](DeepDynamicNetworkEmbedding,DDNE)首先使用門控循環單元(GatedRecurrentUnit,GRU)學習實體的時序特征，再根據實體鄰域信息得到實體的最終嵌入向量。但是這些模型都忽略了知識圖譜的關系特征，難以進行有效的推理。

　　為了有效學習事件的時間信息以及圖譜中潛在的關系特征，Jin等人[26]在基于神經網絡的知識推理模型RGCN的基礎上提出了循環事件網絡(RecurrentEventNetwork,RE-NET)模型，一種用于對多關系知識圖譜的時間序列進行建模的自回歸體系結構，可以根據知識圖譜歷史的時間序列和全局的結構信息預測新發生的事件。該模型通過RGCN學習實體的局部結構特征，使用循環事件編碼器對事件序列進行時間條件聯合概率分布建模，從而推斷未來知識圖譜的拓撲結構。然而，RE-NET在推理不同時間步的事件時使用相同的實體嵌入，未能動態計算出事件發生時間步相應的實體嵌入，對時序信息的融合存在一定的局限性。

　　2基于實體活躍度及復制生成的時序知識圖譜推理(EACG)

　　時序知識圖譜是在靜態知識圖譜中加入時間標簽。給定時間步長為N的時序知識圖譜GGGTNtN−−+,,,，定義一組實體集合E以及一組關系集合R，事件定義為四元組的形式：(頭實體，關系，尾實體，時間)，用符號表示為(s,r,o,t)。

　　其中實體s、o屬于集合E中的元素，r屬于集合R中的元素，t表示該事件發生的時間步，tTNT−。知識圖譜推理包含實體推理和關系推理。實體推理是對四元組中缺失的實體進行推理，例如給定一個不完整四元組(s,r,?,t)，模型通過對所有實體進行評估并推理。關系推理是對缺失關系的四元組(s,?,o,t)進行推理，預測頭實體和尾實體之間可能存在的關系。時序知識圖譜推理其實可以看成實體之間在時間序列上的交互過程，在不同時間步發生的事件可能存在較強的依賴關系。為了獲取事件在相同時間步和不同時間步的依賴關系，EACG分為三部分：生成模塊、復制模塊和解碼器。

　　生成模塊首先使用結構編碼器RGCN捕獲知識圖譜每一個時間步的拓撲結構，挖掘實體和關系的潛在關系并生成實體嵌入向量it。再通過時序編碼器GRU學習知識圖譜在不同時間步中實體的嵌入向量，并根據實體在不同時間步的活躍度調整實體的權重，生成包含結構和時序特征的實體嵌入向量it。為了學習知識圖譜中實體出現的規律，同時避免生成模塊丟失實體的初始特征，復制模塊對實體在歷史時間步中出現的頻率進行統計學習，生成語義更加豐富的實體嵌入it。最后，通過解碼器進行推理并生成推理結果。

　　2.1生成模塊

　　生成模塊是EACG的重要組成部分，主要用于學習知識圖譜的拓撲結構并挖掘潛在的結構和時序特征，獲取代表實體和關系含義的有效嵌入向量。首先通過結構編碼器RGCN對實體的鄰域進行卷積操作，捕獲實體鄰域語義信息和潛在關系，有效獲取知識圖譜實體鄰域的局部結構特征，計算出實體嵌入向量it。其次，時序編碼器通過實體活躍度更新實體在不同時間步的權重，有助于深入學習實體的時序特征，再使用GRU學習實體和關系嵌入的時間序列信息，將實體嵌入向量it更新為it。接下來將在2.1.1小節中詳細介紹結構編碼器的結構特征提取，在2.1.2中介紹時序編碼器的時序特征提取。

　　1結構編碼器

　　結構編碼器基于圖的拓撲結構生成知識圖譜在每個時間步的實體嵌入，是生成模塊的重要組成部分。本文使用靜態知識圖譜推理模型RGCN[27]作為結構編碼器。RGCN使用GCN對局部鄰居信息進行聚合得到實體的表示信息，通過優化交叉熵損失函數學習參數。

　　2.1.2時序編碼器

　　實體活躍度是指實體在時序知識圖譜不同時間步中的活躍程度。在步長為T的時序知識圖譜中，某一實體共在M(0≤M≤T)個時間步中出現，則該實體的活躍度MT。例如在時序知識圖譜中，實體當前出現的時間步與實體上一次出現的時間步的間隔越小，則實體在當前時間步的活躍度越高，間隔越大，實體在當前時間步的活躍度越低。時序編碼器的目標是整合實體在不同時間步的嵌入向量，根據實體活躍度計算得出實體的最終嵌入向量。時序編碼器首先根據實體活躍度調整實體權重，再將知識圖譜在各個時間步的實體嵌入矩陣作為GRU的輸入，得到知識圖譜最終的實體嵌入矩陣。時序編碼器在結構編碼器的基礎上，有效獲取知識圖譜時序特征，從而進一步提高推理精度。

　　2.2復制模塊

　　復制生成的思想來源于人類在閱讀文章后進行總結時，除了自己會生成一些概括性的語句之外，還會從文章中摘抄一些核心的句子，總結的過程包含理解生成和復制摘抄兩個部分。Gu等人[28]在2016年首次提出復制機制并應用在自然語言生成(NaturalLanguageGeneration,NLG)中，通過復制模塊對語句中詞匯的頻率進行整理歸納且記錄詞匯在語句中出現的位置，在推理的過程中結合復制模塊進行推理，實驗證明了該方法在文本處理任務中優于基于RNN的推理模型。在時序知識推理任務中，對圖譜歷史信息進行統計學習有助于提升推理的準確率。

　　例如，當需要推理四元組(奧運會乒乓球男子團體，冠軍，2021)時，對使得該四元組成立的頭實體進行學習統計，統計結果發現四元組(奧運會乒乓球男子團體，冠軍，t)自1988年至2016年共出現八次，頭實體均為“中國隊”。那么，四元組(奧運會乒乓球男子團體，冠軍，2021)頭實體為“中國隊”的概率較大。

　　因此，通過深度學習模型提取圖譜的結構和時序特征后，結合圖譜歷史信息的統計結果，能夠輔助時序知識圖譜的推理任務。CyGNet[29]將復制機制首次應用在時序知識圖譜推理中，通過研究時間步中實體重復出現的潛在現象，它結合復制和生成兩種推理模式，在學習推理未來事件時參考歷史中已知的事實，并通過實驗驗證了該推理方法的有效性。

　　2.3解碼器

　　對于給定的四元組，該四元組的得分可以通過實體s、關系r和實體o表示向量之間的多線性乘積得到。由于實數向量之間的點積計算是具有交換性的，因此以往的TransE系列模型、DistMult等模型不能很好地處理非對稱關系。但在實際的知識圖譜中，非對稱關系遠多于對稱關系。

　　3實驗過程及結果分析

　　3.1數據集及評價標準

　　為了評估EACG模型，本文使用了兩種時序知識圖譜數據集：ICEWS(IntegratedCrisisEarlyWarningSystem)[30]和GDELT(GlobalDatabaseofEvents，Language，andTone)[31]。這兩種數據集都包含時間步的事件如(s,r,o,t)。ICEWS是由BBNACCENT事件編碼器自動從新聞文章中提取數據并加入時間信息生成的。

　　在實驗中使用ICEWS的兩個子集ICEWS14、ICEWS05-15。ICEWS14數據集包含2014年1月至2014年12月中所有發生的事件。ICEWS05-15數據集包含2005年1月至2015年12月中所有發生的事件。GDELT數據集記錄全球范圍內發生的政治事件。這三個數據集都是每24小時記錄一次。實驗中采用平均倒數排名(MeanReciprocalRank,MRR)、Hits@1、Hits@3和Hits@10等指標進行評估。對缺少頭實體和尾實體的四元組進行推理，將推理結果按照降序排列。

　　3.2實驗結果分析

　　在所有的數據集中對比現有靜態知識圖譜推理方法TransE、DistMult和SimplE，并對比現有時序知識圖譜推理方法HyTE、DE系列模型DE-TransE、DE-DistMult、DESimplE、AtiSE和TeRo。EACG參數設置如下：學習率為0.001，ICEWS14、ICEWS05-15、GDELT的批訓練大小分別為8、4、2，嵌入向量和隱藏層向量維度均為128，在RGCN中獲取兩跳鄰域信息。給出了在ICEWS14、ICEWS05-15、GDELT數據集的實驗結果，AtiSE和TeRo模型的結果來自文獻[20]和文獻[21]，其余對比模型的結果均來自文獻[22]。Hits@1/3/10的值以百分比的形式表示，MRR的值乘以100。最優結果用粗體顯示。

　　除在ICEWS14數據集中TeRo在Hits@1評價標準上優于EACG外，EACG均優于其他方法。在MRR、Hits@3和Hits@10評估方法中EACG方法分別優于次優方法TeRo3%、7%、13%。在ICEWS05-15數據集上EACG方法在MRR、Hits@1、Hits@3和Hits@10評價標準中分別優于次優方法TeRo17%、19%、18%、15%。在GDELT數據集上EACG方法在MRR、Hits@1、Hits@3和Hits@10評價標準中分別優于次優方法DE-SimplE23%、42%、23%、11%，推理精度提升效果明顯。

　　實驗結果表明EACG在ICEWS05-15、GDELT數據集中的提升幅度大于ICEWS14數據集，這主要是因為ICEWS14數據集樣本量相對較少且時間步長較短，而EACG對于長時間序列數據具有良好的建模能力，且需要大量的訓練數據進行學習才能達到最優推理結果。

　　另外，從實驗結果可以看出在ICEWS14和ICEWS05-15數據集上的推理結果整體優于在GDELT數據集上的推理結果，這是由于GDELT數據集實體、關系數量較少，但是關系網絡及其復雜，難以根據錯綜復雜的領域信息挖掘到真正有效的信息，導致推理精度相對較低。EACG在ICEWS14數據集中Hits@1評價指標僅達到了次優結果。因為知識圖譜網絡的形成是一個復雜的過程，受到許多因素影響，難以設計一種模型在不同的數據集的各項評價指標中均達到最優結果。

　　TeRo在對不完整四元組推理的過程中，僅僅將候選實體的嵌入向量融合時間步信息，如果實體和時間步信息均正確，則正確的候選實體得分會較明顯的優于其他候選實體，因此TeRo在Hits@1指標中表現更好。EACG模型在推理時將頭尾實體的嵌入向量都融合了時間步信息，與目標實體語義相近的實體得分都會有所提高，以及EACG引入實體活躍度和復制生成機制的思想，EACG在整體的推理精度上更優。展示了EACG、SimplE和DE-TransE在ICEWS14數據集中每一個時間步的推理結果的MRR值�？梢钥闯鯡ACG的推理結果優于其他兩個模型。 為了更直觀的展現EACG模型的預測效果，展示了ICEWS14數據集中的部分實例樣本。

　　實例中四元組(BarackObama,visit,Japan,03/12/14)表示奧巴馬于2014年3月12日訪問日本。實例樣本圖中共包含9個四元組，去除實例樣本中的頭實體后分別使用EACG和DE-TransE模型進行推理。圖中虛線表示EACG和DE-TransE均推理錯誤的四元組;實線表示EACG和DE-TransE均推理正確的四元組;加粗實線表示EACG推理正確，而DE-TransE推理錯誤的四元組。

　　3.3消融實驗

　　為了研究EACG各個組件的重要性，進行了消融實驗。具體地，首先去除復制模塊，直接把時序編碼器中生成的嵌入向量做為解碼器的輸入，模型命名為-Copy。接下來，去除了時序編碼器中的實體活躍度機制，既把不同時間步中實體的權重均設置為1，模型命名為為-Active。在ICEWS14數據集上進行消融實驗，圖中對MRR的值乘以100，值的范圍為[0,100]。表明EACG勝于這兩個消融模型，去除復制模型和實體活躍度機制將會對模型的性能產生重要影響。

　　4結束語

　　現有時序知識圖譜方法大多針對時間信息進行單獨建模，缺乏對連續發生事件推理的能力。為了提升對時序信息建模的能力，本文首先通過RGCN和GRU分別獲取時序知識圖譜的結構特征和時序特征，基于時序編碼器優化實體嵌入向量，并通過復制機制進一步學習知識圖譜歷史信息。實驗表明，本文提出的EACG模型在時序知識圖譜中可進一步提升推理的準確性，在靜態知識圖譜領域亦可作為參考。下一步研究將致力于修剪EACG模型，使其快速、精準的在大規模時序知識圖譜數據集中推理。除此之外，進一步探索EACG模型的可移植性，使其適用于動態網絡、節點分類等任務。

　　參考文獻：

　　[1]HamidiM,SmarandacheF.Single-valuedneutrosophicdirected(hyper)graphsandapplicationsinnetworks[J].JournalofIntelligent&FuzzySystems,2019,37(2):2869-2885.

　　[2]CaiHongyun,ZhengVW,ChangKCC.Acomprehensivesurveyofgraphembedding:Problems,techniques,andapplications[J].IEEETransactionsonKnowledgeandDataEngineering,2018,30(9):1616-1637.

　　[3]CenYukuo,ZouXu,ZhangJianwei,etal.Representationlearningforattributedmultiplexheterogeneousnetwork[C]//Proceedingsofthe25thACMSIGKDDInternationalConferenceonKnowledgeDiscovery&DataMining.2019:1358-1368.

　　[4]鄶弘智,閆健卓,陳建輝.一種知識驅動的個性化文獻推薦方法[J],計算機應用研究,2018,35(12):3603-3608.(KuaiHongzhi,YanJianzhuo,ChenJianhui.Personalizedliteraturerecommendationmethoddrivenbyknowledge[J].ApplicationResearchofCompu-ters,2018,35(12):3603-3608.)

　　[5]WeiZhuoyu,ZhaoJun,LiuKang,etal.Large-scaleknowledgebasecompletion:Inferringviagroundingnetworksamplingoverselectedinstances[C]//Proceedingsofthe24thACMInternationalonConferenceonInformationandKnowledgeManagement.2015:1331-1340.

　　[6]TrivediR,DaiH,WangY,etal.Know-evolve:Deeptemporalreasoningfordynamicknowledgegraphs[C]//internationalconferenceonmachinelearning.PMLR,2017:3462-3471.

　　作者：劉恩海1,2,3，楚航1，王利琴1,2,3，董永峰1,2,3

轉載請注明來自發表學術論文網：http://www.zpfmc.com/jjlw/29431.html