深度學習方法在興趣點推薦中的應用研究綜述

　　摘要：近年來，基于位置的社交網絡被廣泛使用，用戶通過在興趣點簽到以記錄他們的行程，并與其他用戶分享他們的感受和評價。興趣點推薦是基于位置的社交網絡提供的一項重要服務，一方面它可以幫助用戶快速發現感興趣的興趣點，另一方面也有利于興趣點提供商更全面深入地了解用戶偏好，并有針對性地提高服務質量。興趣點推薦主要基于對用戶歷史簽到數據以及內容、社交關系等信息的分析。這篇論文系統歸納了興趣點推薦中需要解決的四個挑戰，即時空序列特征提取、內容社交特征提取、多特征整合以及對數據稀疏性問題的處理，總結了使用深度學習方法解決這四個挑戰的相關工作，并指出了它們的不足。最后論文提出了三類在興趣點推薦上還沒有得到充分利用的深度學習方法，即使用增量學習加速推薦模型更新、使用遷移學習緩解冷啟動問題以及使用強化學習建模用戶動態偏好。這篇論文聚焦在深度學習方法在興趣點推薦上的應用，希望通過分析總結最新的研究進展，為進一步提升推薦效果提供研究思路。

　　關鍵詞：興趣點推薦;深度學習;特征提取;特征整合;數據稀疏性

　　概述

　　智能手機的普及和全球定位系統的支持促進了基于位置的社交網絡(Location-basedSocialNetwork,LBSN)，如Foursquare、Yelp、Instagram、大眾點評等，的廣泛使用。興趣點(PointofInterest,POI)推薦是LBSN提供的一項重要服務，一方面可以方便用戶規劃行程、快速發現感興趣的興趣點;另一方面，也可以幫助興趣點服務提供商和廣告商更全面深入地了解用戶偏好，發掘更準確的市場目標群體，并引入更有針對性的廣告策略吸引用戶。LBSN中包含了大量用戶和興趣點的信息，為挖掘用戶偏好提供了基礎。

　　在一個典型的LBSN中，用戶可以通過在興趣點簽到以記錄行程，一次簽到(Check-in)可以用一個“<>”三元組表示。每個用戶的多次簽到記錄可以根據時間戳排序構成其簽到序列，即用戶軌跡。簽到記錄直接反映了用戶對興趣點的偏好。此外，用戶還可以在LBSN中發表對興趣點的評價或上傳照片;可以關注其他用戶并分享他們對于興趣點的感受，與其他用戶之間形成社交好友關系，上述內容信息和社交關系信息也隱含了用戶的偏好。

　　因此，興趣點推薦服務的實現可以依托于從LBSN的豐富信息中挖掘出的用戶偏好。傳統推薦系統中的一些經典方法可以被運用到興趣點推薦中，其中使用最廣泛的方法之一是基于矩陣分解的方法[1-2]，其原理是通過分解“用戶-興趣點”簽到矩陣(user-POIcheck-inmatrix)獲取表征用戶和興趣點關聯的低維隱特征，但這種方法沒有考慮用戶簽到序列的序列特征。另一類方法將簽到序列抽象為Markov鏈[3-5]，僅根據上一次簽到決定下一次簽到的推薦，沒有考慮更早期的歷史簽到中體現的用戶偏好信息對下一次簽到的影響。

　　此外，這兩類方法都只使用了用戶簽到數據，LBSN中的其他信息沒有得到充分有效地利用。隨著人工智能技術的快速發展，深度學習已被證實可以有效地從大量數據中學習隱藏信息并預測未來狀態。相比于傳統的機器學習算法，它可以通過模型自動化從數據中提取并處理特征。將深度學習應用于興趣點推薦系統有助于充分利用系統中豐富的特征并挖掘特征之間的復雜關聯。

　　近年來，興趣點推薦問題已得到了廣泛的研究。現有的一些有代表性的綜述[6-8]根據推薦目標將興趣點推薦分為用戶通用興趣點推薦和用戶下一個興趣點推薦;根據用戶偏好的主要影響因素將其分為地理因素、時間因素、社交因素和內容因素主導的興趣點推薦系統;根據使用的數據種類將其分為基于用戶位置、軌跡、活動以及以上多種數據的興趣點推薦系統。不同于這些綜述對興趣點推薦問題中涉及的要素進行分類，我們聚焦于該問題本身的挑戰以及深度學習方法在解決這些挑戰的應用上，試圖從方法的角度對興趣點推薦的研究進行總結并提供未來研究思路。

　　1興趣點推薦問題的挑戰

　　興趣點推薦需要根據LBSN中的大量相關信息對用戶偏好進行總結和刻畫，給出個性化的興趣點推薦，針對興趣點推薦系統的特性，我們將其中的挑戰總結為以下四個方面：

　　1)如何從簽到數據中提取時空序列特征?用戶的歷史簽到序列是LBSN中用戶對興趣點偏好最直觀的體現。與傳統的“用戶-商品”矩陣相比，簽到序列包含了上下文時空信息，充分挖掘其時空序列特征可以有效改善對用戶偏好的建模效果。

　　2)如何充分利用LBSN中的信息?除了用戶簽到序列，LBSN中還包含大量用戶生成內容(User-GeneratedContent,UGC)和社交關系信息，如用戶發布的關于某個興趣點的照片評論、用戶之間的關注關系等。這些信息能夠反映出用戶的關注點和興趣偏好，同時也隱含了興趣點的特征，因此可以被用來進一步改善興趣點推薦的效果。

　　3)如何綜合多特征的影響實現興趣點推薦?如上所述，興趣點推薦系統中包含大量體現用戶偏好的特征。從特征對象的角度可以分為用戶特征、興趣點特征和外部環境特征;從用戶偏好主要影響因素的角度可以分為時空因素、內容因素和社交關系因素等。一個有效且有拓展性的模型需要綜合考慮這些特征的共同影響以實現個性化的興趣點推薦。

　　4)如何處理“用戶-興趣點”簽到矩陣的稀疏性問題?雖然LBSN被廣泛使用，但單個用戶訪問過的興趣點數量相比于全部興趣點而言是極少的。此外，對于新用戶和新注冊的興趣點，LBSN中關于它們的歷史簽到信息較少。鑒于以上原因，“用戶-興趣點”簽到矩陣具有較強的稀疏性。怎樣挖掘有限的歷史簽到數據、利用沒有歷史簽到的用戶興趣點其本身的特性以在一定程度上緩解數據稀疏性問題是許多相關工作研究的焦點。

　　基于以上對興趣點推薦問題挑戰的總結，本文將從時空序列特征提取、內容社交特征提取、多特征整合和無簽到用戶興趣點處理四方面對使用深度學習解決這些挑戰的背景和優勢進行分析，對相關工作中用于解決四個問題的具體深度學習方法進行回顧。

　　通過對興趣點推薦中深度學習方法的總結和分類，2時空序列特征提取用戶的歷史簽到數據是LBSN中反映用戶對興趣點偏好的最直觀的信息。用戶簽到包括其訪問的興趣點和時間戳，用戶偏好受到時空特征的限制和影響，例如由于營業時間限制，一些興趣點只會在特定的時間段被訪問;根據地理學第一定律[9]，興趣點之間的距離遠近在一定程度上決定了它們之間關聯的緊密程度。此外，簽到序列往往具有一些序列特征，如某些興趣點之間訪問的連續性、用戶偏好的一致性、用戶行為的周期性等。

　　推薦系統傳統的矩陣分解方法沒有考慮到簽到數據的時空序列特征，一些相關工作[11-13]試圖使用傳統統計和概率學的方法對矩陣分解方法進行改進，如最小化連續兩次訪問的用戶向量差[11]、最小化候選興趣點向量與用戶歷史訪問過的興趣點向量之間的差[12]等。

　　但是這些改進只能啟發式地描述簽到序列一些顯式的宏觀特征，用戶簽到數據中隱含的特征和聯系依然很難被充分挖掘和利用。近年來隨著自然語言處理技術的快速發展以及處理序列的神經網絡模型的廣泛使用，深度學習方法被證實在處理序列數據上具有很大優勢，通過對循環神經元結構的改造、“門”的設計以及注意力機制的運用，這類方法可以有效地在序列數據中刻畫復雜的上下文特征并捕捉用戶的長短期偏好，因此可以被應用于LBSN中包含時空信息的簽到序列的特征提取。

　　在本章中，我們主要總結歸納了兩類提取時空序列特征的方法，第一類是使用自然語言處理中獲取詞向量的方法來處理興趣點序列，這類方法更加關注局部的序列特性，即某些興趣點常在短期內被同一用戶訪問的模式，使這些興趣點擁有相近的隱特征向量，在推薦時根據隱特征向量給出符合用戶歷史偏好的興趣點;第二類方法是使用一些常用的處理序列的神經網絡模塊，如循環神經網絡和注意力機制等，這類方法相比于第一類方法可以獲取歷史興趣點序列的長期特征即用戶的長期偏好以及興趣點被訪問的前后關系特征，并可充分挖掘利用興趣點簽到相關的上下文信息，如興趣點地理位置、簽到時間等，因此在相關工作中被應用得更加廣泛。

　　2.1詞向量獲取方法

　　為獲取簽到序列的序列特征，興趣點推薦系統需要挖掘興趣點之間的潛在關聯，一類常見的方法是借鑒自然語言處理中獲取詞向量的方法，將每個興趣點類比為一個單詞，將用戶歷史簽到的興趣點序列看作句子，最終刻畫用戶的興趣點訪問模式可以被轉化為提取句子的語義特征。常用的詞向量獲取方法Word2vec模型[10]分為兩種實現，即Skip-gram和ContinuousBag-of-Words(CBOW)。Skip-gram是根據當前的詞來預測其周圍的詞，而CBOW則是根據周圍的詞預測當前的詞，這兩種模型均可被應用于興趣點推薦。

　　文獻[14]利用Skip-gram實現以建模用戶的簽到興趣點序列以獲取每個興趣點的隱特征，Skip-gram在興趣點推薦中其目標方程是最大化興趣點上下文(歷史數據中曾經在某個興趣點前后被訪問的興趣點)和該興趣點同時出現的概率，該方法在推薦前十個興趣點時比利用非一致性和連續性的特征改進的矩陣分解算法[11]準確率提高了約0.03。文獻[15]對上述方法進行了進一步優化，將用戶每一天的簽到序列看作一個單獨的句子，并對興趣點在工作日和周末的簽到進行了區分。文獻[16]則使用了CBOW實現，根據興趣點序列獲取興趣點特征表示。

　　2.2處理序列的神經網絡方法

　　使用類比后獲取詞向量的方法從用戶簽到序列中提取興趣點特征表示僅僅考慮到了興趣點短期被同用戶訪問的關系，而沒有考慮到興趣點之間更復雜的關聯，簽到數據的具體地理位置信息和時間戳信息沒有得到充分利用。為了更加深入地挖掘帶時空上下文的序列特征，一些處理序列的神經網絡模塊可被應用于興趣點推薦。

　　循環神經網絡(RecurrentNeuralNetwork,RNN)[17]是處理帶豐富上下文信息的序列數據的有效方法，將基于循環神經網絡的方法引入興趣點推薦可以有效地從簽到序列中提取時空序列特征。由于傳統的循環神經網絡在刻畫用戶長期偏好時存在梯度消失的問題，基于長短期記憶網絡(LongShort-TermMemory,LSTM)[18]的方法在相關工作中被使用得更加廣泛，它可以有效地刻畫用戶的長短期偏好。

　　文獻[19]引入了興趣點類別的概念并利用兩個長短期記憶網絡編碼器分別提取用戶簽到的興趣點類別序列和具體興趣點序列的時間特征，根據興趣點類別特征進行初步篩選后再根據每個興趣點的特征和用戶特征實現推薦，通過刻畫不同層次的序列特征減小了推薦的搜索空間，提高了興趣點推薦的準確性。上述工作通過改進循環神經網絡的循環神經元使得其更加適應于興趣點推薦系統中時空序列特征的處理。但這類方法的缺點在于循環神經元無法有區別地處理簽到序列中不同的簽到，而事實上歷史簽到對未來簽到的影響并不完全是隨著時間間隔的增大而衰減。

　　注意力機制是另一類處理序列的神經網絡方法，可用于提取興趣點序列的時空特征。從地理位置來看，每一對興趣點之間的影響力大小不同。文獻[26]提出了地理注意力網絡來刻畫興趣點之間基于位置的關系，考慮了兩個興趣點之間的距離以及他們各自的地理屬性——地理影響力(即該興趣點引導用戶去其他興趣點的能力)和地理被影響力(即該興趣點吸引其他興趣點的訪客的能力)，使用候選興趣點的地理被影響力作為注意力機制中的查詢(Query)、該用戶歷史訪問過的興趣點的地理影響力作為鍵(Key)，影響力系數根據兩個興趣點之間的距離使用RBF核獲得，最終計算出注意力權重，模型輸出的對于候選興趣點的用戶偏好為歷史興趣點地理影響的加權求和。地理注意力網絡使得模型的性能在Foursquare和Gowalla數據集上均獲得了較大提升。

　　在處理時序特征時，注意力機制一般與循環神經網絡或長短期記憶網絡一起使用，一類方法是使用后者獲取每次簽到的隱特征，再利用注意力機制加權聚合簽到序列中多次簽到的隱特征;另一類方法則是并行使用這兩種方法從多維度提取簽到序列的特征。文獻[27]為推薦下一次簽到的興趣點，先將用戶簽到序列(候選興趣點和推薦時間作為序列的最后一個節點)中每一次簽到的興趣點特征和時空上下文特征輸入長短期記憶網絡以獲取其隱特征，由于每個歷史簽到對未來簽到興趣點預測的貢獻程度不同，他們再利用注意力機制根據歷史簽到的隱特征和候選興趣點的隱特征計算注意力權重加權的決策向量，基于此向量可預測該候選興趣點被訪問的概率，訪問概率最高的候選興趣點被作為推薦的結果。

　　文獻[28]提出了一種基于長短期記憶網絡模塊的編碼器-解碼器模型來預測下一個被訪問的興趣點，其中編碼器中的長短期記憶網絡被用來獲取簽到序列中每個簽到興趣點的隱特征，解碼器同樣利用長短期記憶網絡根據編碼器的結果進一步挖掘簽到興趣點特征，時間注意力機制根據編碼器輸出的歷史簽到的隱特征和解碼器計算的候選興趣點特征計算注意力權重，考慮歷史簽到與候選興趣點之間不同大小的相關性獲取更準確的候選興趣點特征進行推薦預測。不同于上述兩個工作，文獻[29]并行地使用注意力機制和長短期記憶網絡來共同刻畫用戶偏好的整體特征。

　　他們認為用戶簽到行為從短期來看往往呈現出一定的連續性和一致性，長短期記憶網絡適用于建模用戶簽到的序列行為以獲取用戶的短期偏好;而從長期來看，用戶的偏好在不同的情景和位置下往往具有非一致性，注意力機制可以更有效地刻畫用戶的整體長期偏好。為了刻畫出用戶偏好在一天中具體時間段的特征，文獻[19]區分了工作日和周末，并將1天根據簽到的分布密度分為12個時間窗口，他們將長短期記憶網絡輸出的興趣點隱特征劃分到不同時間窗口中，并利用用戶和窗口中興趣點的隱特征的相關性計算了每個時間窗口的注意力權重，這項機制的設計大幅提升了興趣點推薦的準確性。

　　2.3相關工作的不足

　　時空特征是興趣點推薦系統中最重要的特征之一，目前大多數關于興趣點推薦和位置預測的研究都聚焦于時空特征的提取和分析。大部分的現有工作側重于利用深度學習模型提取時間序列特征，盡管一些工作引入了時間影響力和時間間隔的概念，但具體的時間點特征目前還沒有能夠被充分挖掘。例如，用戶更傾向于在某些特定日期訪問某些興趣點，或某些興趣點只在某些特定的時間段可被訪問，粗粒度的時間窗口無法描述這些特征。與時間相關的用戶訪問模式如多層次的周期性和一致性特征有待進一步挖掘。

　　此外，相關工作多是對單個用戶簽到序列進行建模，盡管每個單序列中都包含了豐富的時空序列特征，但序列之間關系的挖掘和利用可以進一步提升用戶偏好預測的效果，目前該方面的研究工作較少。不同序列中由于存在某些相同或相近的興趣點可以聯合進行時空特征提取，通過多序列特征提取可以獲取更加全面的時空序列特征。

　　3內容社交特征提取

　　除了用戶簽到數據，LBSN中還包含了大量用戶生成內容和社交關系信息，如用戶評論、照片以及用戶之間的社交關系等，這些信息也能夠反映出用戶的偏好和興趣點的特征，在數據集中包含這些類型的輔助信息時，充分利用這些信息可以有效提升興趣點推薦的效果。根據用戶評論可以分析出用戶訪問某個興趣點時的感受和情緒，用戶上傳的照片不僅可以反映出其關注點和偏好，還可以提供更多關于興趣點的信息。此外由于這些數據都是公開可見的，它們也會影響其他用戶對該興趣點的預期，進而影響用戶選擇是否會訪問該興趣點，因此興趣點推薦時需要考慮到評論、照片等用戶生成內容中包含的語義特征。

　　4多特征整合

　　如上所述，從LBSN中的歷史簽到、用戶生成內容和用戶社交關系信息等數據中可以提取出豐富的特征，用戶對于興趣點的偏好受這些特征共同影響。從對象的角度分類，這些特征可以分為用戶特征、興趣點特征和外部環境特征;從影響因素的角度來看，可以分為時空特征、序列特征、內容語義特征、社交關系特征等。傳統的協同過濾方法使用矩陣分解來獲取用戶和興趣點的隱特征向量，這種方法將用戶和興趣點之間的關系刻畫為隱特征之間的內積關系，其缺陷在于其要求用戶和興趣點的隱特征具有相同的維度，限制了用戶興趣點特征提取的效果;此外，線性運算無法全面地刻畫用戶和興趣點之間的復雜關聯，難以建模多特征的共同影響。

　　神經元中非線性激活函數的設計以及神經元之間的網絡結構使得神經網絡模型可以刻畫輸入和輸出之間的復雜非線性關聯，因此可以被用于興趣點推薦中多特征整合的過程。此外，LBSN中各個實體(如用戶、興趣點等)之間存在不同類型的關系，構建多實體關系圖并使用圖嵌入的方法可以在特征整合的過程中有效地保留不同實體之間不同關系的結構特征。本章將歸納總結興趣點推薦相關工作中進行特征整合時使用的這兩類深度學習方法。

　　5無簽到用戶興趣點處理

　　興趣點推薦系統一個值得關注的特征就是其興趣點數量規模巨大，由于時間和地理位置的限制單個用戶只能訪問其中很少一部分，因此興趣點推薦系統存在嚴重的數據稀疏性問題。能否有效處理正樣本(歷史訪問過的興趣點)和負樣本(歷史未訪問過的興趣點)之間的數量不平衡對于用戶偏好建模的效果至關重要，一方面如何根據少量歷史訪問數據從大量未訪問過的候選興趣點中推薦用戶可能感興趣的興趣點是一項巨大挑戰;另一方面用戶歷史未訪問過的興趣點也可以借助其自身的地理位置信息以及LBSN中的社交信息等輔助推薦。

　　近幾年，在深度學習領域，介于監督學習和無監督學習之間的半監督學習受到了廣泛關注。利用少量有標簽數據和大量無標簽數據，結合數據分布上的特征來構建模型，可以有效提升模型的準確性，同時降低訓練的成本，因此被廣泛運用在有標簽數據不足的場景中。在興趣點推薦系統中，歷史簽到數據可以被看作是有標簽的數據，而歷史未被訪問的興趣點是無標簽數據，雖然有標簽的數據量較少，但興趣點的時空特征、用戶的社交特征等分布具有一定的規律性，因此半監督學習的思想可以被應用在興趣點推薦任務中以緩解數據稀疏的問題。

　　6未來工作

　　根據上述分析可以發現，深度學習方法的應用可以有效解決興趣點推薦系統中存在的挑戰，但目前興趣點推薦的相關工作依然存在不足，未來可以針對上述四方面相關工作的不足進行進一步地研究。此外除了本文總結的興趣點推薦的四方面挑戰，深度學習相關技術還可用于解決目前興趣點推薦中一些尚未得到足夠重視的問題。

　　首先，目前大多數的興趣點推薦相關工作都著力于提高推薦的準確率，而推薦方法的時空復雜度沒有得到足夠的重視。目前大多數的研究都是離線推薦，它們在已有的數據集上進行分析和預測，但實際運用這些推薦算法時，在線推薦是不可避免的。由于每秒鐘都會有大量的用戶簽到數據產生，歷史可用作訓練的數據集的規模較大且增長較快，其中體現出的用戶偏好也會不斷變化，因此需要不斷更新模型以適應這種偏好變化。

　　在效率和有效性之間做權衡，一種折中方案是將訓練和推斷模型拆分為離線和在線兩部分，離線部分根據最近收集的數據定期重訓練模型，其效率問題是可容忍的;在線部分基于最新的模型實時產生每個用戶的興趣點推薦結果，對效率敏感，但這種方案推薦的準確率一定程度上取決于模型更新的頻率。未來工作可以考慮利用增量學習(incrementallearning)[65]來持續對興趣點推薦的模型進行更新[66]，增量學習不斷利用新收集的數據來擴展模型知識，訓練過程是高效且節省資源的，同時模型可以快速捕捉到用戶偏好的變化。

　　其次，冷啟動是興趣點推薦的一個經典問題，預測新用戶或新到訪一個地區的用戶的偏好是一項挑戰。目前已有的興趣點推薦方法往往需要挖掘用戶的歷史數據，但在一個LBSN中關于新用戶的相關信息較少，不足以反映出他們的偏好。隨著智能手機的普及以及各類應用數量的增加，用戶往往會使用多個社交網絡應用，即一個LBSN中的新用戶很可能是其他社交網絡的老用戶。

　　因此可以通過“跨站鏈接(cross-sitelinking)”[67]的方式從其他網絡中獲取更多用戶相關數據來幫助興趣點推薦。遷移學習[68]也是一種可以被運用的技術，它根據兩個任務之間的相關性，重利用在一個任務上訓練的模型去處理另一個任務。目前僅有很少一些工作[69-70]嘗試使用遷移模型根據本地用戶的偏好來推斷新移民或游客的偏好。未來一個LBSN可以從其他LBSN或傳統社交網絡中獲取更多反映用戶、興趣點特征以及社交關系的信息以提升興趣點推薦的效果。此外由于時空特征是興趣點推薦的一個重要影響因子，因此一些交通數據可以被用來輔助推薦。

　　第三，用戶的偏好是動態變化的，一個LBSN提供的興趣點推薦服務不是一次性的服務，興趣點推薦取決于已知的用戶偏好，但同時用戶偏好的變化也會受歷史推薦的影響�，F有的工作僅僅最優化了當前一次推薦的用戶滿意度而忽視了本次推薦對未來用戶偏好的影響。

　　深度學習論文：基于深度學習算法的學術查詢意圖分類器構建

　　強化學習[71]可以被引入興趣點推薦以建模用戶偏好的動態特征，該方法已被廣泛應用于其他推薦系統如商品推薦[72]和新聞推薦中[73]，其主要思路是將推薦系統看作是一種追求用戶效用(即獎勵,reward)最大的策略(policy)，每次推薦根據當前狀態(state)計算出最優的動作(action)，即推薦的興趣點，再根據該行為進行狀態轉化，最終目標是最大化用戶訪問的興趣點序列的效用之和，進而提高綜合推薦效果。

　　對于具體強化學習方法的選擇，由于用戶狀態的刻畫較復雜，狀態空間較大，因此推薦系統中一般使用是深度強化學習模型，在文獻[72]和[73]中均采用了基于值函數的DeepQ-Learning(DQN)[74]的算法。由于候選興趣點數量較大，動作空間也較大，在未來興趣點推薦的研究中也可嘗試使用基于策略梯度的深度強化學習算法，如DDPG算法[75]。

　　作者：湯佳欣1,2，陳陽1,2，周孟瑩1,2，王新1,2

轉載請注明來自發表學術論文網：http://www.zpfmc.com/jjlw/27603.html