超密集網絡中基于MEC的動態任務卸載方案

　　摘 要：超密集網絡(Ultra-Dense Network, UDN)中集成移動邊緣計算(Mobile Edge Computing, MEC)，是 5G 中為用戶提供計算資源的可靠方式，在多種因素影響下進行 MEC 任務卸載決策一直都是一個研究熱點。目前已存在大量任務卸載相關的工作，但是這些方案中很少將重心放在用戶在不同條件下的能耗需求差異上，無法有效提升用戶體驗質量(Quality of Experience, QoE)。在動態 MEC 系統中提出了一個考慮用戶能耗需求的多用戶任務卸載問題，通過最大化滿意度的方式提升用戶 QoE，并將現有的深度強化學習算法進行了改進，使其更加適合求解所提優化問題。仿真結果表明，所提算法較現有算法，在算法收斂性以及穩定性上具有一定提升。

　　關鍵詞：移動邊緣計算;超密集網絡;卸載方案;深度強化學習

　　引 言

　　隨著無線通信技術的快速發展和智能設備的廣泛普及，近年來移動應用迎來爆炸式增長[1]，然而移動設備(如智能手機，可穿戴設備)的計算能力和電池電量通常都是有限的[2]。上述應用和資源受限設備之間的關系對提高移動用戶體驗質量提出了巨大的挑戰[3]。移動邊緣計算將計算服務器從云中心下沉到網絡邊緣，用戶可以利用計算卸載技術將任務卸載到邊緣服務器進行計算來滿足密集計算的需求[4]。5G架構下的超密集網絡是一種多基站協作服務的異構網絡方案，可以有效改善網絡的整體性能[5]。

　　因此，與 MEC 集成的 UDN 被視為 5G 應用中的一種可靠的技術[6]。用戶卸載決策一般由軟件定義網絡(Software Define Network, SDN)架構下的中央控制器進行統一控制[7]。然而，由于密集部署的微基站和 MEC 服務器會導致多個用戶處在多個微基站的覆蓋范圍內，而不同的服務器具有不同的計算能力，如何為用戶進行卸載決策以及資源分配是一項挑戰[8]。針對 MEC 網絡中多用戶任務卸載決策問題，國內外研究人員已經進行了大量的研究。

　　文獻[9]在超密集網絡中提出了一個基于非正交多址(Non-orthogonal Multiple Access, NOMA)的時延最小化問題，采用啟發式算法和凸優化進行分層求解;文獻[10]利用二等分搜索方法解決了最小化執行時延的非凸問題;李等人在[11]中提出了一種基于雙連接和 NOMA 的計算卸載架構和一個最小化用戶總能耗的優化問題。為了解決該問題，作者在逐次凸逼近算法和網格自適應搜索方法的基礎上提出了一種基本凸規劃算法，仿真證明所提算法具有更好的收斂性。但是他們都是在靜態條件下進行的計算卸載研究，實際的 MEC 場景中，環境肯定是動態變化的。

　　文獻[12]考慮了資源的動態變化，提出了一種基于圖的服務器區域聚類算法以及基于博弈論的任務調度機制，經過不斷迭代得到多用戶卸載決策;文獻[13]在時變 MEC 系統中考慮任務隊列，采用李雅普諾夫優化方法和逐次凸逼近法來獲得優化問題的次優解。這些傳統的優化方式在用戶較少時，可以有效的解決計算卸載問題，但是當用戶增多，并且優化問題維度變大時，這些算法的復雜度將會呈指數增加，所以不少的研究人員開始將目光 投 向 了 深 度 強 化 學 習 (Deep ReinforcementLearning, DRL)算法。文獻[14]以時延和能耗為目標，在動態 MEC 系統中提出了一個最小化用戶成本的優化問題，并采用改進的深度強化學習算法獲得了最優解。

　　文獻[15]在異構網絡中提出了一個在滿足時延的情況下最小化能耗的優化問題，并使用一種基于 A2C 框架的 DRL 算法獲得了最佳的卸載決策和資源分配方案，驗證了算法的優勢。黃等人在[16]中提出了一個多小區聯合計算卸載和資源分配的優化問題，目標是在滿足時延的約束下最小化能耗，并提出了一種聯邦強化學習算法，該算法只需代理之間共享模型，無需本地訓練數據，大大降低了算法的復雜度。這些方案都是在滿足用戶時延的情況下簡單的使能耗最小化，但是他們沒有考慮到不同用戶在自身不同條件下產生的能耗需求差異，對于提高用戶能耗方面的體驗質量效果很差。當用戶設備電量比較充足時，此時用戶對于能耗的需求不是很高，相反設備電量較低的用戶對能耗的需求會很高。

　　而在計算資源有限的情況下，假設所有用戶都是合作關系，可以讓設備電量較高用戶獲得稍少的計算資源，讓步出的這部分計算資源可以用來降低設備電量較低用戶的任務執行能耗。通過合理的計算資源讓步可以有效的提高網絡中設備的待機時間以及用戶任務執行能耗方面總的體驗質量。另外，隨著設備待機和執行任務等能量消耗，設備電量也會逐漸變化，此時用戶對于能耗的需求也會隨之變化，需要一種計算卸載方案在充分考慮該需求的情況下提升用戶體驗質量。基于上述問題的描述，本文在充分考慮不同用戶能耗需求的情況下，提出了一個與用戶任務執行能耗相關的滿意度優化問題，并利用基于深度確定性策略梯度(Deep Deterministic Policy Gradient,DDPG)的改進算法求解。

　　本文具體貢獻如下：(1) 為了衡量用戶任務執行能耗，本文在傳統的任務模型加入了更加符合用戶需求的任務執行理想能耗和任務執行最大能耗，用來表征用戶對于該任務執行能耗的要求，并設計了一個理想能耗設定公式，該公式使得理想能耗的設置與用戶設備當前剩余電量相關，能夠充分體現出合作關系下電量不同用戶的不同能耗需求。(2) 由于用戶的能耗體驗質量無法直觀展現，本文基于上述兩個能耗需求提出了一個滿意度模型，利用該滿意度模型表征用戶在能耗方面的體驗質量。(3) 通過對滿意度模型函數進行曲線分析，本文提出了一個更加適合所提問題的深度強化學習算法，該算法的優先經驗重放機制根據曲線特性給予不同經驗組不同的采樣概率。通過仿真分析，所提算法在收斂性和穩定性上較現有算法具有一定的優越性。

　　1 系統模型

　　1.1 網絡場景

　　理想能耗的設置與用戶的需求、用戶設備當前剩余電量以及當前任務的最大執行能耗閾值有關。當用戶設備自身剩余電量較多時，用戶對于執行能耗的需求很低，而剩余電量較低時對執行能耗的需求相對較高，并且電量越低對執行能耗的需求越苛刻。用戶對于能耗需求越高，其理想能耗值需要設置的越低，用戶對能耗的需求需要一個明顯變化的過程。因此理想能耗的設定與最大能耗閾值成正比，但不是線性比例關系，而且與剩余電量百分比正相關，需要一個函數來反映上述思想，經過對比分析函數圖像，指數函數能夠體現不同電量下用戶對理想能耗的需求程度。

　　當用戶設備電量較高時，對能耗需求較低，此時理想能耗值設置較高;隨著電量逐漸降低，理想能耗值也逐漸降低，但降低幅度不大;當電量低到一定程度，此時用戶開始注重能量消耗，其理想能耗值隨著電量降低迅速下降，由此可以看出該公式能夠比較貼切地顯示用戶對于能耗的需求。關于參數，當參數逐漸增大時，用戶在電量較低時的需求會更高，對理想能耗的值設置更低，所以不同值可以滿足不同用戶的需求。公式(2)主要起到合作機制的限制，用戶不能過分貪婪的將理想能耗設置過低，這樣可能所有的用戶都會受到影響，又考慮到合理性，將理想能耗的最小值設置成該任務最大能耗的一半。

　　2 問題描述

　　受到[5]的啟發，本文定義了一個表征用戶體驗質量的滿意度模型，該模型由 Abdeljaouad 等在[18]中提出，基于向下遞減的效用函數 sigmoid 設計，合理的效用函數應該遵循邊際效用遞減規律，存在一個最小值，在該值之前效用質量為優秀，且應存在一個最大值，該值之后效用質量為最差，即需要一個最大值和最小值作為邊界。作者采用了最大IPTV 時延和理想時延作為邊界并將兩者中值作為中間點，并將該模型作為用戶對于 IPTV 時延的體驗質量標準。該效用函數同樣適用于本文，因此將其中的理想時延和最大時延替換為理想能耗和最大能耗，并將該模型作為用戶能耗需求的體驗質量標準即滿意度。

　　2.1 滿意度函數分析

　　在對滿意度曲線進行分析之前，首先引入斜率變點的概念。系統的輸出序列在某未知時刻起了突然變化，該時刻即稱為變點，斜率變點是指曲線斜率加(減)速變化最大的點[19]。假設最大能耗與理想能耗的比例為 8:5，滿足公式(2)，為取值區間內不同的靈敏度參數對于用戶滿意度的影響。從單個曲線走勢來看，一條曲線一共有兩個斜率變點，本文定義圖中左邊變點為第一變點，右邊變點為第二變點。當能耗從理想能耗緩慢增加時，用戶的滿意度在緩慢下降，但是從曲線的斜率可以看出，在到達第一個變點之前，下降的幅度是比較緩慢的，這也是該滿意度函數更加貼近用戶感受的體現。

　　當能耗不斷增加到達變點之后，此時離理想能耗已經較遠，滿意度相比之前開始急劇下降，直到遇到第二個變點，此時的滿意度已經下降到了一個較低的水平，再次變化的幅度相較之前已經不大。從單個曲線關注到多個曲線，從圖中可以看出，隨著靈敏度參數的增加，用戶滿意度曲線的第一個變點會升高，這表示用戶在能耗較低時的滿意度較高，一旦能耗開始增加，滿意度的下降程度會隨之提升，這種設置可以滿足不同情況下的不同需求。例如用戶當前對于能耗的需求比較苛刻，可以通過調高參數來獲得更多的資源。

　　但是考慮到其他用戶的計算需求，不能無限制增加參數值，所以給該參數限制了一個設置范圍。該曲線除了能更加符合用戶的需求外，還有另一個優點。在處理優化問題例如最大化所有用戶滿意度時，由于所有的用戶都是合作的，為了更大化所有用戶的滿意度，可以盡量讓用戶的滿意度達到第一個變點附近而非最理想的狀態，這樣可以給那些擁有資源較少的用戶更多的讓步，以此達到用更少的資源獲得更好的滿意度的效果。當用戶設備電量較高時，其理想能耗值按公式(2)設置會比較高，應用到滿意度模型中，相當于放松了對能耗的需求，在進行資源分配時，獲得較少計算資源時就能達到較高的滿意度。而電量較少的用戶其理想能耗值會很低，同理可以分配得到較多的計算資源，以此來減少任務執行能耗，提升滿意度。經過該合作模式，能夠有效提高網絡設備的待機時間和用戶的滿意度總和。

　　3 所提算法

　　3.1 強化學習框架

　　RL 框架主要由智能體，環境和三要素組成，三要素包括：狀態空間、動作空間以及獎勵。在傳統的 DDPG 中，廣泛采用均勻采樣，從經驗重放數組中隨機抽取一小批經驗樣本用于網絡參數訓練[22]。這種做法忽略了經驗組的重要性，不同的經驗組應該有不同的重要性，可以快速感知成功或者失敗的經驗以此來加快收斂。因此，部分研究 人 員 引 入 了 基 于 優 先 經 驗 重 放 (Priorityexperience replay, PER)的方法來解決上述問題，其中更有價值的經驗以更高的概率重放[23]。

　　每個經驗組與優先級相關聯，而重放概率是根據重放數組中所有經驗組的優先級值計算的。在 PER 中，那些較為成功的或者失敗的經驗組更有可能被加入訓練批次，有助于縮短學習時間和提高訓練的穩定性。在研究 PER 技術時，如何定義優先級是一個關鍵問題，通常絕對 TD 誤差會作為評估經驗優先級的重要指標[24]。TD 誤差絕對值較高的經驗組給予較高的優先級，此時說明神經網絡對于動作的真實價值估計并不準確，給予較高的權重有助于神經網絡減少錯誤預測的概率。受到以上優先級分析的啟發，本文提出一個更加適合本文問題的優先級機制。在資源有限的情況下，MEC 網絡不能滿足所有用戶的任務計算都能達到最理想的能耗，此時會出現不同用戶分配到的資源不同的情況。

　　由曲線分析可知，在能耗從大到小的變化過程中，當能耗度過第二個變點之后，滿意度的上升幾乎與能耗呈線性關系，此時的上升速度是比較快的。但是當度過第一個變點之后，滿意度的上升就開始減緩。可以看出，付出相同的代價第一變點前后滿意度的變化幅度是不同的。假設所有用戶是合作的，由于本文的優化目標是最大化所有用戶的滿意度，所以如果那些滿意度在第一變點之上的用戶將滿意度控制在變點附近，就可以為資源較少的用戶即滿意度在第一變點之下的用戶，釋放出更多的資源來為他們提供更多的滿意度提升空間，這樣滿意度總值會比之前有所提升。基于上述分析本文提出基于最大化用戶滿意度的優先級機制，將那些較多用戶滿意度停留在第一變點附近的經驗組賦予較高的優先級，有助于智能體的快速學習。

　　4 仿真分析

　　在本節介紹了評估了所提強化學習算法的性能。首先介紹仿真實驗的相關參數的設置，然后分析不同參數對強化學算法的影響，并驗證了所提算法的收斂性和有效性。最后與現有算法基于不同方面進行對比，證明了所提算法的優越性。

　　在經過少量迭代之后，算法重新收斂，證明了所提算法的穩定性。另外將所提算法與當前現存算法 DDPG 和 DQN 進行對比。兩種算法都帶有基于 TD 目標的優先重放，而算法的參數設置與所提算法相同，不再贅述。從中可以看出，所提算法不管是在算法收斂性上還是收益性能上都有明顯的優勢。DDPG 算法雖然帶有基于 TD 目標的優先經驗重放策略，但是由于所提算法的優先經驗重放是基于當前問題提出的，所以在該問題求解上要優于DDPG。由于本文所提優化問題帶有連續決策變量，所以采用 DQN 算法時需要進行變量離散化，變量離散化會造成精度損失，所以在性能上 DQN 要略差于 DDPG。當用戶數量較少時，兩種算法的迭代次數相差不大。

　　隨著用戶數量增加，本文所提算法的優勢開始體現，迭代次數明顯減少。當數量增大到一定程度，又變回差別較小的狀態。這是因為當用戶數量較少時，當前的計算資源比較充足可以滿足所有用戶的能耗需求，此時本文所提的優先經驗重放策略起的作用比較小，但是也不會造成負面的影響。隨著用戶數量的增加，計算資源開始變得不再理想化，不能滿足所有的用戶的計算能耗需求，此時本文所提算法的優勢就有所體現。當用戶數量增大到一定程度，所有用戶的滿意度都達不到第一變點位置，此時計算資源相當匱乏，本文所提的優先經驗重放策略作用再次降低。在實際中，第二種情況較為常見，由此可見本文所提算法的有效性。另外用戶數量的增加對所提算法性能的影響明顯小于 DDPG，這也是所提算法具有一定穩定性的體現。

　　計算機方向論文：基于機器學習算法的樟子松立木材積預測

　　5 結 論

　　本文首先在考慮用戶需求的情況下在現有任務模型的基礎上加入了用戶對于任務執行的能耗需求，然后在超密集網絡的動態 MEC 系統中，提出了一個根據能耗需求設定的動態用戶滿意度的優化問題，該滿意度可以用來表征用戶在能耗方面的體驗質量。在此基礎上對基于深度強化學習的DDPG 算法進行了改進，使其優先經驗重放策略更加適合求解上述優化問題。最后通過仿真證明，本文所提算法與現有算法相比，有效提升了算法收斂性以及穩定性。

　　參考文獻：

　　[1] CHEN Zhenyue, CHENG Siyao. ComputationOffloading Algorithms in Mobile Edge ComputingSystem: A Survey[C]// Proceedings of InternationalConference on Computer Frontier. Guilin: CNKI, 2019:39.

　　[2] ALI H.S., ROUT R.R., PARIMI P., et al. Real-Time TaskScheduling in Fog-Cloud Computing Framework for IoTApplications: A Fuzzy Logic based Approach[C]//2021International Conference on COMmunication Systems &NETworkS (COMSNETS). Bangalore: IEEE, 2021:556-564.

　　[3] ZHANG Xinglin, LIANG Lingyu, LUO Chengwen, et al.Privacy-Preserving Incentive Mechanisms for MobileCrowdsensing[J]. Pervasive Computing, IEEE, 2018,17(3): 47-57.

　　[4] PANG Shanchen, WANG Shuyu, Joint Wireless Source Management and Task Offloading in Ultra-DenseNetwork[J]. IEEE Access, 2020, 8: 52917-52926.

　　[5] HU Shihong, LI Guanghui. Dynamic Request SchedulingOptimization in Mobile Edge Computing for IoTApplications[J]. IEEE Internet of Things Journal, 2020,7(2): 1426-1437.

　　[6] GUO Hhongzhi, LIU Jiajia, ZHANG Jie. ComputationOffloading for Multi-Access Mobile Edge Computing inUltra-Dense Networks[J]. IEEE CommunicationsMagazine, 2018, 56(8): 14-19.

　　[7] 谷曉會, 章國安, 孔德尚. 基于 SDN 和 MEC 的 5GVANET 架構及其性能分析 [J]. 電訊技術 , 2019,372(11): 1332-1337.

　　作者：鮮永菊，劉闖，韓瑞寅，陳萬瓊

轉載請注明來自發表學術論文網：http://www.zpfmc.com/dzlw/30119.html