国产欧美日韩精品a在线观看-国产欧美日韩精品一区二区三区-国产欧美日韩精品综合-国产欧美中文字幕-一区二区三区精品国产-一区二区三区精品国产欧美

摘要：作為直接推動機器學習蓬勃發展的關鍵核心技術， 深度學習已經迅速成為學術界與工業界關注的焦點。然而，由于深度學習模型的高精度需求往往會引發對計算資源的大量消耗，因此將一個深度學習模型部署到資源受限的移動設備面臨著的巨大的挑戰。本文介紹Edgent，一個基于邊端協同的按需加速深度學習模型推理的優化框架, 通過深度學習模型分割與模型精簡實現加速。實驗表明其能在網絡邊緣端高效支撐深度學習應用。

關鍵詞：邊緣計算；邊緣智能；深度學習

Abstract: As a key core technology that directly promotes the flourishingofmachine learning,deep learninghasquicklybecome thefocusofacademicandindustrialcircles. However,becausethe high-precisionrequirementsofdeeplearningmodelsoftenleadtoa large consumption of computing resources, deploying a deep learning model to resource-constrained mobile devices faces enormous challenges. This paper introduces Edgent, a device-edge synergy basedoptimizationframeworkforon-demanddeeplearning model inference, which is accelerated by both model segmentation and modelsimplification.Experimentsshowthatitcaneffectivelysupport deep learning applications at the network edge.

Key words: Edge Computing;  Edge Intelligence; Deep Learning

1 引言與相關工作

作為支撐現代智能應用的關鍵核心技術，深度學習代表了當下最火熱的機器學習技術，深受學術界與產業界的高度重視。由于深度學習模型的高準確率與高可靠性，深度學習技術已在計算機視覺、語音識別與自然語言處理領域取得了廣泛的成功應用，相關產品正如雨后春筍般涌現。然后，由于深度學習模型推理需要消耗大量的計算資源，當前的大多數移動設備由于資源受限而無法以低延遲、低功耗、高精確率的方式支持深度學習應用。
為了應對深度學習模型對計算資源的巨大需求，當下通行的方式是將深度學習模型的訓練與推理都部署在云端數據中心。在執行深度學習模型推理的時候，移動端設備將輸入數據發送至云端數據中心，云端推理完成后將結果發回移動設備。然而，在這種基于云數據中心的推理方式下，大量的數據（如，圖像和視頻數據）通過高延遲、帶寬波動的廣域網傳輸到遠端云數據中心，這造成了較大的端到端延遲以及移動設備較高的能量消耗。相比于面臨性能與能耗瓶頸的基于云數據中心的深度學習模型部署方法，更好的方式則是結合新興的邊緣計算技術，充分運用從云端下沉到網絡邊緣（如基站、Wi-Fi接入點等）端的計算能力，從而在具有適當計算能力的邊緣計算設備上實現低時延與低能耗的深度學習模型推理。

為此，本文介紹我們所提出的Edgent，一個基于邊端協同的按需加速深度學習模型推理的優化框架^[15]。為了滿足新興智能應用對低時延和高精度日益迫切的需求，Edgent采取以下兩方面的優化策略：一是深度學習模型分割，基于邊緣服務器與移動端設備間的可用帶寬，自適應地劃分移動設備與邊緣服務器的深度學習模型計算量，以便在較小的傳輸延遲代價下將較多的計算卸載到邊緣服務器，從而同時降低數據傳輸時延和模型計算延遲；二是深度學習模型精簡，通過在適當的深度神經網絡的中間層提前退出，以便進一步減小模型推理的計算時延。然而值得注意的是，雖然模型精簡能夠直接降低模型推斷的計算量，但模型精簡同樣會降低模型推斷的精確率（提前退出神經網絡模型減少了輸入對數據的處理，因而降低了精確率）。針對模型精簡所引發的延遲與精確率之間的折衷關系，Edgent以按需的方式協同優化模型分割與模型精簡，即對于一個具有明確時延需求的一個模型推理任務，Edgent在不違反其時延需求的前提下選擇最佳的模型分割和模型精簡策略來最大化其模型推理的準確率。

本文的研究與現有邊緣智能方面的相關工作不同且互為補充，一方面，對于移動端設備的低時延與低功耗的深度學習模型推理，已有許多面向移動終端高效執行的深度學習模型壓縮與深度學習架構優化的方法被提出^{[3~5、7、9]}，不同于這些工作，本文采取一種“向外擴展”（Scale-out）的方法來克服終端所面臨的性能與能耗瓶頸。具體而言，本文通過模型分割這種優化策略來靈活融合邊緣服務器的強計算力與終端設備計算本地性的異構優勢，從而最大程度發揮邊端融合在降低模型推理延遲方面的作用。另一方面，雖然此前已有相關文獻提出模型分割方法^[6]來加速深度學習模型推理過程，本文進一步提出模型精簡這一優化策略，并將其與模型分割相結合進行協同優化，從而進一步加速深度學習模型推理過程。

2 研究背景與動機

目前，深度神經網絡是支撐計算機視覺^[12]、語音識別^[10]和自然語言處理^[14]等豐富多彩的智能應用的核心機器學習技術。如圖1所示，計算機視覺應用程序中使用深度神經網絡模型從輸入圖像中提取特征并將圖像分類到某一預定類別。通常，深度神經網絡能夠被表示為一張有向圖，有向圖由一系列內部連接的網絡層組成，每個網絡層由一個個的神經元構成，輸入數據經由深度神經網絡模型網絡層處理后得到輸出的過程為模型推理。深度神經網絡模型的網絡層數目通常高達幾十層，全局參數量更是達到百萬級，因此深度神經網絡模型推理屬于計算密集型任務。

圖1 用于計算機視覺的深度神經網絡模型

當前，針對運行在移動端設備的智能應用，實現深度神經網絡模型推理的方法要么是在移動端設備上直接執行，要么將其加載至云數據中心或邊緣服務器執行。但這兩種方式都可能存在較差的性能（即端到端時延），難以很好地滿足實時移動智能應用，如AR/VR、移動游戲和智能機器人[2]。圖2展示了經典卷積神經網絡AlexNet在不同帶寬環境下基于邊緣服務器方式執行的性能表現。不難發現，其性能取決于輸入數據從移動設備傳輸到邊緣服務器所花費的數據傳輸時間（取決于帶寬），因此，基于服務器方式的深度學習模型推理方法的端到端延遲對可用帶寬高度敏感。考慮到帶寬資源在實際環境中的稀缺性（用戶之間或應用之間的帶寬競爭）以及移動設備計算資源的限制，直接在設備端運行和在邊緣服務器運行的方式都很難以實時地支持許多新興的具有嚴格時延要求的移動智能應用。

圖2 AlexNet在不同環境下的性能表現

3 Edgent優化框架

針對深度學習模型應用部署的挑戰，權衡模型推斷速度與精度之間的折衷關系，我們定義如下研究問題：對于給定時延需求的深度學習任務，如何聯合優化模型分割和模型精簡這兩個決策，從而使得在不違反時延需求的同時最大化深度學習模型的精確度。針對上述問題，我們提出了基于邊緣與終端協同的深度學習模型運行時優化框架 Edgent^[15]。如圖3所示，Edgent的優化邏輯分為三個階段：離線訓練階段，在線優化階段以及協同推斷階段。

圖3 基于邊緣與終端協同的深度學習模型運行時優化框架Edgent

上述基于邊緣服務器與終端設備協同的深度學習模型推斷框架思路為：在離線階段，我們訓練好任務需求的分支網絡，同時為分支網絡中的不同神經網絡層訓練回歸模型，以此估算神經網絡層在邊緣服務器與在終端設備上的運行時延；在在線優化階段，回歸模型將被用于尋找出符合任務時延需求的退出點以及模型切分點；在協同推斷階段，邊緣服務器和終端設備將按照得出的方案運行深度學習模型。

離線訓練階段，Edgent需要執行兩個初始化操作：

（1）分析邊緣服務器與終端設備性能，針對不同類型的深度學習模型網絡層，如卷積層，池化層等，生成基于回歸模型的時延估算模型。在估算網絡層的運行時延時，Edgent會對每層網絡層進行建模而不是對整個深度學習模型進行建模，不同網絡層的時延是由各自的自變量（如輸入數據的大小、輸出數據的大小）決定，基于每層的自變量，我們可以建立回歸模型估算每層網絡層的時延；（2）訓練帶有多個退出點的分支網絡模型，從而實現模型精簡，這里我們采用BranchyNet分支網絡結構，在BranchyNet結構下，我們可以設計并訓練出帶有多個退出點的分支網絡。圖4展示了具有5個退出點的AlexNet模型，目前多退出點的深度神經網絡模型由開源框架BranchyNet [14]支持。需要注意的是，性能分析取決于設備，而深度學習模型是取決于應用的，因此在給定設備的情況下即限定邊緣服務器與終端設備，以上兩個初始化操作在離線階段只需要完成一次。

圖4 具有五個退出點的AlexNet

在線優化階段，在這個階段，主要工作是利用離線訓練的回歸模型在分支網絡中找出符合時延需求的退出點以及模型分割點，因我們需要最大化給出方案的準確率，因此在線優化階段中是通過迭代的方式，從最高準確率的分支開始，迭代尋找出符合需求的退出點和切分點。在這個過程中，Edgent實時測量當前移動終端與邊緣服務器之間鏈路的網絡帶寬，以便于估算移動終端與邊緣服務器間的數據傳輸時延。緊接著，Edgent沿著尺寸從大到小的網絡分支（如圖4中從右至左的5個網絡分支），依次遍歷每個網絡分支上不同的分割點，并基于當前網絡帶寬和不同網絡層計算時間估算所選網絡分支與分割點對應的端到端延遲與模型精確度。在遍歷完所有的分支網絡與切分點后，Edgent輸出滿足時延需求的所有網絡分支與切分點組合中具有最大精確度的一個組合。
協同推斷階段，根據上述在線優化階段所輸出的最優網絡分支與切分點組合，邊緣服務器與移動終端對深度學習模型進行協同推斷。

4 性能評估

本文基于Tesla P100 GPU服務器對多分支深度學習模型進行訓練，以臺式電腦作為邊緣服務器，以樹莓派作為移動端設備，對框架有效性進行驗證。實驗設計包含：設定任務時延需求，通過限定邊緣服務器與終端設備間的傳輸速率，記錄在不同帶寬下的退出點選擇以及模型切分點選擇；設定不同任務時延，記錄在同一帶寬下的退出點選擇以及模型切分點選擇；記錄回歸模型的有效性即是否能準確估算網絡層計算時延；與其他深度學習推理方法進行性能比較。

圖5記錄了在不同帶寬下框架的退出點與模型分割點的選擇。從結果可以看出，由框架選擇出來的退出點隨著帶寬的上升而增大，這意味著在高帶寬下框架會選用具有更高精度的退出點，即選擇出更高精度的模型。

圖5 不同帶寬下退出點與分割點的選擇

圖6 深度學習模型不同推理方式性能比較

圖6記錄了深度學習模型不同的推理方式在不同的時延需求下的性能比較。在非常低的時延需求(100ms)下，這四種方法都不能滿足需求。隨著時延需求的上升，在200ms到300ms之間，本文框架的深度學習模型推理要比其他方法更早地實現工作。

感興趣的讀者可以閱讀我們發表在2018SIGCOMM MECOMM的學術論文^[15]， 以進一步了解詳細的Edgent算法設計與性能評估實驗。

5 總結

作為人工智能領域的當紅炸子雞，深度學習技術近年來得到了學術界與產業界的大力追捧。目前，深度學習技術已在計算機視覺、自然語言處理以及語音識別等領域大放異彩，相關產品正如雨后春筍般涌現。由于深度學習模型需要進行大量的計算，因此基于深度學習的智能通常只存在于具有強大計算能力的云計算數據中心。考慮到當下移動終端設備的高度普及，如何將深度學習模型高效地部署在資源受限的終端設備，從而使得智能更加貼近用戶這一問題以及引起了學術界與工業界的高度關注。針對這一難題，本文提出了基于邊端協同的按需加速深度學習模型推理的優化框架Edgent，通過協同優化模型分割和模型精簡這兩種不同的策略，Edgent能夠在保障給定模型精確率的同時最小化模型推斷的端到端延遲。通過編碼實現了原型系統并將其部署在了由終端設備和邊緣服務器組成的真實設備上進行真實實驗，本文論證了Edgent能夠在網絡邊緣端高效支撐計算機視覺這一典型深度學習應用。

作者簡介：

李恩，在讀中山大學軟件工程碩士學位，研究方向為深度學習、邊緣計算。

周知，中山大學數據科學與計算機學院特聘副研究員，2017年于華中科技大學計算機學院獲得博士學位。近年來從事邊緣計算、邊緣智能、云計算和分布式大數據處理算等方面的研究，目前在包括IEEEJournal on Selected Areas in Communications、IEEETransactions on Parallel and Distributed Systems、 IEEE Transactions on Vehicular Technology, IEEENetwork、IEEE INFOCOM、IEEE ICDCS、IEEE IWQoS等國際高水平會議以及期刊上發表論文20余篇。現主持國家自然科學基金青年項目與廣東省自然科學基金面上項目各一項，曾作為主要技術骨干參與國家重點基礎研究發展計劃973專題項目、國家自然科學重點國際合作項目等多個科研項目。

陳旭，中山大學數據科學與計算機學院教授，擔任數字家庭互動應用國家地方聯合工程實驗室、廣東省數字家庭互動應用工程實驗室副主任，入選第十三批國家中組部“千人計劃”青年項目。迄今在IEEE Journal on Selected Areas in Communications、IEEE/ACM Transactions onNetworking、IEEE Transactions on Mobile Computing、 IEEE INFOCOM、IEEE ICDCS、ACM MOBIHOC、 ACMMM等國際高水平會議與權威期刊發表論文80余篇，ESI高被引論文4篇，熱點論文1篇，并由國際知名出版社Springer出版科研專著2部。 獲得IEEE ComSoc協會亞太區杰出青年學者獎、IEEEComSocYoungProfess ional最佳論文獎、CCFA類國際會議IEEEINFOCOM的最佳論文亞軍獎、IEEE通信協會旗艦會議ICC最佳論文獎以及國際會議IEEE ISI的最佳論文榮譽提名獎。獲邀擔任國際SCI期刊IEEE Internet of Things Journal、IEEE Journal on Selected Areas in Communications (JSAC) Serieson Network Softwarization and Enablers、IEEE AccessJournal副編輯。

參考文獻：

[1] Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]. Advances in neural information processing systems. 2012.

[2] China Telecom et al. 5G Mobile/Multi-Access Edge Computing[Z]. 2017.

[3] Iandola F N, Han S, Moskewicz M W, et al. Squeezenet: Alexnet-level accuracy with 50x fewer parameters and< 0.5 mb model size[J]. arXiv. 2016.

[4] Wu J, Leng C, Wang Y, et al. Quantized convolutional neural networks for mobile devices[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.

[5] Han S, Mao H, Dally W J. Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding[J]. Fiber. 2015.

[6] Kang Y, Hauswald J, Gao C, et al. Neurosurgeon: Collaborative Intelligence Between the Cloud and Mobile Edge[C]. International Conference on Architectural Support for Programming Languages and Operating Systems. 2017.

[7] Kim, Yong-Deok, Park, Eunhyeok, Yoo, Sungjoo, et al. Compression of Deep Convolutional Neural Networks for Fast and Low Power Mobile Applications[J]. Computer Science, 2015.

[8] Krizhevsky A, Hinton G. Learning multiple layers of features from tiny images[R]. Technical report, University of Toronto, 2009.

[9] Lane N, Bhattacharya S, Mathur A, et al. DXTK: Enabling Resource-efficient Deep Learning on Mobile and Embedded Devices with the DeepX Toolkit[C]. International Conference on Mobile Computing, Applications and Services. ICST (Institute for Computer Sciences, Social-Informatics and Telecommunications Engineering), 2016.

[10] Oord A V D, Dieleman S, Zen H, et al. WaveNet: A Generative Model for Raw Audio[J]. arXiv, 2016.

[11] Qualcomm. Augmented and Virtual Reality: the First Wave of 5G Killer Apps[Z]. 2017.

[12] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]. Proceedings of the IEEE conference on computer vision and pattern recognition. 2015.

[13] Teerapittayanon S, McDanel B, Kung H T. Branchynet: Fast inference via early exiting from deep neural networks[C]. International Conference on Pattern Recognition. 2016.

[14] Wang D, Nyberg E. A long short-term memory model for answer sentence selection in question answering[C]. Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics(ACL) and the 7th International Joint Conference on Natural Language Processing(IJCNLP). 2015.

[15] En Li, Zhi Zhou, and Xu Chen. Edge Intelligence: On-Demand Deep Learning Model Co-Inference with Device-Edge Synergy[C]. Proceedings of the Workshop on Mobile Edge Communications. 2018.

摘自《自動化博覽》2018年增刊《邊緣計算2018專輯》