摘要:隨著網(wǎng)絡(luò)終端的不斷普及與互聯(lián)網(wǎng)應(yīng)用的快速發(fā)展,當(dāng)今網(wǎng)絡(luò)不僅要應(yīng)對(duì)日益增長(zhǎng)的傳輸流量,也要滿足用戶多樣化的需求指標(biāo)。云計(jì)算在諸如服務(wù)延遲與傳輸開(kāi)銷(xiāo)等方面難以適應(yīng)趨勢(shì),邊緣計(jì)算(Edge Computing)則將運(yùn)算資源從云下移到了網(wǎng)絡(luò)邊緣,并通過(guò)就近處理數(shù)據(jù)的方式提升性能。作為人工智能的主要代表之一,深度學(xué)習(xí)一方面可以被集成到邊緣計(jì)算的框架中以構(gòu)建智能邊緣,另一方面也能以服務(wù)的形式部署在邊緣上從而實(shí)現(xiàn)邊緣智能。本文從邊緣計(jì)算與深度學(xué)習(xí)融合的趨勢(shì)出發(fā),介紹 “邊緣智能”與“智能邊緣”的概念與應(yīng)用場(chǎng)景,并說(shuō)明典型的使能技術(shù)及其相互聯(lián)系。
關(guān)鍵詞:邊緣計(jì)算;深度學(xué)習(xí);使能技術(shù)
Abstract: Withthegradualpopularizationofnetworkterminals and the rapid development of Internet applications, network nowadays not only deals withever-increasing transmission traffic, but also needs to meet diversified requirements from users.Cloud computing is difficult on such aspects as service latency and transmission cost to adaptto the trend,whil eedge computing moves computing resources from the cloudto the edge of the network,which can improve performance through processing data at the place close to users.As the main representative of artificial intelligence,deep learning can be integrated into edge computing frameworks to build intelligent edge,on the other hand, it can be deployed as a service on the edge to realize edge intelligence. Based on the trend of the fusion between edge computing and deep learning, this paper introduces the concepts along with application scenarios of edge intelligence and intelligent edge, illustrates the typical enabling technologies and their interrelationships.
Key words:Edge computing;Deep learning;Enabling technologies
1 引言
隨著網(wǎng)絡(luò)終端的不斷普及與互聯(lián)網(wǎng)應(yīng)用的發(fā)展創(chuàng)新,當(dāng)今網(wǎng)絡(luò)不僅要承載日益增長(zhǎng)的傳輸流量,也要滿足用戶多樣化的需求指標(biāo)。為了改進(jìn)云計(jì)算在業(yè)務(wù)延遲與傳輸代價(jià)等方面上的不足,邊緣計(jì)算(EdgeComputing)[1]將運(yùn)算資源從云下推到網(wǎng)絡(luò)邊緣,并根據(jù)應(yīng)用需求將數(shù)據(jù)就近處理。
在邊緣計(jì)算這一概念的發(fā)展歷程中,Cloudlet[2]、微數(shù)據(jù)中心(MDC)[3]、霧計(jì)算[4]等概念都致力于在網(wǎng)絡(luò)的邊緣處工作。而針對(duì)移動(dòng)網(wǎng)絡(luò)中的邊緣計(jì)算,歐洲電信標(biāo)準(zhǔn)化協(xié)會(huì)(ETSI)于2014年將其定義為“移動(dòng)邊緣計(jì)算”(MobileEdgeComputing,MEC),并在2016年又將其重新命名為“多接入邊緣計(jì)算”(Multi-access Edge Computing,MEC),以提高該概念在異構(gòu)網(wǎng)絡(luò)中的適用性。
與此同時(shí),作為風(fēng)頭正盛的人工智能技術(shù),深度學(xué)習(xí)(Deep Learning,DL)受到工業(yè)界與學(xué)術(shù)界的大量關(guān)注,并與邊緣計(jì)算結(jié)下了不解之緣。一方面,DL可被集成至邊緣計(jì)算的框架中,實(shí)現(xiàn)網(wǎng)絡(luò)邊緣的自適應(yīng)管理。另一方面,邊緣計(jì)算也將大量的模型計(jì)算從云下推到邊緣端,達(dá)到低延遲、高可靠的智能業(yè)務(wù)。邊緣計(jì)算和深度學(xué)習(xí)相互促進(jìn),進(jìn)而衍生出了“邊緣智能”與“智能邊緣”這兩個(gè)概念,如圖1所示。
圖1 邊緣智能與智能邊緣
2 邊緣智能與智能邊緣
依托邊緣算力的增長(zhǎng)與計(jì)算范式的革新,邊緣計(jì)算將多種資源下沉至距終端更近的網(wǎng)絡(luò)邊緣處。這不僅使得更加智能的算法能夠從云端走近終端用戶,也能在網(wǎng)絡(luò)邊緣執(zhí)行各類業(yè)務(wù)的處理過(guò)程。
邊緣智能的原理即是將DL的計(jì)算過(guò)程從云下放至邊緣,以支持低延遲、高可靠、分布式的智能服務(wù),并具有以下優(yōu)點(diǎn):(1)由于DL服務(wù)被部署在更接近請(qǐng)求源的位置,而云僅僅在需要額外處理時(shí)才參與過(guò)程,因此會(huì)顯著地減少數(shù)據(jù)上傳的延遲與開(kāi)銷(xiāo);(2)DL服務(wù)涉及的原始數(shù)據(jù)被限制在了“端-邊”區(qū)域,因此增強(qiáng)了數(shù)據(jù)的隱私性;(3)分層體系結(jié)構(gòu)提供了更可靠的DL計(jì)算;(4)依靠邊緣環(huán)境中豐富的數(shù)據(jù)流動(dòng)與多樣的業(yè)務(wù)場(chǎng)景,邊緣計(jì)算能夠促進(jìn)DL在各種環(huán)境下的普遍應(yīng)用。(5)多樣化與有價(jià)值的DL服務(wù)能夠拓寬邊緣計(jì)算的商業(yè)價(jià)值,進(jìn)而加速其部署與增長(zhǎng)。
作為典型且熱門(mén)的AI技術(shù)之一,DL在計(jì)算機(jī)視覺(jué)(CV)和自然語(yǔ)言處理(NLP)領(lǐng)域展現(xiàn)出了強(qiáng)大的性能優(yōu)勢(shì)[5],相應(yīng)的智能服務(wù)與應(yīng)用也在改變著人們的生活[6]。
智能邊緣的目的即是將DL融入邊緣以支持動(dòng)態(tài)的、自適應(yīng)的資源分配與管理。這不僅有效整合了終端設(shè)備、網(wǎng)絡(luò)邊緣與云數(shù)據(jù)中心的多種資源,也能支持更為復(fù)雜的業(yè)務(wù)優(yōu)化與任務(wù)協(xié)作。以往求解該類復(fù)雜問(wèn)題的傳統(tǒng)方法依賴于固定的數(shù)學(xué)模型,難以精確地模擬快速變化的邊緣環(huán)境。相對(duì)地,DL則可以利用其強(qiáng)大的學(xué)習(xí)與推理能力,從大量數(shù)據(jù)中提取有價(jià)值的信息,進(jìn)而實(shí)現(xiàn)自適應(yīng)的智能決策過(guò)程。
為了進(jìn)一步敘述邊緣智能和智能邊緣之間的關(guān)系,基于已有的研究工作[7],本文歸納并簡(jiǎn)要介紹了五種典型的使能技術(shù):
(1)邊緣上的深度學(xué)習(xí)應(yīng)用(DLonEdge);
(2)邊緣中的深度學(xué)習(xí)推理(DLinEdge);
(3)邊緣處的深度學(xué)習(xí)訓(xùn)練(DLatEdge);
(4)適用于深度學(xué)習(xí)的邊緣計(jì)算(EdgeforDL);
(5)深度學(xué)習(xí)用于邊緣計(jì)算優(yōu)化(DLforEdge)。
其中,“DL on Edge”和“DL for Edge”分別對(duì)應(yīng)于邊緣智能和智能邊緣的理論目標(biāo),而“DL inEdge”、“Edge for DL”與“DL at Edge”則展示了邊緣計(jì)算與深度學(xué)習(xí)對(duì)于DL推理、邊緣計(jì)算架構(gòu)與DL訓(xùn)練的重要支持。邊緣智能與智能邊緣的概念關(guān)系如圖2所示。
圖2 邊緣智能與智能邊緣的概念關(guān)系
3 典型使能技術(shù)
3.1 邊緣上的深度學(xué)習(xí)應(yīng)用(DL on Edge)
由于移動(dòng)終端的計(jì)算資源較為有限,而DL又存在模型復(fù)雜與計(jì)算量大的特點(diǎn),因此“端-云”架構(gòu)被提出以實(shí)現(xiàn)模型的訓(xùn)練與推理,即:端(邊緣設(shè)備)提供模型輸入,云(遠(yuǎn)程數(shù)據(jù)中心)執(zhí)行計(jì)算過(guò)程。然而,隨著求解問(wèn)題復(fù)雜度的不斷增加,該架構(gòu)逐漸難以滿足用戶對(duì)分析實(shí)時(shí)性的需求。因此,有研究提出在網(wǎng)絡(luò)邊緣分配運(yùn)算資源來(lái)支持DL,從而降低傳輸時(shí)延、緩解帶寬壓力。
作為一種DL的典型業(yè)務(wù),實(shí)時(shí)視頻分析廣泛應(yīng)用于自動(dòng)駕駛、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、智能監(jiān)控等領(lǐng)域。具體地,一種有效的解決方案是將“端-云”架構(gòu)擴(kuò)展為“端-邊-云”架構(gòu):在終端層,智能手機(jī)和監(jiān)控?cái)z像機(jī)等視頻采集設(shè)備負(fù)責(zé)視頻采集、數(shù)據(jù)壓縮與圖像預(yù)處理[8];在邊緣層,眾多分布式的邊緣節(jié)點(diǎn)相互協(xié)作,向終端節(jié)點(diǎn)提供視頻處理與分析服務(wù)[9];在云的層面上,由云負(fù)責(zé)多個(gè)邊緣層之間的DL模型集成,實(shí)現(xiàn)全局層面的知識(shí)匯聚,并在邊緣能力不足時(shí)提供支持與協(xié)作[10]。
3.2 邊緣中的深度學(xué)習(xí)推理(DL in Edge)
前文已經(jīng)說(shuō)明將邊緣計(jì)算引入DL業(yè)務(wù)中可以降低網(wǎng)絡(luò)時(shí)延。然而,由于邊緣節(jié)點(diǎn)無(wú)法提供與云數(shù)據(jù)中心相當(dāng)?shù)挠?jì)算能力,如果在邊緣設(shè)備中實(shí)現(xiàn)DL的推理過(guò)程,就需要達(dá)到推理準(zhǔn)確率和網(wǎng)絡(luò)時(shí)延之間的有效權(quán)衡。具體地,可以根據(jù)邊緣節(jié)點(diǎn)的資源是否豐富將模型優(yōu)化方法分為兩類。
在邊緣節(jié)點(diǎn)計(jì)算能力足夠的情況下,可以采取一般性的優(yōu)化方法改進(jìn)推斷過(guò)程,即在不改變模型本身結(jié)構(gòu)的情況下采用控制模型深度、實(shí)現(xiàn)參數(shù)共享等通用性的手段實(shí)現(xiàn)優(yōu)化[11~12];反之,則要采取細(xì)粒度的優(yōu)化方法,即從模型的輸入、結(jié)構(gòu)與框架等方面深入優(yōu)化,并根據(jù)特定硬件設(shè)備與應(yīng)用場(chǎng)景專門(mén)制定優(yōu)化方案[13~14]。縮小搜索空間以實(shí)現(xiàn)模型優(yōu)化的樣例如圖3所示。
圖3 縮小搜索空間以實(shí)現(xiàn)模型優(yōu)化的樣例
其次,分割DL模型并執(zhí)行分布式計(jì)算能夠?qū)崿F(xiàn)更優(yōu)的延遲表現(xiàn)與能量效率。具體地,DL模型可被切分為多個(gè)區(qū)塊,并分配給終端上的異構(gòu)處理器或者其它的邊緣節(jié)點(diǎn)中。其中,沿“端-邊-云”層次區(qū)分的水平分割是最常用的分割方法[15],分為以下三個(gè)步驟:(1)對(duì)每個(gè)層的資源成本與層間的中間數(shù)據(jù)大小進(jìn)行測(cè)量與建模;(2)根據(jù)層結(jié)構(gòu)與網(wǎng)絡(luò)帶寬來(lái)預(yù)測(cè)總成本;(3)根據(jù)時(shí)延、能量等指標(biāo)選擇劃分方案。與水平分割相比,垂直分割融合了多個(gè)不同的層,以網(wǎng)格的方式垂直劃分它們,從而形成可獨(dú)立分配的計(jì)算任務(wù)[16]。
此外,我們可以為每個(gè)DL服務(wù)維護(hù)多個(gè)具有不同模型性能和資源成本的模型,并通過(guò)智能地選擇最佳模型實(shí)現(xiàn)自適應(yīng)推理。同時(shí),也可以通過(guò)額外設(shè)置分支分類器實(shí)現(xiàn)提前退出的機(jī)制[17]。當(dāng)樣本在分支處判斷并且結(jié)果符合場(chǎng)景的可信度要求時(shí),就直接返回運(yùn)算結(jié)果,從而節(jié)省大量的推理時(shí)間。
3.3 邊緣處的深度學(xué)習(xí)訓(xùn)練(DL at Edge)
相對(duì)于推理過(guò)程而言,以往研究中的DL訓(xùn)練主要是在云數(shù)據(jù)中心中進(jìn)行,終端或邊緣只執(zhí)行數(shù)據(jù)預(yù)處理的步驟[18]。然而,該種方式并不適用于所有的場(chǎng)景,特別是對(duì)于位置相關(guān)和需要持續(xù)訓(xùn)練的DL模型。其中一個(gè)原因是,在該種情況下將會(huì)有大量的數(shù)據(jù)從終端或邊緣持續(xù)地傳輸?shù)皆贫耍⑾臒o(wú)線與骨干網(wǎng)絡(luò)的帶寬。此外,數(shù)據(jù)合并的過(guò)程也往往會(huì)引發(fā)隱私相關(guān)的問(wèn)題。
為了應(yīng)對(duì)以上挑戰(zhàn),已有研究提出基于邊緣計(jì)算對(duì)數(shù)據(jù)進(jìn)行處理和訓(xùn)練。具體地,研究者將以邊緣作為訓(xùn)練核心的架構(gòu)稱為“邊緣處的深度學(xué)習(xí)訓(xùn)練”,并針對(duì)分布式訓(xùn)練中的數(shù)據(jù)摘要與模型更新的過(guò)程展開(kāi)了研究。在邊緣處的分布式訓(xùn)練避免了海量的訓(xùn)練數(shù)據(jù)直接在網(wǎng)絡(luò)中傳輸,卻也引入了邊緣設(shè)備之間模型交互的通信過(guò)程,并同樣受到網(wǎng)絡(luò)狀態(tài)的影響。
對(duì)此,已有研究指出大部分的梯度交換是冗余的,因此在保持訓(xùn)練精度的前提下,更新后的梯度數(shù)據(jù)可以被壓縮以降低通信成本[19]。降低分布式訓(xùn)練中同步頻率也是可行的方法之一,例如:已有工作結(jié)合了兩種優(yōu)化機(jī)制[20]:其一是考慮到訓(xùn)練梯度稀疏這一特點(diǎn),訓(xùn)練過(guò)程僅僅傳輸較為重要的梯度;其二是累積較小的梯度值,并采用動(dòng)量校正的方法優(yōu)化運(yùn)算過(guò)程,改進(jìn)了忽略細(xì)微梯度導(dǎo)致算法難以收斂的狀況。
綜合考慮非獨(dú)立同分布(Non-IID)的訓(xùn)練數(shù)據(jù)、有限的通信資源、不均衡的訓(xùn)練貢獻(xiàn)、訓(xùn)練數(shù)據(jù)的隱私性等諸多分布式訓(xùn)練中的關(guān)鍵挑戰(zhàn),聯(lián)邦學(xué)習(xí)[21](FederatedLearning)實(shí)現(xiàn)了一種“端-邊-云”之間實(shí)用的DL訓(xùn)練機(jī)制,并在邊緣計(jì)算中得到了廣泛的應(yīng)用與拓展[22~23]。
3.4 適用于深度學(xué)習(xí)的邊緣計(jì)算(Edge for DL)
DL服務(wù)的大規(guī)模部署需要邊緣計(jì)算的支持,特別是對(duì)于移動(dòng)DL來(lái)說(shuō)。這種支持不僅在于網(wǎng)絡(luò)架構(gòu)級(jí)別,邊緣軟硬件的設(shè)計(jì)、改進(jìn)與優(yōu)化也同樣重要。從整體來(lái)看,邊緣計(jì)算的體系結(jié)構(gòu)能夠卸載DL的計(jì)算負(fù)擔(dān);作為其中的基礎(chǔ),面向邊緣定制的軟硬件能夠更有效地執(zhí)行DL;在此之上,精心設(shè)計(jì)的邊緣計(jì)算系統(tǒng)能夠更好地運(yùn)維在邊緣的DL服務(wù);此外,用于公平地評(píng)估DL性能的測(cè)試平臺(tái)有助于進(jìn)一步地改進(jìn)以上工作。
根據(jù)分流程度與協(xié)作方式,可以將適用于深度學(xué)習(xí)的邊緣計(jì)算分為四種:第一種是整體卸載[24],即將整個(gè)任務(wù)在“端-邊-云”三個(gè)層次中的任意一層中執(zhí)行完成,但這需要提前準(zhǔn)備好具有不同精確度的多種模型,再根據(jù)需求和條件執(zhí)行計(jì)算任務(wù)。第二種是動(dòng)態(tài)地拆分計(jì)算任務(wù)至上述三個(gè)層次(部分卸載[25]),而這需要進(jìn)一步地考慮任務(wù)切分與執(zhí)行順序等問(wèn)題。第三種是采用垂直協(xié)作的模式[26],三個(gè)層次均可以執(zhí)行推理過(guò)程,其中層次越高,問(wèn)題求解的精確度也就越高。在這種方式中可以將低層次的輸出作為高層次的輸入,從而降低計(jì)算過(guò)程中的運(yùn)算與傳輸開(kāi)銷(xiāo)。第四種是采用水平協(xié)作的模式[27],這種協(xié)作通過(guò)并行的、分布式地執(zhí)行計(jì)算任務(wù),并可以有效降低單點(diǎn)的計(jì)算壓力,節(jié)省系統(tǒng)中計(jì)算時(shí)間的開(kāi)銷(xiāo)。DL計(jì)算的邊緣計(jì)算模式如圖4所示。
圖4 DL計(jì)算的邊緣計(jì)算模式
3.5 深度學(xué)習(xí)用于邊緣計(jì)算優(yōu)化(DL for Edge)
深度學(xué)習(xí)也能優(yōu)化邊緣計(jì)算這一模式中的各類決策問(wèn)題,進(jìn)而實(shí)現(xiàn)邊緣的智慧管理。例如:自適應(yīng)的邊緣緩存策略、計(jì)算任務(wù)的分流優(yōu)化、邊緣節(jié)點(diǎn)的資源分配。其中,通用的DL模型可以提取潛在的數(shù)據(jù)特征,而DRL則能夠通過(guò)與環(huán)境的交互來(lái)學(xué)習(xí)并制定決策。接下來(lái)就以自適應(yīng)的邊緣緩存策略為例展示具體應(yīng)用。
以內(nèi)容分發(fā)網(wǎng)絡(luò)(Content Delivery Network,CDN)為典型的緩存技術(shù),是傳統(tǒng)網(wǎng)絡(luò)中一種應(yīng)對(duì)流量增長(zhǎng)的有效方法,多年來(lái)一直受到大量關(guān)注。而在移動(dòng)網(wǎng)絡(luò)中,邊緣緩存(Edge caching)被認(rèn)為是減少冗余數(shù)據(jù)傳輸、緩解云數(shù)據(jù)中心壓力與提高QoE的有效解決方案,然而也存在著一些挑戰(zhàn)與機(jī)遇。例如,由于傳輸內(nèi)容多種多樣并隨著時(shí)-空屬性改變而變化,邊緣覆蓋范圍內(nèi)的內(nèi)容流行度實(shí)際上難以估計(jì)。此外,只有在已知內(nèi)容流行度分布的情況下,最優(yōu)的邊緣緩存策略才能被求解得到。進(jìn)一步地,又考慮到用戶諸如移動(dòng)性、連接性與個(gè)人偏好等屬性隨時(shí)間的變化而變化,用戶對(duì)于內(nèi)容的實(shí)際選擇是較難預(yù)測(cè)的,因此,傳統(tǒng)的求解方法需要通過(guò)大量的在線計(jì)算來(lái)確定具體實(shí)例的放置與交付,因此通常具有相當(dāng)高的計(jì)算復(fù)雜度。與之對(duì)應(yīng),通用的DL模型能夠利用離線訓(xùn)練-在線預(yù)測(cè)的方式,降低在線過(guò)程的繁重計(jì)算[28]。進(jìn)一步地,相比于通用的DL方法從原始數(shù)據(jù)中學(xué)習(xí)關(guān)鍵特征,將RL和DL相結(jié)合的DRL方法能夠借助高維觀測(cè)數(shù)據(jù)直接優(yōu)化邊緣計(jì)算網(wǎng)絡(luò)中的緩存管理策略[29]。
4 總結(jié)
作為當(dāng)今人工智能領(lǐng)域最為火熱的概念之一,深度學(xué)習(xí)在解決復(fù)雜問(wèn)題上展現(xiàn)出了強(qiáng)大的實(shí)力,并催生出了多種多樣的應(yīng)用場(chǎng)景。然而,隨著求解問(wèn)題的逐漸復(fù)雜,深度學(xué)習(xí)對(duì)計(jì)算能力與數(shù)據(jù)傳輸?shù)囊蟛粩嗵岣撸瑐鹘y(tǒng)的“端-云”計(jì)算架構(gòu)逐漸難以滿足業(yè)務(wù)需求。
作為一種新型的計(jì)算模式,邊緣計(jì)算為深度學(xué)習(xí)開(kāi)辟了另一片廣闊的天地。一方面,邊緣計(jì)算能夠優(yōu)化配置網(wǎng)絡(luò)中的各類資源,從而改進(jìn)深度學(xué)習(xí)的性能表現(xiàn);另一方面,深度學(xué)習(xí)也能夠反向促進(jìn)邊緣計(jì)算的發(fā)展,體現(xiàn)出超越傳統(tǒng)方法的性能表現(xiàn)與應(yīng)用前景。因此,本文介紹了邊緣計(jì)算與深度學(xué)習(xí)之間的關(guān)系與使能技術(shù),說(shuō)明了邊緣智能與智能邊緣中的典型應(yīng)用。總的來(lái)說(shuō),深度學(xué)習(xí)與邊緣計(jì)算的相互融合與彼此促進(jìn)將會(huì)不斷地、廣泛地、更加深刻地改變?nèi)祟惖娜粘I睢?br/>
參考文獻(xiàn):
[1] W.Shi,J.Cao et al.Edge Computing:Vision and Challenges[J].IEEE Internet Things J,2016,3(5):637-646.
[2] M.Satyanarayanan,P.Bahl,R.Cceres,N.Davies.The case for vm-based cloudlets in mobile computing[J].IEEE Pervasive Comput,2009,8(4):14-23.
[3] M.Aazam,E.Huh.Fog computing micro datacenter based dynamic resource estimation and pricing model for iot[C].IEEE 29th International Conference on Advanced Information Networking and Applications(AINA 2019),2015:687-694.
[4] F.Bonomi,R.Milito,J.Zhu,S.Addepalli.Fog computing and its rolein the internet of things[C].The first edition of the MCC workshop on Mobile cloud computing,2012:13-16.
[5] J.Schmidhuber.Deep learning in neural networks:An overview[J].Neural Networks,2015,61,85-117.
[6] J.Redmon,S.Divvalaetal.You Only Look Once:Unified,RealTime Object Detection[C].2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR 2016).2016:779-788.
[7] Yiwen Han,Xiaofei Wang,Victor C.M.Leung,et al.Convergence of Edge Computing and Deep Learning:A Comprehensive Survey[M].
[8] C.Liu,Y.Cao,Y.Luo et al.A New Deep Learning-Based Food Recognition System for Dietary Assessment on An Edge Computing Service Infrastructure[J].IEEE Trans.Serv.Comput,2018,11(2):249-261.
[9] S.Yi,Z.Hao,Q.Zhang et al.LAVEA:Latency-aware Video Analytics on Edge Computing Platform[C].in Proc.the Second ACM/IEEE Symposium on Edge Computing(SEC 2017),2017:1-13.
[10] J.Ren,Y.Guo,D.Zhang et al.Distributed and Efficient Object Detection in Edge Computing: Challenges and Solutions[J].IEEE Network,2018,32(6):137-143.
[11] C.Szegedy,WeiLiu,Yangqing Jia et al.Going deeper with convolutions[C].2015 IEEE Conference on Computer Visionand Pattern Recognition(CVPR 2015),2015:1-9.
[12] K.He,X.Zhang,S.Ren,and J.Sun.Deep Residual Learning for Image Recognition[C].2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR 2016),2016:770-778.
[13] X.Zhang,X.Zhou,M.Lin,and J.Sun.Shufflenet:An extremely efficient convolutional neural network for mobile devices[C].2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR 2018),2018:6848-6856.
[14] L.Lai and N.Suda.Enabling deep learning at the IoT edge[C].The International Conference on Computer-Aided Design(ICCAD 2018),2018:1-6.
[15] Z.Zhao,Z.Jiang,N.Ling et al.ECRT:An Edge Computing System for Real-Time Image-based Object Tracking[C].The 16th ACM Conference on Embedded Networked Sensor Systems(SenSys 2018).2018:394-395.
[16] Z.Zhao,K.M.Barijough,and A.Gerstlauer.DeepThings:Distributed Adaptive Deep Learning Inference on Resource-Constrained IoT Edge Clusters[J].IEEE Trans.Comput.Aided Des.Integr.Circuits Syst.2018,37(11):2348-2359.
[17] S.Teerapittayanon et al.BranchyNet:Fast inference via early exiting from deep neural networks[C].The 23rd International Conference on Pattern Recognition(ICPR 2016),2016:2464-2469.
[18] Y.Huang,Y.Zhu,X.Fan et al.Task Scheduling with Optimized Transmission Time in Collaborative Cloud-Edge Learning[C].27th International Conference on Computer Communication and Networks(ICCCN 2018),2018:1-9.
[19] Y.Lin,S.Han,H.Mao et al.Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training[Z].eprint arXiv:1712.01887,2017.
[20] Z.TaoandC.William.eSGD:Communication Efficient Distributed Deep Learning on the Edge[C]. USENIX Works hop on Hot Topics in Edge Computing (HotEdge 18),2018:1-6.
[21] H.B.McMahan,E.Moore,D.Ramage et al.Communication efficient learning of deep networks from decentralized data[C].The 20th International Conference on Artificial Intelligence and Statistics (AISTATS 2017).2017:1273-1282.
[22] S.Samarakoon,M.Bennis,W.Saad,andM.Debbah.Distributed Federated Learning for Ultra-Reliable Low-Latency Vehicular Communications.arXiv preprint arXiv:1807.08127,2018.
[23] C.Xie,S.Koyejo,andI.Gupta.Practical Distributed Learning: Secure Machine Learning with Communication-Efficient Local Updates. arXiv preprint arXiv:1903.06996, 2019.
[24] X.Ran,H.Chen,Z.Liu et al.Delivering Deep Learning to Mobile Devices via Offloading[C].The Workshop on Virtual Reality and Augmented Reality Network(VR/AR Network 2017),2017:42-47.
[25] E.Cuervo,A.Balasubramanian,D.-k.Choetal.MAUI:Making Smartphones Last Longer with Code Offload[C].The 8th international conference on Mobile systems,applications, and services(MobiSys 2010),2010,49-62.
[26] Y.Huang,X.Ma,X.Fan et al.When deep learning meets edge computing[C].IEEE 25th International Conference on Network Protocols(ICNP 2017),2017,1-2.
[27] J.Mao,X.Chen,K.W.Nixonetal.MoDNN:Local distributed mobile computing systemfor Deep Neural Network[C].Design, Automation&Test in Europe Conference & Exhibition(DATE 2017),2017, 1396-1401.
[28] A.Ndikumana,N.H.Tran,and C.S.Hong.Deep Learning Based Caching for Self-Driving Car in Multi-access Edge Computing.arXiv preprint arXiv:1810.01548,2018.
[29] D.AdelmanandA.J.Mersereau.Relaxations of weakly coupled stochastic dynamic programs[J].Operations Research,2008,56(3):712-727.
作者簡(jiǎn)介:
劉志成,天津大學(xué)智能與計(jì)算學(xué)部計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院博士研究生在讀。
韓溢文,天津大學(xué)智能與計(jì)算學(xué)部計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院博士研究生在讀。
沈仕浩,天津大學(xué)智能與計(jì)算學(xué)部計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院碩士研究生在讀。
宋金鐸,天津大學(xué)智能與計(jì)算學(xué)部計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院本科生在讀。
王曉飛,天津大學(xué)智能與計(jì)算學(xué)部計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院教授、博士生導(dǎo)師,擔(dān)任天津大學(xué)-天津電信聯(lián)合研究中心主任,入選青年海外高層次人才引進(jìn)計(jì)劃。迄今在 IEEE JSAC,IEEE Trans.on Wireless Comm.,IEEE WirelessComm.,IEEE Trans.on Multimedia,IEEE INFOCOM等國(guó)際高水平會(huì)議與權(quán)威期刊發(fā)表論文100余篇。獲得IEEE通訊協(xié)會(huì)“年度最佳雜志論文獎(jiǎng)(Fred W.EllersickPrize)”,獲得CCF-Intel青年學(xué)者提升計(jì)劃、ACM ChinaRising Star、天津大學(xué)“北洋青年學(xué)者”等科研獎(jiǎng)勵(lì)。
摘自《自動(dòng)化博覽》2020年2月刊