近日,信息學(xué)院楊和林副教授和肖亮教授在智能邊緣計算和無線網(wǎng)絡(luò)研究取得重要進(jìn)展,與新加坡南洋理工大學(xué)Kwok-Yan Lam教授、Dusit Niyato教授和Hao Hu博士,新加坡設(shè)計大學(xué)Zehui Xiong教授, 和普林斯頓大學(xué)H. Vincent Poor教授合作,共同完成的科研成果,Lead federated neuromorphic learning for wireless edge artificial intelligence,以廈門大學(xué)為第一署名單位發(fā)表于在國際期刊《Nature Communications》上。
近年來,隨著移動計算和物聯(lián)網(wǎng)(IoT)的快速發(fā)展,傳感器、機(jī)器人和智能手機(jī)等數(shù)十億設(shè)備連接在一起,產(chǎn)生了大量數(shù)據(jù)。在這驅(qū)動下,邊緣人工智能(AI)這一強(qiáng)大技術(shù)融合了邊緣計算和AI,使邊緣網(wǎng)絡(luò)的設(shè)備能夠本地分析和處理數(shù)據(jù),無需將收集的數(shù)據(jù)傳輸?shù)街行姆?wù)器。此技術(shù)不僅有助于數(shù)據(jù)隱私保護(hù),還可以減少數(shù)據(jù)流量和網(wǎng)絡(luò)延遲。此外,在邊緣網(wǎng)絡(luò)中,通過深度學(xué)習(xí)為語音識別、圖像和視頻分類以及目標(biāo)檢測訓(xùn)練,已實現(xiàn)高精度檢測性能。盡管擁有這些優(yōu)點,邊緣計算仍然面臨以下兩個基本挑戰(zhàn)。首先,深度學(xué)習(xí)等算法本質(zhì)上依賴于復(fù)雜的學(xué)習(xí)方法,同時需要足夠豐富的訓(xùn)練數(shù)據(jù)集。因此,邊緣設(shè)備在有限的局部數(shù)據(jù)集上很難訓(xùn)練得到可靠的模型。其次,機(jī)器學(xué)習(xí)算法通常需要大量計算和訓(xùn)練能耗,這阻礙了能量受限的邊緣設(shè)備訓(xùn)練/分析數(shù)據(jù)。
本文提出了領(lǐng)導(dǎo)式聯(lián)邦神經(jīng)形態(tài)學(xué)習(xí)方案(LFNL),是一種基于SNN的分散式大腦啟發(fā)計算方法,使多個邊緣設(shè)備無需中心協(xié)調(diào)器的情況下協(xié)作訓(xùn)練全局神經(jīng)形態(tài)模型。同時,我們提出了一種領(lǐng)導(dǎo)者選舉方案,選擇一個具有高能力(例如計算和通信能力)的設(shè)備作為領(lǐng)導(dǎo)者來管理模型聚合。該方法可以有效地加快聯(lián)邦學(xué)習(xí)的收斂速度,抵御模型中毒攻擊。
領(lǐng)導(dǎo)式聯(lián)邦神經(jīng)形態(tài)學(xué)習(xí)系統(tǒng)示意圖
圖1a顯示了人類社交網(wǎng)絡(luò)的示意圖。每個人通過五個感覺器官觀察外部環(huán)境的模擬刺激,然后使用神經(jīng)元將刺激轉(zhuǎn)化為尖峰信號,最后由人腦處理。每個人建立一個相應(yīng)的知識模型,然后與其他人共享該模型,以創(chuàng)建一個優(yōu)化的知識模型,以便更好地感知外界環(huán)境。受此啟發(fā),邊緣人工智能引入了聯(lián)邦神經(jīng)形態(tài)學(xué)習(xí)系統(tǒng)(圖1b),其中邊緣設(shè)備配備了攝像機(jī)(視覺)、麥克風(fēng)(聽覺)、雷達(dá)(物體感應(yīng))、壓力傳感器(觸摸)和射頻信號檢測器(無線通信)。這些傳感器采用SNN作為神經(jīng)形態(tài)處理器,將檢測到的信息轉(zhuǎn)換為尖峰信號。
LFNL由一個組中的一個領(lǐng)導(dǎo)者和多個追隨者實現(xiàn)(圖1d),學(xué)習(xí)模型參數(shù)通過分布式網(wǎng)絡(luò)共享和交換,每個設(shè)備在本地數(shù)據(jù)上獨立訓(xùn)練其模型。受仿人學(xué)習(xí)功能的啟發(fā),LFNL通過使用神經(jīng)形態(tài)學(xué)習(xí)訓(xùn)練或評估來自聽覺、視覺和雷達(dá)系統(tǒng)的尖峰信號來實現(xiàn)對外界環(huán)境的感知(圖1e)。
這項工作不僅推動智能邊緣計算、多模態(tài)網(wǎng)絡(luò)和無線網(wǎng)絡(luò)領(lǐng)域突破性發(fā)展的新策略,而且提供了一種技術(shù)和應(yīng)用上可行的類腦神經(jīng)計算思維方式,這些探索將為多模態(tài)網(wǎng)絡(luò)、虛擬現(xiàn)實以及元宇宙等的應(yīng)用發(fā)展提供一定的參考意義。
來源:廈門大學(xué)