国产欧美日韩精品a在线观看-国产欧美日韩精品一区二区三区-国产欧美日韩精品综合-国产欧美中文字幕-一区二区三区精品国产-一区二区三区精品国产欧美

★北京大學 沈晴霓 

摘要：邊緣學習旨在實現云-邊-端協同的機器學習模型訓練和預測，天然具有一 定隱私保護能力。但是，邊緣學習過程面臨新的安全與隱私泄露風險。為此， 本文從邊緣學習的概念出發，重點圍繞邊緣學習安全與隱私泄露風險及其隱私 計算架構、關鍵技術、未來方向展開論述。 

關鍵詞：邊緣學習； 隱私計算； 聯邦學習； 安全多方計算； 可信執行環境 

Abstract：Edge learning is mainly applicable in collaborative machine learning and model prediction scenarios that involve cloud-edge-end architecture. This distributed nature of edge learning naturally provides a certain level of privacy protection. However, collaborative learning faces some new privacy risks that must be addressed. Therefore, this paper explores the concept of edge learning and focuses on the security and privacy disclosure risks associated with it. Additionally, the paper delves into the technical architecture, key technologies, and future directions of privacy computing in edge learning. 

Key words: Edge learning; Privacy computing; Federated learning; Secure multi-party computing; Trusted execution environment 

1　引言 

當前，個人數據隱私保護備受關注，各國陸續推 出隱私保護相關法律法規和技術標準，如歐盟《通用數 據保護條例》、美國《統一個人數據保護法案》、英國 Edge Learning: Privacy Computing Architecture Key Technologies and Challenges 《數據保障法案》、我國《數據安全法》和《個人信息 保護法》以及ISO/IEC國際標準《信息技術-安全技術隱私架構框架》等，且聯邦學習、安全多方計算和可信 執行環境成為隱私計算三大主流技術體系。 

邊緣學習[1-4]使得數據在本地或者最近的邊緣服務 器上得到處理，用于訓練本地的機器學習模型，只需要 和云中心通信必要的模型參數，一定程度上保護了數據 的隱私性。但是“云-邊-端”架構的邊緣學習模式在數 據、網絡、計算和模型層面會面臨新的安全與隱私泄露 風險，需要采用主流隱私計算技術保護邊緣學習過程隱 私性，而這又對協同計算方之間交互的模型信息增加了 加干擾、加密、部署可信執行環境等操作，會降低最終 模型的精度、影響模型的收斂速度和學習過程的公平性 和持續性。為此，本文從邊緣學習概念、特征和分類出 發，重點討論邊緣學習安全與隱私泄露風險、技術架構 與技術進展，以及面臨的技術挑戰。

 2　邊緣學習概述 

2.1　邊緣學習概念及特征 

邊緣學習[1-4]是一種基于“云-邊-端”層次化、分布 式的計算框架，在邊緣層進行模型訓練與模型推理的過 程，如圖1所示。邊緣學習具有如下特征：

 圖1 邊緣學習架構圖

 （1）多方協同 

邊緣計算支持云邊協同、邊邊協同、云邊端協同等 模式[2]，所以邊緣學習天然支持協同學習，利用異構分 布的計算設備協同訓練模型。 

（2）差異學習 

邊緣學習過程參與的各個邊緣服務器能夠利用不 同規模、不同類型、非獨立同分布的數據集進行差異 化學習[3]。 

（3）隱私保護 

邊緣學習是在數據源本地或者就近的邊緣服務器上 進行分析和處理，用于訓練本地的機器學習模型[5]，所 以邊緣學習天然就具有一定的隱私保護能力。 

（4）輕量通信

邊緣學習使得數據在數據源本地或附近盡快得到處 理，所以避免了在網絡上傳輸大量的數據，或者僅需與 云/其他邊緣服務器/邊緣終端進行少量地通信，大大降 低了通信量[5]。

 2.2　邊緣學習技術的分類

 邊緣學習根據體系結構的不同，主要分為如下三類： 

（1）終端設備學習 

終端設備學習是指直接在終端設備上執行神經網 絡模型學習過程，目的是減少終端設備與邊緣服務器之 間的運行延遲，并減少終端設備上隱私數據的泄露風險。這類邊緣學習架構需要提供資源受限的終端設備上 的模型設計、模型壓縮和硬件加速等三種技術。例如： 從模型設計層面減少神經網絡的參數數量[5,6,7]，以滿足 高精度要求下減少內存和執行延遲；通過參數剪枝和知 識蒸餾等技術對原始模型以最小的精度損失來進行壓縮[4]；此外，供應商通過整合現有的硬件資源（GPU、 CPU等）以加速深度學習效率，或者設計專門用于 深度學習的集成電路（ASIC），如谷歌的TPU[8]， ShiDianNao[9]及軟件開發工具發揮硬件的加速效果。 

（2）邊緣服務器學習 

邊緣服務器學習是指將原屬于終端設備的所有神 經網絡學習都放到邊緣服務器上，終端設備僅需發送數 據與接收學習的結果，目的是解決資源受限的終端設備 無法支持實時性要求高的大型神經網絡計算，而放在云 端計算又無法支持低延遲需求的問題[5,6]。這類邊緣學 習需要增加數據預處理和多任務資源管理兩種技術。例 如，邊緣服務器只對發生了變更的數據執行計算，否則 將在終端設備上預處理；利用遷移學習技術處理來自多 個終端設備的請求，使多個請求任務能夠共享神經網絡 的低層計算，只需特化對應請求任務的少數高層計算。 

（3）云邊端協同學習 

云邊端協同學習是指利用智能協同技術，即根據硬 件算力、模型分層、數據大小、網絡延遲和帶寬、隱私 要求等諸要素，將終端設備、邊緣服務器，以及云智能 地聯合起來共同參與計算，實現云邊端協同，優化學習 效率和增強隱私性。例如，可以將強大的神經網絡模型 學習任務遷移到邊緣服務器上執行，而較弱的模型學習 任務在終端設備本地執行。也可以利用神經網絡分層的 特點進行模型分離，一些層在終端設備上計算，一些層 在邊緣服務器或云上計算；或者在不違背任務實時性條 件下，合理使用云端的強大計算資源，幫助處理計算量 大的請求，提高邊緣服務器的請求處理率和減少云邊之 間的網絡流量。

 3　邊緣學習的隱私計算技術現狀 

邊緣學習的訓練數據通常來自邊緣側的終端和設 備，如用戶手機終端數據、企業的生產現場數據、傳感 器上存儲的用戶的生理指標數據、行為數據等，這些往 往是用戶的隱私敏感數據。邊緣學習在本地的數據處理 天然具有隱私保護能力，但是其使用智能協同技術，即 根據硬件算力、模型分層、數據大小、網絡延遲和帶寬、隱私要求等諸多要素，將終端設備、邊緣服務器、 云智能地聯合起來共同參與計算，實現“云-邊-端”協 同，涉及的設備種類、規模和用戶群體復雜、調度管理 機制和計算環境復雜。因此，邊緣學習數據、網絡、計 算和模型面臨新的安全和隱私泄露風險[1]，需要構建隱 私計算架構，并開展相應關鍵技術研究。

 3.1　邊緣學習安全與隱私泄露風險 

（1）數據風險 

數據在邊緣層進行模型訓練與模型推理天然具有一 定的隱私保護能力，但是在邊緣層的數據采集、傳輸和存 儲等環節面臨風險。例如：在邊緣設備的數據采集過程 中，由于網絡連接不穩定、邊緣設備資源耗盡等原因， 存在采集的原始數據不準確、數據缺失等風險；在云邊 端協同場景中，邊緣層通過網絡上傳敏感數據（如模型 參數）給云端時，在未加密保護的情形下可能存在信道 的數據竊聽風險；存儲在邊緣層的數據，由于邊緣層的 數據安全防護措施缺少或薄弱的情況更加普遍，所以存 在黑客入侵攻擊造成的數據竊取、篡改和丟失等風險。 

（2）網絡風險 

邊緣學習的基礎設施大量部署在網絡的邊緣層， 它們與海量、異構、資源受限的終端設備大多采用短距 離的無線通信技術，或者采用專用的工業協議，這些協 議大多安全性考慮不足，因此會面臨一系列網絡安全風 險。例如：Modbus、Profinet、Zigbee等工業協議被 頻繁爆出漏洞，極易被黑客利用；攻擊者利用惡意終端 設備或邊緣路由器發起DDoS攻擊，或者產生沖突、干 擾、阻塞通信，或者將欺詐性數據分組注入通信鏈路， 或者在通信層欺騙、重定向、誤導或刪除數據分組，通 過生成路由循環或錯誤消息更改路由信息等。 

（3）計算風險 

邊緣學習的計算設備主要包括具有邊緣算力的智能 終端設備、工業控制設備、邊緣控制器、邊緣網關、邊 緣計算服務器以及專用設備等，通常部署在行業現場， 以實現實時的數據處理和決策，這些計算設備通常存在 軟硬件漏洞及面臨著針對設備的攻擊風險。例如在智能 家居場景中，為了在緊急情況下關閉供暖系統，恒溫器 需要煙霧探測器的數據，因此攻擊者可能通過入侵煙霧 探測器的方式控制整個家庭自動化系統。此外，攻擊者 可能通過對設備的物理訪問提取有價值的加密信息，進 而篡改電路、修改編程或者更改操作系統，從而導致永 久性破壞，或者利用側信道攻擊技術，對加密系統的安 全性和可靠性構成嚴重的敏感信息泄露威脅。 

（4）模型風險 

邊緣學習的主要任務是機器學習或深度學習模型 的訓練、部署和推理，面臨一系列模型攻擊的風險。 例如：惡意節點在模型訓練環節中實施投毒攻擊和隱 私泄露攻擊。其中數據投毒攻擊，即惡意節點會注入一 些惡意樣本對原始樣本數據集進行污染，使得模型中 毒，干擾模型的準確率。模型投毒攻擊，即惡意節點通 過推導和計算，對模型參數或梯度信息進行精心的修改 或替換，使得模型準確率降低，造成模型可用性降低。 此外，隱私泄露攻擊，即半誠實的云服務器通過收集明 文梯度等信息，通過GAN網絡便可恢復邊緣層的原始 樣本信息，造成隱私泄露。訓練完成的模型，在云服務 器或邊緣服務器存儲及下發過程中，在未加密保護情形 下存在模型竊取、后門植入等風險。在模型推理環節， 攻擊者精心構造對抗樣本，加入人類不易察覺的微小擾 動，達到欺騙模型的目的，或者通過訪問模型推理服務 的API接口，從預測值反向推測輸入的原始樣本或其屬 性信息，構成成員推理和模型逆向攻擊。

 3.2　邊緣學習的隱私計算技術架構 

隱私計算[4]是指處理、分析和計算數據的過程中能 夠保持數據透明、不泄露、無法被計算方及其他非授 權方獲取，即在提供隱私保護的前提下實現數據價值挖 掘的技術體系。根據具體的實現方法，目前主要分為 三大主流技術體系：一是聯邦學習，即在不公開數據 的情況下執行本地分析與處理，如：橫向聯邦學習、縱 向聯邦學習和遷移聯邦學習等技術；二是安全多方計 算（SMC），即在一個分布式網絡中，多個參與實體 各自持有秘密輸入，各方希望共同完成某函數的計算， 而要求使得每個參與實體除計算結果外均不能得到其 他參與實體的任何輸入數據，所以在處理之前通常需 要轉換數據和/或算法，如：差分隱私、同態加密、秘 密共享、茫然傳輸、混淆電路等技術；三是可信執行環境（TEE），即提供可信硬件支持的安全隔離環境來 執行和處理數據，如：ARM TrustZone、Intel SGX、 AMD SEV、RISC-V keystone，以及國內鯤鵬處理 器、群/盲簽名、遠程證明等安全保障技術。 

 圖2 邊緣學習：隱私計算架構 

因此，如圖2，面向邊緣學習的隱私計算軟件體系 架構[1]自底向上為：密碼學算法與協議層、AI算法與工 具層、邊緣學習優化算法與工具層、隱私計算框架層等 四個層次。其中： 

（1）密碼學算法與協議層：提供同態加密、秘密 共享、茫然傳輸、混淆電路、零知識證明、群簽名、盲 簽名、差分隱私和遠程證明等基礎密碼學算法與協議， 并提供基于上述算法與協議的四則運算、比較運算、邏 輯運算和矩陣運算等類型的計算工具。 

（2）AI算法與工具層：提供數據預處理階段的特 征工程、激活函數計算，模型訓練階段的優化器、損 失函數、梯度計算，以及模型預測和推理階段的聚合 操作工具，并提供邏輯回歸、隨機森林、DNN/CNN、 RNN、LSTM、Transformer等人工智能算法。 

（3）邊緣學習優化算法與工具層：提供深度學習 模型設計、模型壓縮、模型分離、硬件加速、資源調 度、計算遷移和協同計算等優化算法和工具。 

（4）隱私計算框架層：提供聯邦學習、SMC和 TEE等隱私計算框架，實現相應隱私計算算法容器的可 信部署、計算任務的靈活調度、監控和管理，支持金 融、醫療、工業等邊緣學習場景，幫助構建隱私保護的 模型訓練、模型推理，以及聯合統計、隱私求交、匿蹤 查詢等典型應用場景。

 同時，針對邊緣學習面臨的數據、網絡、計算和 模型層面風險（3.1節），需要提供相應的安全保障機 制。其中，需要提供差分隱私、同態加密、秘密共享和 可驗證計算等技術保障邊緣學習數據的私密性和完整 性；需要提供通信信道安全、可靠連接、延遲可控和通 信輪次減少等技術保障邊緣學習網絡的安全性和可靠 性。需要提供計算環境可信、資源安全調度、身份安全 認證和硬件加速/TEE支持等技術保障邊緣學習計算節 點的可信性和可用性。需要提供數據清洗、魯棒學習、 對抗訓練、模型融合等技術保障模型的機密性、完整性 和可用性。

 3.3　邊緣學習的隱私計算關鍵技術 

面向邊緣學習的隱私計算所依賴的關鍵技術主要包 括聯邦學習、安全多方計算（SMC）和可信執行環境 （TEE）。從適用性上看，聯邦學習更適用于保密性要 求不高但數據量大的模型訓練，基于密碼學的SMC更 適用于數據量適中但保密性要求較高的重要數據應用， 而TEE因為性能和通用性具有較大優勢而更適用于復 雜、數據量大的通用場景和通用算法，如大數據協作、 人工智能模型保護等。從技術上看，聯邦學習的優點是 數據本地處理可降低隱私泄露風險，缺點是學習過程中 參數傳遞和共享仍然會帶來隱私泄露問題，且通信開銷 大、模型精度和收斂效率低；SMC的優點是隱私性在 理論上可證安全，但是協議交互和計算開銷大，且支持 的計算類型有限。TEE的優點是可以基于硬件實現類似 全同態加密能力且性能遠低于目前全同態加密算法，缺 點是依賴于硬件，并且兼任性和計算開銷離產業需求還 有一定距離。

 （1）基于聯邦學習的邊緣學習 

基于聯邦學習的邊緣學習主要需要解決學習過程中 參數傳遞和共享仍然會帶來的隱私泄露問題。例如：利 用差分隱私技術保護模型參數[10,11,12]，主要在云服務器 聚合全局模型時對模型參數分別添加高斯噪音[10]、普拉 斯噪音[11]，或者在參與方本地訓練過程中為待傳遞模型 參數添加高斯噪音[12]；利用同態加密算法，對模型更新 進行加密，由云服務器聚合更新密文[13]；在聯邦學習中利用函數加密、秘密共享技術實現安全多方計算來保護 模型參數[14，15]。 

（2）基于安全多方計算的邊緣學習 

基于安全多方計算的邊緣學習需要互不信任的多方 在不提供明文的情況下，在對輸入數據采用混淆電路、秘 密共享和同態加密處理的基礎上進行聯合函數計算，因此 主要需要解決聯合計算執行效率過低、通信開銷過大的問 題[16]。例如：采取剪切和選擇、并行處理以及預處理等手 段優化基于混淆電路的安全多方計算協議[16]；將可擴展的 Spark框架與Sharemind SMC秘密共享框架結合，提出新 的混合安全多方計算協議[17]，提高了連接和聚合操作的執 行效率，以及降低通信成本；建立了TensorFlow機器學 習框架之上的基于秘密共享的安全多方計算開源庫和協議 代碼轉換方法[18,19]，提高了計算執行效率；基于帶門限的 全同態加密、多密鑰參與的全同態加密構建了安全多方計 算協議[20,21]，協議的通信成本較低。 

（3）基于可信執行環境的邊緣學習 

基于可信執行環境的邊緣學習需要解決三個主 要問題：首先，邊緣學習場景下，云服務需要下沉到 邊緣，而邊緣層為基于容器的微服務部署架構，因 此云原生應用遷移到邊緣容器上部署運行時需要構建 TEE邊緣容器，如：Gramine、Mystikos、Occlum 等[22]。LibOS開源項目，能夠支持云原生應用無修改 遷移到TEE（SGX）邊緣容器；其次，需要在邊緣服 務器支持模型訓練，因此需要在邊緣服務器支持AI 算法庫和軟件框架，如: TensorSCONE[23]是在SGX 基礎硬件平臺上提出的一個安全的機器學習框架， secureTF框架[24]在此基礎之上將SGX的保護拓展到 Tensorflow的分布式框架上，為跨機器的有狀態機 器學習提供安全保障。

 4　邊緣學習的隱私計算技術展望 

云邊端協同的隱私計算技術，除了支持三種主流 隱私計算技術之外，還需要通過優化協同、優化算法來 提高模型精度，通過通信優化、資源優化來提高學習效 率，通過引入區塊鏈等技術，以及價值度量和貢獻激勵 機制提高云邊協同學習參與的積極性。

 （1）模型精度 

邊緣學習需要云邊端協同，采用隱私計算技術后， 協同方之間交互的信息需要加干擾、加密、部署可信執 行環境等處理，會降低模型的收斂速度和最終模型的精 度。因此，如何在保護數據隱私的前提下，盡可能提高 協同學習模型的精度和最終模型的可用性成為了挑戰。 

（2）學習效率 

邊緣學習需要大量終端設備、邊緣服務器和云服務 器交互協同，采用隱私計算技術后，增加的大量安全交 互過程會產生額外的通信開銷，這會大大降低模型訓練 的效率。因此，如何在保護數據隱私的前提下，盡可能 提高模型的學習效率成為了挑戰。 

（3）激勵機制 

邊緣學習過程中，不同邊緣計算節點的數據集和資 源差異大，對全局模型的貢獻度不同，采用隱私計算技 術后，邊緣計算節點通常對交互的信息加干擾、加密、 部署可信執行環境等處理，會降低數據的價值和參與方 的貢獻度，影響邊緣學習過程的可持續性。因此，如何 在保護數據隱私的前提下，通過有效的激勵機制，保證 邊緣學習過程的持續性成為了挑戰。

 5　結論 

本文從邊緣學習的概念、特征及分類出發，重點圍 繞邊緣學習面臨的安全與隱私泄露風險、隱私計算技術 架構及關鍵技術等三個方面的技術研究進展進行了分析 與綜述，并展望了隱私計算技術未來在模型精度、學習 效率和激勵機制三個方面面臨的技術挑戰。

 作者簡介：

 沈晴霓，女，北京大學教授、博士生導師，兼任邊緣計 算產業聯盟安全工作組主席。主要研究方向為操作系統 與虛擬化安全、大數據安全、云/邊緣計算安全、區塊 鏈與隱私計算、可信計算等。

參考文獻： 

[1] 邊緣計算產業聯盟安全工作組. 邊緣學習：隱私計算白皮書[R/OL]. 2022. 

[2] Murshed M G S, Murphy C, Hou D, et al. Machine Learning at the Network Edge: A Survey[J]. ACM Computing Surveys (CSUR), 2021, 54 (8) : 1 - 37. 

[3] Zhang, Jie, et al. Edge Learning: The Enabling Technology for Distributed Big Data Analytics in the Edge[J]. ACM Computing Surveys (CSUR) 54.7 (2021) : 1 - 36.

[4] Zhang J, Chen B, Zhao Y, et al. Data Security and Privacy-Preserving in Edge Computing Paradigm: Survey and Open Issues[J]. IEEE Access, 2018, 6 : 18209 - 18237. 

[5] Chen J, Ran X. Deep Learning with Edge Computing: A Review[J]. Proceedings of the IEEE, 2019, 107 (8) : 1655 - 1674. 

[6] A. G. Howard et al. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications[J/OL]. 2017, arXiv: 1704.04861. 

[7] W. Liu et al., SSD: Single Shot Multibox Detector[C]. In Proceedings of 14th European Conference on Computer Vision (ECCV 2016), 2016 : 21 - 37. 

 [8] J. Redmon and A. Farhadi. YOLO9000: Better, Faster, Stronger[C]. In Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2017). 2017: 6517 - 6525. 

[9] Edge TPU. Available: https://cloud.google.com/edge-tpu/. 

[10] Geyer RC, Klein T, Nabi M. Differentially private federated learning: a client level perspective[C]. 31st Conference on Neural Information Processing Systems (NIPS 2017), Long Beach, CA, USA. 

[11] Jayaraman B, Wang L, Evans D, Gu Q. Distributed Learning without Distress: Privacy-Preserving Empirical Risk Minimization. NeurIPS 2018: 6346-6357.

 [12] Wu M, Ye D, Ding J, Guo Y, Yu R, Pan M. Incentivizing differentially private federated learning: a multidimensional contract approach[J]. IEEE Internet of Things Journal, 2021, 8 (13) : 10639 – 10651. 

[13] Fang C, Guo Y, Wang N, Ju A. Highly efficient federated learning with strong privacy preservation in cloud computing[J]. Computers & Security, 2020, 96: 101889. 

 [14] Xu R, Baracaldo N, Zhou Y, Anwar A, Ludwig H. HybridAlpha: an efficient approach for privacy-preserving federated learning[C]. Proceedings of the 12th ACM Workshop on Artificial Intelligence and Security. New York, NY, USA: Association for Computing Machinery, 2019: 13 – 23. 

[15] Khazbak Y, Tan T, Cao G. MLGuard: mitigating poisoning attacks in privacy preserving distributed collaborative learning[C]. 2020 29th International Conference on Computer Communications and Networks (ICCCN). 

[16] 錢文君, 沈晴霓, 等, 大數據計算環境下的隱私保護技術研究進展[J]. 計算機學報, 2022 : 45 (4), 669 - 701. 

 [17] Volgushev N, Schwarzkopf M, Getchell B, et al. Conclave: Secure multi-party computation on big data[C]. Proceedings of the 14th EuroSys Conference. Dresden, Germany, 2019 : 1 - 18. 

[18] Dahl M, Mancuso J, Dupis Y, et al. Private machine learning in tensorflow using secure computation[J/OL]. arXiv preprint arXiv: 1810.08130, 2018. 

[19] Kumar N, Rathee M, Chandran N, et al. Cryptflow: Secure tensorflow inference[C]. Proceedings of the 41st IEEE Symposium on Security and Privacy. San Francisco, CA, USA, 2020 : 336 - 353. 

[20] Asharov G, Jain A, López-Alt A, et al. Multiparty computation with low communication, computation and interaction via threshold FHE[C]. Proceedings of the 31st Annual International Conference on the Theory and Applications of Cryptographic Techniques. Cambridge, UK, 2012: 483 - 501. 

[21] López-Alt A, Tromer E, Vaikuntanathan V. On-the-fly multiparty computation on the cloud via multikey fully homomorphic encryption[C]. Proceedings of the 44th Annual ACM Symposium on Theory of Computing. New York, NY, USA, 2012 : 1219 - 1234. 

[22] Liu Weijie, Chen Hongbo, Wang XiaoFeng. Understanding TEE Containers, Easy to Use? Hard to Trust[J/OL]. arXiv 2021. https://doi.org/10.48550/arXiv.2109.01923. 

 [23] Kunkel R, Quoc DL, Gregor F, et al. TensorSCONE: A Secure TensorFlow Framework using Intel SGX, CoRR abs/1902.04413 (2019), https://doi.org/10.48550/arXiv.1902.04413.

[24] Lee, Taegyeong, et al. Occlumency: Privacy-Preserving Remote Deep-Learning Inference Using SGX[C]. In Proceedings of the 25th Annual International Conference on Mobile Computing and Networking (MobiCom 2019), 2019 : 1 - 17.

摘自《自動化博覽》2023年第2期暨《邊緣計算2023專輯》