中國移動通信有限公司研究院牟彥,姚柯翰,劉鵬,陸璐
1 引言
當前,全球科技創新進入密集活躍時期,新工業革命蓬勃發展。工業互聯網是新一代信息通信技術與工業經濟深度融合的關鍵基礎設施,其打造了新型應用模式和全新工業生態。它通過人、機、物的全面互聯,構建起覆蓋全要素、全產業鏈、全價值鏈的新型制造與服務體系,為工業數字化、網絡化、智能化轉型升級提供了實現路徑。
隨著現代工業向智能化方向的不斷發展,海量工業數據持續發往數據中心,工業設備對通信和計算資源的需求變得越來越緊迫,而算力基礎設施的提升速度仍難以滿足工業互聯網向智能化發展的應用需求。
隨著可編程芯片的出現,在網計算成為一種新的計算范式。在網計算將計算任務卸載至網絡設備,以實現更高效、靈活的數據處理,其主要技術優勢在于減少應用數據搬運、壓縮傳輸數據量,以及優化通信模式。通過引入在網計算加速技術,工業互聯網在網絡基礎設施層能夠更好地支持智能機器的連接、機器與軟件系統的連接、大數據分析等應用。利用網絡基礎設施參與數據計算和控制處理的方式可以提升系統整體運行效率,降低通信延遲,減少總體能耗。
工業互聯網強調“人、機、物”的全面互聯,產生大量應用數據,且多數應用需要滿足低時延、高吞吐、高并發、高可靠的業務需求,因此工業互聯網對算力和網絡的需求十分嚴格。在網計算技術通過近數據處理減少數據搬運,并利用網絡天然的高吞吐交換能力實現控制、計算等任務卸載,可以更好地滿足工業系統對可靠性和時延的要求。工業互聯網的目標是通過開放的網絡平臺將設備、生產元素連接起來,在網計算技術使得這些設備和元素在地理上分散的同時,仍保持高效的數據交換和處理能力,這種協同效應不僅提高了生產的效率,還為創新提供了條件。在網計算可以賦能多種工業互聯網場景,包括提供數據采集、數據清洗、復雜事件驅動及控制決策等技術能力。如解決云化PLC帶來的時延和抖動,利用可編程轉發設備調度控制任務與網絡流量,實現控制任務與專用控制器解耦以支持生產線的切換與靈活升級。
本文通過分析工業互聯網對在網計算加速技術的需求場景,提出了在網計算關鍵技術,并通過在網計算加速了工業互聯網應用部署。
2 工業互聯網的在網計算加速需求
工業互聯網網絡是構建工業環境下人、機、物全面互聯的關鍵基礎設施,根據業務需求和數據流向,工業互聯網網絡又可進一步劃分為工廠內網和工廠外網[1]。
工業互聯網內網和外網中的計算基礎設施部署如圖1所示。其中骨干網絡與超算中心構成工廠外網,生產現場網絡、生產辦公網絡和園區網絡構成工廠內網[2]。
圖1 面向工業互聯網的在網計算加速場景
工業互聯網的計算基礎設施包括部署在工業外網和內網中的中心云、邊緣云、網關等。中心云主要處理非實時的大規模數據,部署在企業外網或內網;邊緣云主要處理有一定實時性、安全性要求的業務,通常部署在園區網絡或者生產辦公網絡。
2.1 園區物聯網的時延敏感業務受邊緣計算規模制約
園區物聯網通過對智能物聯網設備的信息匯總分析,實現對園區運行狀態的實時感知和運行監測。智能物聯設備受制于體積、功耗,常常會存在資源有限、算力不足的情況[3]。當前主流的解決方案是依靠部署在網絡邊緣的邊緣服務器提供計算卸載服務,匯總物聯網終端數據并做出相應決策。
隨著物聯網設備數量的快速增長,基于邊緣計算的計算卸載架構也在帶寬、時延及可靠性上面臨巨大挑戰[4]。一方面,以通用服務器為基礎的邊緣集群的吞吐量性能難以滿足物聯網場景中廣泛存在的高性能計算需求[5]。另一方面,基于邊緣計算的計算卸載架構在完成計算時會引入額外的處理時延和阻塞,難以支撐不斷涌現的時延敏感型物聯網應用(如自動駕駛、應急聯動)。同時,由于邊緣計算中心所在的位置限制,其規模不太可能隨著數據需求的增長而無限擴展。
2.2 生產辦公網絡需要提高基于業務的服務保障能力
工業互聯網中的場景利用XR業務(包括虛擬現實、增強現實和混合現實技術)對現實世界進行模擬、增強或交互。如在虛擬環境中進行產品設計,模擬產品的外觀、功能和性能,有助于加快設計迭代速度,降低開發成本。在維護與修理環節,通過XR為工人提供遠程協作和實時指導,降低維修成本,縮短停機時間。在培訓與教育環節,為學員在虛擬環境中模擬實際操作,提高培訓效果和安全性。
隨著XR技術不斷演化升級,數據流更多源異構、圖像分辨率更高、應用場景更多樣、用戶規模更龐大,對網絡下行帶寬、容量、確定性時延和可靠性均提出了全新要求。業務終端的規模劇增,導致服務器算力不足,對數據通道帶寬的擠占會極大影響控制信息的傳輸,為實現更精準的服務保障,還需要增加手段對數據流的業務信息進行探測和感知。
2.3 生產現場網絡需要解決靈活配置與實時工業控制的矛盾
客戶對制造業提出了定制化和個性化要求,需要生產線具備高度的靈活性,支持生產線的快速重新配置。基于中心云進行控制功能云化,可以實現生產線的快速重配和靈活性,但無法滿足實時工業控制(如執行器、機械臂、傳送帶等的速度或扭矩控制)對低延遲和高可靠性網絡的要求[6]。引入邊緣云計算可以顯著減少傳播延遲,但邊緣計算節點依賴于與遠程云基礎設施相同的虛擬化技術,需要依賴實時操作系統來消除CPU調度的影響。控制更新時間更短、數量更多的新型機械臂實現實時速度控制需要超快的響應時間,傳統的邊緣計算基礎設施很難滿足這一要求。
工業現場需要使用大量的控制器組裝協同完成復雜的操作。工業控制器之間需要通過垂直協同(上下級控制器間的協同)和水平協同(平級控制器間的協同)共同完成特定生產工業流程。如何實現不同控制器之間的指令協同以及機械臂的動作協同,是對機械臂控制器間的交互性能提出的新的要求。
2.4 工廠內外網面臨原始數據擁塞和訓練數據通信瓶頸
工業互聯網的關鍵應用之一就是使用機器學習對海量數據實施流式計算及大數據分析。物聯網設備產生大量連續的數據流,工廠內網采集的原始數據如果直接通過工廠外網送往數據中心,會導致網關擁塞,損害物聯網系統的可擴展性。
云數據中心內部網絡在支持分布式機器學習的訓練過程中,也存在分布式機器學習的中間通信流量過大造成網絡擁塞和較大聚合延遲問題,從而影響分布式機器學習模型訓練速度和效率,進而影響業務的部署和迭代。
3 面向工業互聯網的在網計算技術架構
在網計算使用網絡設備進行近數據計算,可以在高速轉發過程完成應用數據處理,縮短了數據傳輸路徑,是解決分布式應用在計算和通信瓶頸問題上的重要技術。
圖2 面向工業互聯網的在網計算技術架構
如圖2所示,在網計算架構包含異構網元、高性能互聯、在網計算通信庫、分布式應用和編排管理5個核心功能層:異構網元是指在不同場景下具備在網計算能力的物理設備,是實現在網計算的基礎底座;高性能互聯層為服務器、在網計算網元提供可靠、高效的連接保障,可基于現有成熟協議棧,如RoCE、InfiniBand、OPC UA和Modbust等,也可以基于自定義協議棧;在網計算通信庫作為在網計算架構體系的核心層,為分布式應用提供了通用的在網計算加速能力;分布式應用層包含在網計算可以服務的各種應用類型,包括以計算為特征的大規模數據采集、質量管理預測,以控制和響應為特征的AGV協同導引,以多媒體融合為特征的車間可視化等應用;在網計算編排管理層主要包括對網絡設備的資源管理,以及計算任務跨網絡設備運行過程的任務調度管理和編排。
在網計算架構的橫向:在網計算通信庫承上啟下,以異構網內算力資源實現統一的在網計算服務;縱向:在網計算編排管理全棧貫通,優化應用開發模式、協同端網任務部署、統籌網內資源管理。在網計算通過“一橫一縱”實現應用層和網元之間的計算通信協同,實現包括在網數據推理、在網業務感知、在網控制,以及在網數據聚合等4項面向工業互聯網的加速技術。
4 面向工業互聯網的在網計算加速技術
4.1 在網數據推理技術有效彌補園區物聯網邊緣算力不足
在網計算數據推理是由可編程轉發設備實現包括決策樹、SVM、樸素貝葉斯的各種分類算法,支撐網絡設備在網絡路徑上就近返回決策處理結果。引入在網數據推理后,由網絡轉發設備實施數據推理計算,依據分析服務器下發的數據模型對收集到的原始數據進行推理,對原始數據進行特征提取和異常識別并將控制指令返回給終端設備。與基于分析服務器的推理(原始數據被傳輸到分析服務器進行推理)相比,中間層網絡設備推理提前終止了終端設備發往分析服務器的原始數據流量,節省了核心網絡的帶寬,即減少了網絡中業務流的總量,利用網絡設備的高速處理能力減少了推理時間,在卸載分析服務器的算力的同時加速了數據的實時分析和控制指令的響應。
4.2 在網業務感知技術有效提升生產辦公等場景下XR業務的服務質量
在網業務感知通過網絡設備根據數據包載荷獲取業務信息以實現業務探測功能,根據關聯數據流方式實現專用承載識別及網絡切片識別,提供了更精準的服務保障。在網計算技術通過網絡感知業務的方式,提升網、業、端協同以及構建分布式高性能計算能力,為XR終端設備提供了高性能計算支撐。XR業務實現端云協同渲染時,需要實現邊緣云和終端設備協同分配計算任務,在終端側進行低延遲的渲染任務,在邊緣云進行計算密集型的運算和圖像渲染,并整合兩者的計算結果。引入在網計算能力,通過網絡設備增強并行分布式計算能力和聚合通信能力,隨路卸載邊緣云的計算任務,可以大幅提升XR的渲染能力,提供更實時的用戶體驗。
4.3 在網控制技術優化生產現場網絡的可控性和靈活性
在網控制技術是指關鍵控制任務被卸載到通過遠端管理的網元設備中的方法。比如,在進行工業機械臂的控制流程系統中,將工業機械臂的控制流程重新劃分為延遲敏感任務和高級控制任務,將高級控制任務保留在原云/邊緣數據中心的工業控制器,將工業機械臂的實時速度控制卸載到可編程轉發設備。由工業控制器、在網計算網元設備和工業機械臂組成的控制系統,將較長、較遠的控制環路分割成較小的環路,以處理傳輸延遲,實現線速計算,并確保微秒級的實時響應時間,從而解決云和邊緣云機器人技術問題。這種使用網絡硬件對現場實施控制的方式可以在通信過程中為應用層的低延遲實時計算開辟新的領域。
在分布式系統中,通過共識協議來實現對某個數據值或操作序列的一致性,比如鎖管理系統、組播通信、一致性協調。支持在網計算的轉發設備卸載一致性共識功能,可以減少工業控制器之間的協調延遲。
4.4 在網數據聚合技術可降低工廠內網和外網數據擁塞問題
在網數據聚合技術在工廠內網及工廠外網的數據中心內部有不同的實現:
在工廠內網采用在網數據聚合技術,利用可編程數據平面的改進通信協議,支持在網絡級別的硬件交換機內實現數據聚合算法,根據網絡狀態和物聯網設備使用的不同通信技術實現數據聚合功能。通過減少通過網絡發送的數據包數量,減少對網絡設備帶寬資源的占用和服務器計算資源的消耗。
在云數據中心網絡引入在網數據聚合技術,由網絡交換節點卸載機器學習中的參數聚合處理,使任務總體數據傳輸量下降,解決通信系統中存在的帶寬瓶頸,使其模型訓練速度加快,業務效率提升,最終提高系統計算任務的總體性能。
5 總結與展望
工業互聯網對計算和網絡提出了更加嚴格的業務需求,通過引入在網計算可以實現系統性能的提升。本文通過分析工業互聯網工廠內外多種應用場景和業務需求,針對性地提出了在網數據推理、在網業務感知、在網控制,以及在網數據聚合等4項關鍵技術,有效提升了工業互聯網應用的計算效率、可靠性和靈活性,同時提升了算網資源的利用率。面向未來,在網計算將深度融入工業互聯網算網基礎設施,不斷賦能更多應用場景和垂直業務。
作者簡介:
牟 彥(1979-),女,工程師,現就職于中國移動通信有限公司研究院,主要研究方向為未來網絡、在網計算、算力網絡以及工業互聯網的技術和應用。
姚柯翰(1993-),男,工程師,現就職于中國移動通信有限公司研究院,主要研究方向為算網一體前沿技術、在網計算、AI網絡等。
劉 鵬(1991-),男,工程師,現就職于中國移動通信有限公司研究院,主要研究方向為下一代IP網絡、確定性網絡的技術和應用。
陸 璐(1979-),女,高級工程師,現就職于中國移動通信有限公司研究院,主要研究方向為移動核心網策略、演進、標準和技術研究。
參考文獻:
[1] 工業互聯網產業聯盟(AII). 工業互聯網網絡連接白皮書(版本2.0)[R]. 2021.
[2] YANG Fan, SONG Wenxuan, XU Fangmin, et al. Research on the Application of Computing Force Network
Technology in Industrial Internet of Things[J]. Radio Communications Technology, 2023, 49 (1) : 63 - 71.
[3] Kaur K, Garg S, Aujla G S, et al. Edge Computing in the Industrial Internet of Things Environment: SoftwareDefined-Networks-Based Edge-Cloud Interplay[J]. IEEE Communications Magazine, 2018, 56 (2) : 44 - 51.
[4] Rafique W, Qi L, Yaqoob I, et al. Complementing loT Services through Software Defined Networking and Edge Computing: A Comprehensive Survey[J]. IEEE Communications Surveys & Tutorials, 2020, PP (99) : 1.
[5] 潘輝江. 基于網內計算的物聯網計算卸載設計與研究[D]. 北京: 北京郵電大學, 2022.
[6] Sándor Laki1, Csaba Gy?rgyi1, József Pet?o2, et al. In-Network Velocity Control of Industrial Robot Arms[J]. NSDI, 2022.
摘自《自動化博覽》2024年第二期暨《邊緣計算2024專輯》