1.4.3 聯接計算Fabric
聯接計算Fabric是一個虛擬化的聯接和計算服務層,主要價值包括:
屏蔽ECN節點異構性;
降低智能分布式架構在數據一致性、容錯處理等方面的復雜性;
資源服務的發現、統一管理和編排;
支持ECN節點間的數據和知識模型的共享;
支持業務負載的動態調度和優化;
支持分布式的決策和策略執行。
聯接計算Fabric的主要功能包括:
(1)資源感知
可以感知每個ECN節點的ICT資源狀態(如網絡聯接的質量,CPU占有率等)、性能規格(如實時性)、位置等物理信息等,為計算負載在邊緣側的分配和調度提供了關鍵輸入。
(2)EVF服務感知
它能感知系統提供了哪些EVF服務,這些服務分布在哪些ECN節點上,每個EVF服務在服務哪些計算任務、任務執行的狀態等。從而為計算任務的調度提供輸入。
(3)計算任務調度
既支持主動的任務調度,能夠根據資源狀態、服務感知、ECN節點間的聯接帶寬、計算任務的SLA要求等,自動化地在將任務拆分成多個子任務并分配到多個ECN節點上協同計算。也支持把計算資源、服務資源等通過開放接口對業務開放,業務能夠主動地控制計算任務的調度過程。
(4)數據協同
ECN節點對南向的協議適配,ECN節點之間的東西聯接使用統一的數據聯接協議。通過數據協同,節點間可以相互交互數據、知識模型等。ECN節點需要知道特定的數據需要在哪些節點間共享,共享的方式包括簡單的廣播、Pub-Sub模式等。
(5)多視圖呈現
能夠按照租戶、業務邏輯等進行業務呈現,屏蔽物理聯接的復雜性。例如,每個租戶只需要看到他所運行的計算任務,這些任務在計算聯接Fabric上的分布情況。同時,也可以靈活地按需疊加所需要的智能資產、智能網關、智能系統的位置等物理信息。
(6)服務接口開放
通過開放接口提供計算任務請求、資源狀態反饋、任務執行狀態反饋等,屏蔽智能資產、智能網關和智能系統的物理差異。
圖5 功能視圖:聯接計算Fabric
1.4.4 開發服務框架(智能服務)
通過集成開發平臺和工具鏈集成邊緣計算模型庫和垂直行業模型庫,提供模型與應用的開發、集成、仿真、驗證和發布的全生命周期服務。
支持如下的關鍵服務:
(1)模型化開發服務
定義架構、功能需求、接口需求等模型定義,支持模型和業務流程的可視化呈現,支持基于模型生成多語言的代碼;支持邊緣計算領域模型與垂直行業領域模型的集成、映射等;支持模型庫版本管理。
(2)仿真服務
支持ECN節點的軟硬件仿真,仿真要能夠模擬目標應用場景的ECN節點規格(如內存,存儲空間等)。系統需要支持組件細粒度化、組件可裁剪和重新打包(系統重置),以匹配ECN節點規格。
基于仿真節點,能夠進行面向應用場景的組網和系統搭建,并將開發的模型和應用在仿真環境下進行低成本、自動化的功能驗證。
(3)集成發布服務
從基線庫獲得發布版本,調用部署運營服務,將模型與應用部署到實際的ECN節點。
圖6 功能視圖:開發服務框架
1.4.5 部署運營服務框架(智能服務)
包括業務編排、應用部署(略)和應用市場三個關鍵服務。
(1)業務編排
業務編排服務,一般基于三層架構,如圖7所示:
圖7 功能視圖:業務編排分層
業務編排器
編排器負責定義業務Fab ri c,一般部署在云端(公私云)或本地(智能系統上)。編排器提供可視化的工作流定義工具,支持CRUD操作。編排器能夠基于和復用開發服務框架已經定義好的服務模板、策略模板進行編排。在下發業務Fabric給策略控制器前,能夠完成工作流的語義檢查和策略沖突檢測等。
策略控制器
為了保證業務調度和控制的實時性,通過在網絡邊緣側部署策略控制器,實現本地就近控制。
策略控制器按照一定策略,結合本地的聯接計算Fabric所支持的服務與能力,將業務Fabric所定義的業務流分配給本地某個聯接計算Fabric進行調度執行。
考慮到邊緣計算領域和垂直行業領域需要不同的領域知識和系統實現,控制器的設計和部署往往分域部署。由邊緣計算領域控制器負責對安全、數據分析等邊緣計算服務進行部署。涉及到垂直行業業務邏輯的部分,由垂直行業領域的控制器進行分發調度。
策略執行器
在每個ECN節點內置策略執行器模塊,負責將策略翻譯成本設備命令并在本地調度執行。ECN節點既支持由控制器推送策略,也可以主動向控制器請求策略。
策略可以只關注高層次業務需求,而不對ECN節點進行細粒度控制,從而保證ECN節點的自主性和本地事件響應處理的實時性。
(2)應用市場服務
應用市場服務可以很好地聯接需求方和供給方,將企業單邊創新模式轉變為基于產業生態的多邊開放創新。供給方可以通過App封裝行業Know-How并通過應用注冊進行快捷發布,需求方可以通過應用目錄方便地找到匹配需求的方案并進行應用訂閱。
應用市場服務支持多樣化的App,包括基于工業知識構建的機理模型、基于數據分析方法構建的算法模型、可繼承和復用的業務Fabric模型、支持特定功能(如故障診斷)的應用等。這些App既可以被最終用戶直接使用,也可以通過基于模型的開放接口進行應用二次開發。
1.4.6 管理服務
支持面向終端設備、網絡設備、服務器、存儲、數據、業務與應用的隔離、安全、分布式架構的統一管理服務。
支持面向工程設計、集成設計、系統部署、業務與數據遷移、集成測試、集成驗證與驗收等全生命周期。
1.4.7 數據全生命周期服務
(1)邊緣數據特點
邊緣數據是在網絡邊緣側產生的,包括機器運行數據、環境數據以及信息系統數據等,具有高通量(瞬間流量大)、流動速度快、類型多樣、關聯性強、分析處理實時性要求高等特點。
與互聯網等商業大數據應用相比,邊緣數據的智能分析有如下特點和區別:
因果 VS 關聯
邊緣數據主要面向智能資產,這些系統運行一般有明確的輸入輸出的因果關系,而商業大數據關注的是數據關聯關系。
高可靠性 VS 較低可靠
制造業、交通等行業對模型的準確度和可靠性要求高,否則會帶來財產損失甚至人身傷亡。而商業大數據分析對可靠性要求一般較低。邊緣數據的分析要求結果可解釋,所以黑盒化的深度學習方式在一些應用場景受到限制。將傳統的機理模型和數據分析方法相結合是智能分析的創新和應用方向。
小數據 VS 大數據
機床、車輛等資產是人設計制造,其運行過程中的多數數據是可以預知的,其異常、邊界等情況下的數據才真正有價值。商業大數據分析則一般需要海量的數據。
(2)數據全生命周期服務
可以通過業務Fabric定義數據全生命周期的業務邏輯,包括指定數據分析算法等,通過聯接計算Fabric優化數據服務的部署和運行,滿足業務實時性等要求。
圖8 功能視圖:數據全生命周期服務
數據全生命周期服務包括了:
數據預處理
對原始數據的過濾、清洗、聚合、質量優化(剔除壞數據等)和語義解析。
數據分析
基于流式數據分析對數據即來即處理,可以快速響應事件和不斷變化的業務條件與需求,加速對數據執行持續分析。
提供常用的統計模型庫,支持統計模型、機理模型等模型算法的集成。支持輕量的深度學習等模型訓練方法。
數據分發和策略執行
基于預定義規則和數據分析結果,在本地進行策略執行。或者將數據轉發給云端或其他ECN節點進行處理。
數據可視化和存儲
采用時序數據庫等技術可以大大節省存儲空間并滿足高速的讀寫操作需求。利用AR、VR等新一代交互技術逼真呈現。
1.4.8 安全服務
邊緣計算架構的安全設計與實現首先需要考慮:
安全功能適配邊緣計算的特定架構;
安全功能能夠靈活部署與擴展;
能夠在一定時間內持續抵抗攻擊;
能夠容忍一定程度和范圍內的功能失效,但基礎功能始終保持運行;
整個系統能夠從失敗中快速完全恢復。
同時,需要考慮邊緣計算應用場景的獨特性:
安全功能輕量化,能夠部署在各類硬件資源受限的IoT設備中;
海量異構的設備接入,傳統的基于信任的安全模型不再適用,需要按照最小授權原則重新設計安全模型(白名單);
在關鍵的節點設備(例如智能網關)實現網絡與域的隔離,對安全攻擊和風險范圍進行控制,避免攻擊由點到面擴展;
安全和實時態勢感知無縫嵌入到整個邊緣計算架構中,實現持續的檢測與響應。盡可能依賴自動化實現,但是人工干預時常也需要發揮作用。
圖9 功能視圖:安全服務
安全的設計需要覆蓋邊緣計算架構的各個層級,不同層級需要不同的安全特性。同時,還需要有統一的態勢感知、安全管理與編排、統一的身份認證與管理,以及統一的安全運維體系,才能最大限度地保障整個架構安全與可靠。
節點安全:需要提供基礎的ECN安全、端點安全、軟件加固和安全配置、安全與可靠遠程升級、輕量級可信計算、硬件Safety開關等功能。安全與可靠的遠程升級能夠及時完成漏洞和補丁的修復,同時避免升級后系統失效(也就是常說的“變磚”)。輕量級可信計算用于計算(CPU)和存儲資源受限的簡單物聯網設備,解決最基本的可信問題。
網絡(Fabric)安全:包含防火墻(Firewall)、入侵檢測和防護(IPS/IDS)、DDoS防護、VPN/TLS功能,也包括一些傳輸協議的安全功能重用(例如REST協議的安全功能)。其中DDoS防護在物聯網和邊緣計算中特別重要,近年來,越來越多的物聯網攻擊是DDoS攻擊,攻擊者通過控制安全性較弱的物聯網設備(例如采用固定密碼的攝像頭)來集中攻擊特定目標。
數據安全:包含數據加密、數據隔離和銷毀、數據防篡改、隱私保護(數據脫敏)、數據訪問控制和數據防泄漏等。其中數據加密,包含數據在傳輸過程中的加密、在存儲時的加密;邊緣計算的數據防泄漏與傳統的數據防泄漏有所不同,邊緣計算的設備往往是分布式部署,需要特別考慮這些設備被盜以后,相關的數據即使被獲得也不會泄露。
應用安全:主要包含白名單、應用安全審計、惡意代碼防范、WAF(Web應用防火墻)、沙箱等安全功能。其中,白名單是邊緣計算架構中非常重要的功能,由于終端的海量異構接入,業務種類繁多,傳統的IT安全授權模式不再適用,往往需要采用最小授權的安全模型(例如白名單功能)管理應用及訪問權限。
安全態勢感知、安全管理與編排:網絡邊緣側接入的終端類型廣泛,數量巨大,承載的業務繁雜,被動的安全防御往往不能起到良好的效果。因此,需要采用更加積極主動的安全防御手段,包括基于大數據的態勢感知和高級威脅檢測,以及統一的全網安全策略執行和主動防護,從而更加快速響應和防護。再結合完善的運維監控和應急響應機制,則能夠最大限度保障邊緣計算系統的安全、可用、可信。
身份和認證管理:身份和認證管理功能遍布所有的功能層級。但是在網絡邊緣側比較特殊的是,海量的設備接入,傳統的集中式安全認證面臨巨大的性能壓力,特別是在設備集中上線時認證系統往往不堪重負。在必要的時候,去中心化、分布式的認證方式和證書管理成為新的技術選擇。
1.5 部署視圖
系統主要提供兩種典型的部署模型:三層模型和四層模型。
圖10 部署視圖
(1)三層部署模型
主要面向業務部署到一個或多個分散地域,且每個區域的業務流量規模較小的場景。
典型的場景包括:智慧路燈、智能電梯、智慧環保等場景。
智能資產完成本地處理后,多種或多個業務數據沿著南北向匯聚到智能網關。智能網關除了提供智能資產接入、智能資產本地管理、總線協議轉換等網絡功能外,還提供實時流式數據分析、安全保護、小規模數據存儲等功能。網關將實時業務需求在本地完成處理,同時將非實時數據聚合后送到云端處理。
(2)四層部署模型
主要面向業務部署集中,業務流量規模較大的場景。
典型的場景包括:智能視頻分析、分布式電網、智能制造等場景。
與三層部署場景最典型的區別是:邊緣側數據量大,本地應用系統多,需要大量的計算、存儲資源。智能資產和智能網關完成本地最實時的處理后,將數據匯聚到本地分布式智能系統進行二次處理。這些分布式ECN節點通過東西向聯接進行數據和知識的交換,支持計算、存儲資源的橫向彈性擴展,能夠完成本地的實時決策和實時優化操作。
摘自《自動化博覽》2018年3月刊