1.4.3 聯(lián)接計算Fabric
聯(lián)接計算Fabric是一個虛擬化的聯(lián)接和計算服務層,主要價值包括:
屏蔽ECN節(jié)點異構性;
降低智能分布式架構在數(shù)據(jù)一致性、容錯處理等方面的復雜性;
資源服務的發(fā)現(xiàn)、統(tǒng)一管理和編排;
支持ECN節(jié)點間的數(shù)據(jù)和知識模型的共享;
支持業(yè)務負載的動態(tài)調度和優(yōu)化;
支持分布式的決策和策略執(zhí)行。
聯(lián)接計算Fabric的主要功能包括:
(1)資源感知
可以感知每個ECN節(jié)點的ICT資源狀態(tài)(如網(wǎng)絡聯(lián)接的質量,CPU占有率等)、性能規(guī)格(如實時性)、位置等物理信息等,為計算負載在邊緣側的分配和調度提供了關鍵輸入。
(2)EVF服務感知
它能感知系統(tǒng)提供了哪些EVF服務,這些服務分布在哪些ECN節(jié)點上,每個EVF服務在服務哪些計算任務、任務執(zhí)行的狀態(tài)等。從而為計算任務的調度提供輸入。
(3)計算任務調度
既支持主動的任務調度,能夠根據(jù)資源狀態(tài)、服務感知、ECN節(jié)點間的聯(lián)接帶寬、計算任務的SLA要求等,自動化地在將任務拆分成多個子任務并分配到多個ECN節(jié)點上協(xié)同計算。也支持把計算資源、服務資源等通過開放接口對業(yè)務開放,業(yè)務能夠主動地控制計算任務的調度過程。
(4)數(shù)據(jù)協(xié)同
ECN節(jié)點對南向的協(xié)議適配,ECN節(jié)點之間的東西聯(lián)接使用統(tǒng)一的數(shù)據(jù)聯(lián)接協(xié)議。通過數(shù)據(jù)協(xié)同,節(jié)點間可以相互交互數(shù)據(jù)、知識模型等。ECN節(jié)點需要知道特定的數(shù)據(jù)需要在哪些節(jié)點間共享,共享的方式包括簡單的廣播、Pub-Sub模式等。
(5)多視圖呈現(xiàn)
能夠按照租戶、業(yè)務邏輯等進行業(yè)務呈現(xiàn),屏蔽物理聯(lián)接的復雜性。例如,每個租戶只需要看到他所運行的計算任務,這些任務在計算聯(lián)接Fabric上的分布情況。同時,也可以靈活地按需疊加所需要的智能資產、智能網(wǎng)關、智能系統(tǒng)的位置等物理信息。
(6)服務接口開放
通過開放接口提供計算任務請求、資源狀態(tài)反饋、任務執(zhí)行狀態(tài)反饋等,屏蔽智能資產、智能網(wǎng)關和智能系統(tǒng)的物理差異。
圖5 功能視圖:聯(lián)接計算Fabric
1.4.4 開發(fā)服務框架(智能服務)
通過集成開發(fā)平臺和工具鏈集成邊緣計算模型庫和垂直行業(yè)模型庫,提供模型與應用的開發(fā)、集成、仿真、驗證和發(fā)布的全生命周期服務。
支持如下的關鍵服務:
(1)模型化開發(fā)服務
定義架構、功能需求、接口需求等模型定義,支持模型和業(yè)務流程的可視化呈現(xiàn),支持基于模型生成多語言的代碼;支持邊緣計算領域模型與垂直行業(yè)領域模型的集成、映射等;支持模型庫版本管理。
(2)仿真服務
支持ECN節(jié)點的軟硬件仿真,仿真要能夠模擬目標應用場景的ECN節(jié)點規(guī)格(如內存,存儲空間等)。系統(tǒng)需要支持組件細粒度化、組件可裁剪和重新打包(系統(tǒng)重置),以匹配ECN節(jié)點規(guī)格。
基于仿真節(jié)點,能夠進行面向應用場景的組網(wǎng)和系統(tǒng)搭建,并將開發(fā)的模型和應用在仿真環(huán)境下進行低成本、自動化的功能驗證。
(3)集成發(fā)布服務
從基線庫獲得發(fā)布版本,調用部署運營服務,將模型與應用部署到實際的ECN節(jié)點。
圖6 功能視圖:開發(fā)服務框架
1.4.5 部署運營服務框架(智能服務)
包括業(yè)務編排、應用部署(略)和應用市場三個關鍵服務。
(1)業(yè)務編排
業(yè)務編排服務,一般基于三層架構,如圖7所示:
圖7 功能視圖:業(yè)務編排分層
業(yè)務編排器
編排器負責定義業(yè)務Fab ri c,一般部署在云端(公私云)或本地(智能系統(tǒng)上)。編排器提供可視化的工作流定義工具,支持CRUD操作。編排器能夠基于和復用開發(fā)服務框架已經(jīng)定義好的服務模板、策略模板進行編排。在下發(fā)業(yè)務Fabric給策略控制器前,能夠完成工作流的語義檢查和策略沖突檢測等。
策略控制器
為了保證業(yè)務調度和控制的實時性,通過在網(wǎng)絡邊緣側部署策略控制器,實現(xiàn)本地就近控制。
策略控制器按照一定策略,結合本地的聯(lián)接計算Fabric所支持的服務與能力,將業(yè)務Fabric所定義的業(yè)務流分配給本地某個聯(lián)接計算Fabric進行調度執(zhí)行。
考慮到邊緣計算領域和垂直行業(yè)領域需要不同的領域知識和系統(tǒng)實現(xiàn),控制器的設計和部署往往分域部署。由邊緣計算領域控制器負責對安全、數(shù)據(jù)分析等邊緣計算服務進行部署。涉及到垂直行業(yè)業(yè)務邏輯的部分,由垂直行業(yè)領域的控制器進行分發(fā)調度。
策略執(zhí)行器
在每個ECN節(jié)點內置策略執(zhí)行器模塊,負責將策略翻譯成本設備命令并在本地調度執(zhí)行。ECN節(jié)點既支持由控制器推送策略,也可以主動向控制器請求策略。
策略可以只關注高層次業(yè)務需求,而不對ECN節(jié)點進行細粒度控制,從而保證ECN節(jié)點的自主性和本地事件響應處理的實時性。
(2)應用市場服務
應用市場服務可以很好地聯(lián)接需求方和供給方,將企業(yè)單邊創(chuàng)新模式轉變?yōu)榛诋a業(yè)生態(tài)的多邊開放創(chuàng)新。供給方可以通過App封裝行業(yè)Know-How并通過應用注冊進行快捷發(fā)布,需求方可以通過應用目錄方便地找到匹配需求的方案并進行應用訂閱。
應用市場服務支持多樣化的App,包括基于工業(yè)知識構建的機理模型、基于數(shù)據(jù)分析方法構建的算法模型、可繼承和復用的業(yè)務Fabric模型、支持特定功能(如故障診斷)的應用等。這些App既可以被最終用戶直接使用,也可以通過基于模型的開放接口進行應用二次開發(fā)。
1.4.6 管理服務
支持面向終端設備、網(wǎng)絡設備、服務器、存儲、數(shù)據(jù)、業(yè)務與應用的隔離、安全、分布式架構的統(tǒng)一管理服務。
支持面向工程設計、集成設計、系統(tǒng)部署、業(yè)務與數(shù)據(jù)遷移、集成測試、集成驗證與驗收等全生命周期。
1.4.7 數(shù)據(jù)全生命周期服務
(1)邊緣數(shù)據(jù)特點
邊緣數(shù)據(jù)是在網(wǎng)絡邊緣側產生的,包括機器運行數(shù)據(jù)、環(huán)境數(shù)據(jù)以及信息系統(tǒng)數(shù)據(jù)等,具有高通量(瞬間流量大)、流動速度快、類型多樣、關聯(lián)性強、分析處理實時性要求高等特點。
與互聯(lián)網(wǎng)等商業(yè)大數(shù)據(jù)應用相比,邊緣數(shù)據(jù)的智能分析有如下特點和區(qū)別:
因果 VS 關聯(lián)
邊緣數(shù)據(jù)主要面向智能資產,這些系統(tǒng)運行一般有明確的輸入輸出的因果關系,而商業(yè)大數(shù)據(jù)關注的是數(shù)據(jù)關聯(lián)關系。
高可靠性 VS 較低可靠
制造業(yè)、交通等行業(yè)對模型的準確度和可靠性要求高,否則會帶來財產損失甚至人身傷亡。而商業(yè)大數(shù)據(jù)分析對可靠性要求一般較低。邊緣數(shù)據(jù)的分析要求結果可解釋,所以黑盒化的深度學習方式在一些應用場景受到限制。將傳統(tǒng)的機理模型和數(shù)據(jù)分析方法相結合是智能分析的創(chuàng)新和應用方向。
小數(shù)據(jù) VS 大數(shù)據(jù)
機床、車輛等資產是人設計制造,其運行過程中的多數(shù)數(shù)據(jù)是可以預知的,其異常、邊界等情況下的數(shù)據(jù)才真正有價值。商業(yè)大數(shù)據(jù)分析則一般需要海量的數(shù)據(jù)。
(2)數(shù)據(jù)全生命周期服務
可以通過業(yè)務Fabric定義數(shù)據(jù)全生命周期的業(yè)務邏輯,包括指定數(shù)據(jù)分析算法等,通過聯(lián)接計算Fabric優(yōu)化數(shù)據(jù)服務的部署和運行,滿足業(yè)務實時性等要求。
圖8 功能視圖:數(shù)據(jù)全生命周期服務
數(shù)據(jù)全生命周期服務包括了:
數(shù)據(jù)預處理
對原始數(shù)據(jù)的過濾、清洗、聚合、質量優(yōu)化(剔除壞數(shù)據(jù)等)和語義解析。
數(shù)據(jù)分析
基于流式數(shù)據(jù)分析對數(shù)據(jù)即來即處理,可以快速響應事件和不斷變化的業(yè)務條件與需求,加速對數(shù)據(jù)執(zhí)行持續(xù)分析。
提供常用的統(tǒng)計模型庫,支持統(tǒng)計模型、機理模型等模型算法的集成。支持輕量的深度學習等模型訓練方法。
數(shù)據(jù)分發(fā)和策略執(zhí)行
基于預定義規(guī)則和數(shù)據(jù)分析結果,在本地進行策略執(zhí)行。或者將數(shù)據(jù)轉發(fā)給云端或其他ECN節(jié)點進行處理。
數(shù)據(jù)可視化和存儲
采用時序數(shù)據(jù)庫等技術可以大大節(jié)省存儲空間并滿足高速的讀寫操作需求。利用AR、VR等新一代交互技術逼真呈現(xiàn)。
1.4.8 安全服務
邊緣計算架構的安全設計與實現(xiàn)首先需要考慮:
安全功能適配邊緣計算的特定架構;
安全功能能夠靈活部署與擴展;
能夠在一定時間內持續(xù)抵抗攻擊;
能夠容忍一定程度和范圍內的功能失效,但基礎功能始終保持運行;
整個系統(tǒng)能夠從失敗中快速完全恢復。
同時,需要考慮邊緣計算應用場景的獨特性:
安全功能輕量化,能夠部署在各類硬件資源受限的IoT設備中;
海量異構的設備接入,傳統(tǒng)的基于信任的安全模型不再適用,需要按照最小授權原則重新設計安全模型(白名單);
在關鍵的節(jié)點設備(例如智能網(wǎng)關)實現(xiàn)網(wǎng)絡與域的隔離,對安全攻擊和風險范圍進行控制,避免攻擊由點到面擴展;
安全和實時態(tài)勢感知無縫嵌入到整個邊緣計算架構中,實現(xiàn)持續(xù)的檢測與響應。盡可能依賴自動化實現(xiàn),但是人工干預時常也需要發(fā)揮作用。
圖9 功能視圖:安全服務
安全的設計需要覆蓋邊緣計算架構的各個層級,不同層級需要不同的安全特性。同時,還需要有統(tǒng)一的態(tài)勢感知、安全管理與編排、統(tǒng)一的身份認證與管理,以及統(tǒng)一的安全運維體系,才能最大限度地保障整個架構安全與可靠。
節(jié)點安全:需要提供基礎的ECN安全、端點安全、軟件加固和安全配置、安全與可靠遠程升級、輕量級可信計算、硬件Safety開關等功能。安全與可靠的遠程升級能夠及時完成漏洞和補丁的修復,同時避免升級后系統(tǒng)失效(也就是常說的“變磚”)。輕量級可信計算用于計算(CPU)和存儲資源受限的簡單物聯(lián)網(wǎng)設備,解決最基本的可信問題。
網(wǎng)絡(Fabric)安全:包含防火墻(Firewall)、入侵檢測和防護(IPS/IDS)、DDoS防護、VPN/TLS功能,也包括一些傳輸協(xié)議的安全功能重用(例如REST協(xié)議的安全功能)。其中DDoS防護在物聯(lián)網(wǎng)和邊緣計算中特別重要,近年來,越來越多的物聯(lián)網(wǎng)攻擊是DDoS攻擊,攻擊者通過控制安全性較弱的物聯(lián)網(wǎng)設備(例如采用固定密碼的攝像頭)來集中攻擊特定目標。
數(shù)據(jù)安全:包含數(shù)據(jù)加密、數(shù)據(jù)隔離和銷毀、數(shù)據(jù)防篡改、隱私保護(數(shù)據(jù)脫敏)、數(shù)據(jù)訪問控制和數(shù)據(jù)防泄漏等。其中數(shù)據(jù)加密,包含數(shù)據(jù)在傳輸過程中的加密、在存儲時的加密;邊緣計算的數(shù)據(jù)防泄漏與傳統(tǒng)的數(shù)據(jù)防泄漏有所不同,邊緣計算的設備往往是分布式部署,需要特別考慮這些設備被盜以后,相關的數(shù)據(jù)即使被獲得也不會泄露。
應用安全:主要包含白名單、應用安全審計、惡意代碼防范、WAF(Web應用防火墻)、沙箱等安全功能。其中,白名單是邊緣計算架構中非常重要的功能,由于終端的海量異構接入,業(yè)務種類繁多,傳統(tǒng)的IT安全授權模式不再適用,往往需要采用最小授權的安全模型(例如白名單功能)管理應用及訪問權限。
安全態(tài)勢感知、安全管理與編排:網(wǎng)絡邊緣側接入的終端類型廣泛,數(shù)量巨大,承載的業(yè)務繁雜,被動的安全防御往往不能起到良好的效果。因此,需要采用更加積極主動的安全防御手段,包括基于大數(shù)據(jù)的態(tài)勢感知和高級威脅檢測,以及統(tǒng)一的全網(wǎng)安全策略執(zhí)行和主動防護,從而更加快速響應和防護。再結合完善的運維監(jiān)控和應急響應機制,則能夠最大限度保障邊緣計算系統(tǒng)的安全、可用、可信。
身份和認證管理:身份和認證管理功能遍布所有的功能層級。但是在網(wǎng)絡邊緣側比較特殊的是,海量的設備接入,傳統(tǒng)的集中式安全認證面臨巨大的性能壓力,特別是在設備集中上線時認證系統(tǒng)往往不堪重負。在必要的時候,去中心化、分布式的認證方式和證書管理成為新的技術選擇。
1.5 部署視圖
系統(tǒng)主要提供兩種典型的部署模型:三層模型和四層模型。
圖10 部署視圖
(1)三層部署模型
主要面向業(yè)務部署到一個或多個分散地域,且每個區(qū)域的業(yè)務流量規(guī)模較小的場景。
典型的場景包括:智慧路燈、智能電梯、智慧環(huán)保等場景。
智能資產完成本地處理后,多種或多個業(yè)務數(shù)據(jù)沿著南北向匯聚到智能網(wǎng)關。智能網(wǎng)關除了提供智能資產接入、智能資產本地管理、總線協(xié)議轉換等網(wǎng)絡功能外,還提供實時流式數(shù)據(jù)分析、安全保護、小規(guī)模數(shù)據(jù)存儲等功能。網(wǎng)關將實時業(yè)務需求在本地完成處理,同時將非實時數(shù)據(jù)聚合后送到云端處理。
(2)四層部署模型
主要面向業(yè)務部署集中,業(yè)務流量規(guī)模較大的場景。
典型的場景包括:智能視頻分析、分布式電網(wǎng)、智能制造等場景。
與三層部署場景最典型的區(qū)別是:邊緣側數(shù)據(jù)量大,本地應用系統(tǒng)多,需要大量的計算、存儲資源。智能資產和智能網(wǎng)關完成本地最實時的處理后,將數(shù)據(jù)匯聚到本地分布式智能系統(tǒng)進行二次處理。這些分布式ECN節(jié)點通過東西向聯(lián)接進行數(shù)據(jù)和知識的交換,支持計算、存儲資源的橫向彈性擴展,能夠完成本地的實時決策和實時優(yōu)化操作。
摘自《自動化博覽》2018年3月刊