国产欧美日韩精品a在线观看-国产欧美日韩精品一区二区三区-国产欧美日韩精品综合-国产欧美中文字幕-一区二区三区精品国产-一区二区三区精品国产欧美

摘要：隨著ICT技術的不斷發展，云計算向各行業逐漸滲透，傳統的工控領域也受互聯網技術的影響，行業內傳統的系統軟件和系統解決方案正逐漸發生巨大的變化，但是在OT與IT的融合過程中，由于關注點、技術棧、應用場景、行業背景等諸多因素的阻礙，愈來愈流行的云計算技術在生產側落地的過程中遇到了諸多的挑戰。本文定位于傳統工控行業，利用云技術為邊緣平臺設計基礎的運行環境，該環境既能為傳統的工業服務（采集、實時、歷史等）提供支撐，也能融合當今先進的智能技術（機器視覺、機器學習、協同仿真等），具有兼容性、異構性、實時性、開發性、擴展性、可靠性、智能性、安全性等特點。

關鍵詞：云計算；邊緣計算；OT與IT融合

1 引言

邊緣計算是在靠近物或數據源頭的網絡邊緣側，融合網絡、計算、存儲、應用和新能力的分布式開放平臺（架構）， 就近提供邊緣智能服務，滿足行業數字化在敏捷連接、實時業務、數據優化、應用智能、安全與隱私保護等方面的關鍵需求，它可以作為連接物理和數字世界的橋梁，使能智能資產、智能網關、智能系統和智能服務[1]。

從本質上講，邊緣計算是一種分布式的計算架構，而云技術能夠為該架構的實現提供資源（計算、網絡、存儲）上的支撐，同時也是云技術能夠在邊緣側落地的關鍵體現。邊緣計算平臺基礎運行環境是邊緣計算框架中的核心部分，它重點關注IaaS、PaaS層基礎設施，為上層的工業服務或應用提供支撐， 本文將圍繞如何使用現有主流的云計算技術、框架去實現一套邊緣側可落地的解決方案。

2 特征

當今現代化工業正逐步朝著工業4.0時代邁進，該階段的 一個顯著特征就是數字化、智能化，以數字孿生、機器視覺、大數據與深度學習為代表的技術將為未來的工業發展提供強大的動力，此外，隨著設備、系統種類爆炸式的增長以及智能技術的發展，傳統工控系統的分層模型將被打破，如圖1所示， 取而代之的將是端到端的協作模式，這也是未來工業的終極目標——實現產業鏈各環節的互聯互通。

圖1 傳統工控系統層級模型

未來的工業軟件系統架構必定是松散的、面向服務的、可動態擴展的、安全可靠的，而云技術早已在互聯網領域把這些問題都解決了，OT和IT的融合并非是誰取代誰的問題，IT技術的定位注定無法取代OT技術， 所以我們更應關注的是如何使用IT技術（如云計算）更好地為新到來的工業革命提供服務，我們目前看到就是云計算在框架、計算、隔離等方面所帶來的優勢，因此本文重點論述的是如何使用這些技術去搭建一套工業使用的邊緣計算的基礎運行環境，后續章節將逐個分析一個完整的邊緣計算平臺的基礎環境所具備的關鍵元素， 以及如何使用具體技術去實現他們。

2.1 虛擬化

虛擬化技術是云計算的重要基石，它用來提供網絡、計算、存儲資源的基礎設施，隱藏硬件細節存儲管理，利用虛擬化技術可對硬件系統進行分配，實現資源隔離、安全隔離、資源利用最大化。此外對于底層的虛擬化可對上層透明，實現隔離故障、自動遷移、備份及恢復、負載均衡等，目前虛擬化技術可分為三類：裸機虛擬化、操作系統虛擬化、容器虛擬化，根據場景和需求選擇不同技術。如圖2所示。

圖2 三種虛擬化技術

針對前兩種虛擬技術，表1列出了目前市面上比較流行的虛擬化產品的特性對比。

大地減少虛擬技術對軟硬件資源的消耗、提升性能，由于其具有輕量、高效、跨平臺、一次打包多處運行的特性，目前已在微服務架構下廣泛被使用。

2.2 資源管理

資源包括硬件資源和軟件資源，硬件資源包括計算機、網絡、存儲等設備，軟件資源包括為邊緣平臺提供基礎運行設施的系統、工具及服務，在分布式環境下， 這些資源需要能夠被集中、高效、統一地管理，所以其職責包括：

（1）解決對異構網絡、軟件、系統的集成與集中管理問題；

（2）提供基礎運行環境（網絡、計算、存儲）， 及相關資源的監管；

（3）提供分布式、高可靠、可伸縮、多用戶的集中管理功能；

（4）提供滿足多種需求和場景的中間件&基礎設施（如數據總線）；

（5）提供滿足不同層級需求的安全框架；

（6）支持微服務架構、容器技術，提供運維、部署管理（安裝、配置、升級、注冊、跟蹤與監視、生命周期管理）功能；

（7）采集和監視平臺及服務的運行狀態、指標數據，當發生異常時進行報警通知；

（8）提供生態建設和管理能力；

（9）云集中管理+自治管理。

2.3 存儲

邊緣平臺應為自身及運行其中的服務提供存儲設施，用于存儲各類結構化和非結構化的數據，例如實時數據、時序數據、配置數據、文件數據、視頻數據、容器鏡像等，其包含以下特性和功能：

（1）提供分布式的數據存儲；

（2）支持對象化數據存儲和訪問；

（3）滿足多數據庫架構，如關系型數據庫、非關系型數據庫；

（4）多元異構數據管理；

（5）支持分級部署/按需部署；

（6）支持大容量；

（7）支持數據壓縮；

（8）復雜數據統計分析；

（9）數據分區安全管理；

（10）多樣化數據開放；

（11）支撐橫向和縱向擴展。

2.4 日志管理

日志系統能夠記錄平臺的運行狀況、外部訪問的痕跡，通過對日志的查詢和分析，能夠監管平臺的運行狀態，追溯異常事件和行為，對安全態勢進行感知和預測。日志管理作為平臺的基礎設施，對調用者透明的調用接口，其應提供標準且可擴展的日志數據格式，滿足大并發的存儲與查詢，自動按照配置策略執行壓縮、加解密、轉儲、備份、遷移等操作，且支持分布式存儲與高可用。日志管理還應提供各種聚合查詢接口，能夠滿足不同的查詢、分析需求。

2.5 報警管理

針對平臺運行過程中發現的異常事件，應提供基于CEP的報警機制，可根據實際需求配置報警策略和發送策略，值得注意的是，此處所說的報警應該與傳統工業的過程報警做區分，對工業報警的管理都是有狀態的， 如發生、恢復、確認、消失等，而對邊緣平臺發生的報警管理僅限于觸發、記錄和發送，其目的是反映當前平臺的運行狀態，例如資源超限、服務重啟、非法入侵等，以告知關注者引起注意。在分布式環境下，報警管理需要重點關注并發性、通用性、擴展性和可用性。

2.6 安全管理

工業控制系統由于其背景，在萬物互聯的開放環境下，其所面臨的安全威脅是全世界的共同難題，工業設備的高危漏洞、后門、工業網絡病毒、高級持續性威脅以及無線技術應用帶來的風險，給工業控制系統的安全防護帶來巨大挑戰，根據國家《信息安全技術網絡安全等級保護基本要求》[2]中的規定，應從以下方面關注安 全方面的管理：

（1）節點安全：計算節點自身的軟硬件安全，包括固件、漏洞的升級，系統備份與遷移，防病毒軟件等；

（2）網絡安全：提供防火墻、入侵檢測和防護、流量監測、黑白名單、抵御網絡攻擊等；

（3）數據安全：包括數據加密、敏感數據隔離與銷毀、防篡改、備份與恢復、傳輸加密等；

（4）應用安全：對應用進行黑白名單管理、應用守護、安全審計、運行隔離等；

（5）安全審計與態勢感知：提供完備的安全跟蹤與審計系統，以及根據審計數據作態勢預測；

（6）訪問安全：提供集中式的身份認證與授權管理。

2.7 校時

邊緣計算平臺僅涉及平臺監控層，雖沒有硬實時的苛刻要求，但對于常規監管、分析來說仍需要保證一定的軟實時性，而由于平臺由分布式系統構成，所以應保證系統內各計算機、服務、組件的時鐘同步，尤其在對歷史數據處理方面更為重要，故而基礎運行環境應提供全局范圍內的校時機制，通過設置校時服務器保證系統各部分時鐘的統一。

2.8 控制臺

對分布式環境下資源、服務的統一管理監管是一件頭疼的事，所面臨的計算、服務分散、種類繁多，而且云技術各成熟的程序套件大都來自于開源項目，各自都有對應的管理、配置工具和監管界面，例如涉及容器的環境，由于其內部虛擬網絡對外不透明，無法通過IP端口直接訪問，這就需要借助容器管理系統（例如K8s） 進行統一監管，如何將各種管理UI集中在一起統一管理，是控制臺要做的事情，它負責提供統一的人機交互界面，通過后臺調用把各類服務集成在一起，且屏蔽專業的詞匯和概念，使使用者更容易理解和操控。

2.9 安裝與部署

使用手動配置和部署平臺各組件在分布式環境下是行不通的，邊緣平臺應提供支持集中式的遠程部署工具，可批量安裝、部署系統組件，配置軟件參數、版本升級與回滾，同時還應考慮在不聯網情況下的離線安裝功能，主要功能包括：

（1）支持一鍵部署；

（2）支持可視化配置；

（3）支持多虛機批量配置；

（4）支持虛機配置信息預覽；

（5）支持虛機狀態檢測；

（6）支持部署過程可視化；

（7）同時支持在線/離線部署；

（8）支持平臺模板定義；

（9）支持集群模板定義；

（10）支持服務模板定義；

（11）支持組件模板定義。

3 實現

3.1 虛擬化

虛擬化技術也稱Hypervisor，是一種運行在物理服務器和操作系統之間的中間軟件層，可以訪問服務器上包括磁盤和內存在內的所有物理設備。Hypervisor 協調這些硬件資源的訪問，以及各個虛擬機之間的防護。服務器啟動時，它會加載所有虛擬機客戶端的操作系統，同時為虛擬機分配內存、磁盤和網絡等。

針對傳統數據中心的基礎架構利用率低、物理基礎架構成本日益攀升、IT管理成本不斷提高以及對關鍵應用故障和災難保護不足等問題而設計和實現。可以將靜態、復雜的IT環境轉變為動態、易于管理的虛擬數據中心，從而降低數據中心成本和機房能耗。同時，它可以提供先進的管理功能，實現虛擬數據中心的集成和自動化，簡化運維，降低管理成本，最終幫助用戶把更多的時間和成本轉移到對業務的投入上。

針對容器化技術，虛擬化技術隔離性上高于容器， 對環境要求較高的各類應用，可能會希望獨享虛機，不被其他應用使用。

根據Hypervisor所處層次的不同和Guest OS對硬件資源的不同使用方式，Hypervisor虛擬化被分為兩種類型：Bare-metal虛擬化方式（“裸機”虛擬化）和Host OS虛擬化方式（基于操作系統的虛擬化，宿主型虛擬化），其中“裸機”虛擬化性能更高。技術架構如圖3所示。

圖3 Hypervisor技術架構 

Bare-metal類型的Hypervisor虛擬化環境中無須完整的Host OS，直接將Hypervisor部署在裸機上并將裸機服務器的硬件資源虛擬化，也可以將Hypervisor 理解為僅對硬件資源進行虛擬和調度的薄操作系統，其并不提供常規Host OS的功能。

Host OS類型將Hypervisor虛擬化層安裝在傳統的操作系統中，虛擬化軟件以應用程序進程形式運行在Windows和Linux等主機操作系統中。

考慮到平臺對資源和性能方面的要求，優先考慮使用“裸機”虛擬化方式，可選的國內廠家例如浪潮、華為等。

3.2 資源管理

由于虛擬機廠家提供了專業的虛擬化資源管理工具，本部分不做描述，而是重點關注針對容器化資源的管理，使用容器化管理技術，提供集中、高可靠的輕量容器運行環境。

目前可選擇K3s容器技術作為邊緣計算平臺容器集群管理架構及應用容器運維支撐，主要原因如下：

（1）保障高可用

高可用包括K3s管理節點的高可用和應用容器的高可用。K3s通過部署兩個Server節點，保障其集群管理節點的高可用；通過在K3s集群中部署應用容器冗余副本，保障應用的高可用。

（2）運行時所需資源輕量化

邊緣計算平臺提供的系統資源（CPU和內存）有限，要求除應用之外其他支撐服務組件不能過多占用系統資源。K3s以單進程形式運行，其所需資源較低，具體為：K3s-Server需要CPU約160M，內存約500M； K3s-Agent需要CPU約80M，內存約100M。與其他容器管理技術（Swarm和K8s）運行時需要2G以上相比，所需資源降低很多。

（3）孤網獨立部署和運行

邊緣計算平臺需具備獨立運行的能力，K3s本身支持邊緣端部署，而不依賴云上或中心云集群。

（4）容器編排和調度

 K3s是CNCF官方認證K8s裁剪的發行版，K8s被業界視為容器調度和編排的標準。由于K3s完全兼容K8s 功能特性，其支持應用容器調度到特定工作節點，同時滿足應用容器的啟停、滾動升級和應用間通過服務發現進行訪問。

（5）應用容器監控

對應用容器的監控包括資源和運行狀態的監控。K3s通過內置監控組件，能夠實時采集應用容器資源指標和運行狀態信息，并提供資源查詢操作界面，滿足對應用容器的監控。

K3s架構如圖4所示。 

圖4 基于K3s的容器管理環境

K3s分Server和Agent兩部分，Server就是K3s 管理平面，負責管理Agent節點和應用容器的調度； Agent是K3s的數據平面，是應用容器的工作節點。需要一個MySQL數據庫作為K3s元數據存儲庫；Tunnel Proxy負責Server和Agent通信。Containerd是輕量化的容器運行時，支撐K3s集群的底層容器運行時。

K3s由Rancher Lab主導開發并開源，其社區活躍度很高，目前在GitHub上已經擁有超過12.4k顆 Stars，已發布149個版本。

3.3 存儲

邊緣計算平臺涉及的存儲場景包括配置數據存儲、時序數據存儲、鏡像庫、關系庫，以下針對不同種類的數據存儲要求描述對應的解決方案。

對于配置數據和時序數據，選擇GlusterFS作為邊緣計算平臺容器卷存儲，主要原因如下：

（1）無中心架構

沒有專用元數據存儲服務器，不存在元數據服務器瓶頸。

（2）滿足高可用

支持集群化部署，存儲模式可設置多副本冗余，解決單點故障問題。圖5是GlusterFS高可用部署架構。

圖5 GlusterFS架構圖 

（3）輕量化

運行時所需要的資源比較小，內存約50M左右。

（4）高性能

提供的數據卷支持TB級容量、GB級吞吐量。GlusterFS為開源業界中主流分布式文件系統，

具有很強的橫向擴展能力，支持TB級存儲，能更好地為容器提供持久化存儲服務。GlusterFS在GitHub有2,500顆Stars，已經發布了544個版本。

對于容器的鏡像庫，選擇Harbor作為邊緣計算平臺Docker鏡像存儲與分發服務，原因如下：

（1）友好Web界面

自帶Web管理界面，支持登錄、搜索鏡像，創建公有和私有鏡像倉庫。

（2）高可用部署

支持高可用集群方式部署，部署架構如圖6所示。

圖6 Harbor部署架構圖

（3） 輕 量 化                       

Harbor運行時所需資源較少，需要內存約200M。

（4）RBAC安全機制

基于RBAC權限控制，可將人員、角色分配不同的 權限，具有更好的安全性。

Harbor屬于企業級開源的成熟Docker鏡像庫管理軟件，在Docker Registry基礎上增加了安全訪問控制和管理等功能以滿足企業需求。Harbor在GitHub有11,500顆Stars，已經發布了103個版本。

針對于關系庫，可使用的軟件產品較多，推薦以主流的開源數據庫為主例，如MySQL、MariaDB等，可支持單節點方式和集群方式，利用其日志機制，可實現備數據備份、同步與故障恢復的功能。

3.4 日志管理

邊緣計算平臺自身產生的運行日志和事件日志可采用關系庫MariaDB存儲，而調試日志以容器存儲卷掛載的方式保存到GLusterFS中。平臺后端提供日志查詢的API，并提供對應用調試日志的預覽和下載API， 以供平臺控制臺前端展示調用。應用調試日志也可以通過日志采集組件進行采集，要求應用調試日志是標準的日志格式，把采集的日志以Json文件格式保存到GlusterFS中，供日志分析使用。日志管理架構如圖7 所示。 

圖7 日志管理架構圖

3.5 報警管理

報警管理用于對平臺運行過程中監測到的異常事件進行預警，主要分為監測指標的采集和報警規則的配置，對于容器運行環境，容器（服務容器和應用容器）性能指標（CPU、內存和網絡I/O）通過指標采集器Metric-Server聚合后，由Prometheus從Metric- Server中拉取這些指標數據存儲到Prometheus中。邊 緣平臺后端封裝Prometheus原生的API后，給控制臺 前端提供查詢展示。邊緣平臺控制臺中可以設置應用容器的性能指標報警觸發規則，報警由AlertManager觸發，并把報警信息保存到關系庫MariaDB中，平臺提供對報警歷史信息的展示。如圖8所示。

圖8 報警管理架構圖

3.6 安全管理

安全管理包含對通信、數據、權限等方面的管理， 本節重點描述對權限相關管理的實現，采用UAA實現鑒權服務，UAA基于RBAC96標準（RBAC，Role-Based Access Control，基于角色的訪問控制）設計開發，并擴展了分組以及功能資源和數據許可的概念，支持公認的安全原則：最小特權原則、責任分離原則和數據抽象原則。

（1）最小特權原則：系統中可以限制分配給角色權限的多少和大小；

（2）責任分離原則：系統可以在完成敏感任務過程中分配兩個責任上互相約束的兩個角色；

（3）數據抽象：系統抽象出了抽象許可權這樣的概念來實現數據權限的控制。

權限系統作為邊緣平臺用戶中心及授權中心，為邊緣平臺提供認證、授權，以及鑒權服務。以下列出了權限管理的建設目標：

（1）提供一套用戶、角色、權限管理系統，為邊緣平臺提供認證與鑒權服務；

（2）支持中心云平臺和邊緣平臺的用戶權限數據同步。

3.7 校時

平臺提供校時服務，以本區域內的時鐘源為準，對本區域內的虛擬機及運行在虛擬機中的容器進行時間校準。若本區域內的時鐘源存在多個，則校時服務以其中一個為主校時，當主校時服務不可用時，以另一個為準進行校時，主校時服務器如果可外接時鐘源（如GPS校時），則使系統全局時鐘更精準。

平臺內部各主機，采用NTP方式進行同步，無需校時接口，NTP同步方式較精準，局域網延遲小于1ms 時，校時精度小于0.5ms。

NTP協議主流有兩種實現：ntpd和chronyd。兩者配置有差異，在Ubuntu 16.04及以上版本和CentOS 7及以上版本的Linux發行版中使用chronyd，在其他發行版或較低版本的Linux中使用ntpd。

3.8 控制臺

本地控制臺是邊緣平臺的UI交互界面，匯聚多個服務的UI交互。主要職責為：權限管理、應用管理、節點管理、容器管理、存儲卷管理、日志管理、鏡像管理、配置管理、運行監控等。

以下列出了本地控制臺的具體建設目標：

（1）提供一套UI界面，用于邊緣平臺的UI交互；

（2）支持邊緣平臺用戶權限數據的查詢；

（3）支持邊緣平臺對容器運行環境的管理，包括：節點、容器等；

（4）支持邊緣平臺對應用的管理，如：應用的部署、啟動、停止等；

（5）支持邊緣平臺對容器運行環境、服務、應用、虛擬機的監控，如資源使用情況；

（6）邊緣計算平臺監控部分包括IaaS、PaaS資源的監控，一期先做基于容器資源監控與管理。

 圖9 控制臺架構圖

3.9 安裝與部署

平臺提供在線、離線部署方式，通過部署軟件包和部署策略實現集中的安裝與部署工作，具體部署步驟如下：

（1）上傳部署文件

通過FTP工具或其他方式把部署文件傳輸到服務器（物理機或虛機）上。

（2） 啟動工具UI服務

（3）在界面上執行部署

在界面上選擇安裝組件，填寫對應的服務器信息。

（4）監控部署過程

在控制臺上監控部署的過程，若出現部署異常，部署命令會停止部署，核實原因后，重新部署。在重新部署過程中，若已經部署服務，則會跳過該服務的安裝部署。

（5）部署完成

在部署結束后，會列出所部署的主機列表。如圖10所示。

圖10 安裝與部署軟件UI

4 結論

本文提出的工業領域邊緣計算平臺的基礎運行環境，包含和概括了所有邊緣計算平臺都具備的本質特征， 它能夠使云技術和傳統的工控技術相融合，對后續邊緣計算產品的設計和研發具備一定的指導作用，且在筆者的實際工作過程中已經將此框架成功地進行實踐與應用。

作者簡介：

謝 峰（1982-），男，河南人，中級工程師，碩士，現任北京和利時智能技術有限公司、寧波和利時智能科技有限公司系統設計師，主要研究方向為工業自動化軟件。

王松林（1983-），男，山東人，中級工程師，碩士， 現任北京和利時智能技術有限公司、寧波和利時智能科技有限公司資深軟件工程師，主要研究方向為工業自動化軟件。

參考文獻： 

[1] 邊緣計算產業聯盟, 工業互聯網產業聯盟. 邊緣計算參考架構3.0[Z]. 2018. 

[2] GB/T 22239 - 2019, 信息安全技術網絡安全等級保護基本要求[S].

摘自《自動化博覽》2021年2月刊