今日頭條
官方微信
官方抖音
案例頻道北京金山云網絡技術有限公司
1 目標和概述
隨著5G時代的到來，視頻用戶數及視頻業務量發展迅猛，用戶對視頻服務的體驗性要求越來越高，視頻數據如何高效、低成本地存儲、分發面臨極大的挑戰。
當前視頻行業內從客戶端產生的視頻數據均會在中心云進行匯聚存儲，然后根據業務需求進行計算或者分發、調閱。這種傳統的直播架構，會出現全量源站轉碼業務無法錯峰、資源利用率低、使用多廠商系統需求排期長、故障難以定位等問題。
這種架構下業務產生的大流量給骨干網絡和中心云帶來了非常大的負擔，同時由于中心云的承載能力有限，成本較高，也給業務的發展帶來了限制。
針對此情況，將中心云的能力選擇性下沉到邊緣成了邊緣計算必須要解決的問題。金山云全球同步的邊緣計算存儲方案，將視頻云的能力下沉到邊緣，直播生產端完全自主可控，具備任意選擇分發端的能力，同時采用了熱流回源、冷流分發等核心技術，降低源站回源帶寬，提高資源利用率，成本更優。
當前的解決方案通過在邊緣計算部署存儲系統，先解決數據存儲的問題，從客戶端產生的數據將優先按照區域歸屬進行集中。數據在邊緣落地后進一步進行計算和分析。再按照業務需求到中心做二次集中。
該解決方案可以有效地降低中心云的負載，同時數據按照歸屬地邊緣和業務需求進行分級存儲和按需集中，有效地降低業務的成本。系統會自行根據訪問者劃分歸屬地，全程業務無感知，零侵入。
2 方案介紹
圖1是系統架構圖，邊緣計算部署計算和存儲服務。調度系統根據客戶端的來源確定其歸屬邊緣節點。設備直接訪問歸屬地的邊緣節點。數據直接在對應的邊緣節點落地并存儲，利用邊緣計算進行分析或者計算轉碼等業務流程，再根據業務需求集中到中心存儲。
圖1 系統架構圖
這種架構下，由于數據在邊緣進行落地，需要解決數據的異地訪問問題。所以在存儲的基礎上，進一步拓展數據同步和互訪的能力。客戶訪問數據會優先訪問歸屬地邊緣計算的存儲系統，存儲系統再根據該數據是否存在于歸屬地存儲本地，自動地進行數據同步拉取和返回。
2.1 產品定義
邊緣產品由邊緣存儲與邊緣計算兩個部分構成。核心從降低處理延時和降低與中心機房交互帶寬兩個層面優化用戶體驗。在IoT場景下，特別在網絡視頻監控的場景下，對處理延時和成本要求都非常顯著。此時邊緣相比于中心而言優勢非常明顯。
（1）邊緣存儲
邊緣存儲是在邊緣建設獨立的存儲節點，與中心相關聯，使得邊緣具備絕大部分的存儲能力。并遵循網絡訪問最優原則進行區域內的網絡調度，以達到最優化的訪問性能。同時，系統會根據各節點帶寬的狀態，動態地對邊緣的上行流量、邊緣與中心的數據同步進行調整，合理地對邊緣與中心的帶寬進行復用，以達到成本的最優化。
（2）邊緣計算邊緣計算是通過在邊緣提供應用式的容器化的計算能力實現的。中心可以靈活地對邊緣的應用進行配置和管理，可以任意指定其使用的鏡像版本、資源規格及配置，并支持對應用進行灰度發布。一般認為，邊緣計算所需的數據會存在于同區域的存儲中。且對于邊緣存儲，邊緣計算也會依照最優原則進行網絡調度，以實現訪問性能的最優化。
2.2 產品設計
整個架構中，中心擁有最充裕的資源和最完整的能力。包括全量的元數據、計算的配置信息等。一般認為邊緣的數據最終會遷移回中心進行存儲，且由于邊緣與邊緣之間網絡狀態完全不可控。所以有以下幾點設計原則：
通過數據流與請求流進行說明，數據流主要由上傳下載請求構成，其數據量較大，對網絡穩定性要求較高。請求流包含計算請求、內部控制請求等，數據量較小，重試成本較低。
對于數據流：由于網絡的關系，一般認為邊緣與邊緣之間不存在數據流。若存在跨邊緣數據讀取的情況，考慮直接回中心。且由于邊緣與中心之間的數據最終會遷移回中心存儲，所以一般情況下，認為邊緣與中心的數據流為單向的，即數據由邊緣流向中心。非必要情況下不考慮中心往邊緣回吐數據。
對于請求流：對于內部控制請求，出于安全考慮，邊緣與邊緣的交互經由中心進行路由。對于計算請求，若存在跨運營商等惡劣網絡條件下的訪問，考慮直接回中心，若同運營商的訪問，考慮重定向請求至對應節點。
上傳：分為普通上傳、分片上傳、追加上傳三種模式，普通上傳中數據直接上傳到邊緣節點，元數據信息會寫到中心機房；分片上傳數據直接上傳到邊緣節點，分片元數據信息會寫到中心機房；追加上傳數據直接上傳到邊緣節點，追加上傳元數據信息會寫到中心機房。
下載：當用戶訪問下載域名或使用SDK進行下載時，調度系統將根據用戶網絡情況按照和上傳時一致的調度規則返回給用戶當前的下載節點。
調度：邊緣調度分為內部流量調度和外部訪問調度。
外部訪問調度主要是根據用戶區域將用戶的訪問請求調度至對應的邊緣。內部流量調度主要用于調度邊緣與中心間的同步流量，充分進行流量復用，以達到成本最優。
3 代表性及推廣價值
近期，“能耗雙控”政策紛紛執行落地，限電限產措施在多個省份密集推出，“雙高”企業輪番接到限產通知。企業與相關產業鏈都受到波及。
2021年8月，國家發展改革委在例行新聞發布會上直接點名青海、寧夏、廣西、廣東、福建、新疆、云南、陜西、江蘇9地上半年能耗強度同比不降反升。此外，還有10個省份的能耗強度降低率未達到進度要求，全國節能形勢十分嚴峻。
根據要求，上述地區2021年將暫停國家規劃布局重大項目以外的“兩高”項目節能審查，確保完成全年能耗雙控目標特別是能耗強度降低的目標任務。
對于視頻行業客戶而言，如果將所有數據都匯存在中心云，假如中心云地理位置在北京，北京的用戶訪問北京數據，上海的用戶也要通過網絡來北京訪問數據，全國用戶都向北京數據中心訪問，就會造成網絡堵塞，能耗加大導致電力中斷或不穩定，可能會對作為企業數字命脈的IT系統持續運行造成重大影響。選擇一家專業云服務商，日常將數據上傳到云廠商的對象存儲保存，同時將數據文件下沉到離用戶最近的邊緣節點存儲備份，這樣就可以將業務中斷時間的數據丟失和損害的可能性降到最低；也可在緊急情況發生時，直接切換流量到邊緣端，保證業務和生產環境的連續性。
經過一段時間的使用，全球同步的邊緣計算存儲方案為客戶帶來的效益是可觀的。很多客戶向金山云反映，他們體會到了邊緣計算存儲方案的優秀存儲、分發機制，在訪問邊緣存儲文件時速度比以前快了很多，而且再沒有出現過網絡堵塞現象。這表明，邊緣計算存儲方案的部署節省了客戶在讀取文件過程中所消耗的時間，并且幾乎杜絕了訪問過程中的斷線情況。在客戶對邊緣計算存儲方案的評估過程中，金山云全球同步的邊緣計算存儲方案對網絡性能起到了驚人的加速效果，并且將帶寬的使用效率進行了大幅度的提高，節省了43%的帶寬并將訪問時間縮減為測試前的2/3。
摘自《自動化博覽》2022年2月刊
北京市公安局海淀分局備案號：11010802023656號