国产欧美日韩精品a在线观看-国产欧美日韩精品一区二区三区-国产欧美日韩精品综合-国产欧美中文字幕-一区二区三区精品国产-一区二区三区精品国产欧美

北京金山云網(wǎng)絡(luò)技術(shù)有限公司

1 目標(biāo)和概述

隨著5G時(shí)代的到來(lái)，視頻用戶數(shù)及視頻業(yè)務(wù)量發(fā)展迅猛，用戶對(duì)視頻服務(wù)的體驗(yàn)性要求越來(lái)越高，視頻數(shù)據(jù)如何高效、低成本地存儲(chǔ)、分發(fā)面臨極大的挑戰(zhàn)。

當(dāng)前視頻行業(yè)內(nèi)從客戶端產(chǎn)生的視頻數(shù)據(jù)均會(huì)在中心云進(jìn)行匯聚存儲(chǔ)，然后根據(jù)業(yè)務(wù)需求進(jìn)行計(jì)算或者分發(fā)、調(diào)閱。這種傳統(tǒng)的直播架構(gòu)，會(huì)出現(xiàn)全量源站轉(zhuǎn)碼業(yè)務(wù)無(wú)法錯(cuò)峰、資源利用率低、使用多廠商系統(tǒng)需求排期長(zhǎng)、故障難以定位等問(wèn)題。

這種架構(gòu)下業(yè)務(wù)產(chǎn)生的大流量給骨干網(wǎng)絡(luò)和中心云帶來(lái)了非常大的負(fù)擔(dān)，同時(shí)由于中心云的承載能力有限，成本較高，也給業(yè)務(wù)的發(fā)展帶來(lái)了限制。

針對(duì)此情況，將中心云的能力選擇性下沉到邊緣成了邊緣計(jì)算必須要解決的問(wèn)題。金山云全球同步的邊緣計(jì)算存儲(chǔ)方案，將視頻云的能力下沉到邊緣，直播生產(chǎn)端完全自主可控，具備任意選擇分發(fā)端的能力，同時(shí)采用了熱流回源、冷流分發(fā)等核心技術(shù)，降低源站回源帶寬，提高資源利用率，成本更優(yōu)。

當(dāng)前的解決方案通過(guò)在邊緣計(jì)算部署存儲(chǔ)系統(tǒng)，先解決數(shù)據(jù)存儲(chǔ)的問(wèn)題，從客戶端產(chǎn)生的數(shù)據(jù)將優(yōu)先按照區(qū)域歸屬進(jìn)行集中。數(shù)據(jù)在邊緣落地后進(jìn)一步進(jìn)行計(jì)算和分析。再按照業(yè)務(wù)需求到中心做二次集中。

該解決方案可以有效地降低中心云的負(fù)載，同時(shí)數(shù)據(jù)按照歸屬地邊緣和業(yè)務(wù)需求進(jìn)行分級(jí)存儲(chǔ)和按需集中，有效地降低業(yè)務(wù)的成本。系統(tǒng)會(huì)自行根據(jù)訪問(wèn)者劃分歸屬地，全程業(yè)務(wù)無(wú)感知，零侵入。

2 方案介紹

圖1是系統(tǒng)架構(gòu)圖，邊緣計(jì)算部署計(jì)算和存儲(chǔ)服務(wù)。調(diào)度系統(tǒng)根據(jù)客戶端的來(lái)源確定其歸屬邊緣節(jié)點(diǎn)。設(shè)備直接訪問(wèn)歸屬地的邊緣節(jié)點(diǎn)。數(shù)據(jù)直接在對(duì)應(yīng)的邊緣節(jié)點(diǎn)落地并存儲(chǔ)，利用邊緣計(jì)算進(jìn)行分析或者計(jì)算轉(zhuǎn)碼等業(yè)務(wù)流程，再根據(jù)業(yè)務(wù)需求集中到中心存儲(chǔ)。

圖1 系統(tǒng)架構(gòu)圖

這種架構(gòu)下，由于數(shù)據(jù)在邊緣進(jìn)行落地，需要解決數(shù)據(jù)的異地訪問(wèn)問(wèn)題。所以在存儲(chǔ)的基礎(chǔ)上，進(jìn)一步拓展數(shù)據(jù)同步和互訪的能力。客戶訪問(wèn)數(shù)據(jù)會(huì)優(yōu)先訪問(wèn)歸屬地邊緣計(jì)算的存儲(chǔ)系統(tǒng)，存儲(chǔ)系統(tǒng)再根據(jù)該數(shù)據(jù)是否存在于歸屬地存儲(chǔ)本地，自動(dòng)地進(jìn)行數(shù)據(jù)同步拉取和返回。

2.1 產(chǎn)品定義

邊緣產(chǎn)品由邊緣存儲(chǔ)與邊緣計(jì)算兩個(gè)部分構(gòu)成。核心從降低處理延時(shí)和降低與中心機(jī)房交互帶寬兩個(gè)層面優(yōu)化用戶體驗(yàn)。在IoT場(chǎng)景下，特別在網(wǎng)絡(luò)視頻監(jiān)控的場(chǎng)景下，對(duì)處理延時(shí)和成本要求都非常顯著。此時(shí)邊緣相比于中心而言優(yōu)勢(shì)非常明顯。

（1）邊緣存儲(chǔ)

邊緣存儲(chǔ)是在邊緣建設(shè)獨(dú)立的存儲(chǔ)節(jié)點(diǎn)，與中心相關(guān)聯(lián)，使得邊緣具備絕大部分的存儲(chǔ)能力。并遵循網(wǎng)絡(luò)訪問(wèn)最優(yōu)原則進(jìn)行區(qū)域內(nèi)的網(wǎng)絡(luò)調(diào)度，以達(dá)到最優(yōu)化的訪問(wèn)性能。同時(shí)，系統(tǒng)會(huì)根據(jù)各節(jié)點(diǎn)帶寬的狀態(tài)，動(dòng)態(tài)地對(duì)邊緣的上行流量、邊緣與中心的數(shù)據(jù)同步進(jìn)行調(diào)整，合理地對(duì)邊緣與中心的帶寬進(jìn)行復(fù)用，以達(dá)到成本的最優(yōu)化。

（2）邊緣計(jì)算邊緣計(jì)算是通過(guò)在邊緣提供應(yīng)用式的容器化的計(jì)算能力實(shí)現(xiàn)的。中心可以靈活地對(duì)邊緣的應(yīng)用進(jìn)行配置和管理，可以任意指定其使用的鏡像版本、資源規(guī)格及配置，并支持對(duì)應(yīng)用進(jìn)行灰度發(fā)布。一般認(rèn)為，邊緣計(jì)算所需的數(shù)據(jù)會(huì)存在于同區(qū)域的存儲(chǔ)中。且對(duì)于邊緣存儲(chǔ)，邊緣計(jì)算也會(huì)依照最優(yōu)原則進(jìn)行網(wǎng)絡(luò)調(diào)度，以實(shí)現(xiàn)訪問(wèn)性能的最優(yōu)化。

2.2 產(chǎn)品設(shè)計(jì)

整個(gè)架構(gòu)中，中心擁有最充裕的資源和最完整的能力。包括全量的元數(shù)據(jù)、計(jì)算的配置信息等。一般認(rèn)為邊緣的數(shù)據(jù)最終會(huì)遷移回中心進(jìn)行存儲(chǔ)，且由于邊緣與邊緣之間網(wǎng)絡(luò)狀態(tài)完全不可控。所以有以下幾點(diǎn)設(shè)計(jì)原則：

通過(guò)數(shù)據(jù)流與請(qǐng)求流進(jìn)行說(shuō)明，數(shù)據(jù)流主要由上傳下載請(qǐng)求構(gòu)成，其數(shù)據(jù)量較大，對(duì)網(wǎng)絡(luò)穩(wěn)定性要求較高。請(qǐng)求流包含計(jì)算請(qǐng)求、內(nèi)部控制請(qǐng)求等，數(shù)據(jù)量較小，重試成本較低。

對(duì)于數(shù)據(jù)流：由于網(wǎng)絡(luò)的關(guān)系，一般認(rèn)為邊緣與邊緣之間不存在數(shù)據(jù)流。若存在跨邊緣數(shù)據(jù)讀取的情況，考慮直接回中心。且由于邊緣與中心之間的數(shù)據(jù)最終會(huì)遷移回中心存儲(chǔ)，所以一般情況下，認(rèn)為邊緣與中心的數(shù)據(jù)流為單向的，即數(shù)據(jù)由邊緣流向中心。非必要情況下不考慮中心往邊緣回吐數(shù)據(jù)。

對(duì)于請(qǐng)求流：對(duì)于內(nèi)部控制請(qǐng)求，出于安全考慮，邊緣與邊緣的交互經(jīng)由中心進(jìn)行路由。對(duì)于計(jì)算請(qǐng)求，若存在跨運(yùn)營(yíng)商等惡劣網(wǎng)絡(luò)條件下的訪問(wèn)，考慮直接回中心，若同運(yùn)營(yíng)商的訪問(wèn)，考慮重定向請(qǐng)求至對(duì)應(yīng)節(jié)點(diǎn)。

上傳：分為普通上傳、分片上傳、追加上傳三種模式，普通上傳中數(shù)據(jù)直接上傳到邊緣節(jié)點(diǎn)，元數(shù)據(jù)信息會(huì)寫(xiě)到中心機(jī)房；分片上傳數(shù)據(jù)直接上傳到邊緣節(jié)點(diǎn)，分片元數(shù)據(jù)信息會(huì)寫(xiě)到中心機(jī)房；追加上傳數(shù)據(jù)直接上傳到邊緣節(jié)點(diǎn)，追加上傳元數(shù)據(jù)信息會(huì)寫(xiě)到中心機(jī)房。

下載：當(dāng)用戶訪問(wèn)下載域名或使用SDK進(jìn)行下載時(shí)，調(diào)度系統(tǒng)將根據(jù)用戶網(wǎng)絡(luò)情況按照和上傳時(shí)一致的調(diào)度規(guī)則返回給用戶當(dāng)前的下載節(jié)點(diǎn)。

調(diào)度：邊緣調(diào)度分為內(nèi)部流量調(diào)度和外部訪問(wèn)調(diào)度。

外部訪問(wèn)調(diào)度主要是根據(jù)用戶區(qū)域?qū)⒂脩舻脑L問(wèn)請(qǐng)求調(diào)度至對(duì)應(yīng)的邊緣。內(nèi)部流量調(diào)度主要用于調(diào)度邊緣與中心間的同步流量，充分進(jìn)行流量復(fù)用，以達(dá)到成本最優(yōu)。

3 代表性及推廣價(jià)值

近期，“能耗雙控”政策紛紛執(zhí)行落地，限電限產(chǎn)措施在多個(gè)省份密集推出，“雙高”企業(yè)輪番接到限產(chǎn)通知。企業(yè)與相關(guān)產(chǎn)業(yè)鏈都受到波及。

2021年8月，國(guó)家發(fā)展改革委在例行新聞發(fā)布會(huì)上直接點(diǎn)名青海、寧夏、廣西、廣東、福建、新疆、云南、陜西、江蘇9地上半年能耗強(qiáng)度同比不降反升。此外，還有10個(gè)省份的能耗強(qiáng)度降低率未達(dá)到進(jìn)度要求，全國(guó)節(jié)能形勢(shì)十分嚴(yán)峻。

根據(jù)要求，上述地區(qū)2021年將暫停國(guó)家規(guī)劃布局重大項(xiàng)目以外的“兩高”項(xiàng)目節(jié)能審查，確保完成全年能耗雙控目標(biāo)特別是能耗強(qiáng)度降低的目標(biāo)任務(wù)。

對(duì)于視頻行業(yè)客戶而言，如果將所有數(shù)據(jù)都匯存在中心云，假如中心云地理位置在北京，北京的用戶訪問(wèn)北京數(shù)據(jù)，上海的用戶也要通過(guò)網(wǎng)絡(luò)來(lái)北京訪問(wèn)數(shù)據(jù)，全國(guó)用戶都向北京數(shù)據(jù)中心訪問(wèn)，就會(huì)造成網(wǎng)絡(luò)堵塞，能耗加大導(dǎo)致電力中斷或不穩(wěn)定，可能會(huì)對(duì)作為企業(yè)數(shù)字命脈的IT系統(tǒng)持續(xù)運(yùn)行造成重大影響。選擇一家專業(yè)云服務(wù)商，日常將數(shù)據(jù)上傳到云廠商的對(duì)象存儲(chǔ)保存，同時(shí)將數(shù)據(jù)文件下沉到離用戶最近的邊緣節(jié)點(diǎn)存儲(chǔ)備份，這樣就可以將業(yè)務(wù)中斷時(shí)間的數(shù)據(jù)丟失和損害的可能性降到最低；也可在緊急情況發(fā)生時(shí)，直接切換流量到邊緣端，保證業(yè)務(wù)和生產(chǎn)環(huán)境的連續(xù)性。

經(jīng)過(guò)一段時(shí)間的使用，全球同步的邊緣計(jì)算存儲(chǔ)方案為客戶帶來(lái)的效益是可觀的。很多客戶向金山云反映，他們體會(huì)到了邊緣計(jì)算存儲(chǔ)方案的優(yōu)秀存儲(chǔ)、分發(fā)機(jī)制，在訪問(wèn)邊緣存儲(chǔ)文件時(shí)速度比以前快了很多，而且再?zèng)]有出現(xiàn)過(guò)網(wǎng)絡(luò)堵塞現(xiàn)象。這表明，邊緣計(jì)算存儲(chǔ)方案的部署節(jié)省了客戶在讀取文件過(guò)程中所消耗的時(shí)間，并且?guī)缀醵沤^了訪問(wèn)過(guò)程中的斷線情況。在客戶對(duì)邊緣計(jì)算存儲(chǔ)方案的評(píng)估過(guò)程中，金山云全球同步的邊緣計(jì)算存儲(chǔ)方案對(duì)網(wǎng)絡(luò)性能起到了驚人的加速效果，并且將帶寬的使用效率進(jìn)行了大幅度的提高，節(jié)省了43%的帶寬并將訪問(wèn)時(shí)間縮減為測(cè)試前的2/3。

摘自《自動(dòng)化博覽》2022年2月刊