国产欧美日韩精品a在线观看-国产欧美日韩精品一区二区三区-国产欧美日韩精品综合-国产欧美中文字幕-一区二区三区精品国产-一区二区三区精品国产欧美

對于工業(yè)傳統(tǒng)的實(shí)時(shí)/歷史數(shù)據(jù)庫，總結(jié)特征如下：

（1）高速寫入性能：工業(yè)實(shí)時(shí)數(shù)據(jù)庫通常會對數(shù)據(jù)寫入的速度有很高的要求。以流程工業(yè)的場景為例，會在每個(gè)環(huán)節(jié)都設(shè)置傳感器，傳感器的數(shù)量眾多且采集頻率都很高，所以數(shù)據(jù)寫入的并發(fā)量會特別高，有時(shí)甚至?xí)_(dá)到每秒上百萬的測點(diǎn)。除了對軟件的要求之外，也會選擇使用一些高性能的服務(wù)器來保證數(shù)據(jù)的寫入。

（2）快速的查詢響應(yīng)：查詢的需求分為兩部分，一是要響應(yīng)實(shí)時(shí)的查詢請求，用于及時(shí)反映系統(tǒng)的狀態(tài)；二是歷史數(shù)據(jù)要能快速被查詢，由于歷史數(shù)據(jù)量非常大，在查詢時(shí)需要對特定時(shí)間段的數(shù)據(jù)做聚合，需要做到即使是查一整年的數(shù)據(jù)情況，也能很快地反映出來。

（3）超強(qiáng)的數(shù)據(jù)壓縮能力：之前提到因?yàn)閿?shù)據(jù)會被存儲很長時(shí)間，5年甚至10年都是常有的事，在存儲容量有限的情況下，就需要對數(shù)據(jù)做一定的壓縮。通常壓縮方式會分成無損壓縮和有損壓縮，相比而言，有損壓縮的壓縮比會更大一些，有時(shí)會達(dá)到1:30~1:40，這就需要設(shè)計(jì)合理的算法來保留數(shù)據(jù)中的細(xì)節(jié)，使數(shù)據(jù)在還原后仍能保留重要的特征。

（4）積累豐富的工具：傳統(tǒng)的實(shí)時(shí)數(shù)據(jù)庫的解決方案一般是從采集開始到可視化的一整套系統(tǒng)，有多年積累形成的豐富的工具包，比如會積攢上百種的協(xié)議，或者各種場景的數(shù)據(jù)模型，這些都是工業(yè)軟件的重要競爭力。

（5）追求極致穩(wěn)定：工業(yè)上對軟件的穩(wěn)定性要求特別高，除了使用主備機(jī)制來保證高可用外，一般完全由軟件的編寫質(zhì)量來保證程序的持續(xù)運(yùn)行。

隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)、人工智能為代表的新一代技術(shù)的逐步成熟，一輪新的科技革命和產(chǎn)業(yè)變革正在興起，一系列新的生產(chǎn)方式、組織方式和商業(yè)模式開始涌現(xiàn)，工業(yè)互聯(lián)網(wǎng)技術(shù)也在日趨成熟。工業(yè)互聯(lián)網(wǎng)是互聯(lián)網(wǎng)和新一代信息技術(shù)與工業(yè)系統(tǒng)全方位深度融合所形成的產(chǎn)業(yè)和應(yīng)用生態(tài)，是工業(yè)智能化發(fā)展的關(guān)鍵綜合信息基礎(chǔ)設(shè)施。人們開始嘗試使用互聯(lián)網(wǎng)技術(shù)融入設(shè)計(jì)、生產(chǎn)、管理、服務(wù)等工業(yè)生產(chǎn)的各個(gè)環(huán)節(jié)，不論是自主探索或者是學(xué)習(xí)其他行業(yè)的成熟經(jīng)驗(yàn)，不可避免的就是新老技術(shù)的對接。

隨著物聯(lián)網(wǎng)技術(shù)逐步滲透工業(yè)，不斷增長的傳感器、飆升的數(shù)據(jù)量以及更高的大數(shù)據(jù)分析需求對原有的技術(shù)架構(gòu)提出了挑戰(zhàn)。幾個(gè)問題必須直面：

（1）擴(kuò)展性遇到瓶頸。傳統(tǒng)的技術(shù)架構(gòu)雖然能保證單機(jī)具備極高的性能，也可以通過增加機(jī)器使性能線性擴(kuò)展，但是不能像分布式系統(tǒng)那樣實(shí)現(xiàn)動態(tài)靈活的擴(kuò)容和縮容，需要提前進(jìn)行規(guī)劃。當(dāng)業(yè)務(wù)升級需要系統(tǒng)擴(kuò)容時(shí)，老架構(gòu)的擴(kuò)展性就很難滿足需求了。

（2）無法和大數(shù)據(jù)生態(tài)對接。數(shù)據(jù)采集的最終目的是被理解和使用，大數(shù)據(jù)產(chǎn)業(yè)中對于海量數(shù)據(jù)的存儲分析已經(jīng)有很成熟的方案，不論是Hadoop還是Spark的生態(tài)圈，都面臨著新老技術(shù)的對接。很多工業(yè)企業(yè)因?yàn)橄胧褂眯碌拇髷?shù)據(jù)分析技術(shù)，不得不對現(xiàn)有的系統(tǒng)進(jìn)行升級或是替換。

（3）價(jià)格高昂。傳統(tǒng)的工業(yè)實(shí)時(shí)數(shù)據(jù)庫解決方案價(jià)格都十分昂貴，一般只有大型企業(yè)能接受。但是隨著新技術(shù)、新理念的普及，更多的中小企業(yè)也意識到數(shù)據(jù)的重要性，但考慮到資金投入，會傾向于尋找價(jià)格更低廉的方案。

在進(jìn)入互聯(lián)網(wǎng)飛速發(fā)展的時(shí)期之后，隨著通信技術(shù)的革新，數(shù)據(jù)通信成本的下降，掀起了一波又一波萬物互聯(lián)的熱潮。不僅是互聯(lián)網(wǎng)監(jiān)控需要采集數(shù)據(jù)，人們每天接觸的手機(jī)、智能手環(huán)、共享自行車、汽車等，都在源源不斷地產(chǎn)生數(shù)據(jù)。人們實(shí)時(shí)地收集這些數(shù)據(jù)并發(fā)送到云端，用大數(shù)據(jù)技術(shù)進(jìn)行分析，對業(yè)務(wù)進(jìn)行監(jiān)控和預(yù)測，以數(shù)據(jù)驅(qū)動企業(yè)降本增效，提高服務(wù)質(zhì)量。

這些數(shù)據(jù)其實(shí)和工業(yè)領(lǐng)域大部分的實(shí)時(shí)數(shù)據(jù)有著一些相同的特征：單條數(shù)據(jù)不會很長，但是數(shù)據(jù)量很大；都帶有時(shí)間戳，且按順序生成；數(shù)據(jù)大部分都是結(jié)構(gòu)化的，用于描述某個(gè)參數(shù)在某個(gè)時(shí)間點(diǎn)的特征；寫入的頻率會比查詢的頻率高很多；已存儲的數(shù)據(jù)很少有更新的需求；用戶會更關(guān)心一段時(shí)間的數(shù)據(jù)特征，而不是某一個(gè)時(shí)間點(diǎn)；數(shù)據(jù)的查詢分析大多基于某一個(gè)時(shí)間段或者某個(gè)數(shù)值范圍；需要進(jìn)行統(tǒng)計(jì)和可視化的展示。

這些特征同樣可以對應(yīng)到智能電表、環(huán)境監(jiān)測設(shè)備、工業(yè)生產(chǎn)線產(chǎn)生的數(shù)據(jù)。但由于產(chǎn)生的時(shí)期和場景不同，工業(yè)上的解決方案會和互聯(lián)網(wǎng)的解決方案存在一定的差異（見表2）。

表2  兩種數(shù)據(jù)庫方案的差異

新架構(gòu)下的時(shí)序數(shù)據(jù)庫在處理這些互聯(lián)網(wǎng)數(shù)據(jù)時(shí)的需求和傳統(tǒng)的實(shí)時(shí)數(shù)據(jù)庫有異曲同工之妙，可以說是同一種功能需求在不同領(lǐng)域的實(shí)現(xiàn)形式。互聯(lián)網(wǎng)新技術(shù)在向工業(yè)滲透的時(shí)候，會反映出一定的優(yōu)勢和劣勢，而工業(yè)互聯(lián)網(wǎng)技術(shù)的發(fā)展也應(yīng)順應(yīng)雙方技術(shù)的互相滲透融合，互相吸收優(yōu)點(diǎn)、彌補(bǔ)缺點(diǎn)，共同往更好的方向發(fā)展。

隨著工業(yè)互聯(lián)網(wǎng)發(fā)展的需求日益清晰，在這兩種數(shù)據(jù)庫技術(shù)互相滲透的過程中，可以觀察到一些技術(shù)的發(fā)展趨勢。

（1）逐步向分布式架構(gòu)轉(zhuǎn)變：傳統(tǒng)的實(shí)時(shí)數(shù)據(jù)庫多是主備的部署架構(gòu)，通常要求有較高配置的機(jī)器，來追求單機(jī)極致的性能；同時(shí)，在穩(wěn)定性方面，會對運(yùn)行軟件的穩(wěn)定性做極高的要求，完全由高質(zhì)量的代碼來保證運(yùn)行的穩(wěn)定；由于存儲容量有限，也會要求超高的數(shù)據(jù)壓縮比。但時(shí)序數(shù)據(jù)庫的分布式架構(gòu)，使得系統(tǒng)能夠輕松地進(jìn)行水平擴(kuò)展，讓數(shù)據(jù)庫不再依賴昂貴的硬件和存儲設(shè)備，以集群天然的優(yōu)勢來實(shí)現(xiàn)高可用，不會出現(xiàn)單點(diǎn)的瓶頸或故障，在普通的x86服務(wù)器甚至是虛擬機(jī)上都可以運(yùn)行，大大降低了使用成本。

（2）更靈活的數(shù)據(jù)模型：傳統(tǒng)的實(shí)時(shí)數(shù)據(jù)庫由于工業(yè)場景的特殊性，常使用的是單值模型，一個(gè)被監(jiān)控的參數(shù)稱為一個(gè)測點(diǎn)，在寫入時(shí)會對每一個(gè)測點(diǎn)建一個(gè)模型，比如一個(gè)風(fēng)機(jī)的溫度指標(biāo)算一個(gè)測點(diǎn)，10個(gè)風(fēng)機(jī)的10個(gè)指標(biāo)就是100個(gè)測點(diǎn)，每個(gè)測點(diǎn)會附帶描述信息（名稱、精度、數(shù)據(jù)類型、開關(guān)量/模擬量等），查詢的時(shí)候就會針對每個(gè)測點(diǎn)去查詢數(shù)值。單值模型的寫入效率會很高。

而時(shí)序數(shù)據(jù)庫，開始采用多值模型，類似面向?qū)ο蟮奶幚矸绞剑顼L(fēng)機(jī)是一種數(shù)據(jù)模型，可以包括溫度、壓力等多個(gè)測量維度，還包括經(jīng)緯度、編號等標(biāo)簽信息，這樣對外提供服務(wù)時(shí)會更適合分析的場景。當(dāng)然，單值模型和多值模型是可以互相轉(zhuǎn)換的，很多數(shù)據(jù)庫對外提供的服務(wù)為多值模型，但是底層存儲還是單值模型。

（3）SQL需求依然存在：目前大部分的時(shí)序數(shù)據(jù)庫都選擇了擴(kuò)展性較好的NoSQL數(shù)據(jù)庫作為底層存儲，相比于關(guān)系型數(shù)據(jù)庫，NoSQL的數(shù)據(jù)模型更靈活，非常適合時(shí)序數(shù)據(jù)的多值模型；更易擴(kuò)展，在資源受限或者需要提升性能的時(shí)候，可以輕易地增加機(jī)器；查詢效率高；開源軟件成本低。表3為開源時(shí)序數(shù)據(jù)庫使用的底層存儲模型。

表3  開源時(shí)序數(shù)據(jù)庫使用的底層存儲模型

圖1  使用邊緣計(jì)算技術(shù)實(shí)時(shí)處理數(shù)據(jù)的一種方案

結(jié)合調(diào)研，總結(jié)了互聯(lián)網(wǎng)行業(yè)和工業(yè)企業(yè)中對實(shí)時(shí)/時(shí)序數(shù)據(jù)庫使用的一些共性要求，列出了33條細(xì)則，其中有7項(xiàng)設(shè)置為了可選項(xiàng)，不滿足不會影響正常的業(yè)務(wù)要求，滿足能為產(chǎn)品加分。

此次測試的目的是為了檢驗(yàn)這些軟件架構(gòu)上的不同是否會影響到基礎(chǔ)功能服務(wù)的提供，并進(jìn)一步驗(yàn)證數(shù)據(jù)庫應(yīng)具備的技術(shù)要求。對國內(nèi)7家提供實(shí)時(shí)/時(shí)序數(shù)據(jù)庫服務(wù)的廠家進(jìn)行了一輪測試，參與者包括大型云服務(wù)提供商、傳統(tǒng)工業(yè)信息化解決方案提供商以及一些創(chuàng)業(yè)公司；產(chǎn)品覆蓋了NoSQL模型和關(guān)系模型、B/S架構(gòu)和C/S架構(gòu)、開源軟件和自主研發(fā)的軟件；部署模式涵蓋了本地化部署和云服務(wù)。

測試結(jié)果顯示，在25項(xiàng)必須具備的能力中，這些不同廠家的產(chǎn)品基本都能滿足，僅有一家產(chǎn)品不具備加密通信能力。由于服務(wù)的領(lǐng)域和場景不同，對于7個(gè)可選項(xiàng)，各家的產(chǎn)品展現(xiàn)出了一定的差異，以滿足不同的業(yè)務(wù)需求（見表4）。

表4  7家企業(yè)的測評情況

在總結(jié)了業(yè)界的多款產(chǎn)品以及現(xiàn)階段的一些業(yè)務(wù)需求之后，總結(jié)了時(shí)序數(shù)據(jù)庫需要具備的一些技術(shù)要求，分為幾個(gè)層面：一是基礎(chǔ)功能，能保證數(shù)據(jù)庫具備可用性的一些最基礎(chǔ)的操作；其次是管理能力，決定產(chǎn)品的可管理性和易用性；再就是維護(hù)產(chǎn)品穩(wěn)定運(yùn)行和持續(xù)優(yōu)化的一些特性，比如兼容能力、容錯(cuò)能力、擴(kuò)展性、安全性；最后是性能方面的一些考察項(xiàng)。

功能層面的要求決定了時(shí)序數(shù)據(jù)庫產(chǎn)品是否滿足最基礎(chǔ)的一些使用條件：涵蓋常用的額數(shù)據(jù)類型，如int、long、float、string、bool、bytearray等；數(shù)據(jù)的操作不丟失精度，支持毫秒精度數(shù)據(jù)讀寫；支持單域或多域?qū)懭耄峁﹩未魏团繉懭虢涌冢豢梢栽黾訒r(shí)間序列；支持單個(gè)時(shí)間序列和多個(gè)時(shí)間序列的查詢；支持按標(biāo)簽進(jìn)行過濾，包括精確匹配和模糊匹配；提供插值查詢能力，將數(shù)據(jù)補(bǔ)齊，并支持多種插值算法；支持按數(shù)值進(jìn)行時(shí)間序列和數(shù)據(jù)點(diǎn)過濾；支持獲取最新數(shù)據(jù)點(diǎn)；提供多種維度的聚合查詢接口，包括時(shí)間窗口聚合、標(biāo)簽分組，以及min、max、avg、count、sum等基本聚合函數(shù)；能夠?qū)崿F(xiàn)可編程函數(shù)以滿足一些定制化的查詢要求；在物聯(lián)網(wǎng)的使用場景下，能進(jìn)行基于地理位置的聚合查詢；支持按時(shí)間管理歷史數(shù)據(jù)，提供過期時(shí)間設(shè)置接口，可以高效清理歷史數(shù)據(jù)。

完整和友好的管理能力可以有效地支撐時(shí)序數(shù)據(jù)庫的使用和維護(hù)，有助于數(shù)據(jù)庫的使用者和維護(hù)團(tuán)隊(duì)有更好的使用體驗(yàn)。具體指標(biāo)包括：具備友好的部署能力或服務(wù)開通能力；全局范圍內(nèi)的數(shù)據(jù)庫配置在線管理能力；能夠?qū)?shù)據(jù)庫狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控，并具備告警能力；支持用戶的新增、刪除等管理能力，支持為用戶分配不同的權(quán)限；數(shù)據(jù)庫具備在線組件升級功能；能夠查看時(shí)間序列的定義、標(biāo)簽的定義、指標(biāo)的定義；支持與其他類型數(shù)據(jù)庫間的數(shù)據(jù)導(dǎo)入和導(dǎo)出。

指數(shù)據(jù)庫產(chǎn)品能否與主流硬件、軟件及大數(shù)據(jù)生態(tài)對接的能力，具體包括：數(shù)據(jù)庫能夠在x86/x86-64等主流硬件上正常運(yùn)行，異構(gòu)硬件特別是不同CPU型號和主流操作系統(tǒng)能夠兼容；建議支持容器部署；能夠與Hadoop/Spark等大數(shù)據(jù)分析平臺對接。

時(shí)序數(shù)據(jù)庫應(yīng)該具備一定的容錯(cuò)能力，確保集群在硬件或軟件異常的情況下仍能保證數(shù)據(jù)與服務(wù)的完整性，內(nèi)容包括：在發(fā)生硬件故障、操作系統(tǒng)故障或軟件服務(wù)故障時(shí)，運(yùn)行中的服務(wù)不會受到影響；當(dāng)請求超過集群能承載的壓力時(shí)，能夠通過一定的機(jī)制保證系統(tǒng)的可用性；能夠支持?jǐn)?shù)據(jù)多副本存儲，在副本丟失時(shí)不影響查詢業(yè)務(wù)。

時(shí)序數(shù)據(jù)庫應(yīng)該具備良好的擴(kuò)展性，能夠根據(jù)業(yè)務(wù)需求隨時(shí)進(jìn)行集群的擴(kuò)展和收縮，并保持?jǐn)?shù)據(jù)的均衡：數(shù)據(jù)庫集群具備集群擴(kuò)展能力，擴(kuò)展前后保持?jǐn)?shù)據(jù)均衡，且性能能夠隨之提升；數(shù)據(jù)庫集群具備集群縮減能力，縮減前后保持?jǐn)?shù)據(jù)均衡。

時(shí)序數(shù)據(jù)庫應(yīng)具備安全保障能力，主要包含：能夠?qū)尤霐?shù)據(jù)庫用戶進(jìn)行身份認(rèn)證工作；能夠?qū)?shù)據(jù)庫內(nèi)操作進(jìn)行審計(jì)工作；能夠支持客戶端與服務(wù)器端的加密通信，如HTTPS。

時(shí)序數(shù)據(jù)庫應(yīng)具備較高的處理性能，需要考察的內(nèi)容包括：寫入吞吐量、寫入時(shí)延；查詢并發(fā)度、查詢時(shí)延；聚合操作時(shí)延；數(shù)據(jù)導(dǎo)入并發(fā)度、時(shí)延；數(shù)據(jù)壓縮的效率。

本文從幾個(gè)層面分析了工業(yè)中時(shí)序數(shù)據(jù)處理的挑戰(zhàn)，描述了工業(yè)領(lǐng)域傳統(tǒng)的處理方案，以及在互聯(lián)網(wǎng)領(lǐng)域發(fā)展出的新技術(shù)架構(gòu)，并進(jìn)行了對比。為了解決工業(yè)中新涌現(xiàn)的問題，兩種實(shí)現(xiàn)方案需要各取所長，互為補(bǔ)充，以使互聯(lián)網(wǎng)技術(shù)更好地在工業(yè)領(lǐng)域應(yīng)用。并對產(chǎn)業(yè)界時(shí)序數(shù)據(jù)庫技術(shù)的發(fā)展方向進(jìn)行了分析，通過對需求方和供給側(cè)的研究，總結(jié)出了一些在新時(shí)期對于時(shí)序數(shù)據(jù)庫的技術(shù)要求。這項(xiàng)工作對于工業(yè)數(shù)據(jù)應(yīng)用的后續(xù)發(fā)展具有很重要的意義，還將繼續(xù)研究時(shí)序數(shù)據(jù)處理的性能要求，并研發(fā)適合工業(yè)場景數(shù)據(jù)特征的測試基準(zhǔn)和工具。