★ 北京華錄高誠科技有限公司
1 目標(biāo)和概述
隨著物聯(lián)網(wǎng)、5G、云計(jì)算、大數(shù)據(jù)、人工智能、區(qū)塊鏈、北斗高精度定位等新一代信息技術(shù)的發(fā)展以及交通強(qiáng)國、新基建、數(shù)字交通的提出,構(gòu)建以數(shù)據(jù)驅(qū)動(dòng)的綜合交通數(shù)字治理和服務(wù)體系,實(shí)現(xiàn)綜合交通政府多元化治理、企業(yè)精細(xì)化運(yùn)營、公眾智慧化出行,推動(dòng)綜合交通管理及服務(wù)從智能化向智慧化的轉(zhuǎn)變成為當(dāng)前迫切需求。
北京華錄高誠科技有限公司(以下簡稱:高誠科技)作為一家交通運(yùn)輸大數(shù)據(jù)AI的運(yùn)營服務(wù)商,創(chuàng)新性地推出“基于全域交通大腦的智慧交通一體化出行服務(wù)云平臺(tái)”(以下簡稱:智行云),以“數(shù)據(jù)入湖、算法入云、服務(wù)入戶”為建設(shè)理念,以數(shù)據(jù)湖為基礎(chǔ)、全域交通大腦為核心,作為交通運(yùn)輸“智慧型、中樞型、服務(wù)型”的信息化基礎(chǔ)設(shè)施,面向政府、企業(yè)、公眾三類用戶,提供“智管、智運(yùn)、智行”數(shù)據(jù)應(yīng)用場(chǎng)景服務(wù),涵蓋城市運(yùn)輸、公路、港航、軌道、民航、物流、樞紐、旅游八大產(chǎn)業(yè)方向,提供700多個(gè)應(yīng)用場(chǎng)景,打造“云享、云管、云服”新業(yè)態(tài),助力政府現(xiàn)代化治理、企業(yè)高效化運(yùn)營、百姓便捷化出行。
2 方案介紹
智行云基于北斗高精度定位、5G、大數(shù)據(jù)、云計(jì)算、區(qū)塊鏈、人工智能、物聯(lián)網(wǎng)等新一代信息技術(shù),依托數(shù)據(jù)湖云融合新基建,通過重構(gòu)TOCC(交通綜合運(yùn)行協(xié)調(diào)和應(yīng)急指揮平臺(tái)),以云服務(wù)的方式,提供可靈活配置、按需定制、持續(xù)運(yùn)營的信息化建設(shè)及數(shù)據(jù)服務(wù)模式。
基于湖云融合以及交通大腦面向政府、企業(yè)、公眾開展綜合交通大數(shù)據(jù)云服務(wù)場(chǎng)景應(yīng)用,構(gòu)建“湖+云+邊+端+協(xié)同”服務(wù)模式,實(shí)現(xiàn)湖、云、邊、端四位一體,湖匯數(shù)據(jù)、云中心管控、邊緣自治、端數(shù)據(jù)服務(wù)。以此為基礎(chǔ),智行云構(gòu)建“1+1+1+3”的總體架構(gòu),“1”為數(shù)據(jù)湖,匯聚綜合交通海量多源異構(gòu)數(shù)據(jù),打造交通數(shù)據(jù)資產(chǎn)銀行;“1”為綜合交通大數(shù)據(jù)服務(wù)云,支持綜合交通及關(guān)聯(lián)產(chǎn)業(yè)多源數(shù)據(jù)要素的融合和協(xié)同,支持多云協(xié)作以及跨云數(shù)據(jù)及業(yè)務(wù)融合;“1”為交通運(yùn)輸大腦,基于算法、模型,提供綜合交通AI應(yīng)用管理和服務(wù);“3”為智管、智運(yùn)、智行,智管面向政府提供城市治理、行業(yè)管理、監(jiān)測(cè)預(yù)警、指揮調(diào)度、決策支持、信息服務(wù)六大場(chǎng)景及城市運(yùn)輸、智慧公路、智慧樞紐、智慧物流、智慧旅游、智慧港航、智慧軌道、智慧民航八大行業(yè)智慧管理服務(wù);智運(yùn),創(chuàng)新政企數(shù)據(jù)融合應(yīng)用,開展車路協(xié)同、安全生產(chǎn)、精準(zhǔn)運(yùn)營、安全生產(chǎn)大數(shù)據(jù)云服務(wù);智行,基于政府、企業(yè)、和互聯(lián)網(wǎng)數(shù)據(jù),打通市內(nèi)與城際高速公路出行鏈服務(wù),開展綜合交通一體化出行云服務(wù)??傮w架構(gòu)如圖1所示。
圖1 總體架構(gòu)圖
2.1 技術(shù)架構(gòu)
智行云技術(shù)架構(gòu)采用IaaS、Paas、DaaS、SaaS/Maas四層架構(gòu),不同層次實(shí)現(xiàn)主機(jī)安全、網(wǎng)絡(luò)安全、數(shù)據(jù)安全、應(yīng)用安全。如圖2所示。
圖2 數(shù)據(jù)架構(gòu)圖
2.1.1 IaaS層
云主機(jī):采用云服務(wù)商的云主機(jī)服務(wù)相比于物理主機(jī),整合了計(jì)算、存儲(chǔ)與網(wǎng)絡(luò)資源的IT基礎(chǔ)設(shè)施能力,能夠根據(jù)業(yè)務(wù)需求,按需使用、隨時(shí)擴(kuò)展、部署所需的服務(wù)器環(huán)境,并且能夠保障主機(jī)穩(wěn)定、安全運(yùn)行。
存儲(chǔ):數(shù)據(jù)采用云存儲(chǔ)、湖存儲(chǔ)的方式,云存儲(chǔ)通過集群、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù),實(shí)現(xiàn)云存儲(chǔ)中多個(gè)存儲(chǔ)設(shè)備之間的協(xié)同工作,使多個(gè)存儲(chǔ)設(shè)備可以對(duì)外提供同一種服務(wù),具備更大更強(qiáng)更好的數(shù)據(jù)訪問性能,并通過各種數(shù)據(jù)備份和容災(zāi)技術(shù)及措施保證云存儲(chǔ)自身的安全和穩(wěn)定;湖存儲(chǔ)以藍(lán)光技術(shù)將冷數(shù)據(jù)存儲(chǔ)于湖中,降低存儲(chǔ)成本。
2.1.2 PaaS層
高誠基礎(chǔ)開發(fā)平臺(tái)整合人工智能、大數(shù)據(jù)、指標(biāo)計(jì)算、電子地圖、統(tǒng)一認(rèn)證、微服務(wù)、消息總結(jié)以支撐對(duì)外數(shù)據(jù)、算法、地圖服務(wù)。
人工智能:采用成熟人工智能框架TensorFlow、Caffe等,完成巨量數(shù)據(jù)的分析與挖掘、模式識(shí)別(如生物識(shí)別、文字識(shí)別、文件分類等)。
大數(shù)據(jù):采用Hadoop集群技術(shù)存儲(chǔ)海量數(shù)據(jù)(如車輛GPS、公交刷卡、航空器軌跡及其它感知數(shù)據(jù)),對(duì)外提供數(shù)據(jù)存儲(chǔ)服務(wù);再利用Spark引擎完成各種各樣的運(yùn)算,包括SQL查詢、文本處理、機(jī)器學(xué)習(xí)等,對(duì)外提供實(shí)時(shí)計(jì)算服務(wù)。
指標(biāo)計(jì)算:集成TOCC平臺(tái)成熟的指標(biāo)算法體系,通過統(tǒng)一API對(duì)外提供算法服務(wù)。
電子地圖:集成Arcgis、互聯(lián)網(wǎng)地圖及其它專業(yè)地圖,統(tǒng)一GCMAP對(duì)外提供地圖服務(wù)。
統(tǒng)一認(rèn)證:為保證API服務(wù)安全通過Token認(rèn)證,所有API通過統(tǒng)一認(rèn)證保證接口安全性及數(shù)據(jù)安全。
微服務(wù):提供業(yè)務(wù)數(shù)據(jù)服務(wù),整合業(yè)務(wù)需求,通過微服務(wù)橫向擴(kuò)展能力,對(duì)外統(tǒng)一數(shù)據(jù)服務(wù)。
消息總線:利用成熟消息中間件(Kafka等),對(duì)億級(jí)數(shù)據(jù)接入、分發(fā)。
2.1.3 DaaS層
整合PaaS層服務(wù),為業(yè)務(wù)層提供數(shù)據(jù)管理、數(shù)據(jù)共享交換、數(shù)據(jù)分析、數(shù)據(jù)運(yùn)營管理服務(wù)。
數(shù)據(jù)管理:將數(shù)據(jù)清洗、抽取的規(guī)范化數(shù)據(jù)按領(lǐng)域、維度分類對(duì)用戶提供不同維度管理、元數(shù)據(jù)管理、數(shù)據(jù)計(jì)算管理、元數(shù)據(jù)查詢、數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范引用等。
數(shù)據(jù)共享交換:構(gòu)建一個(gè)統(tǒng)一數(shù)據(jù)共享交換平臺(tái),將已經(jīng)規(guī)范化的數(shù)據(jù),以規(guī)范的格式、服務(wù)對(duì)外提供數(shù)據(jù)接口服務(wù),實(shí)現(xiàn)數(shù)據(jù)的最大化利用。
數(shù)據(jù)分析:通過PaaS層指標(biāo)計(jì)算服務(wù),再通過BI工具形成統(tǒng)一報(bào)表服務(wù)。
數(shù)據(jù)運(yùn)營管理:對(duì)每條數(shù)據(jù)進(jìn)行標(biāo)簽化管理,對(duì)數(shù)據(jù)進(jìn)行運(yùn)營,計(jì)算數(shù)據(jù)費(fèi)用。
2.1.4 SaaS/MaaS層
高誠云服務(wù)支撐平臺(tái)定位ToG、ToB、ToC,為不同類型用戶提供多種形式展板(PC、大屏、移動(dòng)端)。
ToG端應(yīng)用方便行業(yè)監(jiān)管、領(lǐng)導(dǎo)參觀展示。ToB應(yīng)用于企業(yè)業(yè)務(wù)運(yùn)營。ToC滿足公眾出行服務(wù)。
2.2 數(shù)據(jù)架構(gòu)
智行云數(shù)據(jù)管理服務(wù),以云平臺(tái)基礎(chǔ)架構(gòu)為支撐,對(duì)數(shù)據(jù)的接入、存儲(chǔ)、分析、共享與交換、安全各個(gè)環(huán)節(jié)提供一體化解決方案。如圖3所示。
圖3 數(shù)據(jù)架構(gòu)
與傳統(tǒng)數(shù)據(jù)管理不同,智行云數(shù)據(jù)管理服務(wù)增強(qiáng)了對(duì)實(shí)時(shí)數(shù)據(jù)的接入能力,通過自研的高性能數(shù)據(jù)接入網(wǎng)關(guān),利用云平臺(tái)提供的動(dòng)態(tài)擴(kuò)容能力,可根據(jù)實(shí)際的接入數(shù)據(jù)量對(duì)接入服務(wù)進(jìn)行動(dòng)態(tài)調(diào)整,節(jié)省成本的同時(shí),大大減少了數(shù)據(jù)的延時(shí),增強(qiáng)了對(duì)業(yè)務(wù)的快速響應(yīng)能力。
在數(shù)據(jù)接入和數(shù)據(jù)存儲(chǔ)、計(jì)算服務(wù)之間,構(gòu)建了一層中間層,能夠幫助上層應(yīng)用,通過其對(duì)外提供的標(biāo)準(zhǔn)化接口(如HTTP、JDBC、Java等),快速連接到多種底層計(jì)算存儲(chǔ)引擎(如Spark、Hive、TiSpark、MySQL、Python等),提交執(zhí)行各種類型的計(jì)算任務(wù),并實(shí)現(xiàn)跨上層應(yīng)用間的計(jì)算任務(wù)運(yùn)行時(shí)上下文和依賴的互通和共享。且通過提供多租戶、高并發(fā)、任務(wù)分發(fā)和管理策略、資源管控等特性支持,各種計(jì)算任務(wù)更靈活、可靠、可控地提交執(zhí)行,成功返回結(jié)果,大大降低了上層應(yīng)用在計(jì)算治理層的開發(fā)和運(yùn)維成本。
2.2.1 數(shù)據(jù)接入
采用ETL工具、標(biāo)準(zhǔn)協(xié)議、定制化的私有協(xié)議,可接入不同數(shù)據(jù)源、結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)??山尤氩煌瑓f(xié)議的終端數(shù)據(jù):車載終端、物聯(lián)網(wǎng)終端;可接入不同平臺(tái)的數(shù)據(jù),包括路網(wǎng)、基礎(chǔ)設(shè)施、交通各領(lǐng)域、各企業(yè)平臺(tái)的數(shù)據(jù),包括靜態(tài)數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)、音視頻數(shù)據(jù)。
將采集到的數(shù)據(jù)經(jīng)過統(tǒng)一的接入網(wǎng)關(guān),傳輸?shù)较到y(tǒng)。
2.2.2 數(shù)據(jù)接收處理
從多租戶管理角度,服務(wù)可區(qū)分為租戶相關(guān)服務(wù)和租戶無關(guān)服務(wù)兩種類型。租戶相關(guān)服務(wù),包括一些任務(wù)邏輯處理負(fù)荷重、資源消耗高,或需要根據(jù)具體租戶、用戶、物理機(jī)器等做隔離劃分,避免相互影響的服務(wù)。
Eureka承擔(dān)了微服務(wù)動(dòng)態(tài)注冊(cè)與發(fā)現(xiàn)中心及所有租戶無關(guān)服務(wù)的負(fù)載均衡、故障轉(zhuǎn)移功能。
租戶相關(guān)的計(jì)算服務(wù),由服務(wù)調(diào)度框架向計(jì)算服務(wù)傳遞租戶信息,由計(jì)算服務(wù)進(jìn)行相關(guān)的計(jì)算。
在數(shù)據(jù)的入口處,把數(shù)據(jù)打上租戶的標(biāo)簽,此標(biāo)簽可追溯數(shù)據(jù)的整個(gè)生命周期中。
2.2.3 數(shù)據(jù)存儲(chǔ)
租戶的數(shù)據(jù)的隔離分為多個(gè)層級(jí):分表、分庫隔離。
數(shù)據(jù)存儲(chǔ)標(biāo)準(zhǔn)化,把外部不符合標(biāo)準(zhǔn)的數(shù)據(jù)梳理為標(biāo)準(zhǔn)的數(shù)據(jù)格式。數(shù)據(jù)按領(lǐng)域、維度、事實(shí)分類,業(yè)務(wù)表職責(zé)清晰,對(duì)開發(fā)和業(yè)務(wù)人員更加友好。
為減少重復(fù)開發(fā),統(tǒng)一輸入輸出數(shù)據(jù)格式,數(shù)據(jù)存儲(chǔ)分為三層:數(shù)據(jù)運(yùn)營層(ODS)、數(shù)據(jù)倉庫層(DW)和數(shù)據(jù)應(yīng)用層(DAS)。
ODS:數(shù)據(jù)源中的數(shù)據(jù),經(jīng)過抽取、洗凈、傳輸,在ETL之后裝入本層。本層的數(shù)據(jù),總體上大多是按照源頭業(yè)務(wù)系統(tǒng)的分類方式而分類的。
考慮后續(xù)可能需要追溯數(shù)據(jù)問題,因此對(duì)于這一層就不做過多的數(shù)據(jù)清洗工作,接入原始數(shù)據(jù)即可,數(shù)據(jù)的去噪、去重、異常值處理等過程可以放在后面的DW層完成。
DW:從ODS層中獲得的數(shù)據(jù)按照主題建立各種數(shù)據(jù)模型。對(duì)通用的核心維度進(jìn)行聚合操作,算出相應(yīng)的統(tǒng)計(jì)指標(biāo)。一張表會(huì)涵蓋比較多的業(yè)務(wù)內(nèi)容,其字段較多,因此一般也會(huì)稱該層的表為寬表,即一個(gè)事實(shí)字段、多上維度字段,方便業(yè)務(wù)系統(tǒng)查詢。
DAS:主要是提供給數(shù)據(jù)產(chǎn)品和數(shù)據(jù)分析使用的數(shù)據(jù),一般會(huì)存放在ES、MySql、Redis、Hive中。
2.2.4 數(shù)據(jù)分析和指標(biāo)計(jì)算
通過數(shù)據(jù)計(jì)算框架,調(diào)用數(shù)據(jù)計(jì)算服務(wù),包括指標(biāo)計(jì)算服務(wù)、分類服務(wù)、特征分析服務(wù)等。服務(wù)之間的依賴關(guān)系、先后執(zhí)行順序,由計(jì)算框架統(tǒng)一調(diào)度,大體上分為實(shí)時(shí)計(jì)算和離線計(jì)算。通過Spark、Hive腳本,按照事先定義好的維度表和算法庫,計(jì)算結(jié)果。將計(jì)算結(jié)果保存到DW中。
2.2.5 業(yè)務(wù)應(yīng)用
數(shù)據(jù)訪問接口把DAS層數(shù)據(jù)統(tǒng)一提供給各種應(yīng)用,包括大屏、PC、手機(jī)端。
3 代表性及推廣價(jià)值
本創(chuàng)新解決方案已在交通運(yùn)輸部-交通運(yùn)輸調(diào)度與應(yīng)急指揮系統(tǒng)工程(部長一號(hào)工程)、北京大興國際機(jī)場(chǎng)綜合交通樞紐項(xiàng)目、北京交通委綜合交通運(yùn)行協(xié)調(diào)指揮中心二期、泰州姜堰綜合交通大數(shù)據(jù)平臺(tái)、寧波海曙TOCC平臺(tái)、智慧順德之智慧交通一期、四川省交通廳交通旅游大數(shù)據(jù)融合平臺(tái)、武漢市交通運(yùn)輸行業(yè)運(yùn)行指數(shù)系統(tǒng)等項(xiàng)目實(shí)現(xiàn)核心功能落地應(yīng)用,下一步將在全國各大城市進(jìn)行應(yīng)用示范,立足京津冀、輻射全國城市群。
本解決方案對(duì)服務(wù)模式的創(chuàng)新具體如下:
(1)數(shù)字交通創(chuàng)新創(chuàng)業(yè)服務(wù)模式
創(chuàng)新行業(yè)數(shù)據(jù)資源開發(fā)利用模式,激活數(shù)據(jù)增值能力,引導(dǎo)鼓勵(lì)企業(yè)和社會(huì)機(jī)構(gòu)開展交通運(yùn)輸服務(wù)大數(shù)據(jù)創(chuàng)新應(yīng)用,推動(dòng)交通運(yùn)輸服務(wù)聯(lián)動(dòng)創(chuàng)新、融合創(chuàng)新、萬眾創(chuàng)新。吸引人才與社會(huì)資源,帶動(dòng)物流服務(wù)降本增效、交通政務(wù)一體化服務(wù)、交通旅游融合服務(wù)等。
(2)綜合運(yùn)輸大數(shù)據(jù)挖掘與AI應(yīng)用
通過不斷創(chuàng)新性研發(fā)數(shù)據(jù)的智慧化應(yīng)用,準(zhǔn)確研判交通運(yùn)行態(tài)勢(shì),實(shí)時(shí)感知突發(fā)事件,準(zhǔn)確分析視頻圖像資源,提供精細(xì)化信息服務(wù),有效支撐交通主管部門的交通決策,更好地推動(dòng)交通行業(yè)運(yùn)行監(jiān)管。
(3)全出行鏈一體化的智慧服務(wù)
打造全出行鏈一體化的智慧服務(wù)平臺(tái),實(shí)現(xiàn)出行等待時(shí)間的最小化、響應(yīng)時(shí)間的最小化、狀態(tài)切換時(shí)間的最小化,推動(dòng)“門到門”的全過程服務(wù),打造一次支付,全程換乘無縫銜接,統(tǒng)一規(guī)劃行程并調(diào)配多模式的交通資源,最大程度地實(shí)現(xiàn)不同交通工具間的換乘銜接,減少中轉(zhuǎn)過程的時(shí)間損耗,改善交通系統(tǒng)內(nèi)部的服務(wù)和外部的銜接,使整個(gè)出行過程更高效,最終減少整個(gè)社會(huì)的出行成本。
(4)數(shù)據(jù)運(yùn)營
通過數(shù)據(jù)開放,實(shí)現(xiàn)價(jià)值挖掘,獲得收入分成。在政府助力之下實(shí)現(xiàn)數(shù)據(jù)的先期匯聚,通過數(shù)據(jù)脫敏交易或數(shù)據(jù)分析服務(wù),獲得運(yùn)營回報(bào),并在政府授權(quán)基礎(chǔ)上,將部分?jǐn)?shù)據(jù)脫敏面向企業(yè)、公眾有序開放。
通過提供產(chǎn)業(yè)基金及眾創(chuàng)空間實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)化和證券化,對(duì)一些有價(jià)值的行業(yè)中小微企業(yè)進(jìn)行培育,完善行業(yè)大數(shù)據(jù)產(chǎn)業(yè)鏈,將傳統(tǒng)的行業(yè)數(shù)據(jù)資源管理升級(jí)為數(shù)據(jù)資產(chǎn)銀行式服務(wù),為各使用方提供高效、節(jié)能、優(yōu)惠、安全的大數(shù)據(jù)服務(wù)。
(5)生態(tài)聯(lián)盟
聯(lián)合行業(yè)企業(yè)、互聯(lián)網(wǎng)企業(yè)、大數(shù)據(jù)企業(yè)、科研教育機(jī)構(gòu)等共同參與數(shù)據(jù)的深層挖掘與應(yīng)用,圍繞大數(shù)據(jù)、人工智能、區(qū)塊鏈、5G等新興技術(shù)與物流產(chǎn)業(yè)進(jìn)行深度融合發(fā)展進(jìn)行研究。
通過建立生態(tài)聯(lián)盟的模式匯聚行業(yè)企業(yè)、行業(yè)關(guān)聯(lián)企業(yè)、大數(shù)據(jù)服務(wù)企業(yè)、科研教育機(jī)構(gòu)等資源,形成包含數(shù)據(jù)源、數(shù)據(jù)處理、數(shù)據(jù)交易、數(shù)據(jù)應(yīng)用、人才培養(yǎng)、產(chǎn)業(yè)研究等物流大數(shù)據(jù)全產(chǎn)業(yè)鏈的生態(tài)體系,實(shí)現(xiàn)各生態(tài)伙伴之間的優(yōu)勢(shì)互補(bǔ)、共同發(fā)展。
摘自《自動(dòng)化博覽》2022年4月刊