★ 北京華錄高誠科技有限公司
1 目標和概述
隨著物聯網、5G、云計算、大數據、人工智能、區塊鏈、北斗高精度定位等新一代信息技術的發展以及交通強國、新基建、數字交通的提出,構建以數據驅動的綜合交通數字治理和服務體系,實現綜合交通政府多元化治理、企業精細化運營、公眾智慧化出行,推動綜合交通管理及服務從智能化向智慧化的轉變成為當前迫切需求。
北京華錄高誠科技有限公司(以下簡稱:高誠科技)作為一家交通運輸大數據AI的運營服務商,創新性地推出“基于全域交通大腦的智慧交通一體化出行服務云平臺”(以下簡稱:智行云),以“數據入湖、算法入云、服務入戶”為建設理念,以數據湖為基礎、全域交通大腦為核心,作為交通運輸“智慧型、中樞型、服務型”的信息化基礎設施,面向政府、企業、公眾三類用戶,提供“智管、智運、智行”數據應用場景服務,涵蓋城市運輸、公路、港航、軌道、民航、物流、樞紐、旅游八大產業方向,提供700多個應用場景,打造“云享、云管、云服”新業態,助力政府現代化治理、企業高效化運營、百姓便捷化出行。
2 方案介紹
智行云基于北斗高精度定位、5G、大數據、云計算、區塊鏈、人工智能、物聯網等新一代信息技術,依托數據湖云融合新基建,通過重構TOCC(交通綜合運行協調和應急指揮平臺),以云服務的方式,提供可靈活配置、按需定制、持續運營的信息化建設及數據服務模式。
基于湖云融合以及交通大腦面向政府、企業、公眾開展綜合交通大數據云服務場景應用,構建“湖+云+邊+端+協同”服務模式,實現湖、云、邊、端四位一體,湖匯數據、云中心管控、邊緣自治、端數據服務。以此為基礎,智行云構建“1+1+1+3”的總體架構,“1”為數據湖,匯聚綜合交通海量多源異構數據,打造交通數據資產銀行;“1”為綜合交通大數據服務云,支持綜合交通及關聯產業多源數據要素的融合和協同,支持多云協作以及跨云數據及業務融合;“1”為交通運輸大腦,基于算法、模型,提供綜合交通AI應用管理和服務;“3”為智管、智運、智行,智管面向政府提供城市治理、行業管理、監測預警、指揮調度、決策支持、信息服務六大場景及城市運輸、智慧公路、智慧樞紐、智慧物流、智慧旅游、智慧港航、智慧軌道、智慧民航八大行業智慧管理服務;智運,創新政企數據融合應用,開展車路協同、安全生產、精準運營、安全生產大數據云服務;智行,基于政府、企業、和互聯網數據,打通市內與城際高速公路出行鏈服務,開展綜合交通一體化出行云服務。總體架構如圖1所示。
圖1 總體架構圖
2.1 技術架構
智行云技術架構采用IaaS、Paas、DaaS、SaaS/Maas四層架構,不同層次實現主機安全、網絡安全、數據安全、應用安全。如圖2所示。
圖2 數據架構圖
2.1.1 IaaS層
云主機:采用云服務商的云主機服務相比于物理主機,整合了計算、存儲與網絡資源的IT基礎設施能力,能夠根據業務需求,按需使用、隨時擴展、部署所需的服務器環境,并且能夠保障主機穩定、安全運行。
存儲:數據采用云存儲、湖存儲的方式,云存儲通過集群、分布式文件系統和網格計算等技術,實現云存儲中多個存儲設備之間的協同工作,使多個存儲設備可以對外提供同一種服務,具備更大更強更好的數據訪問性能,并通過各種數據備份和容災技術及措施保證云存儲自身的安全和穩定;湖存儲以藍光技術將冷數據存儲于湖中,降低存儲成本。
2.1.2 PaaS層
高誠基礎開發平臺整合人工智能、大數據、指標計算、電子地圖、統一認證、微服務、消息總結以支撐對外數據、算法、地圖服務。
人工智能:采用成熟人工智能框架TensorFlow、Caffe等,完成巨量數據的分析與挖掘、模式識別(如生物識別、文字識別、文件分類等)。
大數據:采用Hadoop集群技術存儲海量數據(如車輛GPS、公交刷卡、航空器軌跡及其它感知數據),對外提供數據存儲服務;再利用Spark引擎完成各種各樣的運算,包括SQL查詢、文本處理、機器學習等,對外提供實時計算服務。
指標計算:集成TOCC平臺成熟的指標算法體系,通過統一API對外提供算法服務。
電子地圖:集成Arcgis、互聯網地圖及其它專業地圖,統一GCMAP對外提供地圖服務。
統一認證:為保證API服務安全通過Token認證,所有API通過統一認證保證接口安全性及數據安全。
微服務:提供業務數據服務,整合業務需求,通過微服務橫向擴展能力,對外統一數據服務。
消息總線:利用成熟消息中間件(Kafka等),對億級數據接入、分發。
2.1.3 DaaS層
整合PaaS層服務,為業務層提供數據管理、數據共享交換、數據分析、數據運營管理服務。
數據管理:將數據清洗、抽取的規范化數據按領域、維度分類對用戶提供不同維度管理、元數據管理、數據計算管理、元數據查詢、數據標準規范引用等。
數據共享交換:構建一個統一數據共享交換平臺,將已經規范化的數據,以規范的格式、服務對外提供數據接口服務,實現數據的最大化利用。
數據分析:通過PaaS層指標計算服務,再通過BI工具形成統一報表服務。
數據運營管理:對每條數據進行標簽化管理,對數據進行運營,計算數據費用。
2.1.4 SaaS/MaaS層
高誠云服務支撐平臺定位ToG、ToB、ToC,為不同類型用戶提供多種形式展板(PC、大屏、移動端)。
ToG端應用方便行業監管、領導參觀展示。ToB應用于企業業務運營。ToC滿足公眾出行服務。
2.2 數據架構
智行云數據管理服務,以云平臺基礎架構為支撐,對數據的接入、存儲、分析、共享與交換、安全各個環節提供一體化解決方案。如圖3所示。
圖3 數據架構
與傳統數據管理不同,智行云數據管理服務增強了對實時數據的接入能力,通過自研的高性能數據接入網關,利用云平臺提供的動態擴容能力,可根據實際的接入數據量對接入服務進行動態調整,節省成本的同時,大大減少了數據的延時,增強了對業務的快速響應能力。
在數據接入和數據存儲、計算服務之間,構建了一層中間層,能夠幫助上層應用,通過其對外提供的標準化接口(如HTTP、JDBC、Java等),快速連接到多種底層計算存儲引擎(如Spark、Hive、TiSpark、MySQL、Python等),提交執行各種類型的計算任務,并實現跨上層應用間的計算任務運行時上下文和依賴的互通和共享。且通過提供多租戶、高并發、任務分發和管理策略、資源管控等特性支持,各種計算任務更靈活、可靠、可控地提交執行,成功返回結果,大大降低了上層應用在計算治理層的開發和運維成本。
2.2.1 數據接入
采用ETL工具、標準協議、定制化的私有協議,可接入不同數據源、結構化數據和非結構化數據。可接入不同協議的終端數據:車載終端、物聯網終端;可接入不同平臺的數據,包括路網、基礎設施、交通各領域、各企業平臺的數據,包括靜態數據、基礎數據、音視頻數據。
將采集到的數據經過統一的接入網關,傳輸到系統。
2.2.2 數據接收處理
從多租戶管理角度,服務可區分為租戶相關服務和租戶無關服務兩種類型。租戶相關服務,包括一些任務邏輯處理負荷重、資源消耗高,或需要根據具體租戶、用戶、物理機器等做隔離劃分,避免相互影響的服務。
Eureka承擔了微服務動態注冊與發現中心及所有租戶無關服務的負載均衡、故障轉移功能。
租戶相關的計算服務,由服務調度框架向計算服務傳遞租戶信息,由計算服務進行相關的計算。
在數據的入口處,把數據打上租戶的標簽,此標簽可追溯數據的整個生命周期中。
2.2.3 數據存儲
租戶的數據的隔離分為多個層級:分表、分庫隔離。
數據存儲標準化,把外部不符合標準的數據梳理為標準的數據格式。數據按領域、維度、事實分類,業務表職責清晰,對開發和業務人員更加友好。
為減少重復開發,統一輸入輸出數據格式,數據存儲分為三層:數據運營層(ODS)、數據倉庫層(DW)和數據應用層(DAS)。
ODS:數據源中的數據,經過抽取、洗凈、傳輸,在ETL之后裝入本層。本層的數據,總體上大多是按照源頭業務系統的分類方式而分類的。
考慮后續可能需要追溯數據問題,因此對于這一層就不做過多的數據清洗工作,接入原始數據即可,數據的去噪、去重、異常值處理等過程可以放在后面的DW層完成。
DW:從ODS層中獲得的數據按照主題建立各種數據模型。對通用的核心維度進行聚合操作,算出相應的統計指標。一張表會涵蓋比較多的業務內容,其字段較多,因此一般也會稱該層的表為寬表,即一個事實字段、多上維度字段,方便業務系統查詢。
DAS:主要是提供給數據產品和數據分析使用的數據,一般會存放在ES、MySql、Redis、Hive中。
2.2.4 數據分析和指標計算
通過數據計算框架,調用數據計算服務,包括指標計算服務、分類服務、特征分析服務等。服務之間的依賴關系、先后執行順序,由計算框架統一調度,大體上分為實時計算和離線計算。通過Spark、Hive腳本,按照事先定義好的維度表和算法庫,計算結果。將計算結果保存到DW中。
2.2.5 業務應用
數據訪問接口把DAS層數據統一提供給各種應用,包括大屏、PC、手機端。
3 代表性及推廣價值
本創新解決方案已在交通運輸部-交通運輸調度與應急指揮系統工程(部長一號工程)、北京大興國際機場綜合交通樞紐項目、北京交通委綜合交通運行協調指揮中心二期、泰州姜堰綜合交通大數據平臺、寧波海曙TOCC平臺、智慧順德之智慧交通一期、四川省交通廳交通旅游大數據融合平臺、武漢市交通運輸行業運行指數系統等項目實現核心功能落地應用,下一步將在全國各大城市進行應用示范,立足京津冀、輻射全國城市群。
本解決方案對服務模式的創新具體如下:
(1)數字交通創新創業服務模式
創新行業數據資源開發利用模式,激活數據增值能力,引導鼓勵企業和社會機構開展交通運輸服務大數據創新應用,推動交通運輸服務聯動創新、融合創新、萬眾創新。吸引人才與社會資源,帶動物流服務降本增效、交通政務一體化服務、交通旅游融合服務等。
(2)綜合運輸大數據挖掘與AI應用
通過不斷創新性研發數據的智慧化應用,準確研判交通運行態勢,實時感知突發事件,準確分析視頻圖像資源,提供精細化信息服務,有效支撐交通主管部門的交通決策,更好地推動交通行業運行監管。
(3)全出行鏈一體化的智慧服務
打造全出行鏈一體化的智慧服務平臺,實現出行等待時間的最小化、響應時間的最小化、狀態切換時間的最小化,推動“門到門”的全過程服務,打造一次支付,全程換乘無縫銜接,統一規劃行程并調配多模式的交通資源,最大程度地實現不同交通工具間的換乘銜接,減少中轉過程的時間損耗,改善交通系統內部的服務和外部的銜接,使整個出行過程更高效,最終減少整個社會的出行成本。
(4)數據運營
通過數據開放,實現價值挖掘,獲得收入分成。在政府助力之下實現數據的先期匯聚,通過數據脫敏交易或數據分析服務,獲得運營回報,并在政府授權基礎上,將部分數據脫敏面向企業、公眾有序開放。
通過提供產業基金及眾創空間實現數據資產化和證券化,對一些有價值的行業中小微企業進行培育,完善行業大數據產業鏈,將傳統的行業數據資源管理升級為數據資產銀行式服務,為各使用方提供高效、節能、優惠、安全的大數據服務。
(5)生態聯盟
聯合行業企業、互聯網企業、大數據企業、科研教育機構等共同參與數據的深層挖掘與應用,圍繞大數據、人工智能、區塊鏈、5G等新興技術與物流產業進行深度融合發展進行研究。
通過建立生態聯盟的模式匯聚行業企業、行業關聯企業、大數據服務企業、科研教育機構等資源,形成包含數據源、數據處理、數據交易、數據應用、人才培養、產業研究等物流大數據全產業鏈的生態體系,實現各生態伙伴之間的優勢互補、共同發展。
摘自《自動化博覽》2022年4月刊