xxxxhdi8日本hd_免费看一毛一级毛片视频_歪歪漫画欢迎您_3dhdvidesxxxx动漫

四川中衛北斗科技有限公司

在線咨詢
微信

微信掃一掃

長按二維碼關注微信加好友

交通運輸數據資源共享交換體系探究與實現

發布時間:2022-03-08 16:37

作者:左大鵬(四川省交通運輸廳信息中心)

摘要:隨著交通運輸信息化應用的不斷豐富更新,行業內外應用間高效協同需求強烈,為進一步提升群眾辦事服務與行業管理質量和效率,迫切需要建設高效率高質量的交通運輸資源匯聚治理與交換共享體系。本文基于四川省交通運輸行業信息化的現狀與問題,梳理了數據流需求,介紹了數據匯聚與治理機制和數據中心存儲設計,針對行業內外數據交換共享需求提出了數據交換共享平臺邏輯架構,最后對數據資源匯聚治理與交換共享體系在實際項目中的應用情況進行了簡要說明。

隨著信息化技術在交通運輸行業的深入推廣,各級交通運輸管理部門為滿足行業發展管理需求積極建設了相應信息系統,包括公路建設、路網管理、水路、運管、航空、鐵路等許多業務應用系統[1],應用協同數據需求越來越多,數據協同的效率和質量直接關系到應用的使用效率和準確性,更關系到交通運輸行業公眾服務和政務管理的質量與效率。為滿足交通運輸數據資源交換共享需求,進而提升數據資源利用效率和業務應用協同效率,推進交通運輸行業的公眾服務、政務管理,綜合分析的高質量發展的關鍵在于發展對應的高質量高效率交通運輸數據資源共享交換體系。


一、現狀及問題

隨著近年來信息化建設的不斷深入,四川省交通運輸各級業務部門根據自身業務管理需求已經建設了相應的信息系統,涉及行業包括公路交通、路網運行、道路運輸、水路交通、綜合服務管理等[1]。
不過,這些系統的建立只服務于獨立的業務部門,且在不同時期完成,缺少統一的管理規劃,業務系統各自掌握的數據不能及時有效提供給相關需求單位,在數據交換共享方面仍然存在問題。
通過四川省交通運輸廳數據中心的建設,已對現有交通運輸省直部門業務系統數據進行了匯聚,包括公路交通、水路交通、道路運輸、城市交通、綜合管理等[1]。通過對以上匯聚數據資源進行分析,發現基礎類數據資源存在數據標準不統一、一類數據存在多個數據源、數據質量不高、數據更新不及時等情況,導致在業務系統間無法有效互聯互通,業務數據協同應用效率不足,質量不高。


二、數據流需求

為提高交通運輸數據資源交換共享效率,首先需要掌握數據中心交換共享整體需求,從數據生產源到數據需求端進行了全面梳理。全省行業交通運輸數據流如圖1所示。
image.png
圖1 交通行業數據流示意圖
1、底部為數據生產源,包括四個部分,分別是省級云上信息系統、省級云外業務單位信息系統、行業外信息系統、市州交通運輸局數據分中心;
2、各個環節數據交互通過省級數據交換節點實現;
3、匯聚數據分別根據結構化與非結構化屬性將行業內外各類數據采集到省級數據中心和大數據平臺;
4、通過省級數據資源交換共享平臺將數據中心匯聚數據進行數據管控,通過融合治理、元數據管理等,構建行業人車戶路四類基礎數據庫、建管養運四類業務數據庫,形成包括公眾出行、電子證照、空間地理、應急指揮等行業主題數據庫;
5、省級數據資源交換共享平臺通過編制目錄、對接數據、注冊資源、形成數據服務,對外依申請共享或直接開放;
6、省級數據資源交換共享平臺通過交換管理實現對數據服務狀況;
7、最后到達頂部數據需求端,包括交通運輸部、省大數據中心、省級其他單位、省級云上(外)信息系統、市州交通運輸局、交通運輸行業互聯網企業。


三、數據匯聚與治理

(一)數據匯聚
為實現高效率匯聚數據,主要通過大數據ETL工具實現數據匯聚,大數據ETL工具功能豐富,涵蓋了數據庫、各類數據文件、接口等多種數據對接方式,是比較主流高效的數據匯聚工具。大數據ETL具體功能如圖2所示。
image.png
圖2 大數據ETL工具功能示意圖
(二)數據治理
數據治理主要從目錄管理、數據管控兩方面入手,通過運用數據治理規則建立一套數據準入和準出機制,以保障數據準確性、一致性、完整性和可用性,從而提供高質量的數據資源用于交換共享支撐應用協同[2]。
1、目錄管理
目錄項管理:根據交通運輸部行業資源分類及目錄編制指南,對匯聚的數據資源編制行業資源目錄。創建的目錄項結構中一級目錄對應六大行業分類,包括:公路交通、道路運輸、水路交通、城市交通、綜合管理、行業外管理[1];二級目錄對應各個一級目錄下的業務分類。
目錄信息項編目:對目錄進行信息項各項內容進行編目、并進行審核后發布,保持對目錄信息更新維護。
數據標準:形成我省交通運輸行業標準數據模板。提供標準數據模板的查詢、新增、編輯、刪除、保存、取消、啟動/停用、下載模板等功能,保持標準數據模板的更新維護和使用。
2、數據管控
元數據管理:實現不同數據源情況下的元數據匯聚,進行元數據編碼,實現數據關聯,提供對元數據增刪改查及批量導出等功能; 
質量審計:提供審計規則制定、審計方案制定(多個規則生成一個方案)、審計質量分析、審計質量報告的數據質量管理全過程的功能。根據數據質量審計結果,判斷數據是否準入。
數據清洗:對已匯聚數據按照數據清洗規則進行轉換、清洗、融合等處理。數據清洗規則包括非空檢查、非法代碼、非法值、格式核驗、邏輯錯誤、關聯性驗證等
數據融合:主要有遞增、覆蓋、全量三種方式。
多源數據處理:針對相同數據資源,具有多個業務系統來源,各自業務系統相對獨立,數據規則不統一,僅滿足自己業務需求應用,無法實現數據同步統一更新。以收費站基礎信息為例,公路局、高管局及監控結算中心相關業務系統均有一份收費站數據,以滿足各自的業務需要。從3個業務數據采集匯聚后的數據質量、數據結構均不完全一致,采用的收費站編碼規則也不一樣。建議一是采納由實際業務應用最廣泛最頻繁業務系統為基礎;二是統一采用JT/T132-2014公路數據庫編目編碼規范針對公路網基礎設施定義編碼規范;三是制定融合規范,進行數據升級,定義設施設備唯一標識,實現對不同業務系統同樣設施設備進行數據升級,并逐步實現其他差異消除。


四、數據存儲設計

數據資源經過匯聚治理后需要分門別類進行儲存以便進行提高數據讀寫效率,提高數據可用性,一致性。數據中心存儲設計如圖3所示。
image.png
圖3 數據中心存儲設計圖
核心生產系統結構化常量增量數據(非海量增量數據)可以通過oracle一體機進行采集存儲,根據標準數據資源目錄模型進行數據存放,存放數據形式為清單級數據。同時利用其性能優勢,支撐高并發、時效性要求高的應用場景。
生產系統海量數據以及非結構化數據可以直接進入大數據平臺進行數據存儲。利用大數據平臺計算組件選擇多樣、多租戶模式提供各應用租戶大數據加工和分析能力。


五、數據交換共享平臺設計

數據資源交換共享與開放應用平臺按數據的流向自下而上分為五層,分別為外部數據資源層、數據匯聚層、數據融合層、服務管理層和服務門戶層。數據交換共享平臺系統架構如圖4所示。
image.png
圖4 數據交換共享平臺系統架構圖
(一)外部數據資源層
外部數據資源層即源數據庫,為系統外部數據的來源,其主要包括行業內系統共享數據、行業外系統共享數據及互聯網數據。
(二)數據匯聚層
數據匯聚層主要實現對外部數據源層的數據整合,其主要根據獲取數據的特性不同而采用不同的采集方案。對離線批處理數據,實時性要求不高的情況下,采用傳統的etl工具來實現。對數據實時性要求高、采集頻度較高的數據(如GPS、傳感器、移動終端發送數據等),采用實時數據接入方案。
(三)數據融合層
數據融合層為工程數據提供持久化存儲和訪問的場所。通過“一體機數據庫+分布式數據庫+Hadoop大數據庫”的混合架構形成平臺的數據融合層。其中核心生產系統結構化數據存儲查詢等通過一體機數據庫提供,實現高并發的數據查詢分析能力;非結構化數據通過分布式存儲架構的存儲節點上部署的數據庫提供。
(四)服務管理層
主要包括目錄管理、資源管理、服務管理、交換管理等功能。
目錄管理提供目錄編制、目錄維護、目錄變更、目錄審核、目錄發布等操作功能,能夠方便快捷檢索到交通行業不同分類信息資源目錄情況。
資源管理部分主要是進行資源注冊,根據已編制完成的信息資源目錄,在進行了數據接入后進行資源的注冊操作,將目錄編目時錄入的“標準化”信息項與數據接入時的實際信息項建立的匹配信息進行注冊以便發布服務使用。
服務管理提供服務發布,服務啟用/停用,服務監控,服務調用日志,統計分析等管理能力,實現服務的全生命周期管理,從開發、測試、發布、調用、注銷,到服務監控、安全等的管理。
交換管理提供資源服務共享申請,交換管理,任務監控等功能,通過接口、數據庫、文件等不同方式提供數據服務以滿足不同數據需求,對共享任務動態監控告警方便跟蹤數據鏈路的聯通性[3]。
(五)服務門戶層
通過服務門戶和接口支持,提供標準化服務給應用系統調用,滿足各種場景下應用系統對數據的使用和共享交換需求。


六、應用實例

本文以四川省交通運輸政務信息資源交換共享與開放應用平臺為例,通過兩個基礎應用平臺、一個存儲中心、多個數據交換節點形成全省交通運輸數據交換共享與開放應用體系。四川省交通運輸數據交換共享與開放應用平臺邏輯架構如圖5所示。

image.png
圖5 四川省交通運輸數據交換共享與開放應用平臺邏輯架構圖
兩個基礎支撐平臺:一是共享交換平臺,依據四川省交通運輸行業資源現狀完成數據資源目錄體系建設,形成數據資源交換標準編制規范,并提供目錄管理、資源注冊、資源服務、共享交換等功能,完成數據中心各庫之間、與大數據平臺之間、與行業業務局之間等的數據共享交換,并向所有業務應用系統提供數據服務支撐;二是大數據平臺,一方面提供大數據量的存儲服務,包括非結構化、半結構化、結構化大數據存儲;另一方面一方面是提供大數據組件計算服務以及數據挖掘分析功能。
一個數據存儲中心:由大數據平臺存儲計算服務器與oracle一體機存儲服務器共同組成廳數據存儲中心。
數個省級數據交換節點:即數據采集平臺,采用了東方通交換共享平臺,根據交通行業數據和應用特征,定制開發數據采集方式、轉換方式,并對現有各類行業數據進行匯聚整合,打通各業務單位間不同數據結構、不同網絡環境的數據交換工作。
數據工程:主要通過數據交換節點,結合共享交換平臺,完成數據資源接入,依托大數據平臺存儲服務器和oracle一體機形成的數據中心完成資源存儲,通過數據融合處理,形成交通運輸行業數據資產,支撐數據資源目錄體系建設以及上層的業務應用。
四川省交通運輸政務信息資源交換共享與開放應用平臺:通過數據工程整合基礎支撐平臺、數據存儲中心、數據交換節點為一個整體平臺,實現從數據資源采集匯聚、數據資源編目、數據治理管控、數據服務發布、數據交換共享等數據全流程的監控服務與分析,通過信息資源目錄提供統一的數據視圖,為行業各級管理部門、行業相關企業、其他政府部門以及社會公眾提供文件、接口、數據庫表等方式的標準數據服務,形成高效的數據交換共享體系。
在采集匯聚資源成果方面,采集行業內數據主要包括廳公路局、省航務海事中心、廳運管局、廳高管局、省交通質監站、路網中心、廳監控結算中心、廳信息中心、物資儲備中心共9個相關業務單位的28個業務系統,合計超過600項資源。
在管理治理成果方面,通過數據管控治理,整合形成公路基礎數據,包括經營業戶、從業人員、營運車輛、資質證書;水路運輸基礎,包括船舶、船員、船公司、渡口、碼頭、航道;空間地理信息等基礎庫;養護數據、工程建設、道路運輸、信用數據、行政審批、隱患上報等業務庫;公眾出行、綜合分析、應急指揮、動態數據、統計分析、電子證照等主題庫;形成目錄資源服務259項。
在共享交換成果方面,通過四川省交通運輸政務信息資源交換共享與開放應用平臺向交通運輸部政務信息交換共享平臺、四川省政務信息共享網站、四川公共數據開放網、四川省“互聯網+監管”平臺提供行業相關數據;向省大數據中心、省公安廳等其他十多個省直單位提供行業相關數據;向全省22個市州交通運輸局共享所屬區域交通運輸行業數據;通過政務公開、高德等行業企業對接等方式向社會開放提供各類數據查詢服務。


七、結束語

交通運輸數據資源共享交換體系在進一步發展過程中,本文提出的交通運輸數據資源共享交換體系在四川省交通運輸應急指揮與運行監測系統工程(二期)中完成了建設實踐,有效支撐了四川省交通運輸行業當下政務信息資源共享工作,促進了行業政務服務和行業協同監管能力的提升。為進一步推進政務信息資源共享工作,滿足新的政務服務和協同監管需求,將繼續深入優化交通運輸政務資源共享交換體系,加強交通運輸數據資源共享交換體系在數據質量管控和共享效率等方面能力,促進交通運輸管理部門政務服務和行業監管能力與效率的提升。
參考文獻
[1] 郭明多,魏彬.交通運輸政務信息資源目錄編制方法及應用[J].交通運輸研究,2018,4(2):37-43.
[2] 劉天須,王子昂,張雪揚.交通運輸行業數據治理體系研究[J].交通與信息化,2020,10:135-136.

[3] 王永明,王林,李聰,岑春.數據采集交換體系及其在交通運輸數據中心建設中的應用研究[J].交通信息與安全,2013,3(31):108-112.

(原文刊載于2022年第1期《中國交通信息化》)

掃一掃在手機上閱讀本文章

版權所有? 四川中衛北斗科技有限公司    蜀ICP備14007264號-3    技術支持: 竹子建站