出版时间:2015年08月 |
本文探讨大数据在交通信息服务领域的应用特征,结合传统的交通信息化体系,提出基于大数据技术的交通信息服务体系框架,以移动互联网和传统网络感知的数据为基础,以交通大数据处理技术为核心,通过终端发布交通信息,满足交通管理部门、企业和公众出行对交通信息服务的需求。
The paper first discusses the application features of the system in traffic information services. And with the combination of traditional traffic information system,it proposes the framework for traffic information service system,which is based on big data technology. The traffic information service system,with data on mobile Internet and traditional networks as its basis,the processing technology of big traffic data as its core,aims to satisfying the needs of traffic management departments,enterprises,and the travelers for traffic information service,through delivering information to terminals.
近年来,大数据技术在交通领域的应用和发展,不仅给智能交通系统注入新的技术内涵,也对智能交通系统的模式、理念产生了巨大影响。目前,国际智能交通领域的车路协同系统、车联网、无人驾驶等热点技术领域,都在广泛研究和应用大数据技术。随着研究和应用的深入,大数据技术在交通组织与管理、面向出行者的智能化服务等方面都将形成巨大的市场,对交通态势的透彻分析、交通运行的精细管理具有重要意义。
一 大数据时代与智能交通
(一)大数据时代
1.大数据定义
大数据泛指巨量的数据集,因可从中挖掘出具有价值的信息而越来越受到广泛的关注。我们可以把大数据概括成四个“V”,即规模性(Volume)、快速性(Velocity)、多样性(Variety)、价值性(Value)。交通大数据包括交通运行、管理直接产生和相关领域、行业导入以及公众提供的数据。将原来交通数据这样一个概念进行外延的扩展,把它扩展为相关行业导入,包括规划、气象、土地等相关行业数据,另外还有公众服务产生的数据。
2.交通大数据特点
交通大数据有四个特点:(1)交通数据体量大、增长快,如高清视频录像,一路1个月就将占用2.5TB的磁盘空间,500个探头将轻易突破PB级存储需求;又如卡口数据,几百路卡口1年将产生几十亿条记录,几千路卡口1年将产生几百亿条数据。(2)交通数据来源丰富、种类繁多、结构不一,而其中70%~85%的数据都是图片、视频等非结构化数据,数据检索和关联比对非常困难。(3)大数据成规模存储,其价值密度较低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒,急迫需要快速发现有价值的信息、提取知识的大数据工具。(4)交通工作对时间相当敏感,传统的数据挖掘技术在如此大的数据量下无法快速发现数据规律和破案线索,必须要求采用大数据的“1秒定律”,海量数据挖掘分析尽可能地秒级响应。
3.交通大数据问题
交通部门的信息系统,每天源源不断地产生大量数据,收集环境和社会管理所需要的庞大信息,单一数据集容量超过几十TB甚至数PB已不罕见,其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理,交通数据管理与应用的问题主要集中在以下方面。
(1)数据存储。全世界可获取的数据量每两年就会翻一番,交通大数据也是如此。系统建设后既不能每两年更换一次系统,也不能在系统的建设初期就投入巨大的前期成本来满足未来需求。因此,智能交通系统需要能够弹性扩展的存储和计算能力。
(2)数据结构多样化。智能交通中遇到的是各类结构化、非结构化数据,如视频、图片、测量、日志等数据,而传统的关系型数据库对非结构化数据的管理能力非常的薄弱,甚至就是不支持,为交通大数据中的结构化数据、非结构化数据的统一管理带来了困难。例如,智能交通系统运营者把结构化数据放在数据库中心,把非结构化数据以文件的方式放在磁盘阵列中,而当磁盘阵列的IP地址或存储路径发生变更时,数据库和磁盘阵列的数据对应关系就轻易地被破坏了。
(3)数据整合共享。在传统方案下,当应用和应用之间需要相互调用数据时,应用系统需要彼此开放数据接口,建立横向的数据交换通道。目前各地交通管理部门在本地都有相应的存储设备、数据库,存储各种非结构化(图片、视频)和结构化(特征、属性)数据,如果需要交换这些数据,大量的数据接口维护起来非常复杂,这也将带来非常大的工作量和网络交换压力。另外,由于交通管理建立的是部、省、市、县的四级组织机构,各层级除需要进行横向的数据交换以外,层级与层级之间自下而上也需要进行纵向的数据交换。在传统方案下,建设省一级的数据整合应用系统时,往往是将各地市的海量数据汇总到省级数据中心,并为此进行相应的骨干网链路扩容、机房软硬件扩容。在大数据时代,数据增长是无限的,而链路扩容和机房扩容是有限的,数据全部向上汇聚后再进行应用显然无法满足未来的需求。
(二)先进的交通信息服务体系
先进的交通信息服务是建立在完善的信息网络基础上的,通过建立基于现代电子信息技术的交通信息感知系统,对采集的数据进行处理、交换、分析、利用和发布,为交通参与者提供多样性的服务。交通信息中心通过安装在道路、车辆、货物以及其他交通设施上的