您好,欢迎来到皮书数据库!
您现在所在的位置:首页
更多>> 课题组动态
更多>> 皮书作者
王伟光
  男,汉族,1950年2月出生,山东海阳人。1967年11月参加工作,1972年11月加入中国共产党,博士研究生学... 详情>>
李 扬
  1951年9月出生,籍贯安徽,1981年、1984年、1989年分别于安徽大学、复旦大学、中国人民大学获经济学学... 详情>>
李培林
  男,山东济南人。博士,研究员,中国社会科学院副院长,中国社会学会副会长,中国社会科学院社会学研究所副所长。《社会... 详情>>

    物联网海量数据处理所面临的挑战及对策

    作者:丁治明 出版时间:2011年05月
    摘要:

    物联网是目前国际和国内新兴的一项热门技术,正在给人们的生产和生活方式带来深刻的变革。物联网在带来诸多好处的同时,也给软件乃至整个信息技术领域带来了前所未有的挑战。本文将重点分析物联网海量数据处理所面临的挑战及对策,然后给出基于海—云计算模型的物联网海量数据处理解决方案。

    Abstract:

    In recent years,the Internet of Things (IOT) has become increasingly important and is changing the way how people live and work. IOT has a lot of benefits and meanwhile,it also brings about great challenges to the IT industry. In this paper,we analyze the challenges in IOT massive data processing and the measures we should take in order to meet these challenges.

    一 引言

    物联网(Internet of Things,IOT)的概念是在1999年提出的,简单来讲就是把所有物品通过射频识别、传感器件与设备、全球定位系统等种种装置与互联网结合起来而形成一个巨大的网络,实现智能化识别和管理,进而实现所有物品的远程感知和控制,由此生成一个更加智慧的生产和生活体系。

    物联网广泛用于智能交通、基础测量、工程测量、国土资源调查、工业监测、地灾监测、环境保护、城市规划、施工建设、政府工作、公共安全、智能消防等多个领域,被公认为是继计算机、互联网与移动通信网之后的世界信息产业第三次浪潮,开发及应用前景巨大。据美国研究机构Forrester预测,物联网所带来的产业价值要比互联网大30倍,将会形成下一个万亿元级别的信息通信技术业务。

    目前,世界各国对物联网都进行了相关的研究,并部署了相应的研究计划。物联网技术能够实现人类社会、物理世界、信息世界的高度融合,形成对社会资源、信息资源、物理资源的深度协同与综合利用,代表了信息技术的新趋势。温家宝总理将这一趋势在中国的实现高度概括为“感知中国”,并在2009年连续四次明确指示:要建设“感知中国”中心,突破物联网核心技术。目前我国已在无锡成立了中国物联网研究发展中心,并已经建立了多个物联网产业化基地;天津也在积极着手制定物联网产业发展规划,圈定产业资源,打造物联网新兴战略产业。此外,我国的“十二五”规划中已经明确将物联网列为发展的重点。

    然而,目前物联网的研究与产业化还存在着诸多的局限性,大部分工作还集中在物联网中单个传感器或小型传感器网络方面(如智能型传感器及其分析技术、压缩传感技术等),或者集中在物联网硬件和网络层面(如新型网络互联技术、高通量服务器技术等),而对于物联网欲与互联网比肩所面临的核心问题,即海量传感器数据的智能处理与分析、大量传感器的协同工作、复杂事件探测与发现等技术的研究还比较有限。总体上讲,目前的物联网技术尚处于发展的初级阶段。其实,互联网技术也经历了类似的发展历程:早期的互联网研究也是更多地关注底层网络互联设备、硬件、网络通信协议等,而只有当互联网技术开始更多地转向海量数据处理、数据分析与挖掘、搜索引擎等之后,才真正地得以成熟并得到大规模的应用。

    针对物联网技术目前的研究现状和核心问题,本文将重点分析物联网在海量数据处理方面所面临的挑战并给出相应对策,然后提出基于海—云计算模型的物联网海量数据处理解决方案。

    二 物联网海量数据处理所面临的挑战

    在物联网系统中,大量的传感器节点不断地向数据中心传递所采集的数据,从而形成了海量的异构数据流。数据中心不仅需要理解这些数据,而且需要及时地分析和处理这些数据,从而实现有效的感知和控制。通过分析我们不难看出,物联网具有以下特点,对数据处理技术形成了巨大的挑战。

    (一)传感器节点及采样数据的异构性

    物联网系统中包含形形色色的传感器,如交通类传感器、水文类传感器、地质类传感器、气象类传感器、生物医学类传感器等。其中,每一类传感器又包括诸多具体的传感器,如交通类传感器包括GPS传感器、RFID传感器、车牌识别传感器、电子照相身份识别传感器、交通流量传感器(红外、线圈、光学、视频传感器)、路况传感器、车况传感器等。这些传感器不仅结构和功能不同,而且所采集的数据也是异构的。这种异构性极大地增加了软件开发和数据处理的难度。

    (二)物联网节点及数据的海量性

    据Morgan Stanley等权威机构预测,互联网中联网计算机的数量将增长到十亿级,联网移动终端的数量将增长到百亿级。业界普遍认为,物联网终端的规模将是互联网的数十倍,2020年物联网终端的规模很可能达到千亿量级,2030年有可能达到万亿量级。海量物联网终端不断地产生新的采样数据,系统不但需要存储这些采样数据的最新版本,而且需要存储某个规定时间段(如1个月)内的所有历史采样值,以便进行复杂的数据分析以及实现对复杂事件的智能化感知处理。可以想象,上述数据将是海量的,对这些数据的存储、传输、查询以及分析处理将是一个前所未有的挑战。

    (三)物联网数据的时效性

    物联网数据所反映的都是在数据采集时刻传感器的状态。例如,机场油库温度传感器的采