一 大数据的缘起：概念及其形成

（一）大数据概念的内涵和外延

广义的大数据概念，除了大数据技术及其应用之外，还包括大数据工程和大数据科学。大数据工程，是指大数据的规划建设运营管理的系统工程。大数据科学，主要关注大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。从概念外延上讲，大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域，是适应信息经济时代发展需要而产生的科学技术发展趋势。

狭义的大数据概念，主要指大数据技术及其应用，是指从各种各样类型的数据中，快速获得有价值信息的能力，一方面，强调从海量数据、多样数据提取微价值，即具有价值（Value）特征；另一方面，强调数据获取、数据传递、数据处理、数据利用等层面的高速高效，即具有快速处理（Velocity）特征。大数据概念里的“数据”，是指具有可追踪、可分析、可量化特性的数据。大数据概念里的“大”，是指“大数据”所应具有的“大量化”（Volume）、“多样化”（Variety）两个特征。从概念内涵上讲，“大数据”（Big Data），一方面，反映的是规模大到无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合；另一方面，主要是指海量数据的获取、存储、管理、分析、挖掘与运用的全新技术体系。

事实上，大数据的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。很显然，挖掘大数据价值、提供大数据服务的能力，是大数据时代的核心竞争力。

（二）大数据形成的必然性

1.数据管理理念不断变革，大数据成为信息技术发展的必然选择

大数据技术及其应用的驱动原因，在于数据管理理念的不断变革。数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程，其目的在于充分有效地发挥数据的作用。数据管理技术的发展先后经历了四个阶段，即人工管理阶段、文件系统阶段、数据库阶段、面向应用的数据管理阶段。1996年，高德纳（Gartner Group）提出“商业智能”概念，又称商务智能（Business Intelligence，简写为BI）。商业智能技术提供使企业迅速分析数据的技术和方法，包括收集、管理和分析数据，将这些数据转化为有用的信息，然后分发到企业各处。商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业作出明智的业务经营决策的工具。为了将数据转化为知识，需要利用数据仓库、联机分析处理（OLAP）工具和数据挖掘等技术。因此，从技术层面上讲，商业智能不是什么新技术，它只是数据仓库、OLAP和数据挖掘等技术的综合运用。可以认为，商业智能是对商业信息的搜集、管理和分析过程，目的是使企业的各级决策者获得知识或洞察力，促使他们作出对企业更有利的决策。商业智能一般由数据仓库、联机分析处理、数据挖掘、数据备份和恢复等部分组成。商业智能的实现涉及软件、硬件、咨询服务及应用，其基本体系结构包括数据仓库、联机分析处理和数据挖掘三部分。

随着现代信息传播技术手段和方式不断丰富，信息获取、信息传递、信息处理、信息再生、信息利用等功能应用日益多样化，智能化信息系统逐渐形成一个信息网络体系，人类社会的生产方式、工作方式、学习方式、交往方式、生活方式、思维方式等发生了极其深刻的变革，互动化、即时性、全媒体等，成为常态性的信息生态环境，传统的数据库组织架构和信息服务模式已经难以适应信息社会现实需要，整个信息技术架构的革命性重构势在必行，大数据成为信息技术发展的必由之路。

2.大数据源于虚拟网络的迅速发展和现实世界的快速网络化

一方面，虚拟网络社会迅猛发展，形成了海量数据的持续生成空间，改变了人类的生存方式和活动方式，形成了人类的虚拟生活方式。

另一方面，云计算、物联网、社交网络、电子商务、网络社区、即时通信等技术形式的涌现，推动现实世界快速切换到网络社会形态，衍生了规模巨大、类型多样的数据资源。其中两类数据尤其引人注意，一类是企业与企业和消费者之间的“大交易数据”，另一类是来自互联网、社区网、企业