Concept and Development of Big Data

doi:10.3969/j.issn.1673-8578.2017.04.009

Abstract

Abstract:

Since the U.S. government launched the Big Data Research and Development Initiative in 2012, international organizations and countries around the world have taken active actions to implement big data strategies. As a result, big data-related infrastructure, industrial applications and theoretical systems are developing and improving. Big data is gradually transforming from a single technical concept to new elements, new strategies and new ways of thinking. However, the various sectors of society still do not have a unified and systematic description of the basic concept of big data. In order to provide guidance for big data research, gain a comprehensive understanding of the nature of big data, and better utilize and exert the potential and advantages of big data, this paper starts from the concept of big data, analyzes the present research status of big data from multiple dimensions, highlights the concept evolution and characteristics of big data, and analyzes the development status of big data.

Key words: big data research, concept, characteristics

CLC Number: (术语规范及交流)

Figures/Tables 5

References 13

[1]	国务院. 促进大数据发展行动纲要[EB/OL]. http://www.gov.cn.
[2]	大数据战略重点实验室. 块数据2.0:大数据时代的范式革命[M]. 北京: 中信出版社, 2016.
[3]	城田真琴. 大数据的冲击[M].周自恒译. 北京: 人民邮电出版社, 2013.
[4]	维克托·迈尔-舍恩伯格, 肯尼思·库克耶. 大数据时代[M].盛杨燕,周涛,译. 杭州浙江人民出版社, 2013.
[5]	李国杰, 程学旗. 大数据的研究现状与科学思考[J]. 战略与决策研究, 2012(6):647-657.
[6]	倪光南. 大数据的发展及应用[J]. 信息技术与标准化, 2013(9):6-9.
[7]	工业和信息化部. 大数据产业发展规划(2016—2020年)[EB/OL]. http://www.miit.gov.cn.
[8]	Franks B. 驾驭大数据[M].黄海,车皓阳,王悦,等译. 北京: 人民邮电出版社, 2013.
[9]	涂子沛. 大数据:正在到来的数据革命[M]. 桂林: 广西师范大学出版社, 2012.
[10]	涂子沛. 数据之巅:大数据革命,历史、现实与未来[M]. 北京: 中信出版社, 2014.
[11]	艾伯特-拉斯洛·巴拉巴西. 爆发:大数据时代预见未来的新思维[M].马慧,译. 北京: 中国人民大学出版社, 2012.
[12]	大数据战略重点实验室. 块数据:大数据时代真正到来的标志[M]. 北京sssss: 中信出版社, 2015.
[13]	中国信息通信研究院. 大数据白皮书(2016)[EB/OL]. http://www.catr.cn.

研究者	主要观点
国际数据公司(International Data Corporation,IDC)	大数据是“为更经济地从高频率的、大容量的、不同结构和类型的数据中获取价值而设计的新一代架构和技术”。
美国国家标准与技术研究院(National Institute of Standards and Technology,NIST)大数据工作组	在《大数据:定义和分类》中提出,大数据是指那些传统数据架构无法有效地处理的新数据集。因此,采用新的架构来高效完成数据处理,这些数据集特征包括:容量、数据类型多样性、多个领域数据的差异性、数据的动态性(速度或流动率,可变性)。
联合国“全球脉动”资深发展经济学家艾玛纽尔·勒图(Emmanuel Letouzé)	在牵头编写的《大数据促发展:挑战与机遇》中提出,大数据是一个用来描述海量结构化和非结构化数据的流行短语,这些数据的容量非常巨大以至于很难用传统的数据库和软件技术处理。
亚马逊网络服务(AWS)数据科学家约翰·劳萨(John Rauser)	将大数据简单概括为:任何一超过了一台计算机处理能力的庞大数据量。
中国工程院院士李国杰	在《大数据的研究现状与科学思考》中提出,大数据是指无法在可容忍的时间内用传统信息技术和硬件工具对其进行感知、获取、管理、处理和服务的数据集合。
野村综合研究所高级研究员城田真琴^[3]	在《大数据的冲击》中指出,所谓大数据,就是用现有的一般技术难以管理的大量数据的集合。所谓“用现有的一般技术难以管理”,举个例子来说,就是指用目前在企业数据库占主流地位的关系型数据库无法进行管理的、具有复杂结构的数据。或者也可以说,是指由于数据量的增大,导致对数据的查询(query)响应时间超出允许范围的庞大数据。
信息管理专家、科技作家涂子沛	将大数据定义为那些大小已经超出传统意义上的尺度,一般的软件工具难以捕捉、存储、管理和分析的数据,大数据的数量级应该是“太字节”。
数据集成软件商纳斯达克(NASDAQ)	大数据包括海量数据和复杂数据类型,其规模超过传统数据库系统进行管理和处理的能力。

研究者	主要观点
国际数据公司(International Data Corporation,IDC)	大数据是“为更经济地从高频率的、大容量的、不同结构和类型的数据中获取价值而设计的新一代架构和技术”。
美国国家标准与技术研究院(National Institute of Standards and Technology,NIST)大数据工作组	在《大数据:定义和分类》中提出,大数据是指那些传统数据架构无法有效地处理的新数据集。因此,采用新的架构来高效完成数据处理,这些数据集特征包括:容量、数据类型多样性、多个领域数据的差异性、数据的动态性(速度或流动率,可变性)。
联合国“全球脉动”资深发展经济学家艾玛纽尔·勒图(Emmanuel Letouzé)	在牵头编写的《大数据促发展:挑战与机遇》中提出,大数据是一个用来描述海量结构化和非结构化数据的流行短语,这些数据的容量非常巨大以至于很难用传统的数据库和软件技术处理。
亚马逊网络服务(AWS)数据科学家约翰·劳萨(John Rauser)	将大数据简单概括为:任何一超过了一台计算机处理能力的庞大数据量。
中国工程院院士李国杰	在《大数据的研究现状与科学思考》中提出,大数据是指无法在可容忍的时间内用传统信息技术和硬件工具对其进行感知、获取、管理、处理和服务的数据集合。
野村综合研究所高级研究员城田真琴^[3]	在《大数据的冲击》中指出,所谓大数据,就是用现有的一般技术难以管理的大量数据的集合。所谓“用现有的一般技术难以管理”,举个例子来说,就是指用目前在企业数据库占主流地位的关系型数据库无法进行管理的、具有复杂结构的数据。或者也可以说,是指由于数据量的增大,导致对数据的查询(query)响应时间超出允许范围的庞大数据。
信息管理专家、科技作家涂子沛	将大数据定义为那些大小已经超出传统意义上的尺度,一般的软件工具难以捕捉、存储、管理和分析的数据,大数据的数量级应该是“太字节”。
数据集成软件商纳斯达克(NASDAQ)	大数据包括海量数据和复杂数据类型,其规模超过传统数据库系统进行管理和处理的能力。

研究者	主要观点
高德纳咨询公司(Gartner Group)	在《2012年大数据技术成熟度曲线》中,把大数据定义成“大容量、速度快、多样化”的信息资产,需要更低成本、效率更高、创新性的处理方式,从而增强洞察力、决策和过程自动化。
国际数据公司(International Data Corporation ,IDC)	大数据是“为更经济地从高频率的、大容量的、不同结构和类型的数据中获取价值而设计的新一代架构和技术”。
易安信公司(EMC)	大数据是数据集或信息,它的规模、发布、位置在不同的孤岛上,或它的时间线要求客户部署新的架构来捕捉、存储、整合、管理和分析这些信息以便实现企业价值。
中关村大数据产业联盟秘书长赵国栋、宏源证券研究所副所长易欢欢	在《大数据时代的历史机遇》中指出,大数据是从多样的或者大量数据中迅速获取信息的能力。
脸谱网(Facebook)工程总监帕瑞克豪(Parikh)	大数据的意义在于,能从数据中挖掘出对商业有价值的决策力和洞察力。如果不能好好利用自己收集到的数据,那么空有一堆数据,即使体量再大,也不能称为大数据。

研究者	主要观点
高德纳咨询公司(Gartner Group)	在《2012年大数据技术成熟度曲线》中,把大数据定义成“大容量、速度快、多样化”的信息资产,需要更低成本、效率更高、创新性的处理方式,从而增强洞察力、决策和过程自动化。
国际数据公司(International Data Corporation ,IDC)	大数据是“为更经济地从高频率的、大容量的、不同结构和类型的数据中获取价值而设计的新一代架构和技术”。
易安信公司(EMC)	大数据是数据集或信息,它的规模、发布、位置在不同的孤岛上,或它的时间线要求客户部署新的架构来捕捉、存储、整合、管理和分析这些信息以便实现企业价值。
中关村大数据产业联盟秘书长赵国栋、宏源证券研究所副所长易欢欢	在《大数据时代的历史机遇》中指出,大数据是从多样的或者大量数据中迅速获取信息的能力。
脸谱网(Facebook)工程总监帕瑞克豪(Parikh)	大数据的意义在于,能从数据中挖掘出对商业有价值的决策力和洞察力。如果不能好好利用自己收集到的数据,那么空有一堆数据,即使体量再大,也不能称为大数据。

时间(年)	研究者	主要观点
1996	约翰(John R. Mashey)	在一次题为《大数据与下一代基础架构压力 (infrastress) 》的演讲中提出:“PU、内存和存储技术的发展要比带宽、文件系统等计算资源发展要快。这种差异会使我们进入瓶颈,迫使企业寻找解决办法……我在不同的场合中使用过这一标签(大数据),并且我希望用最简单、最简短的术语来表达我的想法:计算机应用的边界在不断扩张。”
1997	迈克尔·考克斯(Michael Cox)及大卫·埃尔斯沃斯(David Ellsworth)	发表《为外存模型可视化而应用控制程序请求页面调度》论文,提出:“可视化对计算机系统提出了一个有趣的挑战:通常情况下数据集相当大,耗尽了主储存器、本地磁盘甚至是远程磁盘的存储容量。我们将这一问题称为大数据。当主储存器(内核)无法容纳数据集,或者当本地磁盘都无法容纳数据集的时候,最常用的办法就是获取更多的资源。”
1998	绍洛姆·韦斯 (S. Weiss) 及霓廷·因杜尔亚 (N. Indurkhya)	在合著的《预测性文本数据挖掘基础》中提出:“收集的大量数据可在数据仓库中汇编,并使用强大的算法来全面研究数据。在理论上,‘大数据’能够帮助数据挖掘应用得出更为优质的结果,但实践中却存在诸多困难。”
1998	托尼·卡斯(Tony Cass)	在《科学》(Science)杂志发表了《介绍用于处理大数据的软件包HiQ》的论文。
1999	史蒂夫·布赖森、大卫·肯怀特(David Kenwright)、迈克尔·考克斯、大卫·埃尔斯沃斯以及罗伯特·海门斯(Robert Haimes)	在《吉字节数据集的实时性可视化探索》中提出:“功能强大的计算机是许多查询领域的福音。它们也是祸害;高速运转的计算机产生了规模庞大的数据。曾几何时,我们认为兆字节的数据集就很大了,如今我们在单个模拟计算中就发现了300GB范围的数据集。但是研究高端计算机产生的数据是一个很有意义的尝试。”
1999	史蒂夫·布赖森、大卫·肯怀特、罗伯特·海门斯、大卫·班克斯(David Banks)、罗伯特·范·里拉(Robert van Liere)及山姆·思尔顿(Sam Uselton)	在美国电气和电子工程师协会(IEEE)举办的可视化会议上的“自动化或者交互:什么更适合大数据”专题讨论小组中探讨大数据的问题。