多大的数据才算“大数据”

1. 多大的数据才算“大数据”

什么是大数据？
列举三个常用的大数据定义:
(1)具有较强决策、洞察和流程优化能力的海量、高增长、多样化的信息资产需要新的处理模式。
——Gartner
(2)海量数据量、快速数据流和动态数据速度、多样的数据类型和巨大的数据价值。
—— IDC
(3)或者是海量数据、海量数据、大数据，是指所涉及的数据太大，无法在合理的时间内被截取、管理、处理、整理成人类可以解读的信息。
—— Wiki
大数据的其他定义也差不多，可以用几个关键词来定义大数据。
首先是“大尺度”，可以从两个维度来衡量，一是从时间序列中积累大量数据，二是对数据进行深度提炼。
其次，“多样化”可以是不同的数据格式，比如文字、图片、视频等。，可以是不同的数据类别，如人口数据、经济数据等。，也可以有不同的数据源，如互联网和传感器等。
第三，“动态”。数据是不断变化的，它可以随着时间迅速增加大量的数据，也可以是在空间不断移动变化的数据。
这三个关键词定义了大数据的形象。
但是，需要一个关键能力，就是“处理速度快”。如果有这样的大规模、多样化、动态的数据，但是需要很长时间的处理和分析，那就不叫大数据。从另一个角度来说，要实现这些数据的快速处理，肯定没有办法手工实现，所以需要借助机器来实现。

2. 多大的数据才算「大数据」

多大的数据才算「大数据」
我们的时代是数据日益渗透生活的时代，大数据与人们的生产生活有着越来越密切的关系。近期来，不少读者向本报反映，希望了解关于大数据的许多问题，我们从中梳理了六个问题，组织专业记者，深入采访业内专家，努力探寻答案，以满足广大读者的探问。今天起，本报推出“六问大数据”系列报道，敬请关注。
刚刚闭幕的2017中国国际大数据产业博览会又为火热的大数据产业添了一把火，博览会签约金额达167亿余元，签约意向金额为256亿元左右。这一全球首个以大数据为主题的展会，再一次撩起了大数据的神秘面纱，展示了大数据的大能量，一个通过加工处理数据来创造价值的产业正在迅猛发展。什么是大数据 有一个故事，说的是一位顾客订购披萨时，披萨店可以立即调出这位顾客的许多信息，比如送披萨上门必有的家庭、单位等地址和电话，顾客的消费习惯从而推荐适合他的披萨种类，顾客名下的银行卡透支情况从而确定他的支付方式，甚至顾客要自取披萨时，还能根据顾客名下车辆的停放位置预估他的到店时间等等。从这个故事，我们可以看出大数据的一些关键特征，比如容量大、类型多、关联性强、有价值等等。“大数据是以高容量、多样性、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。”工信部信息化和软件服务业司副司长李冠宇接受经济日报·中国经济网记者采访时说。仅仅规模大不是大数据大数据，顾名思义，“大”该是应有之义。“大数据的定义最初与容量有关系。”李冠宇分析说，业界有几种对大数据的定义，其中一个共同点就是数据的容量超出了原有的存储、管理和处理能力。正如中国电子信息产业发展研究院副院长樊会文接受记者采访时指出的，大数据概念产生就是因为数据量和数据类型急剧增加，以至于原有的数据存储、传输、处理以及管理技术不能胜任，需要全新的技术工具和手段。信息技术日新月异，大数据的定义也在发生变化。工信部赛迪研究院软件所所长潘文说，数据即时处理的速度(Velocity)、数据格式的多样化(Variety)与数据量的规模(Volume)被称为大数据“3V”。但随着近几年数据的复杂程度越来越高，“3V”已不足以定义新时代的大数据，准确性(Veracity)、可视性(Visualization)、合法性(Validity)等特性又被加入大数据的新解，从“3V”变成了“6V”。对于“多大容量的数据才算大数据”，潘文说，大数据的规模并没有具体的标准，仅仅规模大也不能算作大数据。规模大本身也要从两个维度来衡量，一是从时间序列累积大量的数据，二是在深度上更加细化的数据。李冠宇说，比如一份现在看起来很小的数据，但是纵向积累久了也可以变成大数据，横向与其他数据关联起来也可能形成大数据。而一份很大的数据如果没有关联性、没有价值也不是大数据。运满满研究院院长徐强认为，“大”是必要条件，但非充分条件。基于移动互联网用户规模红利，国内平台型企业比较容易获取大量数据，但数据不是越多越好，无用数据就像噪音，会给数据分析、清洗、脱敏和可视化带来负担。这也正如阿里巴巴集团董事局主席马云在某次演讲中说的：“很多人以为大数据就是数据量很大，其实大数据的大是大计算的大，大计算+数据，称之为大数据。”“水涨船高”的大数据今年麦收时节，在雷沃重工的全国“三夏”跨区作业信息服务中心，显示屏的全国电子地图上有许多大小不一、颜色不同的圆圈，这是每个区域正在作业的收割机。智能化的收割机会自动获得许多数据，包括机器运行情况、收割量、小麦含水量等，数据传回后台汇总后，总体收割情况一目了然。“大数据概念正是来自信息技术的飞速发展和应用，特别是随着云计算、物联网、移动互联网的应用，数据量迅猛增长。数据来源有两种，一种与人有关，比如政府、企业等为人们服务时产生的数据;另一种与物有关，在移动泛在、万物互联时代，物联网应用的浪潮将带动数据量爆发式增长。”李冠宇说。这也就不难理解，为何当下数据产生的速度如此之快。正如樊会文所分析的，一方面，信息终端大面积普及，信息源大量增加;另一方面，基于云计算的互联网信息平台快速增长，数据向平台大规模集中。大数据与云计算、物联网、人工智能等新一代信息技术之间相互影响、相互促进、相互融合。徐强说，运满满通过车联网设备和信息平台，每天获取3TB至4TB的数据，运用先进的大数据算法模型，实现了智能车货匹配、智能实时调度等。樊会文认为，云计算是硬件资源的虚拟化，而大数据是海量数据的高效处理。简单来说，云计算是大数据的基础，有了云计算才能大量集中数据从而产生大数据。同时，大数据也支撑了云计算应用创新，带动云计算发展。人工智能的核心在于大数据支撑。围棋人工智能程序“阿尔法狗”打败柯洁，离不开大数据的支持。“大数据技术能够通过数据采集、分析等方式，从海量数据中快速获得有价值的信息，为深度学习等人工智能算法提供坚实的素材基础。反过来，人工智能技术也促进了大数据技术的进步。两者相辅相成，任何一方技术的突破都会促进另外一方的发展。”潘文说。核心价值在于应用刚刚过去的“6·18”再次掀起网购热潮。网购消费者基本都被精准推送过广告信息，如曾浏览过电饭煲的消费者，很长一段时间内会在登录页面后看到各品牌电饭煲信息。阿里、京东、360等互联网平台接触消费者众多，也因此获得了很多数据。但是正如精准推送一样，不对这些数据进行处理、挖掘就没法产生价值。比如雷沃收割机传回的数据进行汇总后还要分析处理，从而得出对收割作业乃至整个农业都有意义的结论才是这些数据的价值所在。“大数据作为重要的基础性战略资源，核心价值在于应用，在于其赋值和赋能作用，在于对大量数据的分析和挖掘后所带来的决策支撑，能够为我们的生产生活、经营管理、社会治理、民生服务等各方面带来高效、便捷、精准的服务。”李冠宇强调。我们正在步入万物互联时代。华为预测，到2025年，物联网设备的数量将接近1000亿个。工信部统计数据显示，目前我国网民数量超过7亿，移动电话用户规模已经突破13亿，均居世界第一。
　　“全球数据总量呈现指数级增长，企业级用户拥有的数据量在快速增加。互联网的社会化生产出巨量数据。”

3. 大数据是什么？多大的数据叫大数据?

根据数据收集的端口，企业端与个人端之间，大数据的数量级别是不同的。
企业端(B端)数据近十万的级别，就可以称为大数据;个人端(C端)的大数据要达到千万级别。收集渠道没有特定要求，PC端、移动端或传统渠道都可以，重点要达到这样数量级的有效数据，形成数据服务即可。很有趣，大家可以看到2B和2C，两类大数据差了两个数量级。
有些小公司，数据只有千到万级的规模，但经过收集分析，也能从中有针对性的总结出这一群体的原则，同样能指导企业进行一定程度的用户分析、获取或者是服务工作，但这并不是大数据，而是一般性的数据挖掘。
大数据面向的是更海量的一个数据，借助了更广义的知识数据库的分析方法。大部分的数据公司的数据来源是海量的，它的收集和分析，并不是局限于个体，而是以一个非常非常广泛的群体为对象展开的。

4. 大数据是什么？多大的数据叫大数据?

大数据是什么？
在很多人的眼里大数据可能是一个很模糊的概念，但是，在日常生活中大数据有离我们很近，我们无时无刻不再享受着大数据所给我们带来的便利，个性化，人性化。全面的了解大数据我们应该从四个方面简单了解。定义，结构特点，我们身边有哪些大数据，大数据带来了什么，这四个方面了解。
那么“大数据”到底是什么呢？

在麦肯锡全球研究所给出的定义中指出：大数据即是一种规模大到在获取，存储，管理，分析方面大大超出了传统数据库软件工具能力范围的数据集合。简单而言大数据是数据多到爆表。大数据的单位一般以PB衡量。那么PB是多大呢？1GB=1024MB ，1PB=1024GB才足以称为大数据。

5. 大数据是什么？多大的数据叫大数据?

多大的数据才算“大数据”
什么是大数据有一个故事，说的是一位顾客订购披萨时，披萨店可以立即调出这位顾客的许多信息，比如送披萨上门必有的家庭、单位等地址和电话，顾客的消费习惯从而推荐适合他的披萨种类，顾客名下的银行卡透支情况从而确定他的支付方式，甚至顾客要自取披萨时，还能根据顾客名下车辆的停放位置预估他的到店时间等等。
从这个故事，我们可以看出大数据的一些关键特征，比如容量大、类型多、关联性强、有价值等等。“大数据是以高容量、多样性、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。”工信部信息化和软件服务业司副司长李冠宇接受经济日报·中国经济网记者采访时说。

6. 大数据是什么？多大的数据叫大数据?

多大的数据才算“大数据”
什么是大数据有一个故事，说的是一位顾客订购披萨时，披萨店可以立即调出这位顾客的许多信息，比如送披萨上门必有的家庭、单位等地址和电话，顾客的消费习惯从而推荐适合他的披萨种类，顾客名下的银行卡透支情况从而确定他的支付方式，甚至顾客要自取披萨时，还能根据顾客名下车辆的停放位置预估他的到店时间等等。
从这个故事，我们可以看出大数据的一些关键特征，比如容量大、类型多、关联性强、有价值等等。“大数据是以高容量、多样性、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。”工信部信息化和软件服务业司副司长李冠宇接受经济日报·中国经济网记者采访时说。
仅仅规模大不是大数据
大数据，顾名思义，“大”该是应有之义。“大数据的定义最初与容量有关系。”李冠宇分析说，业界有几种对大数据的定义，其中一个共同点就是数据的容量超出了原有的存储、管理和处理能力。
正如中国电子信息产业发展研究院副院长樊会文接受记者采访时指出的，大数据概念产生就是因为数据量和数据类型急剧增加，以至于原有的数据存储、传输、处理以及管理技术不能胜任，需要全新的技术工具和手段。

7. 大数据有多大

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术是指从各种各样类型的数据中，快速获得有价值信息的能力。

8. 大数据时代，我国数据量究竟有多大

从2013年初开始，对于大数据爆发的焦虑感，紧迫感，不由自主地被卷入的甚至无力的感觉，驱动众多行业、企业和团体去关注和开始接触和了解大 数据，自觉或不自觉的，主动或不得已地去融入这波洪流。但是，真的说到大数据，我们中国到底有多少数据量，它们都分布在哪些行业，哪些数据是目 前可用的，哪些行业已经在使用数据，进入产业互联网和数据引导的变革了？
可能看到的版图依旧模糊。因此，我们怀抱很好的希望，以第一个吃螃蟹并期待来自行业的矫正和拍砖的态度，首先尝试对于国内各个领域，行业以 及机构的数据拥有情况，使用情况以及未来路径做一个粗犷地调研、梳理和判断，对大数据时代我国各个领域数据资产的拥有和使用情况，也就是我们数 据资产的家底做个盘点，也对各个行业、系统进军大数据，以及拥抱产业互联网的进度和未来做个简单判断。事实上，大数据之题无疑繁若星辰，然而只 有在相对完整的视图下，繁星若尘，我们才可得以一窥天机。
从我们手头掌握的数据来看，2013年度，中国存储市场出货容量超过1个EB（1EB=多少），存储总量而IDC曾经发布的预测表明在未来的3-4年，中国存储总 容量可能达到18个EB。从数据存储市场的需求来看，互联网、医疗健康、通信、公共安全以及军工等行业的需求是主要的，且上升态势明显。
鉴于存储和服务器的紧密相关，我们从已经获得的资料可以知道，目前全球运行的服务器总量超过5000万台，美国国内运行的服务器总体容量接近 1000万台。从各种市场公开数据来看，2013年中国内地服务器销售总数接近为100万台。大体估算，截止到2013年底，中国内地整体在运行的服务器总数 量在300万台以上。
从现有存储容量看，中国目前可存储数据容量大约在8EB-10EB左右，现有的可以保存下来的数据容量大约在5EB左右，且每两年左右会翻上一倍。这些 被存储数据的大体分布为：媒体/互联网占据现有容量的1/3，政府部门/电信企业占据1/3，其他的金融、教育、制造、服务业各部分占据剩余1/3数据量 。
公开数据显示，互联网搜索巨头百度2013年拥有数据量接近EB级别、阿里、腾讯声明自己存储的数据总量都达到了百PB以上。此外，电信、医疗、金 融、公共安全、交通、气象等各个方面保存的数据量也都达到数十或者上百PB级别。
在目前被广泛引用的IDC和EMC联合发布的“2020年的数字宇宙”报告 预测到2020年，全球数字宇宙将会膨胀到40ZB，均摊每个人身上是5200GB以上，这个量将会如何被有效存储和应用，我们眼下还很难想象。然而我们 看到该报告指出，从现在起到2020年，全球数字宇宙的膨胀率大约为每两年翻一番。事实上，根据上述调查结论和服务器容量调查，我们也能做出个相对 合理的推断：目前，全球产生的数据量中仅有1%左右的数据能够被保存下来，也就是说今天全球能够被保存下来的数据也就是在50EB左右，而其中被标记 并用于分析的数据更是不到10%。
作为全球人口和计算设备保有量的大国，我国每年所能产生的数据量也极为庞大，有数据说2014年甚至可能达到ZB级别，但是真正被有效存储下来的 数据仅仅是其中极微少部分，中国保存下来数据占全球数据的比例大约在10%左右，也就是上面说的5EB。这些数据中，目前已被标记并用于分析的数据仅 达到500PB左右，也是接近10%的一个比例。
伴随着云计算迅速普及和各行业，各企业和部门对于数据资产保存和利用意识的增强，以及通过互联网、大数据对产业进行变革的意愿，未来2-3年一 定会有越来越多的行业、大企业步入到PB、百PB、甚至EB级别数据俱乐部，未来3-3年中国的数据总量也将呈翻倍上升态势，我们预测2015年中国就可能 突破10EB数据保有量，被标签和分析利用数据量也将上升到EB级别，这些数据增长中互联网、政务、医疗、教育、安全等行业和领域所做贡献最大，而相 对传统的物流、生产制造、甚至农业等领域数据拥有量的增长将更加明显。