至于谁说的大数据我觉得必要深究,只要了解大数据的发展史就可以啦,至于什么是大数据?这个问题好说,大数据字面意思就是数据量很大,它有一个4v特征,就是
Volume(大量)就是数据量很大,就是TB、PB级别的数据量,一台机器很难处理,或者说是处理的力不从心。
Velocity(高速)速度快,就是处理数据的速度很快,这就需要技术来处理,像Hadoop处理起来数据时还可以,它是基于磁盘计算的,而Spark来说,计算是基于内存的,所以处理起来很快,是Hadoop内存计算的100倍。
Variety(多样)这个好理解,就是多样性,比如来源广,有的是来源于关系型数据库的结构化数据,有的来源于NoSQL数据库的半结构化数据或者非结构化数据,有的数据还是HTML格式的,Word格式,txt格式的。
Value(价值) 就是价值密度低,有可能1tb的数据中提取出一条关系的信息。.....
大数据,又称巨量数据集合;是促进当下经济发展及创新的核心资产。下面就题干的问题逐一进行解答。
1.通过什么方式接触到大数据?(对题干做了下调整,提供给大家一个认知的方式和渠道)
本人对“大数据”的深度认知,始于一本书《决战大数据》。来自阿里前商业智能(BI)副总裁车品觉;数据界大牛,他的具体情况请自行百度。
在此之前的几年里,本人一直从事市场调研分析,客户数据分析及营销管理等工作,数据方面,主要为企业内部或外部企业客户,提供商业经营类的数据工具CRM,EAP,SCM,SAP等的操作处理及维护管理,其中针对用户数据方面进行了较为深入的数据分析及挖掘工作;
(大数据学习笔记)
当时由于大多企业存在“信息孤岛”效应的情况下,本人能接触到的数据,无论从量级还是类型来看,充其量只能算个性化的数据集合,几十万左右,为特定的企业经营目的,提供运营决策参考等支持服务;
1980年,著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中,将大数据热情地赞颂为“第三次浪潮的华彩乐章”。大约从2009年开始,“大数据”成为互联网信息技术行业的流行词汇。 什么是大数据? 大数据,或称巨量数据、海量数据;是由数量巨大、结构复杂、类型众多数据构成的数据集合,是基于云计算的数据处理与应用模式,通过数据的集成共享,交叉复用形成的智力资源和知识服务能力。 有研究机构如此定义“大数据”:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从某种程度上说,大数据是数据分析的前沿技术。简言之,从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。 大数据从何而来 美国互联网数据中心指出,互联网上的数据每年将增长50%,每两年便将翻一番,目前世界上90%以上的数据是最近几年才产生的。此外,全世界的工业设备、汽车、电表上有着无数的数码传感器,随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化,也产生了海量的数据信息。 物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及各种各样的传感器,无一不是数据来源或者承载的方式。 大数据有多大 仅以互联网为例,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多;发出的社区帖子达200万个,相当于《时代》杂志770年的文字量…… 截止到2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量高达1.82ZB,相当于全球每人产生200GB以上的数据。而到2012年为止,人类生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44倍。大数据的“4个V” 大数据的4个“V”指的是大数据的4个特点:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多,数据来源于各种各样的渠道。第三,价值密度低,商业价值高。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。一般要在秒级时间范围内给出分析结果,时间太长就失去价值了。这个速度要求是大数据处理技术和传统的数据挖掘技术最大的区别。 由此,业界将大数据的特点归纳为4个“V”——Volume(大量)、Velocity(高速)、Variety(多样)、Veracity(精确)。
什么是云计算? 云计算(cloud computing)是通过互联网把多个成本较低的计算实体整合成一个具有强大计算能力的完美系统。简单理解就是,运营公司提供服务器、应用程序、存储空间,用户通过网络远程登录服务器,并按照需要使用这些存储空间和应用程序。狭义云计算是指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。它意味着计算能力也可作为一种商品通过互联网进行流通和交易。 大数据与云计算 从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。 数字时代的石油与黄金 一分钟内,微博推特上新发的数据量超过10万;社交网络“脸谱”的浏览量超过600万…… 巨大的数据量,意味着什么? 大数据对社会经济生活产生的影响绝不限于技术层面,它为我们看待世界提供了一种全新的方法,即决策行为将日益基于数据分析做出,而不是像过去更多凭借经验和直觉做出。 “这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”哈佛大学社会学教授加里·金指出。 业内人士指出,大数据是一种全新的致富手段,它的价值堪比石油和黄金。 虽然大数据在国内还处于初级阶段,但是商业价值已经显现出来。首先,手中握有数据的公司站在金矿上,基于数据交易即可产生很好的效益;其次,基于数据挖掘会有很多商业模式诞生,定位角度不同,或侧重数据分析。比如帮企业做内部数据挖掘,或侧重优化,帮企业更精准找到用户,降低营销成本,提高企业销售率,增加利润。 数据——未来最大的交易商品 未来,数据可能成为最大的交易商品。 IBM执行总裁罗睿兰认为,“数据将成为一切行业当中决定胜负的根本因素,最终数据将成为人类至关重要的自然资源。” 大数据的价值是通过数据共享、交叉复用后获取最大的数据价值。麦肯锡则预测未来大数据产品在三大行业的应用就将产生7千亿美元的潜在市场,中国大数据产品的潜在市场规模有望达到1.57万亿元,给IT行业开拓了新的黄金时代。 大数据正在重构很多传统行业。通过收集、整理生活中方方面面的数据,并对其进行分析挖掘,进而从中获得有价值信息,最终衍化出新的商业模式。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。在零售业中,数据分析的技术与手段更得到广泛的应用,卓越亚马逊、淘宝等通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务。 与此同时,大数据在社会管理等方面,也具有不可替代的重大价值。
大数据的提出是很早的问题了。至于谁说的大数据,如何如何,有点广告的味道。技能培训切勿轻信。大多是骗人钱财,毁人青春。信息化的今天数据就是金钱。数据就是商机。大数据在能源,传统零售业。都有广泛的应用。例如说。欧洲的电表是双向的,可以买电,也可以卖电。大数据统计出用户用电高发期。可以提前生产,降低不必要的产能。从而降低成品。大数据最早的的提出是雅虎公司。马云曾在演讲中提出大数据技术,毕竟阿里这样的大企业,只要用大数据节约百分之一的运营成本,就是巨大的利润。大数据主要应用层面是互联网。传统行业并不重视大数据,这个是不争的事实。
又称为巨量资料,指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。不过对我们老百姓顶多是个见识,大数据是经过分析统计计算得出来的。说白了是算出来的,有时效性的。你学习个毛线啊。得出结果运用就可以了,一般人没能力掌握,依托互联网得到的都是结果。没有个大型计算机你玩个毛线,掌握个屁。
大的数据也!万物有数,易说,象数理形,象中有数,数中有理,理中有形矣!管子,墨子都重视数。数据是一个记录,万亿个记录怎么样?数据在手,就能知道你我他多少工资了,能有多少余也!企业,家庭,地区,国家也可知哓!数有了学问在象理形中!拜年了,新年旺旺,全家身心安康!!!!!