大数据和人工智能有什么关联？

第一层——两化融合

内容：

• 自动化——制造设备具备一定自动化能力，可实时产生生产制造的过程数据。

• 信息化——信息化主要指企业具备信息化能力，至少已经实施如ERP、MES、APS、WMS、SCM等传统软件，

大数据是人工智能的基石，目前的深度学习主要是建立在大数据的基础上，即对大数据进行训练，并从中归纳出可以被计算机运用在类似数据上的知识或规律。那么，到底什么是大数据呢？

人们经常笼统地说，大数据就是大规模的数据。

这个说法并不准确。“大规模”只是指数据的量而言。数据量大，并不代表着数据一定有可以被深度学习算法利用的价值。例如，地球绕太阳运转的过程中，每一秒钟记录一次地球相对太阳的运动速度、位置，可以得到大量数据。可如果只有这样的数据，其实并没有太多可以挖掘的价值，因为地球围绕太阳运转的物理规律，人们已经研究得比较清楚了。

那么，大数据到底是什么？大数据是如何产生的？什么样的数据才最有价值，最适合作为计算机的学习对象呢？

根据马丁·希尔伯特的总结，今天我们常说的大数据其实是在2000年后，因为信息交换、信息存储、信息处理三个方面能力的大幅增长而产生的数据：

大数据是人工智能发展的重要支撑力，为人工智能提供“养料”。例如，在 AlphaGo 的学习过程中，核心数据是来自互联网的 3000 万例棋谱。

互联网和智能手机的快速普及催生了海量数据。无论是人们无论是用手机、跑步、看电视还是行驶在车流中，几乎所有的活动都会留下数字足迹，海量数据已汇成数据洪流，加上算法的突破和计算力的支撑成就了人工智能获得突破、走向应用。

所以说，没有大数据就没有人工智能的发展。反过来看，人工智能让大数据的价值得以最大程度的挖掘运用，而如果没有人工智能，大数据的价值会大打折扣。

大数据，百度百科上是这么定义的，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

简单说，就是不是简单的将你的性别、淘宝记录啥的数据收集起来，通常做大数据的公司还会基于这些数据进行分门别类的整理，并且对整理后的数据进行分析，比如分析出你喜欢什么样的风格的衣服，你的喜好等信息。

关于大数据，IBM概括出大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

那怎么实现上述的五大特点呢？

我们都知道，所谓大数据，就是大量的信息，利用普通的加减乘除啥的肯定会把电脑给跑废掉，不过这里的电脑不是我们用的普通的电脑，他们通常都有数据处理中心，就是高配的商业服务器。但即便高配，如果只是用简单的算法来处理，也很浪费时间。

大数据和机器学习是我的主要研究方向，同时也在带相关方向的研究生，所以我来一下这个问题。

要想搞清楚大数据与AI之间的关系，首先要了解大数据和AI的概念。大数据是互联网和物联网发展的必然结果，大数据技术的重点在于实现数据价值化，整个大数据产业链也紧紧围绕数据进行展开，包括数据的采集、存储、安全、分析、呈现和应用。另外，云计算技术与大数据技术也有密切的联系，云计算为大数据提供了服务支撑。

人工智能目前已经经过了60多年的发展，主要的研究领域集中在机器学习、自然语言处理、自动推理、知识表示、计算机视觉和机器人学等六大方面，重点的问题在于“合理的思考”和“合理的行动”。人工智能由于是典型的交叉学科，所以目前依然处在行业发展的初期，人工智能领域依然有大量的课题需要攻克，也需要解决落地应用问题。

大数据与人工智能的关系可以通过三个角度来描述，其一是大数据是人工智能的基础，大数据带来大智慧；其二是人工智能促进大数据的发展；其三是大数据和人工智能共同组建了一个新的技术生态。

大数据的发展在很大程度上推动了人工智能的发展，比如机器学习需要大量的训练数据，数据量越大则训练的效果就会越好，所以在大数据时代，机器学习包括深度学习受到了广泛的关注，一系列基于机器学习的产品在陆续开始落地应用，比如自动驾驶、智能诊疗等。

大数据和人工智能的关系，首先要说什么是大数据。这些年来，大数据先是被神化，继而又被妖魔化，到了今天，其实谁也不知道别人所谓的大数据指的是什么。有时候大数据的定义里既有平台（硬件）又有分析技术。但为了说清楚大数据和人工智能的关系，我们还是回归大数据的本质：海量的、多维度、多形式的数据。
任何智能的发展，其实都需要一个学习的过程。而近期人工智能之所以能取得突飞猛进的进展，不能不说是因为这些年来大数据长足发展的结果。正是由于各类感应器和数据采集技术的发展，我们开始拥有以往难以想象的的海量数据，同时，也开始在某一领域拥有深度的、细致的数据。而这些，都是训练某一领域“智能”的前提。
我们把人工智能看成一个嗷嗷待哺拥有无限潜力的婴儿，某一领域专业的海量的深度的数据就是喂养这个天才的奶粉。奶粉的数量决定了婴儿是否能长大，而奶粉的质量则决定了婴儿后续的智力发育水平。
与以前的众多数据分析技术相比，人工智能技术立足于神经网络，同时发展出多层神经网络，从而可以进行深度机器学习。与以外传统的算法相比，这一算法并无多余的假设前提（比如线性建模需要假设数据之间的线性关系），而是完全利用输入的数据自行模拟和构建相应的模型结构。这一算法特点决定了它是更为灵活的、且可以根据不同的训练数据而拥有自优化的能力。
但这一显著的优点带来的便是显著增加的运算量。在计算机运算能力取得突破以前，这样的算法几乎没有实际应用的价值。大概十几年前，我们尝试用神经网络运算一组并不海量的数据，整整等待三天都不一定会有结果。但今天的情况却大大不同了。高速并行运算、海量数据、更优化的算法共同促成了人工智能发展的突破。
这一突破，如果我们在三十年以后回头来看，将会是不弱于互联网对人类产生深远影响的另一项技术，它所释放的力量将再次彻底改变我们的生活。

以上来自百度！

过去许多观点认为大数据是人工智能的基础，但是著名人工智能围棋程序“阿尔法狗”（AlphaGo）的最新成果，给这个观点带来了挑战。简单说，至少在围棋这个领域，最新版的AlphaGo Zero证实，只要我智能够高，你给不给我数据完全无所谓。

开发AlphaGo的DeepMind公司18日在Nature上发表了最新的论文：https://www.nature.com/nature/journal/v550/n7676/full/nature24270.html

其核心就是，最新版本AlphaGo Zero与此前版本联合使用“策略网络”和“价值网络”不同，只使用一张神经网络。但这个算法足够强大，此前的版本还需要先输入一些人类积累的棋谱等知识，而AlphaGo Zero完全从零开始，只给它棋盘和棋子，然后就自我训练，3天后战胜AlphaGo Lee，就是赢了李世石的那个版本，40天后战胜AlphaGo Master，就是赢了柯洁的那个版本。

论文第一作者David Silver教授公开表示：“人们常认为机器学习就是关于大数据和海量计算，但是我们从AlphaGo Zero中发现，算法比所谓计算或数据可用性更重要。”关键的这句英文原文是：Algorithms mater much more than either compute or data availability.

我个人感觉啊，这就有些像华山派的“剑宗”和“气宗”之争了。大数据像剑宗，只要有数据，就会很快有很好的应用，像有历史积累的棋谱，照着下就行。而智能算法像气宗，起步很难，人工智能搞围棋几十年了，直到2015年AlphaGo出世前，都不能战胜人类职业棋手，但只要气宗修炼到一定程度，这就不得了了，单纯以算法“内力”破所有剑招，现在在围棋上已经打遍天下无敌手了。

大数据和人工智能是两个分支，本来独立发展，但是 AI 的计算能力尤其是 GPU 的能力上来，大数据这边的数据量上来，两个分支就交叉更多了。

包括现在所谓“深度学习”，就是用超大规模计算能力来从大数据里自我学习、自我找模式，以达到过去 AI 没有达到的高度。换句话说，几十年前当数据量还没这么多时，AI 更多偏“算法”和“模型”，但是有了大数据后，AI 的范围和应用场景一下子变开阔，两者联系也变得越来越紧密。

举个最简单例子：怎么从大数据里挖掘出各种隐藏得非常深的“关系”和“模式”？这里 AI 就大有用武之地。

人工智能（AI）”和”大数据 （Big Data）”两个词以迅雷不及掩耳之势流行开来人工智能和大数据之间是什么联系？区别又是什么？一个共同点就是这两项技术都被炒得非常火热。根据调查发现，超过97％的企业高管表示他们的公司正在投资、构建或启动大数据和人工智能计划。更重要的是，近80％的企业高管认为人工智能和大数据密切相关。可以肯定的是它们是完成任务的不同工具。人工智能（AI）是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。它是指计算机系统具备的能力，该能力可以履行原本只有依靠人类智慧才能完成的复杂任务。人工智能在上世纪80—90年代曾经一度低迷。近年来，由于成本低廉的大规模并行计算、大数据、深度学习、人脑芯片4大催化剂的齐备，导致人工智能的发展出现了井喷趋势。人工智能和大数据之间是什么联系？区别又是什么？大数据（BigData）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。人工智能和大数据之间是什么联系？区别又是什么？人工智能打个比方，像张无忌吸收好多武林前辈的武功秘籍，不断的深度学习和广泛训练，逐渐进化升级为一个武林高手。大数据相当于张无忌从小到大学习、记忆和存储的海量武功秘籍（武学知识），这些武学知识只有通过他消化、吸收、再造才能创造出更大的价值或本领。可以看出，大数据是不断采集、沉淀、分类等数据积累，人工智能是基于大数据的支持和采集，运用于人工设定的特定性能和运算方式来实现。因此，人工智能离不开大数据，人工智能需要依赖大数据平台和技术来帮助完成深度学习进化。当今人工智能立足于深度（多层）神经网络，进行深度机器学习，可以根据大量的训练数据来提高模型优化能力。但这一显著优点需要增加海量的运算。随着计算机运算能力提升，深度神经网络发挥了杰出的实际应用价值。高速并行运算、海量数据、更优化的算法共同促成了人工智能发展的突破－所释放出来的力量将彻底改变和优化人们的工作和生活（科技优化生活＾＿＾）！这对人类的发展产生意义重大且深远的影响。人工智能涉及的领域非常广泛，且深入人们的工作和生活各个方面。人工智能，特别是深度学习，需要大量数据的应用和积累。这就需要高容量存储设备来支持大量数据的留存。随着数据的不断增加，人们开始在其中发现某种规律，引发了分析的需求。分析让大量的数据有了价值，嵌有人工智能的机器开始懂得用户想要什么，需要干什么，可以预测未来变化或趋势，这种人工智能与场景的结合，要实现的就是改变生活方式和解放生产力。很多过去只有人能做的事情，现在更多的情况下能够通过机器实现，比如语音助手、无人驾驶汽车。更重要的是，当硬件性能逐渐提升、计算资源越来越强大时，成本却越来越低廉。大数据是需要在数据变得有用之前进行清理、结构化和集成的原始输入，而人工智能则是输出，即处理数据产生的智能。这使得两者有着本质上的不同。人工智能是一种计算形式，它允许机器执行认知功能，例如对输入起作用或作出反应，类似于人类的做法。人工智能系统不断改变它们的行为，以适应调查结果的变化并修改它们的反应。人工智能系统旨在分析和解释数据，然后根据这些解释来解决实际问题。人工智能是关于决策和学习做出更好的决定。在某些方面人工智能会代替或部分代替人类来完成某些任务，但比人类速度更快，错误更少。大数据是一种传统计算。它不会根据结果采取行动，而只是寻找结果。它定义了非常大的数据集，可以存在结构化数据或非结构化数据（在使用上也有差异）。大数据主要是为了获得洞察力。人工智能和大数据之间是什么联系？区别又是什么？虽然人工智能和大数据有很大的区别，但它们仍然能够很好地协同工作。这是因为人工智能需要数据来建立其智能，特别是机器学习。机器学习中，为了训练模型，需要大量的数据，而且数据需要结构化和集成到足够好的程度，以便机器能够可靠地识别数据中的有用模式。大数据技术满足这样的要求。人工智能是基于大数据的支持和采集，运用于人工设定的特定性能和运算方式来实现的，大数据是不断采集、沉淀、分类等数据积累。大数据提供了大量的数据，并且能从大量繁杂的数据中提取或分离出有用的数据，然后供人工智能来使用。即人工智能和机器学习中使用的数据已经被“清理”了，无关的、重复的和不必要的数据已经被清除。这些“清理”工作是由大数据技术来完成或保障的。大数据可以提供训练学习算法所需的数据。有两种类型的数据学习：初期离线训练数据学习和长期在线训练数据学习。人工智能应用程序一旦完成最初离线培训，并不会停止数据学习。随着数据的变化，它们将继续在线收集新数据，并调整它们的行动。因此，数据分为初期的和长期的（持续的）。机器学习从初期和长期收集到的数据中不断学习和训练。不断学习和磨练其人工智能的模型和参数。人工智能发展的最大飞跃是大规模并行处理器的出现，特别是GPU，它是具有数千个内核的大规模并行处理单元。这大大加快了人工智能算法的计算速度。人工智能需要通过试验和错误学习，这需要大量的数据来教授和培训人工智能。人工智能应用的数据越多，其获得的结果就越准确。因此可以看出，人工智能是依托于大数据，或者说人工智能底层基于大数据。此外，在大数据发挥作用的同时，人工智能研发者也一定不要忘了，大数据的应用必然会带来个人隐私保护方面的挑战。有效、合法、合理地收集、利用、保护大数据，是人工智能时代的基本要求。最后还要澄清的一点是：大数据在人工智能中的作用是将人类或物体行为活动抽象为或转变为海量数据，对数据清洗、提质等预处理，供人工智能系统使用，而对数据进行智能分析的人工智能只是人工智能的一部分，并非全部。人工智能和大数据既有联系又有区别，且可以协同工作。人工智能需要通过试验和错误学习，需要大数据来教授和培训人工智能。人工智能需要依托大数据来建立其智能。在大数据在人工智能中发挥作用的同时，人工智能研发者千万不要忘了，合理地收集和利用大数据，注意个人隐私的保护。对数据进行智能分析的人工智能只是人工智能的一部分，并非全部。

专门写过一篇关于大数据和人工智能关系的文章。仅供参考！

网上曾经有一篇“著名”的文章，叫做《懒才是第一生产力》。文章里说：懒”这个属性一直在推动着人类进步的进程，因为想“偷懒”，所以人类就日日夜夜在那里捣腾，以达到自己想偷懒的目标。正是因为懒得不想做一系列事情，所以人类发明了洗衣机、电话、汽车……

这当然是片面的。我们都知道，科技才是真正的第一生产力。18世纪中叶，因为改良了蒸汽机，引起了第一次工业革命，使得人类从手工劳动转向动力生产，由此进入了“机器时代”。到了电气化时代，电气的发明使得人类可以使用更高效的新能源，促使生产力迅速发展。而20多年前开始进入信息化时代后，互联网的发明和使用将全世界的人类和信息连接在了一起，极大地提高了全社会的分工协作效率。

可以这么说：追求效率是社会发展的核心驱动力。正是因为这个驱动力，企业才创新出一个个全新的商业模式：O2O，互联网减法，共享经济……

然而，随着互联网普及成为一种基础设施，万物互联已经成为可能。这意味着互联网红利也已经接近尾声，互联网时代已然步入了下半场。