谢请！

大数据的数据来源主要有三个渠道，分别是物联网系统、传统信息处理系统以及互联网应用（Web和App），所以要想获得大数据就要从这三个渠道来获取。

物联网系统产生的数据占据着大数据中的重要比例，物联网产生的数据多以非结构化数据为主，包括视频、音频、传感数据等等。物联网的应用领域众多，比如工业物联网、农业物联网、车联网、智慧城市等都会产生大量的数据，通常情况下这些数据的采集都是有严格要求的，是不能开放给个人的。如果个人要想获得这部分数据，一个比较可行的方案是跟数据采集者进行合作，比如做数据分析等业务。

传统信息系统涵盖的领域非常广泛，有政务系统、企业ERP、教育信息系统、医疗信息系统等等，传统信息系统涵盖的数据多以结构化数据为主，而且往往有较高的精确度和关联关系，这部分数据的价值密度也是相对比较高的。

但是传统信息系统涵盖的数据往往涉及到个人隐私、商业机密等内容，所以这部分内容通常是受到严密保护的。随着大数据技术的发展，业界对于政务系统的数据开放的呼声越来越高，经过脱敏的数据往往并不会对个人隐私构成侵犯，所以未来某些政务系统的大数据会陆续开放出来。

“大数据的运用，汽车私人定制服务已经不远。”

这里仅从笔者比较熟悉的汽车行业举一个例子，分享一下车联网大数据在汽车产业运用的一个例子，抛砖引玉。

背景

2017年我国汽车保有量已经达到2.05亿辆，而且预计在未来的销量还会增加，到2020年达到3000万辆。

汽车的最终目的是为人们提供移动出行的解决方案，对于未来汽车的发展趋势，业界基本上有一个共识，未来的汽车会朝着“电动化，网联化，智能化，共享化”四个方向发展。

个人获取大数据集有以下途径:

1. 部分企业提供了相关领域的数据集，如搜狗公司有提供搜索数据集，滴滴有提供出行数据集，可下载使用；

2. 通过网络爬虫爬取数据，很多网站有反爬功能，个人能够能够爬到的数据量比较有限；

3. 从数据开放平台中获取，很多科研机构和单位有开放观测和统计数据。

由于私人数据的敏感性，大数据集中的管理者只能是政府。目前很多政府都在建设智慧城市，建设城市大数据。各家单位的业务系统通过智慧城市联网共享数据，如征信信息、税收信息、工商信息、医疗档案、公共设施、社会福利、餐饮、娱乐、交通等信息。

需要获取大数据的企业，需要与政府相关部门如发改委联系申请，制定数据获取规则，签订保密协议，加入大数据联网，获取相关数据。

目前大数据还属于建设阶段，一切都不完善，没有前例可依，摸石头过河吧。

可以购买，也可以自己写代码爬取，只不过需要一点点爬虫基础和数据处理能力

数据分内外两种途径获取

内部自用不说，从各种系统中提取，相对简单！

外部的就多了，有付费买的，各种数据平台免费获取的，各种相关网站采集的，调查问卷获取等等吧~~

1. 如果作为个人需要去获取大数据，那么在获取过程中需要谨慎和，考虑它的商业用途和商业化过程中的风险和利弊。最大的问题是，个人去获取这些大数据的过程中，可能会产生一些法律风险和一些意图不明的情况。

2. 个人获取到数据的平台非常多，现在目前大数据开放的接口，尤其是API非常之多。可以通过各数据平台和大数据接口平台进行获取。这是常规的一个大数据库方案和方法，也是最容易将大数据纳入囊中，或者学作为研究对象的第一件事情，或者最容易去实现的一个方向。

3. 自己学习数据挖掘的相关工具和相关的爬虫软件。通过学习的过程中去挖掘自己想要挖掘的平台，并把数据整理起来，然后成为数据库，然后对数据进行清理和整理，从而形成一个大数据。

4. 成立相关的组织或团队或者公司，然后以一个团队的身份去对上数据深度挖掘和整理。进一步实现对大数据的商业化和数据的整合运用，将资源充分的利用和分配在商业模式当中去。

5. 如果这个作为个人比较有资金的话。可以直接购买相关的，已经成型的研究好了清洗好的大数据。直接通过已经研究好的大数据进行利用和商业化即可。

“大数据”在今天是一个非常热门的词，很多的企业都想借助大数据的风，让自己企业业务飞起来。但是大数据真的像很多人想的那样，用一个软件，导入几万条数据，分析一下，画一个可视化的图形就完了吗，这可能是太天真了，但也是很多人内心中的想法，觉得用一个很简单的软件，花点钱然后就搞定了。有这种想法的企业想要做大数据，几乎是痴人说梦，这种希望用最少的付出，换取最大回报的心理在市场竞争中是行不通的。智云通CRM作为一家资深的CRM系统服务提供商，对于大数据时代的到来，智云通CRM也为许多走在大数据迷茫路口的企业给出了解决方案。智云通CRM指出：大数据的应用并不是说有一个体量非常大的数据就行了，而是需要大量的有价值的数据，然后从这些有价值的数据中通过大数据技术获取对企业发展有价值的数据，而这些有价值的数据从何而来呢？

当然不会是天上掉下来的或者是从网上下载的，对于企业来说，那些有价值的数据都是与企业的业务息息相关的，而企业做数据分析其实目的也是为了促进业务的发展。因此，那些和企业业务在一起的数据才是有价值的，而对于企业来说，想要在通过大数据进行分析处理，指导业务的发展，就一定要做好这些业务数据的储备，这些数据将会成为企业最宝贵的财富。

对于企业来说，哪些数据是和企业相关的，企业可以从数据中怎样获取可储备的价值呢？这个时候，大数据的作用与我们日常数据分析处理中应用的数据不一样，在我们日常的分析中，我们运用的数据往往是一些类似，区域，年龄，薪水，数量等这一类的结构化的数据，而智能CRM软件除了这些结构化的数据，还对非结构化的数据拥有非常好的数据处理性能，比如说，用户的用户的沟通，行为数据，社交语言数据等等，都是在今天能够帮助企业更加清晰了解一个用户的数据，企业拥有这些数据，可以更加立体地了解用户了解消费者。

同时，对于企业来说，需要储备的数据，远远不至于这些原始性的数据，这些数据转化成对决策有帮助的信息是需要时间的，因此我们需要从这些原始数据中提取有价值的数据模型，成为二次数据，这些数据往往是能够被我们直接感知到的，同时，将原始数据根据用户特征，利用智能CRM管理系统建立起完善的用户模型，随着数据的不断增多，企业的用户模型也将会更加完善，当再次需要决策时，直接通过模型的对应分析，就能帮助企业快速的决策。这就是储备数据的价值。

智云通CRM指出：数据的价值获取是具有积累效应的，企业需要通过数据的积累建立起企业专属的用户数据模型，市场模型等，这些对于企业都是无价之宝。而数据储备就是企业需要迈出的第一步。

之前看到过一篇文章说提供社工库大数据接口的更换到新域名shoujiwxid.com上了

有个前提，你要获取的是什么数据？整个互联网上数据资源这么多，怎么可能都获取到呢，首先要有个大数据类型的垂直定位，然后才会采取爬虫定时爬取，毕竟数据是实时变化的