关于大数据

关于大数据

世界杯期间，全球各大科技巨头都利用大数据来预测世界杯比赛赛果，着实是让大数据在世界杯彻底火了一把。别以为世界杯结束了，大数据的预测就不会停止。从预测各种现象到夜观星相，从天气预报到飞机失事，从美好童话世界里的水晶球到现在的科技预测未来。随着信息革命不断的深入，大数据时代下的预测也变得更加简单，而人类的生活进入了大数据预测时代。而大数据预测，具备4个特称。

首先，我们要明白的是，预测是大数据核心价值。

人们在谈论大数据的采集、存储和挖掘时，最常见的应用案例便是“预测股市”“预测流感”“预测消费者行为”，预测性分析是大数据最核心的功能。

大数据还拥有数据可视化和大数据挖掘的功能, 对已发生的信息价值进行挖掘并辅助决策。传统的数据分析挖掘在做相似的事情，只不过效率会低一些或者说挖掘的深度、广度和精度不够。大数据预测则是基于大数据和预测模型去预测未来某件事情的概率。让分析从“面向已经发生的过去”转向“面向即将发生的未来”是大数据与传统数据分析的最大不同。 大数据预测的逻辑基础是，每一种非常规的变化事前一定有征兆，每一件事情都有迹可循，如果找到了征兆与变化之间的规律，就可以进行预测。大数据预测无法确定某件事情必然会发生，它更多是给出一个概率。

我们可以从天气预报看大数据预测的四个条件

在互联网之前便已经有基于大数据的预测分析了：天气预报。因为互联网，天气预报为代表的大数据预测的以下几个特征在更多领域得到体现。

1、大数据预测的时效性。天气预报粒度从天缩短到小时，有严苛的时效要求，基于海量数据通过传统方式进行计算，得出结论时明天早已到来，预测并无价值。其他领域的大数据预测应用特征对“时效性”有更高要求，譬如股市、实时定价，而云计算、分布式计算和超级计算机的发展则提供了这样的高速计算能力。

2、大数据预测的数据源。天气预报需要收集海量气象数据，气象卫星、气象站台负责收集，但整套系统的部署和运维耗资巨大。在互联网之前鲜有领域具备这样的数据收集能力。WEB1.0为中心化信息产生、WEB2.0为社会化创造、移动互联网则是随时随地、社会化和多设备的数据上传，每一次演化数据收集的成本都大幅降低，范围和规模则大幅扩大。

大数据

被引爆的同时，大数据预测所需数据源不再是问题。

3、大数据预测的动态性。不同时点的计算因子动态变化，任何变量都会引发整个系统变化，甚至产生蝴蝶效应。如果某个变量对结果起决定性作用且难以捕捉，预测难上加难，譬如人为因素。大数据预测的应用场景大都是极不稳定的领域但有固定规律，譬如天气、股市、疾病。这需要预测系统对每一个变量数据的精准捕捉，并接近实时地调整预测。发达的传感器网络外加大数据计算能力让上述两点更加容易。

4、大数据预测的规律性。大数据预测与传统的基于抽样的预测不同之处在于，其基于海量历史数据和实时动态数据，发现数据与结果之间的规律，并假设此规律会延续，捕捉到变量之后进行预测。一个领域本身便有相对稳定的规律，大数据预测才有机会得到应用。古人夜观天象就说明天气是由规律可循的，因此气象预报最早得到应用。反面案例则是规律难以捉摸，数据源收集困难的地震预测，还有双色球彩票。

大数据预测的典型应用领域具有行业区分。

互联网给大数据预测应用的普及带来了便利条件。天气预报之外，还有哪些领域正在或者可能被大数据预测所改变呢? 结合国内外案例来看，以下11个领域是最有机会的大数据预测应用领域。

1、体育赛事预测

世界杯期间，谷歌、百度、微软和高盛等公司都推出了比赛结果预测平台。百度预测结果最为亮眼，预测全程64场比赛，准确率为67%，进入淘汰赛后准确率为94%。现在互联网公司取代章鱼保罗试水赛事预测也意味着未来的体育赛事会被大数据预测所掌控。

谷歌世界杯预测基于Opta Sports 的海量赛事数据来构建其最终的预测模型。百度则是搜索过去5年内全世界987支球队(含国家队和俱乐部队) 的3.7万场比赛数据，同时与中国彩票网站乐彩网、欧洲必发指数数据供应商Spdex 进行数据合作，导入博彩市场的预测数据，建立了一个囊括199972名球员和1.12亿条数据的预测模型，并在此基础上进行结果预测。

从互联网公司的成功经验来看，只要有体育赛事历史数据，并且与指数公司进行合作，便可以进行其他赛事的预测，譬如欧冠、NBA 等赛事。

2、股票市场预测

去年英国华威商学院和美国波士顿大学物理系的研究发现，用户通过谷歌搜索的金融关键词或许可以金融市场的走向，相应的投资战略收益高达326%。此前则有专家尝试通过Twitter 博文情绪来预测股市波动。

理论上来讲股市预测更加适合美国。中国股票市场无法做到双向盈利，只有股票涨才能盈利，这会吸引一些游资利用信息不对称等情况人为改变股票市场规律，因此中国股市没有相对稳定的规律则很难被预测，且一些对结果产生决定性影响的变量数据根本无法被监控。

3、市场物价预测

CPI 表征已经发生的物价浮动情况，但统计局数据并不权威。但大数据则可能帮助人们了解未来物价走向，提前预知通货膨胀或经济危机。最典型的案例莫过于马云通过阿里B2B 大数据提前知晓亚洲金融危机，当然这是阿里数据团队的功劳。

单个商品的价格预测更加容易，尤其是机票这样的标准化产品，去哪儿提供的“机票日历”就是价格预测，告知你几个月后机票的大概价位。商品的生产、渠道成本和大概毛利在充分竞争的市场中是相对稳定的，与价格相关的变量相对固定，商品的供需关系在电子商务平台可实时监控，因此价格可以预测，基于预测结果可提供购买时间建议，或者指导商家进行动态价格调整和营销活动以利益最大化。

4、用户行为预测

基于用户搜索行为、浏览行为、评论历史和个人资料等数据，互联网业务可以洞察消费

者的整体需求，进而进行针对性的产品生产、改进和营销。《纸牌屋》选择演员和剧情、百度基于用户喜好进行精准广告营销、阿里根据天猫用户特征包下生产线定制产品、亚马逊预测用户点击行为提前发货均是受益于互联网用户行为预测。

受益于传感器技术和物联网的发展，线下的用户行为洞察正在酝酿。免费商用WIFI 、ibeacon 技术、摄像头影像监控、室内定位技术、NFC 传感器网络、排队叫号系统，可以探知用户线下的移动、停留、出行规律等数据，进行精准营销或者产品定制。

5、人体健康预测

中医可以通过望闻问切手段发现一些人体内隐藏的慢性病，甚至看体质便可知晓一个人将来可能会出现什么症状。人体体征变化有一定规律，而慢性病发生前人体已经会有一些持续性异常。理论上来说，如果大数据掌握了这样的异常情况，便可以进行慢性病预测。

结合智能硬件，慢性病的大数据预测变为可能。可穿戴设备和智能健康设备帮助网络收集人体健康数据，心率、体重、血脂、血糖、运动量、睡眠量等状况。如果这些数据足够精准且全面，并且有可以形成算法的慢性病预测模式，或许未来你的设备就会提醒你的身体罹患某种慢性病的风险。KickStarter 上的My Spiroo 便可收集哮喘病人的吐气数据来指导医生诊断其未来的病情趋势。急性病却很难预测，突变和随机性特征使之难以预测。

6、疾病疫情预测

基于人们的搜索情况、购物行为预测大面积疫情爆发的可能性，最经典的“流感预测”便属于此类。如果来自某个区域的“流感”、“板蓝根”搜索需求越来越多，自然可以推测该处有流感趋势。

继世界杯、高考、景点和城市预测之后，百度近日推出了疾病预测产品。目前可以就流感、肝炎、肺结核、性病这四种疾病，对全国每一个省份以及大多数地级市和区县的活跃度、趋势图等情况，进行全面的监控。未来，百度疾病预测监控的疾病种类将从目前的4种扩展到 30多种，覆盖更多的常见病和流行病。用户可以根据当地的预测结果进行针对性的预防。

7、灾害灾难预测

气象预测是最典型的灾难灾害预测。地震、洪涝、高温、暴雨这些自然灾害如果可以利用大数据能力进行更加提前的预测和告知便有助于减灾防灾救灾赈灾。与过往不同的是，过去的数据收集方式存在着死角、成本高等问题，物联网时代可以借助廉价的传感器摄像头和无线通信网络，进行实时的数据监控收集，再利用大数据预测分析，做到更精准的自然灾害预测。

8、环境变迁预测

除了进行短时间微观的天气、灾害预测之外，还可以进行更加长期和宏观的环境和生态变迁预测。森林和农田面积缩小、野生动物植物濒危、海岸线上升，温室效应这些问题是地球面临的“慢性问题“。如果人类知道越多地球生态系统以及天气形态变化数据，就越容易模型化未来环境的变迁，进而阻止不好的转变发生。而大数据帮助人类收集、储存和挖掘更多的地球数据，同时还提供了预测的工具。

9、交通行为预测

基于用户和车辆的LBS 定位数据，分析人车出行的个体和群体特征，进行交通行为的预测。交通部门可预测不同时点不同道路的车流量进行智能的车辆调度，或应用潮汐车道; 用户则可以根据预测结果选择拥堵几率更低的道路。

百度基于地图应用的LBS 预测涵盖范围更广。春运期间预测人们的迁徙趋势指导火车线路和航线的设置，节假日预测景点的人流量指导人们的景区选择，平时还有百度热力图来告诉用户城市商圈、动物园等地点的人流情况，指导用户出行选择和商家的选点选址。

10、能源消耗预测

加州电网系统运营中心管理着加州超过80%的电网，向3500万用户每年输送2.89亿兆瓦电力，电力线长度超过25000英里。该中心采用了Space-Time Insight 的软件进行智能管理，综合分析来自包括天气、传感器、计量设备等各种数据源的海量数据，预测各地的能源需求变化，进行智能电能调度，平衡全网的电力供应和需求，并对潜在危机做出快速响应。中国智能电网业已在尝试类似大数据预测应用。

对于单个家庭来说则可以通过智能家居设备，记录家庭成员的起居习惯，感知用户的舒适度，预测用户的温控能耗需求，进行智能的温控装置控制，还可结合阶梯电价表来帮助用户省钱。Nest 正式基于大数据预测用户能耗需求的成功产品。

除了上面列举的10多个领域之外，大数据预测还可被应用在房地产预测、就业情况预测、高考分数线预测、选举结果预测、奥斯卡大奖预测、保险投保者风险评估、金融借贷者还款能力评估等等，让人类具备可量化有说服力可验证的洞察未来的能力，大数据预测的魅力正在释放出来。

而我们又将如何对数据进行挖掘获得更大价值，首先我们得知道如何挖掘。利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web 页挖掘等， 它们分别从不同的角度对数据进行挖掘。

① 分类。分类是找出数据库中一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到某个给定的类别。

它可以应用到客户的分类、客户的属性和特征分析、客户满意度分析、客户的购买趋势预测等，如一个汽车零售商将客户按照对汽车的喜好划分成不同的类，这样营销人员就可以将新型汽车的广告手册直接邮寄到有这种喜好的客户手中，从而大大增加了商业机会。

② 回归分析。回归分析方法反映的是事务数据库中属性值在时间上的特征，产生一个将数据项映射到一个实值预测变量的函数，发现变量或属性间的依赖关系，其主要研究问题包括数据序列的趋势特征、数据序列的预测以及数据间的相关关系等。

它可以应用到市场营销的各个方面，如客户寻求、保持和预防客户流失活动、产品生命周期分析、销售趋势预测及有针对性的促销活动等。

③ 聚类。聚类分析是把一组数据按照相似性和差异性分为几个类别，其目的是使得属于同一类别的数据间的相似性尽可能大，不同类别中的数据间的相似性尽可能小。

它可以应用到客户群体的分类、客户背景分析、客户购买趋势预测、市场的细分等。 ④ 关联规则。关联规则是描述数据库中数据项之间所存在的关系的规则，即根据一个事务中某些项的出现可导出另一些项在同一事务中也出现，即隐藏在数据间的关联或相互关系。

在客户关系管理中，通过对企业的客户数据库里的大量数据进行挖掘，可以从大量的记录中发现有趣的关联关系，找出影响市场营销效果的关键因素，为产品定位、定价与定制客户群，客户寻求、细分与保持，市场营销与推销，营销风险评估和诈骗预测等决策支持提供参考依据。

⑤ 特征。特征分析是从数据库中的一组数据中提取出关于这些数据的特征式，这些特征式表达了该数据集的总体特征。如营销人员通过对客户流失因素的特征提取，可以得到导致客户流失的一系列原因和主要特征，利用这些特征可以有效地预防客户的流失。

⑥ 变化和偏差分析。偏差包括很大一类潜在有趣的知识，如分类中的反常实例，模式的例外，观察结果对期望的偏差等，其目的是寻找观察结果与参照量之间有意义的差别。在企业危机管理及其预警中，管理者更感兴趣的是那些意外规则。意外规则的挖掘可以应用到各种异常信息的发现、分析、识别、评价和预警等方面。

⑦ Web 页挖掘。随着Internet 的迅速发展及Web 的全球普及， 使得Web 上的信息

量无比丰富，通过对Web 的挖掘，可以利用Web 的海量数据进行分析，收集政治、经济、政策、科技、金融、各种市场、竞争对手、供求信息、客户等有关的信息，集中精力分析和处理那些对企业有重大或潜在重大影响的外部环境信息和内部经营信息，并根据分析结果找出企业管理过程中出现的各种问题和可能引起危机的先兆，对这些信息进行分析和处理，以便识别、分析、评价和管理危机。

数据挖掘是一种决策支持过程，它通过高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。这对于一个企业的发展十分重要。