§8.4 大数据:预测未来

什么是大数据？

大数据的个人信息安全

国家“十三五”规划中指出:“要把大数据作为基础性战略资源，全面实施施促进大数据发展行动，加快推动数据资源共享开放和开发应用，助力产业转型升级和社会治理创新”

大数据是什么？多种定义，一般指规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。它是无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据的产生具有天时地利人和的有利条件

天时：大数据的产生具有时间上的连续性。以往的数据都是与一定的运营活动相伴出现的，并且需要进行专门的存储阶段。这个时期运营式传统数据是被动产生的。但是在大数据时代，随着计算机技术、云计算存储技术和自媒体技术的迅猛发展，大量的数据会通过移动终端和网络终端即时存储，这个阶段的数据呈现出自发性和主动性。

地利：大数据的产生不受地域领域的约束。在各个领域中相继兴起，首先是互联网、金融及 IT 行业等虚拟行业的数据爆炸，随后延续到教育、科研以及物联网等实际领域当中。我们可以想象到的各个领域都在产生着大数据。比如考生的成绩、个人身份信息；商场的购买物品以及会员信息；网络运营商中存储着的手机信息和通话记录等，只要有生活的痕迹，都会形成数据。

人和：大数据的产生是人、机、物协同作用的结果。在数据不断发展过程中，数据的主体从以往的具有主体性的人慢慢演变为人机物三者以及三者的统一体。首先，人类的生产活动和生存活动都会产生大量的数据。其次，信息系统本身也产生大量的数据，这些数据以文件、图片、视频等形式存在。

最后，我们生活中的各类物品也会产生数据，比如各种地理信息采集设备、传感器和摄像头等数据采集设备，这些物品虽然是由人类生产制造出来的，但是一经成型便成为世界中的独立存在物。这人机物三者的相互作用是大数据产生的根本原因。

数据产生经历了被动、主动和自动三个阶段。这些被动、主动和自动的数据共同构成了大数据的数据来源。

大数据应用案例

大数据的应用领域

1.了解和定位客户

目前最广为人知的应用领域。很多企业热衷于社交媒体数据、浏览器日志、文本挖掘等各类数据集，通过大数据技术创建预测模型，从而更全面地了解客户以及他们的行为、喜好。例如商超可以更准确的预测产品销售情况；汽车保险公司能更真实地了解客户实际驾驶情况。

2.了解和优化业务流程

比如供应链或配送路径优化。通过定位和识别系统来跟踪货物或运输车辆，并根据实时交通路况数据优化运输路线。

3.提供个性化服务

大数据不仅适用于公司和政府，也适用于我们每个人，比如从智能手表或智能手环等可穿戴设备采集的数据可以分析人们的卡路里消耗、活动量和睡眠质量等。大多数婚恋网站都使用大数据分析工具和算法为用户匹配最合适的对象。

4.改善医疗保健和公共卫生

大数据分析的能力可以在几分钟内解码整个DNA序列，有助于我们找到新的治疗方法，更好地理解和预测疾病模式。试想一下，当来自所有智能手表等可穿戴设备的数据，都可以应用于数百万人及其各种疾病时，未来的临床试验将不再局限于小样本，而是包括所有人!

大数据分析有助于我们监测和预测流行性或传染性疾病的暴发时期，可以将医疗记录的数据与有些社交媒体的数据结合起来分析。

5.提高体育运动技能

如今大多数顶尖的体育赛事都采用了大数据分析技术。用于网球比赛的IBM SlamTracker工具，通过视频分析跟踪足球落点或者棒球比赛中每个球员的表现。许多优秀的运动队也在训练之外跟踪运动员的营养和睡眠情况。

6.提升科学研究

大数据带来的无限可能性正在改变科学研究。欧洲核子研究中心(CERN)在全球遍布了150个数据中心，有65,000个处理器，能同时分析30pb的数据量，这样的计算能力影响着很多领域的科学研究。比如政府需要的人口普查数据、自然灾害数据等，变的更容易获取和分析，从而为我们的健康和社会发展创造更多的价值。

7.提升机械设备性能

大数据使机械设备更加智能化、自动化。例如，丰田普锐斯配备了摄像头、全球定位系统以及强大的计算机和传感器，在无人干预的条件下实现自动驾驶。

8.强化安全和执法能力

利用大数据技术，检测和防止网络攻击(挫败恐怖分子的阴谋)。警察运用大数据来抓捕罪犯，预测犯罪活动。信用卡公司使用大数据来检测欺诈交易等等。

9.改善城市和国家建设

很多大城市致力于构建智慧交通。车辆、行人、道路基础设施、公共服务场所都被整合在智慧交通网络中，以提升资源运用的效率，优化城市管理和服务。

10.金融交易

大多数股票交易都是通过一定的算法模型进行决策的，如今这些算法的输入会考虑来自社交媒体、新闻网络的数据，以便更全面的做出买卖决策。同时根据客户的需求和愿望，这些算法模型也会随着市场的变化而变化。

………

大数据的核心不是对昨天的总结,而是对未来的预测和预判，从大数据中挖掘出共性和特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

大数据的三个转变和“４V”特征

大数据是人们获得新的认知，创造新的价值的源泉；大数据还是改变市场、组织机构，以及政府与公民关系的方法。其核心就是预测，这个核心代表着我们分析信息时的3个转变。

转变1：由利用抽样数据转变为利用所有的数据

在特定情境下，仍然能够运用随机样本的分析法，然而这己经不是我们处理数据所使用的重要方式。大数据技术的高扩展性的数据存储能力，成本更低，能够存储几乎全部的基础信息数据。信息处理己从“随机样本”扩展到“全体样本”，可以更准确地反映隐藏的内部规律与知识。

转变2：由追求精确性转变为追求普遍性

需要通过数据的普遍性来追求更精确的数据分析结果。

转变3：由追求因果关系转变为相对关系的分析

大数据的核心：建立在相关关系分析基础上的预测。相关关系是：A与B经常一起发生。只要注意到B发生，就能预测A的发生。

数据量大(Volume)：包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。

速度快时效高(Velocity)：数据增长速度快，处理速度也快，时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到，个性化推荐算法尽可能要求实时完成推荐。

类型繁多(Variety)：包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。

价值密度低(Value)：数据价值密度相对较低，包含很多深度的价值，如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，通过大数据分析挖掘和利用将带来巨大的商业价值，这是大数据时代最需要解决的问题。

大数据分析

大数据分析包括五个方面的内容:

1、可视化分析：这是数据分析工具最基本的要求。

2、数据挖掘算法：数据挖掘是指从大量的数据中通过算法搜索隐藏于内部信息的过程。大数据分析的理论核心就是数据挖掘算法，这些算法不仅要处理大数据的量，也要处理大数据的速度。

3、预测性分析能力：预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。

4、语义引擎：非结构化数据的多样性为数据分析带来了新的挑战,所以需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。

5、数据质量和数据管理：数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。

大数据处理的流程

1、数据采集：指利用多个数据库来接收发自客户端的数据,并且用户可以通过这些数据库来进行简单的查询和处理工作

2、数据导入和预处理：要将这些分散的数据库中的海量数据全部导入到一个集中的大的数据库中,在导入的过程中依据数据特征进行一些简单的清洗、筛选。

3、数据统计和分析：对已导入的海量数据依据其本身特征进行分析和分类汇总，以满足大多数常见的分析需求。

4、数据挖掘：可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。只有相对准确合适的算法才能从大数据中得到有价值的数据分析结果。

5、可视化分析：数据可视化是数据分析工具最基本的要求。可视化能够直观的呈现大数据特点，展示数据特征，让数据自己说话，同时能够非常容易被读者所接受。

网络爬虫:互联网时代的大数据获取

互联网是各种数据的主要载体，合理利用爬虫技术取得有价值的数据，是目前获取海量数据的主要方式之一。

网络爬虫是一种按照一定的规则，通过网页中的超连接信息不断获得网络上的其它网页，自动地抓取万维网信息的程序或者脚本。它以获取或更新这些网站的内容和检索方式，被广泛用于互联网搜索引擎或其他类似网站，正是因为这种采集过程像一个爬虫或者蜘蛛在网络上漫游，所以被称为网络爬虫系统或者网络蜘蛛系统,在英文中称为Spider或者Crawler。

网络爬虫的基本工作流程

1.首先选取一部分精心挑选的种子URL(一般会选择一些比较重要较大的网站的URL作为种子URL集合);

2.将这些URL放入待抓取URL队列;

3.从待抓取URL队列中取出待抓取URL，解析DNS，并且得到主机的ip，并将URL对应的网页下载下来，得到网页的内容存储进已下载网页库中，将这个URL放进已抓取URL队列，再将经过解析网页中的链接信息得到一些新的URL加入待抓取队列；

4.然后从待抓取队列再取出一个URL,对其对应的网页进行下载，然后再解析，如此反复进行,直到遍历了整个网络或者满足某种条件后才会停止下来。

大多数爬虫系统并不追求全网络覆盖，而是将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。

网络爬虫系统提供有资源库，主要是用来存储网页中下载下来的数据记录，所有被爬虫抓取的网页内容将会被系统存贮，进行一定的分析、过滤,并建立索引，以便之后的查询和检索。

谷歌流感趋势:关于互联网和大数据的故事

Google流感趋势（GoogleFlu Trends，GFT）是Google于2008年推出的一款预测流感的产品。Google认为，某些搜索字词有助于了解流感疫情。Google流感趋势会根据汇总的Google搜索数据，近乎实时地对全球当前的流感疫情进行估测,该项目被认为是用互联网和大数据做地区传染病的研究先驱。

这项研究表明,大数据为研究人类行为和人与人之间大规模的互动提供了新的方式。为验证“谷歌流感趋势”预警系统的正确性，谷歌多次把测试结果与美国疾病控制和预防 中心(CDC)报告做比对，证实两者结论存在很大相关性。当然预测数据也有一定的偏差，并且受到一些质疑的声音。

1、大数据定义

大数据（big data），指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产 。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）Veracity（真实性）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 

麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。 

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。 

随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是成为赢得竞争的关键。

2、大数据的应用

洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生。

google流感趋势(Google Flu Trends)利用搜索关键词预测禽流感的散布。

统计学家内特.西尔弗(Nate Silver)利用大数据预测2012美国选举结果。

麻省理工学院利用手机定位数据和交通数据建立城市规划。

梅西百货的实时定价机制。根据需求和库存的情况，该公司基于SAS的系统对多达7300万种货品进行实时调价。 

医疗行业早就遇到了海量数据和非结构化数据的挑战，而近年来很多国家都在积极推进医疗信息化发展，这使得很多医疗机构有资金来做大数据分析。

3、大数据的趋势

趋势一：数据的资源化

何为资源化，是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。

趋势二：与云计算的深度结合

大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。除此之外，物联网、移动互联网等新兴计算形态，也将一齐助力大数据革命，让大数据营销发挥出更大的影响力。

趋势三：科学理论的突破

随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。

趋势四：数据科学和数据联盟的成立

未来，数据科学将成为一门专门的学科，被越来越多的人所认知。各大高校将设立专门的数据科学类专业，也会催生一批与之相关的新的就业岗位。与此同时，基于数据这个基础平台，也将建立起跨领域的数据共享平台，之后，数据共享将扩展到企业层面，并且成为未来产业的核心一环。

趋势五：数据泄露泛滥

未来几年数据泄露事件的增长率也许会达到100%，除非数据在其源头就能够得到安全保障。可以说，在未来，每个财富500强企业都会面临数据攻击，无论他们是否已经做好安全防范。而所有企业，无论规模大小，都需要重新审视今天的安全定义。在财富500强企业中，超过50%将会设置首席信息安全官这一职位。企业需要从新的角度来确保自身以及客户数据，所有数据在创建之初便需要获得安全保障，而并非在数据保存的最后一个环节，仅仅加强后者的安全措施已被证明于事无补。

趋势六：数据管理成为核心竞争力

数据管理成为核心竞争力，直接影响财务表现。当“数据资产是企业核心资产”的概念深入人心之后，企业对于数据管理便有了更清晰的界定，将数据管理作为企业核心竞争力，持续发展，战略性规划与运用数据资产，成为企业数据管理的核心。数据资产管理效率与主营业务收入增长率、销售收入增长率显著正相关;此外，对于具有互联网思维的企业而言，数据资产竞争力所占比重为36.8%，数据资产的管理效果将直接影响企业的财务表现。

趋势七：数据质量是BI(商业智能)成功的关键

采用自助式商业智能工具进行大数据处理的企业将会脱颖而出。其中要面临的一个挑战是，很多数据源会带来大量低质量数据。想要成功，企业需要理解原始数据与数据分析之间的差距，从而消除低质量数据并通过BI获得更佳决策。

趋势八：数据生态系统复合化程度加强

大数据的世界不只是一个单一的、巨大的计算机网络，而是一个由大量活动构件与多元参与者元素所构成的生态系统，终端设备提供商、基础设施提供商、网络服务提供商、网络接入服务提供商、数据服务使能者、数据服务提供商、触点服务、数据服务零售商等等一系列的参与者共同构建的生态系统。而今，这样一套数据生态系统的基本雏形已然形成，接下来的发展将趋向于系统内部角色的细分，也就是市场的细分;系统机制的调整，也就是商业模式的创新;系统结构的调整，也就是竞争环境的调整等等，从而使得数据生态系统复合化程度逐渐增强。

4、数据挖掘

何为数据挖掘

数据挖掘（Data mining）就是指从数据中获取知识 。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。

成功案例

数据挖掘帮助Credilogros Cía Financiera S.A.改善客户信用评分

Credilogros Cía Financiera S.A. 是阿根廷第五大信贷公司，资产估计价值为9570万美元，对于Credilogros而言，重要的是识别与潜在预先付款客户相关的潜在风险，以便将承担的风险最小化。

该公司的第一个目标是创建一个与公司核心系统和两家信用报告公司系统交互的决策引擎来处理信贷申请。同时，Credilogros还在寻找针对它所服务的低收入客户群体的自定义风险评分工具。除这些之外，其他需求还包括解决方案能在其35个分支办公地点和200多个相关的销售点中的任何一个实时操作，包括零售家电连锁店和手机销售公司。

最终Credilogros 选择了SPSS Inc.的数据挖掘软件PASWModeler，因为它能够灵活并轻松地整合到 Credilogros 的核心信息系统中。通过实现PASW Modeler，Credilogros将用于处理信用数据和提供最终信用评分的时间缩短到了8秒以内。这使该组织能够迅速批准或拒绝信贷请求。该决策引擎还使 Credilogros 能够最小化每个客户必须提供的身份证明文档，在一些特殊情况下，只需提供一份身份证明即可批准信贷。此外，该系统还提供监控功能。Credilogros目前平均每月使用PASW Modeler处理35000份申请。仅在实现 3 个月后就帮助Credilogros 将贷款支付失职减少了 20%.

数据挖掘帮助DHL实时跟踪货箱温度

DHL是国际快递和物流行业的全球市场领先者，它提供快递、水陆空三路运输、合同物流解决方案，以及国际邮件服务。DHL的国际网络将超过220个国家及地区联系起来，员工总数超过28.5万人。在美国 FDA 要求确保运送过程中药品装运的温度达标这一压力之下，DHL的医药客户强烈要求提供更可靠且更实惠的选择。这就要求DHL在递送的各个阶段都要实时跟踪集装箱的温度。

虽然由记录器方法生成的信息准确无误，但是无法实时传递数据，客户和DHL都无法在发生温度偏差时采取任何预防和纠正措施。因此，DHL的母公司德国邮政世界网（DPWN）通过技术与创新管理（TIM）集团明确拟定了一个计划，准备使用RFID技术在不同时间点全程跟踪装运的温度。通过IBM全球企业咨询服务部绘制决定服务的关键功能参数的流程框架。DHL获得了两方面的收益：对于最终客户来说，能够使医药客户对运送过程中出现的装运问题提前做出响应，并以引人注目的低成本全面切实地增强了运送可靠性。对于DHL来说，提高了客户满意度和忠实度；为保持竞争差异奠定坚实的基础；并成为重要的新的收入增长来源。

数据挖掘帮助Target抢占孕妇用品市场

 2011年《纽约时报》报道了一个大数据商业应用成功的案例。美国第二大超市塔吉特（Target）希望抢占孕妇用品这一市场，于是进行了商业新模式的探索。营销人员希望建立一个能够确认怀孕4至6个月孕妇的数据模型，以便先于零售商获取用户怀孕信息。但是怀孕是非常私密的信息，数据分析部门想到了Target之前举办的“迎婴聚会”的用户登记表。通过建模分析对这些登记用户的消费数据进行处理，他们就发现了许多非常有用的信息。比如，在怀孕的前20周大量购买补充钙、镁、锌的保健品。依据这些信息，数据分析部门选出25种典型商品的消费数据以构建“怀孕预测指数”，通过这个指数，Target能够以最大的程度预测到用户的怀孕情况，让市场营销人员提前把孕妇优惠广告寄发给用户，并最终赢得了宝贵的客户资源。

从目前网络招聘的信息来看，大小公司对数据挖掘的需求有50多个方面（来源见参考资料）：

1、数据统计分析

2、预测预警模型

3、数据信息阐释

4、数据采集评估

5、数据加工仓库

6、品类数据分析

7、销售数据分析

8、网络数据分析

9、流量数据分析

10、交易数据分析

11、媒体数据分析

12、情报数据分析

13、金融产品设计

14、日常数据分析

15、总裁万事通

16、数据变化趋势

17、预测预警模型

18、运营数据分析

19、商业机遇挖掘

20、风险数据分析

21、缺陷信息挖掘

22、决策数据支持

23、运营优化与成本控制

24、质量控制与预测预警

25、系统工程数学技术

26、用户行为分析/客户需求模型

27、产品销售预测（热销特征）

28、商场整体利润最大化系统设计

29、市场数据分析

30、综合数据关联系统设计

31、行业/企业指标设计

32、企业发展关键点分析

33、资金链管理设计与风险控制

34、用户需求挖掘

35、产品数据分析

36、销售数据分析

37、异常数据分析

38、数学规划与数学方案

39、数据实验模拟

40、数学建模与分析

41、呼叫中心数据分析

42、贸易/进出口数据分析

43、海量数据分析系统设计、关键技术研究

44、数据清洗、分析、建模、调试、优化

45、数据挖掘算法的分析研究、建模、实验模拟

46、组织机构运营监测、评估、预测预警

47、经济数据分析、预测、预警

48、金融数据分析、预测、预警

49、科研数学建模与数据分析：社会科学，自然科学，医药，农学，计算机，工程，信息，      军事，图书情报等

50、数据指标开发、分析与管理

51、产品数据挖掘与分析

52、商业数学与数据技术

53、故障预测预警技术

54、数据自动分析技术

55、泛工具分析

56、互译

57、指数化

其中，互译与指数化是数据挖掘除计算机技术之外最核心的两大技术。

相关视频

大数据会怎么找出潜在的新型冠状病毒接触者？