二、关键技术

大数据处理关键技术一般包括大数据采集、大数据预处理、大数据存储与管理、开发大数据安全、大数据分析及挖掘、大数据展现与应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。

1.大数据采集技术 数据是指通过RFID射频、传感器、社交网络交互及移动互联网等方式获得的各种类型的结构化、半结构化(或称弱结构化)及非结构化的海量数据，是大数据知识服务模型的根本。大数据采集技术重点要突破分布式高速高可靠性数据采集、高速数据全映像等大数据收集技术，高速数据解析、转换与装载等大数据整合技术，设计质量评估模型，开发数据质量技术。

大数据采集一般分为智能感知层和基础支撑层。智能感知层主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等，必须着重掌握针对大数据源的智能识别、感知、适配、传输、接入等技术。基础支撑层提供大数据服务平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网资源等基础支撑环境，重点攻克分布式虚拟存储技术，大数据获取、存储、组织、分析和决策操作的可视化接口技术，大数据的网络传输与压缩技术，大数据隐私保护技术等。

2.大数据预处理技术 主要完成对已接收数据的辨析、抽取、清洗等操作。

(1)抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助人们将复杂的数据转化为单一的或者便于处理的结构和类型，以达到快速分析处理的目的。

(2)清洗：在海量数据中，数据并不全是有价值的，有些数据并不是人们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据进行过滤“去噪”以提取出有效数据。

3.大数据存储与管理技术 大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。大数据存储与管理技术重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术；主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等关键问题；开发可靠的分布式文件系统(distributed file system，DFS)、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术，突破分布式非关系型大数据管理与处理技术，异构数据的数据融合技术，数据组织技术；研究大数据建模技术，大数据索引技术和大数据移动、备份、复制等技术；开发大数据可视化技术和新型数据库技术。新型数据库技术可将数据库分为关系型数据库、非关系型数据库及数据库缓存系统。其中，非关系型数据库主要指NoSQL，分为键值数据库、列存数据库、图存数据库及文档数据库等类型；关系型数据库包含传统关系数据库系统及NewSQL数据库。

4.开发大数据安全技术 改进数据销毁、透明加解密、分布式访问控制、数据审计等技术，突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。

5.大数据分析及挖掘技术 大数据分析及挖掘技术改进已有数据挖掘和机器学习技术，开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术，突破基于对象的数据连接、相似性连接等大数据融合技术和用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中人们事先不知道但又是潜在有用的信息和知识的过程。

数据挖掘涉及的技术方法很多且有多种分类法。根据挖掘任务可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等；根据挖掘对象可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库及环球网Web；根据挖掘方法可粗分为机器学习方法、统计方法、神经网络方法和数据库方法。机器学习方法可细分为归纳学习方法(决策树、规则归纳等)、基于范例学习方法、遗传算法等；统计方法可细分为回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费希尔判别、非参数判别等)、聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等)等；神经网络方法可细分为前向神经网络(BP算法等)、自组织神经网络(自组织特征映射、竞争学习等)等；数据库方法主要是多维数据分析或OLAP方法，另外还有面向属性的归纳方法。

从挖掘任务和挖掘方法的角度，数据挖掘着重突破以下几个方面。

(1)可视化分析：无论对普通用户还是数据分析专家，数据可视化都是最基本的功能。数据图像化可以让数据“说话”，让用户直观地感受到结果。

(2)数据挖掘算法：图像化是将机器语言翻译给人们看，而数据挖掘算法用的是机器语言。分割、集群、孤立点分析还有各种各样的算法使人们可以精炼数据、挖掘价值。数据挖掘算法一定要能够应付大数据的量，同时还应具有很快的处理速度。

(3)预测性分析：预测性分析可以让分析师根据图像化分析和数据挖掘的结果做出一些前瞻性判断。

(4)语义引擎：语义引擎需要设计足够的人工智能以从数据中主动地提取信息。语言处理技术包括机器翻译、情感分析、舆情分析、智能输入、问答系统等。

(5)数据质量与管理：数据质量与管理是管理的最佳实践，透过标准化流程和机器对数据进行处理可以确保获得一个预设质量的分析结果。

6.大数据展现与应用技术 大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。

在我国，大数据将重点应用于商业智能、政府决策、公共服务三大领域。例如，商业智能技术、政府决策技术、电信数据信息处理与挖掘技术、电网数据信息处理与挖掘技术、气象信息分析技术、环境监测技术、警务云应用系统(道路监控、视频监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统)、大规模基因序列分析比对技术、Web信息挖掘技术、多媒体数据并行化处理技术、影视制作渲染技术、其他各种行业的云计算和海量数据处理应用技术等。大数据和云计算之间的区别在于，首先两者在概念上不同，云计算改变了IT，而大数据改变了业务；其次两者的目标受众不同，如在一家公司内，云计算是技术层，大数据则是业务层。但需要指出的是，大数据对云计算有一定的依赖性。