目录

  • 1 信息与信息技术
    • 1.1 探索信息的真谛
    • 1.2 信息的度量
    • 1.3 信息技术
    • 1.4 计算机的信息表示与编码
    • 1.5 第一单元测验与练习
  • 2 计算与计算机系统
    • 2.1 探索计算之源
    • 2.2 从历史走向未来-计算机的发展史
    • 2.3 微型计算机系统
    • 2.4 外部存储设备
    • 2.5 输入输出子系统
    • 2.6 第二单元测验与练习
  • 3 软件定义的时代
    • 3.1 软件的性质及发展史
    • 3.2 操作系统
    • 3.3 应用软件
    • 3.4 第三单元测验与练习
  • 4 媒体信息的智能处理
    • 4.1 “媒体”的概念
    • 4.2 中文信息处理
    • 4.3 音频信号处理
    • 4.4 数字图像处理
    • 4.5 视频信息处理
    • 4.6 计算机图形处理技术
    • 4.7 新一代的人机交互技术
    • 4.8 第四单元测验与练习
  • 5 数据科学
    • 5.1 数据科学与Python
    • 5.2 数据库技术
    • 5.3 第五单元测验与练习
  • 6 算法、程序与问题求解方法
    • 6.1 问题解决与过程
    • 6.2 问题求解方法
    • 6.3 算法
    • 6.4 程序设计与过程
    • 6.5 第六单元测验与练习
  • 7 计算机通信与网络技术
    • 7.1 缩短世界的距离—通信与网络技术的历史回顾
    • 7.2 数据通信的基本原理
    • 7.3 计算机网络
    • 7.4 Internet基础
    • 7.5 Internet宽带接入方式
    • 7.6 第七单元测验与练习
  • 8 “互联网+”时代
    • 8.1 “互联网+”行动计划
    • 8.2 物联网
    • 8.3 云计算
    • 8.4 大数据:预测未来
    • 8.5 第八单元测验与练习
  • 9 信息安全与数据加密
    • 9.1 信息安全的基本内涵
    • 9.2 信息安全与数据加密
    • 9.3 数字签名
    • 9.4 第九单元测验与练习
  • 10 人工智能与应用
    • 10.1 人工智能概述
    • 10.2 人工智能主要的核心技术
    • 10.3 人工智能应用与国内知名生成式AI产品使用
    • 10.4 神经网络的一些基本知识
    • 10.5 卷积神经网络的层结构
  • 11 Office应用
    • 11.1 Office操作实践讲解
  • 12 问卷调查
    • 12.1 问卷调查
数据科学与Python

学习目标

  • 理解数据科学、数据库、数据库管理系统、数据库系统、关系数据库的概念;

  • 理解数据模型的概念、实体间的三种联系、关系模型使用的主要术语;

  • 掌握E-R模型的表示方法;

  • 了解数据库系统的特点、数据库应用系统设计;

  • 了解数据科学案例。

§5.1 数据科学与Python


1.数据科学的发展与定义

20世纪60年代已被提出,未获得学术界的注意和认可。

1974年,图灵奖获得者Peter Naur彼得.诺尔《计算机方法的简明调查》将数据科学定义为:“处理数据的科学,一旦数据与其代表事物的关系被建立起来,将为其他领域与科学提供借鉴

1996年在日本召开的“数据科学、分类和相关方法”,已经将数据科学作为会议的主题词

2001年,贝尔实验室William S. Cleveland威廉•克利夫兰发表了《数据科学:拓展统计学的技术领域的行动计划》,主张数据科学是统计学的一个重要研究方向,数据科学再度受到统计学领域的关注

2013年,Mattmann C A和 Dhar V在《自然(Nature)》和《美国计算机学会通讯(Communications of the ACM)》 上分别发表题为《计算——数据科学的愿景(Computing: A vision for data science)》和《数据科学与预测(Data science and prediction)》论文,从计算机科学与技术视角讨论数据科学的内涵,使数据科学纳入计算机科学与技术专业的研究范畴

学术界对数据科学没有统一的定义。

数据科学是这样一门新兴学科:主要以统计学、机器学习、数据可视化以及行业领域知识为理论基础,以各类数据作为研究对象,结合不同学科的技术和流程组合对数据进行处理,以获得有价值的信息或知识。

它包含大量应用技术,与应用数学、统计学、运筹学等多个学科相关,又与最新的技术领域,机器学习、深度学习、 人工智能、 物联网等学科有密切关系。

2.数据科学研究的内容

Ø数据科学基础理论

Ø实验和逻辑推理方法研究

Ø领域数据学研究

Ø技术与工具,涉及数据获取、数据存储与管理、数据安全、数据分析、可视化等各个方面,具有较强的专业性

3.数据科学视角下的数据系统架构

Ø数据库和数据中心

数据库是数据集合,数据中心是一整套复杂的设施.它不仅包括计算机系统和其它与之配套的设备(例如通信和存储系统),还包含冗余的数据通信连接、监控设备以及各种安全装置等.

Ø数据科学工具与软件

包括数据科学的生态、数据科学软件和数据编程语言(如 Python),例如商业化的统计分析软件是SAS、Matlab,甚至Execl办公软件等

Ø数据服务与数据产品

数据服务是指面向各种业务需求的操作型业务,大数据就是一种数据服务的形式。

数据产品是可以发挥数据价值去辅助用户做出优秀决策的一种产品形式


4.数据科学视角下的数据分析流程

Ø数据采集与存储

Ø数据清洗

Ø数据集成

Ø数据分析

Ø数据可视化

Ø基于数据的决策


5. 数据科学、数据库、大数据技术的关系

Ø数据库积累了大量的基础数据,为数据科学提供重要的数据源

Ø大数据是数据科学的一个分支,是数据科学的重要组成,大数据仅是个相对概念,是相对于当前的存储技术和计算能力,从技术的发展来看,可能在将来,不能再称为大数据了。

6.想成为数据科学家吗?

数据科学家是擅长对数据分析结果进行商业解释的科学家与擅长数据分析的MBA的混合体,至少应具备以下三种能力:

Ø用数学的思维方式看待数据的能力;

Ø使用程序进行数据的获取、开发以及建模的能力;

Ø具有较强的计算机科学和软件工程能力。

7.数据科学家从Python开始

Python是一门解释型、面向对象、带有动态语义的高级程序设计语言。

Python是数据科学的重要工具,具有以下特点:

Ø简单易学

Ø良好的编程生态

Ø是自由、开放源码软件

Ø可移植性

Ø支持面向过程和面向对象的编程

Ø应用领域广泛

8.数据科学家的工具箱

数据科学家应具备的学科知识:从数据分析涉及到的专业知识点上看,主要是:统计学、数学、社会学、经济金融、计算机。

数据科学家的Python工具箱