目录

  • 1 职业模块0 职业道德
    • 1.1 培训课程1 职业道德
      • 1.1.1 学习单元1 职业道德基本知识
      • 1.1.2 学习单元2 人工智能训练师职业守则
    • 1.2 培训课程2 基础知识
      • 1.2.1 学习单元1 人工智能训练师工作要求
      • 1.2.2 学习单元2 通用知识
      • 1.2.3 @学习单元3 相关法律、法规知识
  • 2 五级职业模块1 数据采集与处理
    • 2.1 培训课程1 业务数据采集
      • 2.1.1 学习单元1 原始业务数据采集
        • 2.1.1.1 情景描述
        • 2.1.1.2 新知学习
        • 2.1.1.3 任务实践:采集电影排名数据
          • 2.1.1.3.1 步骤1:搭建环境
          • 2.1.1.3.2 步骤2:分析网页源代码
          • 2.1.1.3.3 步骤3:编写数据爬取程序
          • 2.1.1.3.4 步骤4:爬取数据
          • 2.1.1.3.5 步骤5:查验数据结果
        • 2.1.1.4 习题训练
      • 2.1.2 学习单元2 数据库内业务数据采集
        • 2.1.2.1 情景描述
        • 2.1.2.2 新知学习
        • 2.1.2.3 任务实践:采集数据库业务数据
          • 2.1.2.3.1 步骤1:搭建数据库业务数据采集环境
          • 2.1.2.3.2 步骤2:测试环境有效性
          • 2.1.2.3.3 步骤3:编写数据库业务数据采集程序
          • 2.1.2.3.4 步骤4:采集数据库业务数据
          • 2.1.2.3.5 步骤5:查看数据结果
        • 2.1.2.4 习题训练
    • 2.2 培训课程2 业务数据处理
      • 2.2.1 学习单元1 业务数据整理归类
        • 2.2.1.1 情境描述
        • 2.2.1.2 新知学习
        • 2.2.1.3 任务实践1:整理归类结构化数据
          • 2.2.1.3.1 步骤1:准备数据源
          • 2.2.1.3.2 步骤2:转换数据类型
          • 2.2.1.3.3 步骤3:归类季度数据
        • 2.2.1.4 任务实践2:整理归类非结构化数据
          • 2.2.1.4.1 步骤1 按类型创建文件路径
          • 2.2.1.4.2 步骤2 整理归类数据
          • 2.2.1.4.3 步骤3 重命名数据文件
        • 2.2.1.5 习题训练
      • 2.2.2 学习单元2 业务数据汇总
        • 2.2.2.1 情境描述
        • 2.2.2.2 新知学习
        • 2.2.2.3 任务实践:汇总结构化数据
          • 2.2.2.3.1 步骤1:准备数据
          • 2.2.2.3.2 步骤2 :分组统计数据
          • 2.2.2.3.3 步骤3:保存结果
        • 2.2.2.4 习题训练
  • 3 五级职业模块2 数据标注
    • 3.1 培训课程1 数据清洗与标注
      • 3.1.1 学习单元1 数据清洗
        • 3.1.1.1 情景描述
        • 3.1.1.2 新知学习
        • 3.1.1.3 任务实践:清洗图像数据
          • 3.1.1.3.1 步骤1:图像去重与尺寸修改
          • 3.1.1.3.2 步骤2:尺寸过滤
          • 3.1.1.3.3 步骤3:尺寸变换
          • 3.1.1.3.4 步骤4:格式转换
          • 3.1.1.3.5 步骤5:样本重新编号
        • 3.1.1.4 习题训练
      • 3.1.2 学习单元2 数据标注
        • 3.1.2.1 情景描述
        • 3.1.2.2 新知学习
        • 3.1.2.3 任务实践1:图像数据标注
          • 3.1.2.3.1 步骤1:安装labelme工具
          • 3.1.2.3.2 步骤2:标注准备工作
          • 3.1.2.3.3 步骤3:图像数据集矩形框标注
          • 3.1.2.3.4 步骤4:保存标注文件
        • 3.1.2.4 任务实践2:文本数据标注
          • 3.1.2.4.1 步骤1: 统一时间格式
          • 3.1.2.4.2 步骤2:登录数据标注平台
          • 3.1.2.4.3 步骤3:工程创建
          • 3.1.2.4.4 步骤4 :导入数据开始标注
        • 3.1.2.5 习题训练
    • 3.2 培训课程2 标注后数据分类与统计
      • 3.2.1 学习单元1 分类标注后数据
        • 3.2.1.1 情景描述
        • 3.2.1.2 新知学习
        • 3.2.1.3 任务实践:视觉数据分类
          • 3.2.1.3.1 步骤1:搭建实践环境
          • 3.2.1.3.2 步骤2:获取所有标签分类类别
          • 3.2.1.3.3 步骤3:创建分类文件夹
          • 3.2.1.3.4 步骤4:分类存放视觉文件
        • 3.2.1.4 习题训练
      • 3.2.2 学习单元2 统计标注后数据
        • 3.2.2.1 情景描述
        • 3.2.2.2 新知学习
        • 3.2.2.3 任务实践:统计标注后的视觉数据
          • 3.2.2.3.1 步骤1:统计标注图像大小
          • 3.2.2.3.2 步骤2:统计图像特征值
          • 3.2.2.3.3 步骤3:测试图像边缘检测效果
        • 3.2.2.4 习题训练
  • 4 五级职业模块3 智能系统运维
    • 4.1 培训课程1 智能系统基础操作
      • 4.1.1 学习单元1 智能系统的开启
      • 4.1.2 学习单元2 智能系统的简单使用
    • 4.2 培训课程2 智能系统维护
      • 4.2.1 学习单元1 智能系统功能应用情况记录
      • 4.2.2 学习单元2 智能系统应用数据情况记录
  • 5 四级职业模块1 数据采集和处理
    • 5.1 培训课程1 业务数据质量检测
      • 5.1.1 学习单元1 业务数据审核
      • 5.1.2 学习单元2 业务数据采集规范
      • 5.1.3 学习单元3 业务数据处理规范
    • 5.2 培训课程2 数据处理方法优化
      • 5.2.1 学习单元1 业务数据采集流程优化
      • 5.2.2 学习单元2 业务数据处理流程优化
  • 6 四级职业模块2 数据标注
    • 6.1 培训课程1 数据归类和定义
      • 6.1.1 学习单元1 数据聚类
      • 6.1.2 学习单元2 数据归类
      • 6.1.3 学习单元3 数据定义
    • 6.2 培训课程2 标注数据审核
      • 6.2.1 学习单元1数据审核
      • 6.2.2 学习单元2 数据纠错
      • 6.2.3 学习单元3 数据筛选
  • 7 四级职业模块3 智能系统运维
    • 7.1 培训课程1 颐养守护系统人脸知识库运维
    • 7.2 培训课程2课堂无感考勤系统部署与运维
      • 7.2.1 项目引入
      • 7.2.2 项目分析
      • 7.2.3 新知学习
      • 7.2.4 项目实施
        • 7.2.4.1 任务1:课堂无感考勤系统网络架构规划
        • 7.2.4.2 任务2:课堂无感考勤系统硬件部署联调
        • 7.2.4.3 任务3:课堂无感考勤系统及环境安装与配置
        • 7.2.4.4 任务4:课堂无感考勤系统师生信息导入
        • 7.2.4.5 任务5:课堂无感考勤系统课程信息导入与测试
        • 7.2.4.6 任务6:系统压力测试
        • 7.2.4.7 任务7:系统备份及软硬件还原
      • 7.2.5 项目评价
      • 7.2.6 项目总结
  • 8 教学资源
    • 8.1 二维动画
    • 8.2 视频
    • 8.3 文档
培训课程1 业务数据采集


二十大报告提出建设数字中国,加快发展数字经济,促进数字经济和实体经济深度融合,打造具有国际竞争力的数字产业集群。数据采集与处理是建设数字中国、加快发展数字经济以及促进数字经济与实体经济深度融合的基础和关键环节。通过不断提升这一能力,可以推动中国在全球数字经济格局中占据更有利的地位。

数据采集和处理在人工智能训练过程中具有举足轻重的地位。数据采集为人工智能模型的训练和预测提供数据支持,是训练人工智能模型的基础,而数据处理可实现去除采集数据中的噪声数据和异常值,降低这些数据对模型训练的干扰。在本职业模块中,将学习数据采集和处理的相关知识,练习数据采集和处理的技能,达到以下知识与技能要求:

1. 了解业务背景知识,掌握数据采集工具使用知识,能够利用设备、工具等完成原始业务数据采集。

2. 掌握数据库数据采集方法,能够完成数据库内业务数据采集。

3. 掌握数据整理规范和方法,能够根据数据处理要求完成业务数据整理归类。

4. 掌握数据汇总规范和方法,能够根据数据处理要求完成业务数据汇总。



本培训课程模块设置了两个学习单元,分别围绕原始业务数据采集和数据库内业务数据采集。学习内容以数据服务公司接到的业务数据采集项目为载体,学习者以数据采集员助理身份,先学习数据采集基础知识、工具和方法,再通过图像数据采集、网络数据采集、音频数据采集和MySQL数据库业务数据采集共四个任务,达成初阶业务数据采集工作所需的知识和能力要求。