目录

  • 1 职业模块0 职业道德
    • 1.1 培训课程1 职业道德
      • 1.1.1 学习单元1 职业道德基本知识
      • 1.1.2 学习单元2 人工智能训练师职业守则
    • 1.2 培训课程2 基础知识
      • 1.2.1 学习单元1 人工智能训练师工作要求
      • 1.2.2 学习单元2 通用知识
      • 1.2.3 @学习单元3 相关法律、法规知识
  • 2 五级职业模块1 数据采集与处理
    • 2.1 培训课程1 业务数据采集
      • 2.1.1 学习单元1 原始业务数据采集
        • 2.1.1.1 情景描述
        • 2.1.1.2 新知学习
        • 2.1.1.3 任务实践:采集电影排名数据
          • 2.1.1.3.1 步骤1:搭建环境
          • 2.1.1.3.2 步骤2:分析网页源代码
          • 2.1.1.3.3 步骤3:编写数据爬取程序
          • 2.1.1.3.4 步骤4:爬取数据
          • 2.1.1.3.5 步骤5:查验数据结果
        • 2.1.1.4 习题训练
      • 2.1.2 学习单元2 数据库内业务数据采集
        • 2.1.2.1 情景描述
        • 2.1.2.2 新知学习
        • 2.1.2.3 任务实践:采集数据库业务数据
          • 2.1.2.3.1 步骤1:搭建数据库业务数据采集环境
          • 2.1.2.3.2 步骤2:测试环境有效性
          • 2.1.2.3.3 步骤3:编写数据库业务数据采集程序
          • 2.1.2.3.4 步骤4:采集数据库业务数据
          • 2.1.2.3.5 步骤5:查看数据结果
        • 2.1.2.4 习题训练
    • 2.2 培训课程2 业务数据处理
      • 2.2.1 学习单元1 业务数据整理归类
        • 2.2.1.1 情境描述
        • 2.2.1.2 新知学习
        • 2.2.1.3 任务实践1:整理归类结构化数据
          • 2.2.1.3.1 步骤1:准备数据源
          • 2.2.1.3.2 步骤2:转换数据类型
          • 2.2.1.3.3 步骤3:归类季度数据
        • 2.2.1.4 任务实践2:整理归类非结构化数据
          • 2.2.1.4.1 步骤1 按类型创建文件路径
          • 2.2.1.4.2 步骤2 整理归类数据
          • 2.2.1.4.3 步骤3 重命名数据文件
        • 2.2.1.5 习题训练
      • 2.2.2 学习单元2 业务数据汇总
        • 2.2.2.1 情境描述
        • 2.2.2.2 新知学习
        • 2.2.2.3 任务实践:汇总结构化数据
          • 2.2.2.3.1 步骤1:准备数据
          • 2.2.2.3.2 步骤2 :分组统计数据
          • 2.2.2.3.3 步骤3:保存结果
        • 2.2.2.4 习题训练
  • 3 五级职业模块2 数据标注
    • 3.1 培训课程1 数据清洗与标注
      • 3.1.1 学习单元1 数据清洗
        • 3.1.1.1 情景描述
        • 3.1.1.2 新知学习
        • 3.1.1.3 任务实践:清洗图像数据
          • 3.1.1.3.1 步骤1:图像去重与尺寸修改
          • 3.1.1.3.2 步骤2:尺寸过滤
          • 3.1.1.3.3 步骤3:尺寸变换
          • 3.1.1.3.4 步骤4:格式转换
          • 3.1.1.3.5 步骤5:样本重新编号
        • 3.1.1.4 习题训练
      • 3.1.2 学习单元2 数据标注
        • 3.1.2.1 情景描述
        • 3.1.2.2 新知学习
        • 3.1.2.3 任务实践1:图像数据标注
          • 3.1.2.3.1 步骤1:安装labelme工具
          • 3.1.2.3.2 步骤2:标注准备工作
          • 3.1.2.3.3 步骤3:图像数据集矩形框标注
          • 3.1.2.3.4 步骤4:保存标注文件
        • 3.1.2.4 任务实践2:文本数据标注
          • 3.1.2.4.1 步骤1: 统一时间格式
          • 3.1.2.4.2 步骤2:登录数据标注平台
          • 3.1.2.4.3 步骤3:工程创建
          • 3.1.2.4.4 步骤4 :导入数据开始标注
        • 3.1.2.5 习题训练
    • 3.2 培训课程2 标注后数据分类与统计
      • 3.2.1 学习单元1 分类标注后数据
        • 3.2.1.1 情景描述
        • 3.2.1.2 新知学习
        • 3.2.1.3 任务实践:视觉数据分类
          • 3.2.1.3.1 步骤1:搭建实践环境
          • 3.2.1.3.2 步骤2:获取所有标签分类类别
          • 3.2.1.3.3 步骤3:创建分类文件夹
          • 3.2.1.3.4 步骤4:分类存放视觉文件
        • 3.2.1.4 习题训练
      • 3.2.2 学习单元2 统计标注后数据
        • 3.2.2.1 情景描述
        • 3.2.2.2 新知学习
        • 3.2.2.3 任务实践:统计标注后的视觉数据
          • 3.2.2.3.1 步骤1:统计标注图像大小
          • 3.2.2.3.2 步骤2:统计图像特征值
          • 3.2.2.3.3 步骤3:测试图像边缘检测效果
        • 3.2.2.4 习题训练
  • 4 五级职业模块3 智能系统运维
    • 4.1 培训课程1 智能系统基础操作
      • 4.1.1 学习单元1 智能系统的开启
      • 4.1.2 学习单元2 智能系统的简单使用
    • 4.2 培训课程2 智能系统维护
      • 4.2.1 学习单元1 智能系统功能应用情况记录
      • 4.2.2 学习单元2 智能系统应用数据情况记录
  • 5 四级职业模块1 数据采集和处理
    • 5.1 培训课程1 业务数据质量检测
      • 5.1.1 学习单元1 业务数据审核
      • 5.1.2 学习单元2 业务数据采集规范
      • 5.1.3 学习单元3 业务数据处理规范
    • 5.2 培训课程2 数据处理方法优化
      • 5.2.1 学习单元1 业务数据采集流程优化
      • 5.2.2 学习单元2 业务数据处理流程优化
  • 6 四级职业模块2 数据标注
    • 6.1 培训课程1 数据归类和定义
      • 6.1.1 学习单元1 数据聚类
      • 6.1.2 学习单元2 数据归类
      • 6.1.3 学习单元3 数据定义
    • 6.2 培训课程2 标注数据审核
      • 6.2.1 学习单元1数据审核
      • 6.2.2 学习单元2 数据纠错
      • 6.2.3 学习单元3 数据筛选
  • 7 四级职业模块3 智能系统运维
    • 7.1 培训课程1 颐养守护系统人脸知识库运维
    • 7.2 培训课程2课堂无感考勤系统部署与运维
      • 7.2.1 项目引入
      • 7.2.2 项目分析
      • 7.2.3 新知学习
      • 7.2.4 项目实施
        • 7.2.4.1 任务1:课堂无感考勤系统网络架构规划
        • 7.2.4.2 任务2:课堂无感考勤系统硬件部署联调
        • 7.2.4.3 任务3:课堂无感考勤系统及环境安装与配置
        • 7.2.4.4 任务4:课堂无感考勤系统师生信息导入
        • 7.2.4.5 任务5:课堂无感考勤系统课程信息导入与测试
        • 7.2.4.6 任务6:系统压力测试
        • 7.2.4.7 任务7:系统备份及软硬件还原
      • 7.2.5 项目评价
      • 7.2.6 项目总结
  • 8 教学资源
    • 8.1 二维动画
    • 8.2 视频
    • 8.3 文档
培训课程1 数据清洗与标注

数据标注在建设数字中国、加快发展数字经济、促进数字经济与实体经济深度融合以及打造具有国际竞争力的数字产业集群等方面发挥着重要作用。数据标注是数字化进程中的基础环节,通过对语音、图片、文本、视频等原始数据进行加工处理,转换为机器可识别的信息。这一过程对于构建智能化、数字化的社会环境至关重要,是推动数字中国建设不可或缺的一部分。

初级数据标注是机器学习项目的基础工作,它为模型训练提供了必要的基础数据。通过对原始数据进行分类、标记、注释等处理,使得这些数据能够被机器学习算法所识别和利用。在本职业模块中,将初次学习数据标注的相关知识,练习初级数据标注技能,达到以下知识与技能要求:

1. 掌握数据清洗工具的使用知识,能够根据标注规范和要求,对文本、视觉、语音数据进行清洗。

2. 掌握数据标注工具的使用知识,能够根据标注规范和要求,对文本、视觉、语音数据进行标注。

3. 掌握数据分类工具的使用知识,能够利用数据分类工具对标注后数据进行分类。

4. 掌握数据统计工具的使用知识,能够利用数据统计工具对标注后数据进行统计。


本培训课程模块,包含数据清洗和数据标注两个学习单元,数据类别典型而具有代表性,涵盖了文本、视觉和语音。学习内容以数据服务公司接到的数据清洗和标注项目为载体,学习者以数据标注员助理身份,先学习数据清洗和标注工具的使用知识,再通过图像数据清洗与标注、文本数据清洗与标注、语音数据清洗与标注共六个任务,达成初级数据标注员所需数据清洗与标注的知识和技能要求。