元宇宙与VR技术

陈贺璋、王淇漾、刘安达、马梓钧、马虹、 李超婷

目录

  • 1 导学
    • 1.1 课程简介
    • 1.2 授课计划
  • 2 第一单元  基本技术
    • 2.1 元宇宙概述
    • 2.2 定义
    • 2.3 VR ,AR, MR,XR的区别与联系
    • 2.4 虚拟现实的硬件
    • 2.5 交叉学科
    • 2.6 虚拟现实的应用
    • 2.7 教师作品
  • 3 第二单元  虚拟人
    • 3.1 虚拟人的概述
    • 3.2 虚拟人技术
      • 3.2.1 虚拟人核心技术
    • 3.3 虚拟人平台
    • 3.4 数字虚拟人的应用场景
    • 3.5 虚拟人项目实践
    • 3.6 法律、政策与社会影响
  • 4 第三单元
    • 4.1 unity3d简介
    • 4.2 引擎下载与安装
    • 4.3 界面结构
    • 4.4 工程文件
    • 4.5 素材导入
    • 4.6 打包输出
  • 5 第四单元
    • 5.1 导入外部资源包
    • 5.2 环境元素之地形创建
    • 5.3 树木-三维物体类
    • 5.4 草-二维贴图类
    • 5.5 碎石等细节物体
    • 5.6 自然因素水与风
  • 6 第五单元
    • 6.1 摄影机建立
    • 6.2 虚拟灯光的建立
    • 6.3 天空盒子
    • 6.4 fps角色控制器
    • 6.5 胶囊原理
    • 6.6 第三人称控制器
    • 6.7 章节测验
  • 7 第六单元
    • 7.1 脚本是VR核心
    • 7.2 脚本的功能
    • 7.3 c#核心要点
    • 7.4 教材推荐及使用方法
    • 7.5 translate移动物体
    • 7.6 章节测验
    • 7.7 用键盘控制物体
    • 7.8 键盘按下和抬起事件
    • 7.9 布尔变量和组合键
    • 7.10 任意键和开车
    • 7.11 转弯
    • 7.12 摄影机切换
    • 7.13 章节测验
  • 8 第八单元
    • 8.1 鼠标down控制物体
    • 8.2 鼠标up控制物体
    • 8.3 按下事件
    • 8.4 自定义宏按钮
    • 8.5 开关门综合实例
    • 8.6 章节测验
  • 9 第九单元
    • 9.1 UI的类:OnGUI
    • 9.2 Button控件实现
    • 9.3 Lable控件实现
    • 9.4 TextField控件实现
    • 9.5 ongui到底包含什么?
    • 9.6 5.X新版本的UI
    • 9.7 章节测验
  • 10 第十单元
    • 10.1 物理引擎之被动刚体
    • 10.2 物理引擎之主动刚体
    • 10.3 FBX改轴心做多米诺
    • 10.4 AddForce
    • 10.5 控制力量的两种方式
    • 10.6 trigger自开门
    • 10.7 章节测验
  • 11 第十一单元
    • 11.1 shuriken按键爆炸
    • 11.2 坦克开炮
    • 11.3 炮弹爆炸
    • 11.4 物体消灭子弹消失
  • 12 第十二单元
    • 12.1 添加多媒体
    • 12.2 开炮声
    • 12.3 slider控制背景音
    • 12.4 视频添加与控制
  • 13 第十三单元
    • 13.1 旧动画animation
    • 13.2 Mecanim(新动画)
    • 13.3 人物动画剪辑
    • 13.4 状态机
    • 13.5 控制状态机
  • 14 第十四单元  虚拟场景的搭建
    • 14.1 虚幻引擎制作数字展厅智慧博物馆
    • 14.2 战争电影CG动画制作
    • 14.3 静夜思VR项目
    • 14.4 郑和下西洋VR项目
  • 15 第十六单元  元宇宙的应用现状与未来
    • 15.1 元宇宙的现在
    • 15.2 构筑在元宇宙下的未来世界
      • 15.2.1 元宇宙的教育应用
  • 16 第十五单元  AIGC
    • 16.1 当前主流AI
    • 16.2 大模型
    • 16.3 deepseek
  • 17 AR(增强现实技术)
    • 17.1 AR技术及其应用
    • 17.2 主流AR工具
    • 17.3 大空间AR
  • 18 MR
    • 18.1 MR混合现实
  • 19 集成与输出
    • 19.1 集成
  • 20 总结
    • 20.1 思政案例
    • 20.2 总结
虚拟人技术

虚拟人技术

数字虚拟人的技术架构 2.3.1 实时渲染与性能优化 2.3.2 自然交互与情感表达 2.3.3 数据隐私与伦理问题 2.2.1 需求分析与角色设计 2.2.2 技术选型与工具链 2.2.3 测试与优化 2.1.1 形象层:3D建模与渲染 2.1.2 交互层:语音识别与自然语言处理 2.1.3 智能层:AI驱动与情感计算

2.1 虚拟人的技术分层 2.2 虚拟人的开发流程 2.3 虚拟人的技术挑战

----------------------------------------------------------------------------------------------------------------

即梦


虚拟人硬件与设备

常见的虚拟数字人硬件与设备分类:

建模与扫描设备

  • 3D扫描设备:用于获取真实人物或物体的三维数据,包括结构光扫描仪、激光扫描仪等

  • 相机阵列扫描系统:通过多台相机同时拍摄,快速获取人物的三维模型数据,是当前人物建模的主流方式

动作捕捉设备

  • 光学式动作捕捉设备:通过在捕捉对象身上安装反光标记点,利用多个高速摄像机捕捉标记点的运动轨迹,从而获取动作数据

  • 惯性式动作捕捉设备:使用惯性传感器(IMU)捕捉动作,具有便携性和灵活性,适用于多种场景

  • 电磁式动作捕捉设备:适用于特定场景下的动作捕捉需求

驱动与交互设备

  • 传感器:用于采集用户的生理参数、动作信息等,如面部识别传感器、人体运动传感器等

  • 显示设备:包括手机、电脑、智慧大屏、AR/VR设备等,用于呈现虚拟数字人的形象

  • 计算设备:如高性能计算机、服务器等,用于承载虚拟数字人制作和运行所需的大量计算

渲染与呈现设备

  • 图形工作站:配备高性能显卡和处理器,用于进行复杂的图形渲染工作

  • 专业显示器:如4K或更高分辨率的显示器,能够更清晰地呈现虚拟数字人的细节

这些硬件设备共同协作,为虚拟数字人的制作、驱动和呈现提供了必要的技术支持。


直播动捕的硬件设备及其图片:

动作捕捉设备

  • 惯性动捕设备

    • VDSuit-Full:由广州虚拟动力研制的全身惯性动作捕捉设备,具有强大的核心算法技术、高性能的硬件配备、稳定可靠的通讯技术、简易直观的动捕软件

      VDSuit-Full


  • 光学动捕设备

    • NOKOV度量动作捕捉系统:采用光学技术进行动作捕捉,适用于高精度的动作捕捉需求

      https://www.nokov.com/images/robot/uavPro01.jpg

      NOKOV度量动作捕捉系统

面部捕捉设备

  • AH面捕头盔:广州虚拟动力自主研发的面部表情捕捉系统,自带1080P高清RGB摄像头,重量仅有280g,适用于ARKIT标准的52个BS绑定和驱动

    AH面捕头盔

    AH面捕头盔

手部捕捉设备

  • 动捕手套:如广州虚拟动力的动捕手套,具有震动反馈以及手势识别功能,具有16个感应节点,可精准捕捉双手的每一个细微动作

    动捕手套

    动捕手套

传感器与数据收发器

  • 无线九轴MEMS惯性传感器:内部集成了陀螺仪、加速度计和磁力计,提供传感器姿态数据

    无线九轴MEMS惯性传感器

    无线九轴MEMS惯性传感器

计算与渲染设备

  • 动捕电脑与渲染机:用于处理动捕数据和渲染虚拟形象,通常使用UE、Unity等软件进行渲染

    动捕电脑与渲染机

    动捕电脑与渲染机

    这些硬件设备共同协作,为直播动捕提供了完整的解决方案,使虚拟主播能够实时同步真实主播的动作和表情。