目录

  • 1 数字媒体技术概述
    • 1.1 直播导学
    • 1.2 基本概念
    • 1.3 研究领域及关键技术
    • 1.4 应用领域
    • 1.5 本章练习
  • 2 数字音频技术基础
    • 2.1 直播导学
    • 2.2 音频技术及特性
    • 2.3 音频数字化
    • 2.4 数字音频质量及格式
    • 2.5 数字音频的处理技术
    • 2.6 数字音频技术应用
    • 2.7 实训1:为朗诵音频添加背景音乐
    • 2.8 本章习题
  • 3 数字图像处理技术
    • 3.1 直播导学3
    • 3.2 数字图像基础
    • 3.3 彩色空间的线性转换
    • 3.4 数字图像的描述属性
    • 3.5 数字图像的获取技术
    • 3.6 数字图像创意设计与处理技术
    • 3.7 数字图像技术的应用
    • 3.8 实训2:合成沙漠绿洲效果图
    • 3.9 本章习题
  • 4 数字视频技术
    • 4.1 直播导学4
    • 4.2 电影与电视
    • 4.3 电视图像数字化
    • 4.4 数字视频的获取
    • 4.5 数字视频编辑技术
    • 4.6 数字视频后期特效处理技术
    • 4.7 数字视频技术的应用
    • 4.8 实训3:欣赏《奇幻森林》并分析其特效
    • 4.9 本章习题
  • 5 数字动画技术
    • 5.1 直播导学5
    • 5.2 数字动画概述
    • 5.3 二维动画技术
    • 5.4 三维动画技术
    • 5.5 数字动画创意与设计
    • 5.6 数字动画技术的应用
    • 5.7 实训4:制作单摆动画
    • 5.8 本章习题
  • 6 数字游戏技术
    • 6.1 直播导学6
    • 6.2 游戏概述
    • 6.3 游戏设计原理
    • 6.4 游戏设计相关技术
    • 6.5 游戏设计案例
    • 6.6 本章习题
  • 7 虚拟现实交互技术
    • 7.1 直播导学7
    • 7.2 虚拟现实交互技术概述
    • 7.3 虚拟建模技术
    • 7.4 实时绘制技术
    • 7.5 虚拟声音交互技术
    • 7.6 虚拟现实工具软件与自然交互技术
    • 7.7 虚拟现实交互设备
    • 7.8 本章练习
  • 8 数字媒体的Web集成与应用
    • 8.1 HTML基础
    • 8.2 JavaScript基础
    • 8.3 Web的工作原理
    • 8.4 Web的设计与规划
    • 8.5 Web的开发、测试与发布
    • 8.6 Web的集成技术的应用
    • 8.7 本章练习
  • 9 数字媒体压缩技术
    • 9.1 数字媒体压缩技术概述
    • 9.2 通用的数据压缩技术
    • 9.3 数字媒体压缩标准
    • 9.4 数字媒体压缩技术的应用和发展
    • 9.5 本章习题
  • 10 数字媒体存储技术
    • 10.1 数字媒体存技术概述
    • 10.2 存储设备及原理
    • 10.3 数据库存储技术
    • 10.4 分布式存储技术
    • 10.5 数字媒体存储技术的应用与发展
    • 10.6 本章习题
  • 11 数字媒体管理和保护
    • 11.1 数字媒体管理概述
    • 11.2 媒体存储数据模型
    • 11.3 数字媒体版权保护概念框架
    • 11.4 数字媒体版权保护技术基础
    • 11.5 数字媒体版权保护典型系统
    • 11.6 本章习题
  • 12 数字媒体传输技术
    • 12.1 数字媒体传输技术概述
    • 12.2 流媒体传输技术
    • 12.3 P2P传输技术
    • 12.4 IPTV传输技术
    • 12.5 数字媒体传输技术的应用与发展
    • 12.6 本章习题
  • 13 数字媒体技术发展趋势
    • 13.1 数字媒体技术发展现状
    • 13.2 数字媒体内容处理技术
    • 13.3 基于内容的媒体检索技术
    • 13.4 数字媒体传输技术
虚拟现实工具软件与自然交互技术

7.5.1   虚拟现实工具软件

 目前,在国内与国外已开发了很多虚拟现实交互系统软件工具,如WTK(World Tool Kit)、MRT(Minimal Reality Toolkit)、World Visions、Free WRL、VRT(Virtual Reality Toolkit)、DVES(Distributed Virtual Environment System)等,其中WTK 是应用较多的一种。

 WTK(World Tool Kit)是由美国Sense8公司开发的虚拟环境应用工具软件。它是一种简洁的跨平台软件开发系统,可用于科学和商业领域建立高性能的、实时的、综合三维工程。从底层看,WTK 是由几百个C 语言函数组成的软件包。WTK 开发系统由两部分构成:硬件部分和软件部分。硬件部分包含主机、图形加速卡、虚拟现实交互设备。

7.5.2   自然交互技术

 在虚拟现实交互技术中,我们强调自然交互性,即人处在虚拟世界中,与虚拟世界进行交互,甚至意识不到计算机的存在,即在计算机系统提供的虚拟空间中,人可以使用眼睛、耳朵、皮肤、手势和语音等各种感觉方式直接与之发生交互,这就是虚拟环境下的自然交互技术。在最近几年的研究中,为了提高人在虚拟环境中的自然交互程度,研究人员一方面在不断改进现有自然交互硬件的同时,加强了对相应软件的研究;另一方面则是将其他相关领域的技术成果引入到虚拟现实交互系统中,从而扩展全新的人机交互方式。在虚拟现实交互领域中较为常用的交互技术主要有手势识别、面部表情的识别以及眼动跟踪等。

在虚拟现实交互技术中,我们强调自然交互性,即人处在虚拟世界中,与虚拟世界进行交互,甚至意识不到计算机的存在,即在计算机系统提供的虚拟空间中,人可以使用眼睛、耳朵、皮肤、手势和语音等各种感觉方式直接与之发生交互,这就是虚拟环境下的自然交互技术。在最近几年的研究中,为了提高人在虚拟环境中的自然交互程度,研究人员一方面在不断改进现有自然交互硬件的同时,加强了对相应软件的研究;另一方面则是将其他相关领域的技术成果引入到虚拟现实交互系统中,从而扩展全新的人机交互方式。在虚拟现实交互领域中较为常用的交互技术主要有手势识别、面部表情的识别以及眼动跟踪等。

1.手势识别

 手势识别系统根据输入设备的不同,主要分为基于数据手套的识别和基于视觉(图像)的手语识别系统两种。

 确定手的各部位。通常采用摄像机采集手势信息,由摄像机连续拍摄下手部的运动图像后,先采用轮廓的办法识别出手上的每一个手指,进而再用边界特征识别的方法区分每一个较小的、集中的手势。

 手势识别技术的研究不仅能使虚拟现实交互系统交互更自然,同时还能有助于改善和提高聋哑人的生活学习和工作条件,也可以应用于计算机辅助哑语教学、电视节目双语播放、虚拟人的研究、电影制作中的特技处理、动画的制作、医疗研究、游戏娱乐等诸多方面。

2.面部表情识别

 在人与人的交互中,人脸是十分重要的。人可以通过脸部的表情表达自己的各种情绪,传递必要的信息。人脸识别是一个非常热门的技术,具有广泛的应用前景。人脸图像的分割、主要特征(如眼睛、鼻子等)的定位以及识别是这个技术的主要难点。

 一般人脸检测问题可以描述为:给定一幅静止图像或一段动态图像序列,从未知的图像背景中分割、提取并确认可能存在的人脸。人脸检测的基本思想是建立人脸模型,比较所有可能的待检测区域与人脸模型的匹配程度,从而得到可能存在人脸的区域。

3.眼动跟踪

 在虚拟世界中生成视觉的感知主要依赖于对人头部的跟踪,即当用户的头部发生运动时,生成虚拟环境中的场景将会随之改变,从而实现实时的视觉显示。常见的视觉追踪方法有眼电图、虹膜-巩膜边缘、角膜反射、瞳孔-角膜反射、接触镜等几种。视线跟踪技术可以弥补头部跟踪技术的不足之处,同时又可以简化传统交互过程中的步骤,使交互更为直接,因而,目前多被用于军事领域(如飞行员观察记录等),阅读以及帮助残疾人进行交互等领域。

4.触觉、力觉反馈传感技术

 触觉、力觉反馈传感技术是运用先进的技术手段,将虚拟物体的空间运动转变成特殊设备的机械运动,在感觉到物体的表面纹理的同时,也使用户能够体验到真实的力度感和方向感,从而提供一个崭新的人机交互界面。

 触觉感知包括触摸反馈和力量反馈所产生的感知信息。触觉感知是指人与物体对象接触所得到的全部感觉,包括有触摸感、压感、振动感、刺痛感等。由于人的触觉相当敏感,一般精度的装置根本无法满足要求,所以触觉与力反馈的研究相当困难。目前大多数虚拟现实交互系统主要集中并停留在力反馈和运动感知上面。