§4.7 新一代的人机交互技术

1.人机交互(Human–Computer Interaction, HCI)

人机交互（Human-Computer Interaction, 简写HCI）是指人与计算机之间以一定的交互方式或交互界面，来完成确定任务的人与计算机之间的信息交换过程。简单来讲，就是人如何通过一定的交互方式告诉计算机来完成他所希望完成的任务。

在早期（上个世纪60-70年代），只有以键盘输入的字符界面；到了80年代，以WIMP(窗口、图符、菜单、鼠标)为基础的图形用户界面(GUI)逐渐成为当今计算机用户界面的主流。

近年来，以用户为中心的系统设计思想，增进人机交互的自然性，提高人机交互的效率是用户界面的主要研究方向。陆续提出了多通道用户界面的思想，它包括语言、姿势输入、头部跟踪、视觉跟踪、立体显示、三维交互技术、感觉反馈及自然语言界面等。

事实上，人体的表面本身就是人机界面。人体的任何部分（姿势，手势，语言，眼睛，肌肉电波，脑波等）都可以成为人机对话的通道。

    命令行界面概念模型

   WIMP界面概念模型

 多通道人机界面概念模型 

目前常见的人机交互方式：

1、触摸式交互

触摸交互目前应用非常广泛，随着触摸屏手机、触摸屏电脑、触摸屏相机、触摸屏电子广告牌等等触摸屏发明创新的广泛应用与发展，触摸屏与人们的距离越来越近，真的是到了可以“触摸”的程度。而触摸屏，由于其便捷、简单、自然、节省空间、反应速度快等优点，而被人们广泛接受，成为了时下最便捷的人机交互方式来源。

而时下最火爆的触摸方式还属多点触摸方式，多点触控技术（MufTI-Touch Techniques）是一种新兴的人机交互技术，在同一个应用界面上，没有鼠标、键盘，而是通过人的手势、手指和其他外在物理物直接与电脑进行交互，改变了人和信息之间的交互方式，实现多点、多用户，同一时间直接与虚拟的环境交互，增强了用户体验，达到了随心所欲的境界。传统的触摸屏仅仅支持单点操作，如果多个点同时触碰，则会出现输入混乱的现象。

2、语音识别

语音识别技术，也被称为自动语音识别AutomaTIc Speech RecogniTIon，（ASR），其目标是将人类的语音中的词汇内容转换为计算机可读的输入，例如按键、二进制编码或者字符序列。不可否认，语音识别是未来人机交互最被看好的的交互方式。尤其是针对当下的各种可穿戴式智能设备，通过对话的方式发出命令产生交互是最高效可行的。

语音交互的优势很明显，简单、直接、零学习成本。日常生活中，语言是人与人交流的最常用和直接方式。自然语言对话式的交互，即使是老人和小孩也无需学习。用户可以“无感”地唤醒设备，“无缝”地获取信息、给予指令，毫无生涩和违和感，这才是最好的智能设备交互方式。

3、体感技术

体感技术也可称之为动作识别，亦称作手势识别技术。一提到体感技术，很多人都会觉得未来感十足，像是科幻电影里的情节再现。但这一概念在游戏领域早有涉及，全球三大游戏厂商均推出过自己的体感控制器，如微软和索尼推出的体感辅助设备Kinect和PSMove，任天堂的Wii则一直是以体感进行控制的游戏机。

从键盘到鼠标、再到语音和触摸，再到多点触控，人机交互模式随着其使用人群的扩大和不断向非专业人群的渗透，越来越回归一种“自然”的方式。而体感技术的突破则预示着未来的主要发展方向它让交互方式更为便捷，以一种最原始的方式进行互动。

动作感应技术是目前几乎所有互动体感娱乐产品的核心技术，也是下一代高级人机交互技术的核心。动作感应技术主要是通过光学感知物体的位置，加速度传感器感知物体运动加速度，从而判断物体所做的动作，继而进行交互活动。

新一代人机交互技术具有四个标志性特征：

(1)具有多模感知(听觉，视觉，手势等)功能的人机交互方式。

(2)可进行基于智能体的听、视觉对话，作为人机交互的界面。

(3)具有基于内容检索的知识处理能力，作为人机交互内容。

(4)可在虚拟的三维环境中实现人机通信，作为人机交互的环境。

2.虚拟现实技术

虚拟现实（Virtual Reality，简称VR）技术是一种可以创建和体验虚拟世界的计算机仿真系统。它利用计算机生成一种模拟环境,是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真,使用户沉浸到该环境中。常见的是把你的眼睛蒙在VR眼镜里。

典型设备：Oculus Rift和HTCVive。 

增强现实(Augmented Reality，简称AR)是通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。即把数字化的内容叠加到现实生活中。

典型设备：钢铁侠的头盔，战斗机飞行员的头盔。

                                                                  全球第一款搭载AR增强现实技术的量产车

混合现实(Mixreality，简称MR)包括增强现实和增强虚拟，指的是合并现实和虚拟世界而产生的新的可视化环境。即把虚拟的数字化物品叠加到现实生活中，并且能与之交互，互动！！

典型设备：微软的Hololens和以及Magic Leap。

3.可穿戴技术

可穿戴技术主要探索和创造能直接穿在身上、或是整合进用户的衣服或配件的设备的科学技术。可穿戴设备多以具备部分计算功能、可连接手机及各类终端的便携式配件形式存在，主流的产品形态包括以手腕为支撑的watch类，以脚为支撑的shoes类，以头部为支撑的Glass类，以及智能服装、配饰等各类非主流产品形态。

微软HoloLens 2官方视频

全新一代消费级MR眼镜Rokid Vision发布