1.3.        多媒体信息在计算机中的表示

各种多媒体信息在计算机内部的表示都是基于二进制的，都必须转换成0和1数字化信息后进行处理，以不同类型的文件格式存储。本节主要介绍除文本外的其他多媒体信息的数字化及相关的文件格式。

1.3.1.音频信息

1.基本概念

声音是由空气中分子振动产生的波，这种波传到人们的耳朵，引起耳膜振动，这就是人们听到的声音。声音在真实世界是模拟量，声源振幅及其传播介质振幅随时间的变化是连续的，各种声音都有其幅度呈周期性强弱变化的特性，把每秒钟循环变化的次数称为频率，单位为赫兹（Hz）。声音的频率范围称为声音的带宽。

多媒体技术处理的声音主要是人耳可听到的20Hz～20kHz的音频信号，其中人的说话声音是一种特殊的声音，其频率范围为300～3400Hz，称为语音。真实世界中的其他各种声音，其带宽要宽得多，可为20Hz~20kHz，称为全频带声音。

声音质量与它所占用的带宽有关，所以可按带宽将声音质量分为四级。

1）数字激光唱盘质量（10Hz～22kHz），通常又称CD-DA质量，也就是常说的超高保真（highfidelity）质量。

2）调频无线电广播（20Hz~15kHz），简称FM（frequency modulation）质量。

3）调幅无线电广播（50Hz~7kHz），简称AM（amplitude modulation）质量。

4）电话（telephone）质量（200Hz～3.4kHz）。

2.模拟音频的数字化

若要用计算机对音频信息进行处理，就要将模拟声音信号转换成数字信号，这一转换过程称为模拟音频的数字化。模拟音频数字化过程涉及音频的采样、量化和编码。其过程如图8.3所示。

采样和量化的过程可由A/D转换器实现。A/D转换器以固定的频率去采样，即每个周期测量和量化信息一次。经采样和量化的声音信号再经编码后就成为数字音频信号，以数字声波文件形式保存在计算机的存储介质中。若要将数字声音输出，必须经过D/A转换器将数字信号转换成模拟信号。声卡的主要功能就是实现声音信号的A/D和D/A转换。

（1）采样

采样是每隔一定时间在模拟波形上取一个样本值，把时间上的连续信号变成时间上的离散信号。该时间间隔为采样周期，其倒数为采样频率。

采样频率即每秒钟的采样次数，其单位为赫兹。采样频率越高，则采样时间间隔越短，单位时间内采集的声音样本数就越多，对声音波形的表示就越精确，但数据量也就越大。根据奈奎斯特（Nyquist）采样定理，采样频率至少应为信号最高频率的2倍，才能把数字信号表示的声音还原为原来的声音。CD音频通常采用44.1kHz的采样频率，DVD则采用48kHz的采样频率。在声音处理软件中可设置采样频率，如图8.4所示。

（2）量化

量化是将由每个采样点得到的声波幅度值以数字存储。量化位数（即采样精度）表示存放采样点振幅值的二进制位数，它决定了模拟信号数字化以后的动态范围。通常量化位数有8位、16位、24位，分别表示有28、216、224个等级。例如，在一个8位记录模式的音效中，其纵轴划分成2=256个量化等级来记录其幅度大小；在一个16位记录模式的音效中，其纵轴划分成216=65536个量化等级来记录其幅度大小。可见，所用二进制码的位数越多，所分的层数就越多，对原模拟信号反映的精度就越高，对于声音信号来说，记录的声音质量就越好。

通常，声音系统有多个声道，声道数指同一时间中出现（产生）的音频通道数。如果是单声道，则表明声音记录的只是一个波形：如果是双声道（立体声），则表明记录的是两个波形。立体声听起来比单声道的声音丰满且有一定的空间感，更好的声音则采用5.1或7.1声道的环绕立体声。5.1声道是指含左、中、右、左环绕、右环绕5个有方向性的声道，以及一个无方向性的低频加强声道，如图8.5所示。

声音的采样频率、量化精度和声道数越高，声音的质量就越高，而声音存储的数据量也就越大。声音的数据量通过以下公式计算

声音数据量=采样频率×（量化精度+8）×声道数×时间

例如，用44100Hz的采样频率、16位的样本量化精度，录制1s的立体声节目，其WAV格式声音文件的数据量为

44100×16÷8×2×1=176400B≈172KB

可见，将量化后的数字声音信息直接存入计算机将会占用大量的存储空间。在多媒体系统中，一般是对数字化声音进行压缩和编码，形成不同格式的声音文件存入计算机，以减少音频数据的存储量。

（3）编码

编码是将采样和量化后的数字数据以一定的格式记录下来。编码的方式有很多，常用的编码方式是脉冲编码调制（pulse code modulation，PCM），其主要优点是抗干扰能力强，失真小，传输特性稳定。CD-DA采用的就是这种编码方式。

3.音频文件的格式

在多媒体技术中，存储音频信息的文件格式主要有以下几类。

（1）WAVE格式文件

WAVE格式是Microsoft公司开发的一种音频文件格式，是个人计算机上最为流行的音频文件格式。WAVE格式文件由外部音源（送话器、录音机）录制后，经声卡转换成数字化信息后，以扩展名.wav存储，播放时还原成模拟信号由扬声器输出。WAVE格式文件直接记录了真实声音的二进制采样数据，即数字化的声波，所以也称为波形文件。WAVE格式是一种没有经过压缩的存储格式，通常文件较大。

（2）MIDI格式文件

MIDI（musical instrument digital interface，乐器数字接口）是为了把电子乐器与计算机相连而制定的一个规范，是数字音乐的国际标准。

与WAVE格式文件不同，MIDI格式文件（扩展名为.mid）存放的不是声音采样信息，而是将乐器弹奏的每个音符记录为一连串的数字，然后由声卡上的合成器根据这些数字代表的含义进行合成后由扬声器播放。所以，MIDI总是和音乐联系在一起，它是一种数字式乐曲。相对于保存真实采样数据的WAVE格式文件，MIDI格式文件显得更加紧凑，其文件尺寸通常比声音文件小得多。例如，同样10min的立体声音乐，MIDI格式文件的长度不到70KB，而声音文件的长度在100KB左右。

在多媒体应用中，一般WAVE格式文件存放的是解说词，而MIDI格式文件存放的是背景音乐。

（3）MPEG格式文件

MPEG指的是采用MPEG音频压缩标准进行压缩的文件。MPEG音频文件的压缩是一种有损压缩，根据压缩质量和编码复杂程度的不同，可分为3层（MPEG-1 AudioPlayer1/2/3），分别对应MP1、MP2、MP3这3种音频文件，压缩比分别为4：1、（6：1）~（8：1）和（10：1）~（12：1）。MP3因其压缩比较高，音质接近CD，制作简单，便于交换等优点，非常适合在网上传播，是目前使用最多的音频格式文件。

WAVE和MIDI格式文件均可以压缩成MPEG格式文件。

（4）WMA格式文件

WMA是Microsoft公司推出的与MP3格式齐名的一种新的音频格式，其扩展名为.wma。由于WMA格式文件在压缩比和音质方面都超过了MP3，即使在较低的采样频率下也能产生较好的音质。

（5）CD格式文件

CDA音频格式由Philips公司开发，是CD唱片采用的格式，又称为“红皮书”格式，记录的是波形流，其扩展名为.cda，具有高品质的音质。如果计算机中安装了CD-ROM或DVD-ROM驱动器，就可以播放CD。CD格式文件的缺点是无法编辑，文件太大。

如果有专业的音源设备，那么要听同一首曲子的高保真（HIFI）程度依次是原声乐器演奏→MIDI→CD→MP3。

1.1.2.视频信息

1.基本概念

视频是一种活动影像，它与电影和电视的原理是一样的，都是利用人眼的视觉暂留现象，将足够多的画面一帧帧地连续播放，只要能够超过20帧/s，人的眼睛就觉察不出画面之间的不连续性。电影是以24帧/s的速度播放，而电视则依视频标准的不同，有PAL制式（25帧/s，625行/帧）和NTSC制式（30帧/s，525行/帧），我国采用PAL制式。如果活动影像的帧率在15帧s之下，则使人产生明显的闪烁感甚至停顿感：相反，若提高到50帧/s甚至100帧/s，则使人感觉图像极为稳定。

视频有两类：模拟视频（analog video，AV）和数字视频（digital video，DV）。早期的电视等视频信号的录制、存储和传输采用的是模拟方式，现在的数字电视、VCD、SVCD、DVD、DV（数字摄像机）都是数字视频。

2.视频信息的数字化

要使计算机能够对视频进行处理，必须把模拟视频信号转换成数字视频信号，这个过程称为视频的数字化过程。

视频的数字化过程同音频相似，在一定时间内以一定的速度对单帧视频信号进行采样、量化和编码，实现A/D转换、色彩空间变换和编码压缩等，形成计算机可以处理的数字化视频。这些都通过视频捕捉卡和相关的软件来实现。数字视频克服了模拟视频的局限性，它的主要优点有适合于网络应用、再现性好、便于计算机编辑处理。

在数字化后，如果视频信号不加以压缩，数据量的大小是帧乘以每幅图像的数据量。例如，要在计算机连续显示分辨率为1280×1024p×的24位真彩色高质量的电视极按30帧/s计算，显示1min，则需要：

1280（列）×1024（行）×24位/像素÷8位/字节×30（帧/s）×60（s）≈6.06GB

一张650MB的光盘只能存放6s左右的电视图像，这就带来了图像数据的压缩问题，也成为多媒体技术中一个重要的研究课题。

3.视频文件

视频文件可分为两大类：一类是影像视频文件，如常见的VCD、DVD、多媒体CD光盘中的动画都是影像文件，因其包含了大量的图像和音频信息，所以又称为“本地视频格式”文件；另一类是流媒体视频文件，这是随着Internet的发展而诞生的，如在线实况转，就是构架在流式视频技术之上的。

（1）影像视频文件

1）AVI格式。AVI（audio video interleaved,音频视频交错）格式是Microsoft公司开发的一种符合资源交换档案标准（resource interchange file format，RIFF）文件规范的数字音频与视频文件格式。AVI格式允许视频和音频交错在一起同步播放，支持256色和RLE压缩，但AVI文件格式并未限定压缩标准，因此AVI文件格式只是作为控制界面上的标准，不具有兼容性，用不同压缩算法生成的AVI格式文件，必须使用相应的解压缩算法才能播放出来。常用的AVI格式文件播放驱动程序主要有MicrosoftVideo for Windows和Windows中的Video 1及Intel公司的Indeo Video等。

2）DV-AVI格式。目前非常流行的数码摄像机就是使用这种格式记录视频数据的。可以通过计算机的IEEE1394端口传输视频数据到计算机中，也可以将计算机中编辑好的视频数据回录到数码摄像机中。

3）MOV格式。它是Apple公司开发的在QuickTime for Windows视频应用程序中使用的视频文件格式。QuickTime以其领先的对媒体技术、细节的独立性和系统的高度开放性，已被包括Apple Mac OS、MicrosoftWindows在内的所有主流计算机平台支持，目前已成为数字媒体软件技术领域事实上的工业标准。ISO选择QuickTime文件格式作为开发MPEG-4规范的统一数字媒体存储格式。

4）MPEG格式——MPEG/MPG/DAT。MPG是电脑编辑后保存时使用的格式，DAT是刻录成光盘后的格式，都属于MPEG编码。MPEG文件格式是运动图像压缩算法的国际标准，包括MPEG视频、音频和系统（视频、音频同步）3个部分，MP3就是MPEG音频的典型应用，常见的VCD文件属于MPEG-1编码，扩展名为.dat。SVCD和DVD属于MPEG-2编码。它采用有损压缩方法减少运动图像中的冗余信息，已被几乎所有的计算机平台共同支持。其图像和音响的质量高，兼容性也相当好，并且在个人计算机上有统一的标准格式。

5）DivX格式。这是由MPEG-4衍生出的另一种视频编码（压缩）标准，即通常所说的DVDrip格式，它由Microsoft公司的MPEG-4编解码器MPEG-4v3（第三版）修改而来。其核心技术分为3部分：用MPEG-4进行视频压缩，用MP3或AC-3压缩音频，结合字幕播放软件外挂字森。其画质接近DVD，而体积只有DVD的I/10。

（2）流媒体文件

1）Real Media格式。Real Media是Real Networks公司开发的一种流式视频文件格式，包括RA（RealAudio）、RV（RealVideo）和RF（RealFlash）3类文件。RA用来传输接近CD音质的音频数据：RV除了可以以普通的视频文件形式播放外，还可以与RealServer服务器配合，在数据传输过程中可以边下载边由RealPlayer播放视频，还可根据网络数据传输速率的不同而采用不同的压缩比率，从而实现影像数据的实时传送和实时播放；RF则是RealNetworks公司与Macromedia公司联合推出的一种高压缩比的动画格式。

2）MOV格式。MOV也可以作为一种流媒体文件格式。QuickTime能够通过Internet提供实时的数字化信息流、工作流与文件回放功能。

3）ASF格式。Microsoft公司的Windows Media的核心是ASF，也是一个在Internet上实时传播多媒体的技术标准。其使用MPEG-4的压缩算法，压缩率和图像的质量都很不错。因为ASF以“流”格式存在，所以它的图像质量比VCD差，但比同是视频“流”格式的RM格式要好。使用的播放器是Microsoft Media Player。

4）WMV格式。WMV是Microsoft公司推出的与MP3格式齐名的一种视频格式，是用于高清晰度映像的编解码器。WMV采用独立编码方式并且可以直接在网上实时观看视频节目，是ASF格式的升级和延伸。

1.1.3.图形和图像

1.基本概念

在计算机中，图形与图像的表现形式都是一幅图，但图的产生、处理、存储的方式不同，所以就有图形与图像之分。它们是一对既有联系又有区别的概念，如表2所示。

表2图形与图像的对比

图形的显著特点是主要由线条所组成。最典型的图形是机械结构图和建筑结构图，包含的主要是直线和弧线（包括圆）。直线和弧线比较容易用数学的方法来表示。例如，线段可以用始点坐标和终点坐标来表示，圆可以用圆心和半径来表示。因此，图形在计算中以矢量图文件形式存储。矢量图文件中存储的是一组描述各个图元的大小、位置、开关、颜色、维数等属性的指令集合，通过相应的绘图软件读取这些指令，可将其转换为输出设备上显示的图形。因此，矢量图文件的最大优点是对图形中的各个图元进行缩放、移动、旋转而不失真，而且它占用的存储空间小。AutoCAD是著名的图形设计软件，它所使用的DXF格式图形文件就是典型的矢量化图形文件。

图像是由扫描仪、数码照相机、摄像机等输入设备捕捉的真实场景画面产生的映像，数字化后以位图形式存储。位图文件中存储的是构成图像的每个像素点的亮度、颜色，位图文件的大小与分辨率和色彩的颜色种类有关，放大和缩小要失真，占用的空间比矢量文件大。

在实际应用中，图形、图像技术是相互关联的。例如，矢量图形与位图图像可以相互转换：图形、图像处理技术相结合能够进行立体成像，可使视觉效果和质量更加完善和精美。目前，多媒体虚拟现实系统中，已较多地利用两种技术的结合进行完美逼真的立体成像。

2.图像的数字化

图形是用计算机绘图软件生成的矢量图形，矢量图形文件存储的是描述生成图形的指令，因此不必对图形中每一点进行数字化处理。

现实中的图像是一种模拟信号。图像的数字化是指将一幅真实的图像转换为计算机能够接收的数字形式，这涉及对图像的采样、量化及编码等。

（1）采样

图像采样就是将连续的图像转换成离散点的过程，采样的实质就是用若干像素（pixel）点来描述一幅图像，其结果就是通常所说的分辨率，分辨率越高，图像越清晰，图片文件也越大。

（2）量化

量化是在图像离散化后，对每个离散点（像素）的灰度或颜色样本进行数字化处理，将模拟量的亮度值用数字量来表示。量化时可取整数值的个数称为量化级数，表示色彩（或亮度）所需的二进制位数称为量化字长。一般用8位、16位、24位、32位等来表示图像的颜色，4位可以表示224=16777216种颜色，称为真彩色。

在多媒体计算机中，图像的色彩值称为图像的颜色深度，有多种表示色彩的方式。例如，黑白图图像的颜色深度为1位，即用一个二进制位表示纯白、纯黑两种情况；灰度图图像的颜色深度为8位，占1字节，灰度级别为256级，通过调整黑白两色的程度（颜色灰度）来有效地显示单色图像；RGB24位真彩色，彩色图像显示时，由红、绿、蓝三基色通过不同的强度混合而成，当强度分成256级（值为0~255），占24位，就构成了24种颜色的“真彩色”图像。

（3）编码

数字化后的图像数据量十分巨大，如一幅能在标准VGA（分辨率为640×480px）显示屏上全屏显示的真彩色图像，需要640×480×24÷8=1MB容量；而一张3×5in（1in=63.5px）的彩色相片，经扫描仪扫描进入计算机中成为数字图像，若扫描分辨率达1200dpi（dots per inch，每英寸的点数），则数字图像文件的大小为5×1200×3×1200×24÷8=62MB，可见数据量非常庞大，因此必须采用编码技术来压缩信息。编码是图像存储与传输的关键。科学技术界研究了许多压缩算法，对于静态图像，在失真不大的情况下，压缩比可达到10倍、30倍甚至100倍。

3、图形图像文件

在图形图像处理中，可用于图形图像文件存储的格式非常多，常用的文件格式有如下几种。

（1）BMP格式文件

BMP是一种与设备无关的图像文件格式，是Windows操作系统中的标准图像文件格式，能够被多种Windows应用程序所支持，其扩展名为，bmp。这种格式的特点是包含的图像信息较丰富，几乎不进行压缩，但由此导致了它占用磁盘空间过大的缺点。目前，BMP格式在单机上比较流行，Windows的“墙纸”图像使用的就是这种格式。

（2）JPEG格式文件

JPEG（joint photographic experts group，联合照片专家组）是利用JPEG方法压缩的图像文件格式，其扩展名为jpg。JPEG压缩技术十分先进，它用有损压缩方式去除冗余的图像数据，在获得极高的压缩率的同时能展现十分丰富生动的图像。JPEG格式压缩的主要是高频信息，对色彩的信息保留较好，适合应用于Internet，可减少图像的传输时间，可以支持24位真彩色。JPEG是一种很灵活的格式，具有调节图像质量的功能，允许用不同的压缩率对文件进行压缩，支持多种压缩级别。压缩率通常为（10：1）~（40：1），压缩率越大，品质就越低：反之，压缩率越小，品质就越好。

（3）GIF格式文件

GIF（graphics interchange format，图形交换格式）是美国联机服务商CompuServe在20世纪80年代推出的一种高压缩比的彩色图像文件格式，其扩展名为.gif。这种格式主要用于图像文件的网络传输。GIF文件不支持24位真彩色图像，最多只能存储256色的彩色图像或灰度图像，允许用户为图像设置背景的透明属性。

最初，它只是简单地用来存储单幅静止图像（称为GIF87a规范），后来随着技术的发展，可以同时存储若干幅静止图像进而形成连续的动画（GIF89a规范）。考虑网络传输中的实际情况，GIF图像格式还增加了渐显方式，即在图像传输过程中，用户可以先看到图像的大致轮廓，然后随着传输过程的继续而逐步看清图像中的细节部分，从而适应了用户从朦胧到清楚的观赏心理。目前，Internet上大量采用的彩色动画文件多为这种格式的文件。

（4）TIFF格式文件

TIFF（tagged image file format,标签图像文件格式）是Aldus公司和Microsoft公司为扫描仪和桌面出版系统研制开发的较为通用的图像文件格式，其扩展名为.tif。TIFF的存储格式可以压缩也可以不压缩，压缩的方法也不止一种。TIFF不依赖于操作环境，具有可移植性。设计TIFF的初衷就是要能够将扫描的图像在不同的平台上进行高质量的打印，所以TIFF格式比较适合作为高质量的保存原件的图像存储格式。TIFF格式允许RGB模式或者CMYK模式，因此TIFF图像在显示及打印两方面都能保持较高质量。

（5）PNG格式文件

PNG（portable network graphics,便携式网络图形）是一种新兴的网络图形文件格式，其扩展名为.png。PNG是目前保证最不失真的格式，它吸取了GIF和PEG两者的优点，存储形式丰富，兼有GIF和JPEG的色彩模式；PNG能把图像文件压缩到极限，既有利于网络传输，又能保留所有与图像品质有关的信息，因为PNG采用无损压缩方式来减小文件的大小，这一点与牺牲图像品质以换取高压缩率的JPEG有所不同；PNG显示速度很快，只需下载1/64的图像信息就可以显示出低分辨率的预览图像；PNG支持透明图像的制作，这样可让图像和网页背景和谐地融合在一起。PNG的缺点是不支持动画应用效果。M3cromedia公司的Fireworks的默认格式就是PNG。

（6）PSD格式文件

PSD格式文件是Adobe公司开发的图像处理软件Photoshop中自建的标准文件格式，文件扩展名为.psd。它可以将所编辑的图像文件中的所有有关图层和通道的信息记录下来。所以在编辑图像的过程中，通常将文件保存为PSD格式，以便于重新读取需要的信息。但是，PSD格式的图像文件很少为其他软件和工具所支持。所以，在图像制作完成后，通常需要将文件转换为一些比较通用的图像格式，以便于输出到其他软件中继续编辑。另外，用PSD格式保存图像时，图像没有经过压缩，当图层较多时，会占用很大的硬盘空间。

（7）WMF格式文件

WMF是比较特殊的图元文件，属于矢量图形，文件扩展名为.wmf。Office中许多剪贴画图形是以该格式存储的，广泛应用于桌面出版印刷领域。

1. 模拟信号的数字化过程

2. 音频信息处理
   

3.知识扩展之

多媒体采样和量化

声音量化三要素

多媒体图形图像

知识扩展

像素、分辨率和色深

彩色照相机