多媒体技术与虚拟现实：3D音频的特征与技术介绍

声音是仅次于视觉信息的第二传感通道，是虚拟现实环境中的一个重要组成部分。现实世界中，人们不仅可以感觉到声音本身的内容，如声音的大小和音调等，还可以区别出各个音源的具体方位，并通过声音的反射特性，如混响和回声等，感受到现场的环境结构。3D音频系统可以重建三维声场，恢复声音的方位信息，产生具有空间感和方位感的声音，一些3D音频系统还可以恢复声音的环境信息，使用户具有更强的沉浸感，减少大脑对于视觉的依赖性，特别是当空间超出了视觉范围时，就完全要靠声音来识别，从而使用户能从既有视觉感受又有听觉感受的环境中获得更多的信息。另外，在虚拟现实系统中加入3D音频，可以加强使用者与虚拟环境的交互，使用者可以通过语音与虚拟世界进行交流。

虚拟现实中的3D音频和环绕立体声不同，虽然后者也是模拟不同方向上的声音，但它是提前就渲染处理好的，而且不会随用户头部的转动而发生变化；而虚拟现实中的3D音频则是要结合头部追踪等技术，让用户在做转动头部等动作时能听到来自各个方向的声音和变化，是实时渲染的。3D音频使听者能感觉到声音是来自围绕听者双耳的一个球形空间中的任何地方。

3D音频具有全向三维定位特征、三维实时跟踪特性以及沉浸感与交互性等主要特征。

为了实现可以听声辨位、身临其境的沉浸式体验，3D音频技术需要通过一系列的录音技术、回放技术以产生360度的空间声。

本章小结

声音是多媒体中一种重要的媒体元素，是表达思想和情感的必不可少的媒体，多媒体中的很多应用都需要用到声音。本章介绍了声音的物理特性和心理特性，声音的数字化过程；常用的数字音频文件格式以及各种格式之间的转换方法；语音合成技术、语音增强技术的基本概念，重点介绍了语音识别技术的概念和技术要点。最后，简单介绍了3D音频技术。

习　题

一、单选题

1.描述声波最基本的参数是(　　)。

A.振幅　B.频率　C.周期　D.声压

2.人耳能听到的声音频率范围为(　　)。

A.20Hz～20kHz 　B.低于20Hz　C.高于20kHz　D.200Hz～20kHz

3.声音的强度称为(　　)。

A.音调　　B.频率　C.响度　D.音色

4.次声波的特点是(　　)。

A.频率较低，波长很长，穿透力强，传播距离远

B.频率较低，波长很长，穿透力弱，传播距离远

C.频率较低，波长很长，穿透力强，传播距离短

D.频率较低，波长很长，穿透力弱，传播距离短

5.人能感知的声音大小范围是(　　)dB。

A.0～120　　　B.0～140　　　C.10～120　D.20～100

6.通常人们所说的声音的音调高低，实际上指的是(　　)。

A.声音信号变化频率的快慢　B.声音的振幅大小

C.泛音的多少　　D.声音的响亮程度

7.将数字音频恢复为声音需用(　　)解码。

A.A/D转换器　　B.音频提取器　　C.D/A转换器　　D.音频编解码器

8.采样是对模拟信号在(　　)上的离散化，量化是对模拟信号在(　　)上的离散化。

A.时间、幅度　　　B.幅度、时间　C.空间、幅度　　D.幅度、空间

9.奈奎斯特采样定理指出采样频率不应低于原始声音本身的(　　)倍。

A.1　B.1.5　　　　C.2　　　D.5

10.下列采集的波形声音，(　　)的质量最好。

A.单声道、8位量化、22.05kHz采样频率

B.双声道、8位量化、44.1kHz采样频率

C.单声道、16位量化、22.05kHz采样频率

D.双声道、16位量化、44.1kHz采样频率

11.下列(　　)是高品质CD的采样频率。

A.11.025kHz　B.22.05kHz　　　C.44.1kHz　　　　D.33.75kHz

12.下列(　　)标准只针对声音进行压缩。

A.JPEG标准　B.CCITT标准　C.MPEG标准　D.H.261标准

13.mp3采用了(　　)标准进行数据压缩编码。

A.MPEG-1　B.MPEG-2　C.MPEG-4　D.MPEG-7

14.以下(　　)文件格式是最早的数字音频格式。

A.MP3格式　　B.WMA格式　　C.WAV格式　　D.RA格式(www.xing528.com)

15.以下(　　)格式是无损音频压缩编码格式。

A.MP3　B.FLAC　C.AAC　D.WMA

16.在同等条件下，下列音乐格式中，文件大小最小的是(　　)。

A.APE　B.WAV　C.MIDI　D.FLAC

17.在播放音频时，一定要保证声音的连续性，这就意味着多媒体系统在处理信息时有严格的(　　)要求。

A.多样性　B.集成性　C.交互性　D.实时性

18.对于调频立体声广播，采样频率为44.1kHz，量化位数为16位，双声道。其声音信号数字化后未经压缩持续一分钟所产生的数据量是(　　)。

A.5.3Mb　B.5.3MB　C.8.8Mb　D.10.6MB

19.在Adobe Audition中，下面(　　)方法不能调节音频的音量。

A.选中波形区域后拖动编辑器面板上的浮动音量调节按钮

B.利用音量“标准化”命令

C.利用菜单“效果”→“振幅与限压”→“增幅”命令

D.调节计算机系统音量

20.以下(　　)选项不是语音识别的基本方法。

A.声波频率辨认法　B.模板匹配方法

C.人工神经网络方法　D.声道模型与语音知识方法

二、填空题

1.声音的数字化包括________、________、________三个过程。

2.声音的心理特征是人对声音的主观感觉，主要包括________、________、________三要素。

3.声波的三个基本指标是频率、幅度和________。

4.在多媒体应用领域，按照对声音质量的要求不同以及使用频带的宽窄，可将音频信号分为电话语音、调幅广播AM、________和高保真立体声。

5.一般说来，要求声音的质量越高，则量化位数越多和采样频率越________。

6.________格式的音频是音质最好的。

7.MIDI文件比较小，因为它记录的是________。

8.Adobe Audition对声音进行编辑时，使用________快捷键进行混合式编辑。

9.自然语言处理包括语言识别、语音合成和________。

10.3D音频的特征包括________。

三、简答题

1.影响声音质量的因素有哪些?

2.计算机中产生语音的方法有哪两种?它们的区别是什么?

3.数字电话音质、AM音质、FM音质、CD音质的数字采样频率分别是多少?

4.什么是语音识别?Siri是如何工作的?请举例说明。

5.什么是语音增强技术?

四、操作题

1.使用软件完成常用音频文件格式之间的转换。

2.使用Adobe Audition消除人声，请操作实践后，写出简要步骤。

3.使用Adobe Audition制作一首配乐诗朗诵。

4.使用Adobe Audition给一组视频画面制作不同风格和效果的背景音乐，以及录制旁白。

五、思考题

1.如何使用讯飞开放平台或其他平台进行语音合成和语音识别?

2.语音识别的难点是什么?

3.导航应用中的语音识别是如何实现的?