多媒体技术与虚拟现实系统软件

开发虚拟现实系统的软件工具主要包括嵌入VR设备的信息处理软件和运行在VR设备上的系统平台软件。

1.信息处理软件

嵌入VR设备的信息处理软件主要负责视频采集、三维重建、人体跟踪和动作捕捉等。

(1)视频采集。视频采集是配备VR输入设备的专用软件，用于构建VR场景和三维模型的视音频数据采集，主要有3D立体拍摄设备的图像采集系统和360°全景拍摄设备的图像采集系统。

(2)三维重建。所谓三维重建，是指对三维物体建立适合计算机表示和处理的数学模型。利用三维扫描仪可以实现三维重建，并在相关软件的支持下，扫描系统采用动态跟踪成像技术，通过专业优化的视觉算法，利用多条激光线来精确获得复杂特征的细节，从而快速实现物体的三维建模过程。

(3)人体跟踪和动作捕捉。人体跟踪和动作捕捉系统用于准确测量运动物体在三维空间的运动状况。人体跟踪和动作捕捉软件的主要功能是处理系统捕捉到的原始信号，计算传感器的运动轨迹，对数据进行修正处理，并与三维角色模型相结合。英国VICON公司研发的Vicon Tracker就是一款功能强大的目标跟踪软件。

2.系统平台软件

系统平台软件是虚拟现实系统的核心部分，负责整个VR场景的开发、运算、生成，是虚拟现实系统最基本的物理平台，同时连接和协调整个系统中其他各个子系统的工作和运转，与其共同组成一个完整的虚拟现实系统。

系统平台软件主要有三维建模软件、专业引擎和虚拟现实开发工具等。

(1)三维建模。实现虚拟现实系统需要多种媒体数据的组合，其中最重要的是三维模型数据的准备。利用这些三维数据建立虚拟场景，是虚拟现实系统的主要任务之一。

建立三维模型通常使用三维建模软件来完成。目前市场上有很多优秀的三维建模软件工具，如3ds Max、AutoCAD、Maya、Pro/E等一些通用的建模软件，以及虚拟现实、视景仿真等领域专用的建模软件，如MultiGen Creator等。

MultiGen Creator系列软件由美国MultiGen-Paradigm公司开发。它拥有针对实时应用优化的Open Flight数据格式，具有强大的多边形建模、矢量建模、大面积地形精确生成功能，以及多种专业选项及插件。能高效优化地生成实时三维(RT3D)数据库，并与后续的实时仿真软件紧密结合，广泛应用在视景仿真、模拟训练、工程应用及科学可视化等领域。

(2)专业引擎。虚拟现实系统涉及众多的技术以及相关的专业引擎，下面对其中的图形渲染引擎和物理行为引擎进行介绍。

①图形渲染引擎。渲染是将三维模型绘制到屏幕上的过程。现在三维建模技术比较成熟，但如何实时生成真实感的图形仍然是实现虚拟现实技术的重要瓶颈。随着技术的发展，目前开发的图形渲染引擎用于制作的影视特效和广告效果图已经非常逼真。TechViz就是一个图形渲染引擎。TechViz是TechViz公司开发的专用PC-IG三维实时渲染引擎，它不针对某个应用软件，只要底层是OpenGL都能使用，可以提高CAD/CAE等软件的渲染速度，为众多的通用三维建模商业软件提供立体显示、多通道显示等功能。同时，TechViz还支持各类VR设备，从而大大地提高了它的灵活性和使用价值。

②物理行为引擎。物理行为引擎简称为物理引擎，简单地说，就是计算3D场景中物体与场景之间、物体与角色之间、物体与物体之间的运动交互和动力学特性。

物理引擎和3D图形引擎是两个截然不同的引擎，但是两者又有着密不可分的联系，它们一起创造了虚拟现实的世界。在虚拟现实世界中，人们的需求已经从观看离线渲染3D动画片的方式过渡到了使用实时渲染技术的VR交互浏览方式。但仅仅使用3D图形引擎，虚拟世界中的物体只具有一个外表，而没有内在的实体，彼此之间无法相互作用，用户也不能与其产生动作交互。在物理引擎的支持下，VR场景中的模型可以具有质量，可以受到重力的影响，可以与别的物体发生碰撞，可以因为压力而变形，可以有液体在表面流动，等等，这些都极大地提高了虚拟现实系统的真实感，增强了用户的体验。(www.xing528.com)

VRP-PHYSICS是国内开发的一个虚拟现实物理引擎。

(3)虚拟现实系统开发软件工具。虚拟现实系统的开发软件一般是以底层编程语言为基础的一种通用开发平台。基于这种平台，开发者只需专注于虚拟现实系统的功能设计和开发，无须考虑程序底层的细节。目前，市面上有很多虚拟现实开发工具，它们的实现机制、功能特点、应用领域各不相同。但整体来看，一个完善的虚拟现实开发软件应该具有可视化管理界面、二次开发能力、数据兼容性等特点，还应该具有高效的图形运算能力、各种外围设备的接口控制能力、海量数据的处理能力等。常用的虚拟现实开发工具有Vega Prime、Virtools、Unity3D等软件平台。

①Vega Prime。Vega Prime由MultiGen-Paradigm公司出品，它提供了真正跨平台的和可扩展的开发环境。它构建在VSG(Vega Scene Graph)框架之上，底层为OpenGL，同时包括Lynx Prime GUI用户图形界面工具，让用户既可以用图形化的工具进行快速配置，又可以使用底层场景图形应用程序接口来进行应用特定功能的创建，从而将先进的功能和良好的易用性结合在一起，来快速、准确地开发实时三维应用，加速成果的发布。基于工业标准的XML数据交换格式，能与其他应用领域进行最大程度的数据交换。

②Virtools。Virtools由法国达索集团出品，是一套具备丰富的互动行为模块的实时3D环境虚拟实境编辑软件，可以制作出许多不同用途的3D产品。具有灵活、易操作等特点。其“行为模块”可以重复使用，从而加速了生产过程，降低生产成本。开发人员可以使用“行为数据库”或在C＋＋中，借助于Virtools的软件开发工具包进行创作。

2010年的上海世博会就采用3DVIA Virtools等Web3D技术搭建了网上世博会的网上园区和展馆，人们通过计算机就可以轻松俯瞰5.29平方公里世博园区的三维全景，并在数百个国家、地区和国际组织的展馆间轻松穿梭漫游。

③Unity3D。Unity3D是由Unity Technologies开发的一款用于创建三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合开发平台。Unity3D不仅在游戏行业得到了广泛的应用，能够让用户轻松快速地创建互动游戏、实时动画等内容，而且在虚拟现实、工程模拟、3D设计等方面也得到了广泛的应用。随着VR技术的普及，现在越来越多的团队使用这款强大的引擎进行VR项目开发。Unity 3D良好的生态及广泛的支持，使其在虚拟现实、增强现实开发上获得了众多厂商的青睐。很多VR/AR提供商都提供了基于Unity3D的SDK包。

Unity编辑器运行在Windows和Mac OS下。使用Unity3D开发的应用可发布到Windows、Mac、Wii、iPhone、WebGL(需要HTML5)、Windows Phone和Android等多个平台。

Unity对DirectX和OpenGL拥有高度优化的图形渲染管道。支持物理特效，支持Java Script、C＃等语言。

④Quest 3D。Quest 3D是由荷兰Act 3D公司推出的专门用于虚拟现实方面的应用软件。它有丰富的功能模块，可以实现模块化、图像化编程。

Quest 3D是一个容易且有效的实时3D建构工具。它不需要开发者去编写代码，就能通过“所见即所得”的方式制作出功能强大和画面效果绚丽的虚拟现实项目。

Quest 3D软件具有很好的开放性。用户可以在3ds Max或Maya中完成建模、材质、动画和烘焙渲染，然后导入到Quest 3D。Quest 3D可以和大量虚拟现实硬件进行很好的连接，还可以用软件提供的SDK来开发新的功能模块，整合新的硬件设备。

⑤VR-Platform。VR-Platform(Virtual Reality Platform，VR-Platform或VRP)即虚拟现实仿真平台，是一款由中视典数字科技有限公司独立开发的具有完全自主知识产权的直接面向三维美工的一款虚拟现实开发软件。该软件具有适用性强、操作简单、功能强大、交互功能良好、操作“所见即所得”，以及强大的二次开发接口等特性。它已成功应用于诸多领域，成为国内市场占有率高的国产虚拟现实系统开发软件。

VR-Platform的所有操作都是以美工可以理解的方式进行的，不需要程序员参与。如果开发者有良好的3ds Max建模和渲染基础，只要对VR-Platform稍加学习和研究，就可以很快制作出自己的虚拟现实场景。

⑥Unreal Engine。Unreal Engine是由游戏开发者制作并提供供游戏开发者使用的一整套游戏开发工具。它支持各种主流操作系统，提供了“所见即所得”的编辑器、物理引擎以及多用户开发模式。它的自定义光照、着色、视觉特效以及过程动画等功能可产生令人瞩目的视觉效果。目前，Unreal Engine也广泛用于虚拟现实、模拟及可视化内容。

在选择虚拟现实开发软件工具时，可根据特定的应用方向，综合考虑其开放性、数据处理能力和后续开发的延续性。