基于静态图像的虚拟现实技术及其在教育领域中的应用

admin

[摘 要] 基于静态图像的虚拟现实技术是一种提供初步vr体验的虚拟现实技术，其最鲜明的特点就是开发、研制成本低廉，使用过程简单方便，并不需要专用的诸如头戴镜、数据手套等昂贵的设备，仅需要一台多媒体电脑就可以了。由于这样的特点，使得以往需要复杂昂贵的专门设备支持的虚拟现实技术在现实生活中以及教育领域中的广泛应用成为可能。本文qtvr为例，介绍了基于静态图像的虚拟现实技术的工作原理、基本特色、开发系统的组成及其在教育领域中的典型应用。

[关键词] 虚拟现实、三维建模、全景、qtvr、panaroma、object、sence、spin vr
　
一、虚拟现实的基本概念

虚拟现实（简称vr：virtual reality）,又称临境技术，是指用立体眼镜的传感手套等一系列传感辅助设施来实现的一种三维现实，人们通过这些设施以自然的方式（如头的转动、手的运动等）向计算机送入各种动作信息，并且通过视觉、听觉以及触觉设施使人们得到三维的视觉、听觉及触觉等感觉世界。随着人们不同的动作，这些感觉也随之改变。目前，与虚拟现实相关的内容已经扩大到了与之相关的许多方面，像“人工现实（artificial reality）”、“遥现”（telepresence）、“虚拟环境”（virtual environment）、“赛伯空间”（cyberspace）等，都可以认为是虚拟现实的不同术语或形式。事实上,虚拟实现技术不仅仅是指那些戴着头盔和手套的技术，而且还应该包括一切与之有关的具有自然模拟、逼真体验的技术与方法。它要创建一个酷似客观环境又超越客观时空、能沉浸其中又能驾驭其一的和谐人机环境，也就是由多维信息所构成的可操纵的空间。它的最重要的目标就是真实的体验和方便自然的人机交互，能够达到或者部分达到这样目标的系统就称为虚拟现实系统。

二、基于静态图像的虚拟现实技术：

1．什么是qtvr
qtvr是quicktime virtual reality 的简称,它是美国苹果公司开发的新一代虚拟现实技术。概括地讲是一种基于静态图象处理的,在微机平台上能够实现的初级虚拟现实技术。qtvr属于桌面虚拟现实的一种。虽然它是初级的虚拟现实技术,但是它有其自身的特色与优势.它的出现使得往专业实验室中的成本昂贵的虚拟现实技术的应用普及有了广阔的前景.
假定我们在一室空间进行观擦，室内空间一般有六个表面，如果我们获取了这六个表面的许多不同距离，不同方位的实景照片并将他们按照相互的关系有机连接 起来就可以在视觉上形成这个房间整个空间的整体认识，这就是全景概念。在观察时。 我们可以任意的转动观看，也可以改变视点，或是走近仔细观看，由于这些照片是相互连接的，所以只要照片足的精细连接得紧密正确，我们就可以获得空间的感觉。同样无论无论我们是野外海边，还是在复杂如迷宫的博物馆，办公室或航空母舰上，通过建立以实景为基础的全景图象，就可以对我们的周围进行观擦，如果辅以声音，也可以获得较好的随意观察、交互访问的效果。这就是qtvr工作的基本原理。
qtvr是在下列核心概念的基础之上组成的。这些概念包括：
全景图象（panoramas)：全景图象是qtvr技术最具特色的概念。qtvr的全景图象实际上是空间中一个视点对周围环境的360度的视图。它可以理解为以节点为中心的具有一定高度的圆柱形的平面，平面外部的景物投影在这个平面上，即为全景图象。
用户可以在全景图象中在360度的范围内任意切换视线，也可以在一个视线上改变视角，来取得接近或远离的效果。
对象(objects)：qtvr的物体是和全景图象的概念相对比的概念。可以这样说：qtvr的全景图象是从空间中的节点来看周围360度的景物所生成的视图，而物体则刚好相反，它是从分布在以一件物体（即物体）为中心的立体360度的球面上的众多视点来看一件物体，从而生成的对一件物体全方位的图象信息。与全景图象不同的另一点是表征同一物体的不同视点生成的一系列图象并不需要拼和在一起，它们通常是按拍摄的水平依偏移角和垂直的偏移角排列成一维顺序，经qtvr系统软件处理后，形成用户可观察的各个视点。用户可以用鼠标来控制所生成的物体电影（object movie)的播放。当用户点击电影播放窗口的中央，会显示一个图象，当用户点击窗口的上部或下部，从而移动观察视点时，系统就会显示对应观察点图象。这样的工作方式对描述空间的静止的物体来说是非常合适的，它可以全方位地对静态的三维进行操作与观察。
场景（scenes)：qtvr的场景指的是把一个或多个全景图象或对象电影通过热点这种手段连接后的全景图象和对象电影的有序集合体。在qtvr场景中，用户可以在很多全景图象或对象电影中漫游，可以以从全景图象到全景图象、从全景图象到对象电影、从对象电影到对象电影、从对象电影到全景图象等多种他们愿意的方式来漫游。
每个在场景中的全景图象或对象电影称为节点。而每个场景都有一个入口节点，当一个场景打开时，这个入口节点作为缺省的节点被显示出来。

2．qtvr的基本特征

纵观qtvr技术，它有四个基本特征：从三维造型的原理上看，它是一种基于图像的三维建模与动态显示技术；从功能特点上看，它有视线切换、 推拉镜头、超媒体链接三个基本功能；从性能上看，它不需要昂贵的硬件设备就可以产生相当程度的vr体验。

1)造型特点
三维复杂模型的实时建模与动态显示是飞行模拟、实时动态仿真及虚拟现实等技术的基础。目前，三维复杂模型的实时建模与动态显示技术可以分为两类。一是基于几何模型的实时建模与动态显示；二是基于图像的实时建模与动态显示，qtvr就是采用基于图像的三维建模与动态显示技术。
基于几何模型的实时建模与动态显示是计算机图形学中的传统方法。首先，在计算机中建立起三维几何模型，一般均用多边形表示。在给定观察点和观察方向以后，使用计算机的硬件功能，实现消隐、光照及投影这一绘制的全过程，从而产生几何模型的图像。这种基于几何模型的建模与实时动态显示技术的主要优点是观察点和观察方向可以随意改变，不受限制。但是，它也有两个缺点：一是复杂模型的造型过程比较繁琐、工作量大；二是每一个观察点或观察方向都需要进行复杂模型或场景的绘制计算。因此，需要具有较强计算能力和图形功能的工作站，而这有时是办不到的。从另一方面来看，当三维模型高度复杂时，每个面片所占据的屏幕象素的平均数将很少。设工作站的处理能力为每秒300万个面片，而刷新频率为每秒10帧，那么，平均起来每帧需处理30万个面片。设屏幕分辨率为1000×1000=100万个象素，那么，每个面片平均只占据3个象素。对于这样复杂的三维模型，再逐个物体、逐个面片地进行绘制是也是没有必要的。
在这样的背景下，人们开始考虑可否避开繁琐的造型过程和复杂的绘制计算，而直接用图像来实现复杂环境的实时建模与动态显示。qtvr就是一种利用图像镶嵌(mosaic)方式来实现复杂环境的实时建模与动态显示的技术。
在建造qtvr的三维场景时，选定某一观察点设置摄像机。每旋转一定的角度，便摄入一幅图像，并将其存储在计算机中。在此基础上实现图像的拼接，即将物体空间中同一点在相邻图像中对应的象素点对准。对拼接好的图像实行切割及压缩存储，形成全景图。用户从存储介质中调出全景图即可形成对三维复杂场景的漫游。这种三维空间，只能在所设定的观察点的位置上对三维场景进行漫游。如果要换一个观察点，必须再重新摄取一组图像构成全景图，当改变观察点进行漫游时，便会出现图像突变的情况，也就是三维空间切换不是很平滑。
这种基于图像镶嵌方法的优点是可由摄像机获取三维场景，不需要进行几何造型，对计算机的计算能力要求不高，但需较大的存储空间，可实现实时建模与动态显示。其缺点也是显然的，即场景本身必须是静态的，而且在漫游时，观察点及观察方向受到了严格的限制，这是因为不可能做到对于任意的观察点都拍摄一组图像存放在计算机中。
为了解决图像镶嵌技术中只能在原图像摄取点进行漫游这一问题，可以在不同图像之间进行插值或在不同视图之间进行插值，以生成新的视图的方法。其基本思路是:在不同的观察点取得三维场景或某一物体的多幅图像，交互地给出或自动求出每两幅图像之间的对应点，再用图像插值或视图变换的方法求出该物体对应于其它观察点的图像。这时，需要解决图像插值时可能出现的空洞或重叠等问题。在将几何模型转变为屏幕图像的过程中，我们需要解决隐藏面和隐藏线消除、光照强度计算及由物体空间到图像空间的投影等三个问题，而在基于图像的实时动态显示中，当需要由已知图像产生其它图像时，同样需要解决以上三个问题，也就是如何确定在不同的已知图像中同一物体的对应点，并找到它在所求图像中的位置，如何求出该点应有的光亮度值以及如何在所求图像中正确反映出物体之间的前后关系。这些问题都是qtvr所需进一步研究的方向。

2)功能特点
qtvr最基本的功能特点是能够实现对三维空间和三维物体全方位的观察，它不需要一般虚拟现实技术影片所要求的昂贵的特殊头盔、特殊眼镜和数据手套。所有对三维造型的操纵仅用普通鼠标、键盘就可完成。操纵三维造型的方式有三种：对于三维空间，可以在一个观察点环绕360度，可在任意一个角度进行观察，它是以观察者为中心的；对于三维物体，用户可以在一个立体的360度空间中，任选一个角度进行观察，它是以三维物体为中心的。在某一个角度进行观察时，用户可实现放大或缩小观察效果，类似于摄像机的推拉镜头，也类似于观察者观察视点向前或向后移的效果。在三维空间和三维空间、三维物体和三维物体之间、三维空间和三维物体之间，可以存在超媒体链接，用户利用这种超媒体链接，可以在它们之间进行平滑的切换，从而置身于真实感很强的虚幻空间之中，这种超媒体链接不仅可链接qtvr两种基本类型的节点，还可以链接其它多媒体素材，如图像、声音、视频、文字等等。

3)性能特点：
设备简单：不需要昂贵的设备，就可以体验真正的虚拟现实。任何欣赏qtvr场景的用户无须配戴欣赏一般虚拟现实技术影片所要求的昂贵的特殊头盔、特殊眼镜和数据手套，所有对场景的操纵仅用普通鼠标、键盘就可完成。
兼容性好：qtvr场景可运行于普通微机，无需运行于高速工作站。在当今流行的操作系统平台上，如windows 3.x， windows 95， mac os， 均有相应的支持版本。因此，同一qtvr 场景可跨平台运行，同时，它还可以在internet上发布。
高度的现实性：qtvr运用真实世界的全景图像来构建虚拟的现实空间，真实世界的全景图是用一个35mm 胶片的相机和一个三角架装置来获取的，它远比由计算机生成的图像的真实感强，由于胶片可以提供很高的清晰度，从而图象具有更丰富的图象和更鲜明的细节，不同效果和各种环境也可以用一系列的镜头和滤光镜来获得。qtvr提供了观察场景的正确透视，使用户有身临其境左右环视的感觉，又可以使用户可以在场景中从各个角度观察一个真实物体，从而提供了最大限度的vr体验。

数据量小：qtvr采用了苹果公司独有的专利压缩技术，它可以将一整张360度的全景图片压缩到540k以下。相对于其它虚拟现实技术，qtvr 影片数据量极小。小数据量意味着同样大小的磁盘空间存储更多的图片，同时也意味着用户对场景的操纵更加迅速。
制作简单：相对于其它虚拟现实技术而言，qtvr的制作相对简单，的制作周期比较短，制作的可控制性也很强。制作流程主要是拍摄、数字化、节点制作、场景制作，前期拍摄的不利因素的影响，如阴天光线的影响，都可以通过后期数字化加工消除。一般制作一个大型的场景，一般也只需几个月。

3.qtvr与其它技术的比较
与传统影视媒体的比较：传统影视媒体只能按照录制的顺序播放,参与者不可改变其播放顺序缺乏交互性; 而qtvr技术使参与者可以自己控制体验的进程和顺序,可以挑选自己感兴趣的环节而略过其他部分。
与传统虚拟现实技术的比较：qtvr不需要特殊的硬件和附属设备,在普通的pc机或macintosh机上即可实现虚拟现实的效果。qtvr可以应用照片、录象或数字图象来创建虚拟环境，这就不同于静止的cad或gis制作，使它较之传统的虚拟现实技术有着更高的真实感、更丰富的图象和更鲜明的细节特征。
与多媒体软件的比较：多媒体在感知领域的应用不及vr广泛，且多媒体技术所操纵的对象都是二维的，qtvr技术拥有比多媒体技术更强的真实感.

三、qtvr开发系统的构成

1．图象采集设备
qtvr主要通过静态的图像来构建三维空间与三维模型，因此，必须要有相应的图象采集设备。qtvr图像的拍摄可以用普通的照相机或者摄像机，如果是用照相机拍摄图片，那就还需要一个扫描仪将照片数字化，形成图像文件；如果是用摄像机拍摄，那就还需要一个图像采集卡，将连续动态的视频离散成一幅幅图像文件。因为qtvr要求的是拍摄360度范围内的全景图像，直接拍摄全景的相机过于昂贵，所以一般是用普通的相机辅以专用的三角架设备，在空间环绕360度拍摄，然后利用软件将拍摄到的一幅幅图像拼合成一幅全景图像。普通三角架可以用于拍摄，但难以保证轴心一致，故制作出的全景有跳跃感，真实性不强；而用专用的三角架，可以拍摄出轴心非常一、真实感很强的全景，而且拍摄过程非常简单。目前美国的kaidan公司专门生产用于拍摄全景的三角架。

2.软件组成
qtvr软件包括两大组成部分：创作软件与播放软件。
创作软件：创作软件主要功能是将离散的图像拼合成全景图像，再将全景图像制作成qtvr格式的文件。美国的apple公司已经发行了qtvr的创作软件：qtvr author studio 1.0，它只能运行在apple公司的macintosh系统上。由于apple公司的macintosh系统比较昂贵，在我国的普及面较小，因此，限制了它的进一步的应用。目前，我所正在研究基于普通pc机和windows平台的创作系统（spin vr系统），目前已取得阶段性成果，它的研制成功，将大大拓宽qtvr的应用面。
播放软件：qtvr制作成功后，我们就可以利用一个qtvr播放软件来体验它所提供的虚拟环境，进入虚拟的空间，操纵虚拟的物体。播放软件可运行于macintosh和windows的环境。


五、qtvr在教育领域的应用

qtvr有着独特的技术特色，它以极低的制作成本获得一定程度的虚拟现实体验，它在立体空间的展示，立体物体的展示，展品的介绍，虚拟空间的营造与构建，虚拟场景的构造等方面有着作独特的优势。教育过程中的很重要的一个过程就是呈献知识信息，而qtvr在呈献知识信息方面有着独特的优势，它可以在广泛的科目领域提供无限的vr体验，从而加速和巩固学生学习知识的过程，因此它在教育领域的有着十分广泛的应用前景；而且由于不需要特殊的硬件和附属设备，从而使其在教育领域中的广泛应用成为可能。qtvr典型的教育应用包括：
建筑工程学：交互性的参观还未完工的办公大楼，找寻装饰的构思；或参观房屋模型，学习建筑原理。参观世界各地经典建筑，寻找建筑设计的灵感。
考古学：参观世界上你不可能到达的博物馆，研究从未对公众开放过的私人收藏的绘画或雕塑。
医学教育：学生可以通过解剖一具虚拟的尸体来学习解剖学，也可以观看血细胞通过心脏的全过程。医生用从实际病人身上收集来的数据进行仿真，对手术或其它过程进行周密的计划，例如：观看胃镜的过程，了解病变组织的特征。
导游培训：让学生参观世界各地虚拟的风景名胜，并学习这些名胜的历史、特点、文化内函等等。
生物教育：操纵分子模型，观察不同药物的立体结构图象；或沿着丛林小溪来研究海狸的习性。
历史教育：进入别的世纪，如参观商代的集市，或参加唐代的盛典。
化学和物理教育：昂贵实验仪器的介绍与展示，参观你不可能进入的实验空间，如核反应堆，粒子对撞空间等等。
社会科学：参观世界各地的社会风情，了解各地生活形态与习性。
由于qtvr技术的出现，使得所有这些vr体验在个人机上都可以实现。当然，随着qtvr技术研究和开发的深入进行，在教育领域中的应用也会随着这个过程而进一步加深和拓宽。对qtvr的研究也必然会促进虚拟现实技术的传播和应用。

六、教育应用示例

目前我所正在与北京武警总医院合作，利用quick time vr技术开发一个内消化道的病变诊断教学软件。该软件能学生实地参观内消化道，学生可以延着内消化道慢慢前进，也可以在任何地点停下来，环绕四周观察，对于可能发生病变的地方，可以放大观察，就象使用放大镜一样。当学生观察到了病变症状后，便可对其实施各种治疗措施，并能观察到这种治疗措施最可能产生的各种后果。
此软件开发的基本技术思路是：利用内窥镜拍摄出内消化道的全景录像，再利用图像采集卡采集成数字图像，并利用qtvr处理软件将这些图像处理成一个个场景，供学生进行虚拟探索。软件的主体控制开发采用director 6.0，它将全景场景以及诊断的交互性完美地集成在一个教学软件之中。
　
参考书目:

汪成为等，《灵境技术的理论、实现与应用》，清华大学出版社，1996年；
何克抗，《运用新一代vr技术建立高质量教育与培训系统的研究》，《1997年度国家自然科学基金申请书》；
钟力、胡晓峰，《基于虚拟现实的全景视频技术》，《小型微型计算机系统》1996年12期；
唐泽圣，《三维复杂模型的实时动态显示》，《计算机世界》1997年第三十一期；
joshua eddings,《how virtual reality works》，电子工业出版社1994年中文译本；
曾建超、俞志和，《虚拟现实技术及其应用》，清华大学出版社1996年版；
guoqiang shen，《qtvr aided urban design and planning》，《多媒体与超媒体教育应用》国际会议1996年论文集；
apple computer inc，《quicktime vr white paper》，1997年；
apple computer inc，《qtvr virtual tutor》，1997年；
apple computer inc，《inside macintosh：virtual reality programming with quicktime vr 2.1》，1998年；