首页 理论教育 多媒体与信息检索:技术融合与前景拓展

多媒体与信息检索:技术融合与前景拓展

时间:2023-07-02 理论教育 版权反馈
【摘要】:可以将多媒体技术和功能在概念上区分为控制系统和信息。多媒体是抽象的技术,它是一种实现信息传递和交流的平台。对多媒体的处理和在网络上的传输,在技术上是比较复杂的,但在信息检索领域却是最有前途和发展未来的检索系统。多媒体技术是计算机技术与通信技术、电视技术的相互结合。多媒体技术以计算机为中心,增强了信息的表现能力。

多媒体与信息检索:技术融合与前景拓展

(一)多媒体的概念

计算机技术、网络技术和载体存储技术的飞速发展,使得多媒体技术应运而生。多媒体一词来源于英文单词multimedia,它由multi和media两部分组成,一般理解为多种媒体的综合。什么是多媒体?通俗地讲,多媒体就是通过计算机或其他数字处理手段传递给人们的文本、声音、动画和视频的艺术组合。它能够表达人们丰富的感受,人们用多媒体手段处理问题时,将会感到欢喜和愉悦等多种情绪。多媒体技术是20世纪80年代发展起来的一门综合性电子信息技术,它给人们的工作、生活学习带来了深刻的变化。多媒体的开发与应用使计算机改变了单一的人机界面,转向为多种媒体协同工作的环境,从而让用户感受一个丰富多彩的计算机世界

多媒体是计算机技术和视频技术的结合,实际上它是两个媒体:声音和图像,或者用现在的术语来说就是音响和电视。多媒体本身有两个方面,和所有现代技术一样它是由硬件和软件,或机器和思想混合组成。可以将多媒体技术和功能在概念上区分为控制系统和信息。多媒体之所以能够实现是依靠数字技术。多媒体代表数字控制和数字媒体的汇合,电脑是数字控制系统,而数字媒体是当今音频和视频最先进的存储和传播形式。事实上,有人就简单地认为多媒体是电脑和电视的结合。电脑的能力达到实时处理电视和声音数据流的水平,这时多媒体就诞生了。多媒体电脑需要具有比主流电脑更强的能力,多媒体电脑决定了主流电脑的发展。区别普通电脑和多媒体电脑的主要硬件是声卡和只读光盘驱动器。光盘是多媒体的主要存储和交换媒体。没有这种方便的光盘,电脑工业就无法销售构成多媒体节目的几百兆字节的音频、可视的和文字的数据,你也无法买到多媒体。

多媒体是抽象的技术,它是一种实现信息传递和交流的平台。就像蚂蚁需要用触角传递信息,蚕需要用痕迹传递信息一样,而意思的表达有时候通过语言并不能清晰传递。多媒体是借助计算机软硬件实现语言的交流。它包括许多东西的复杂组合:硬件、软件和这两者相遇时的界面。当然,所有的这些都离不开传递的主体——人。对于多媒体,你不再是一个被动的观众,你可以控制,可以交互作用,可以让它按你的需要去做。在一个报告中,你可以不管那些无用的东西而直接进入重要的数据,可以将感兴趣的全世界的报告和图片收集汇编到一起。这就是多媒体的力量和它与传统媒体(如书本和电视)的区别所在。

多媒体能做什么?它展示信息、交流思想和抒发情感。它让你看到、听到和理解其他人的思想。也就是说,它是一种通信的方式。声音、图像、图形、文字等被理解为承载信息的媒体而称为多媒体其实并不准确,因为这容易跟那些承载信息进行传输、存储的物质媒体(也称为介质),如电磁波、光、空气波、电流、磁介质等相混淆。但是,现在多媒体这个名词几乎已经成为文字、图形、图像和声音的同义词,也就是说,一般人都认为,多媒体就是声音、图像与图形等的组合,所以在一般的文章中也就一直沿用这个不太准确的词。目前流行的多媒体的概念,主要是指文字、图形、图像、声音等人的器官能直接感受和理解的多种信息类型,这已经成为一种狭义的对多媒体的理解。

在计算机和通信领域,我们所指的信息的正文、图形、声音、图像、动画,都可以称为媒体。从计算机和通信设备处理信息的角度来看,我们可以将自然界和人类社会原始信息存在的数据、文字、有声的语言、音响、绘画、动画、图像(静态的照片和动态电影、电视和录像)等,归结为三种最基本的媒体:声、图、文。传统的计算机只能够处理单个媒体——“文”,电视能够传播声、图、文集成信息,但它不是多媒体系统。通过电视,我们只能单向被动地接受信息,不能双向地、主动地处理信息,没有所谓的交互性可视电话虽然有交互性,但我们仅仅能够听到声音,见到谈话人的形象,也不是多媒体。所谓多媒体,是指能够同时采集、处理、编辑、存储和展示两个或两个以上不同类型信息媒体的技术,这些信息媒体包括文字、声音、图形、图像、动画和活动影像等。

在日常生活中,被称为媒体的东西有许多,如蜜蜂是传播花粉的媒体,苍蝇是传播病菌的媒体。但准确地说,这些所谓的“媒体”是传播媒体,并非我们所说的多媒体中的“媒体”,因为这些传播媒体传播的都是某种物质实体,而文字、声音、图像、图形这些都不是物质实体,它们只是客观事物某种属性的表面特征,是一种信息表示方式。我们在计算机和通信领域所说的“媒体”,是信息存储、传播和表现的载体,并不是一般的媒介和媒质。

从概念上准确地说,多媒体中的“媒体”应该是指一种表达某种信息内容的形式,同理可知,我们所指的多媒体,应该是多种信息的表达方式或者是多种信息的类型,自然地,我们就可以用多媒体信息这个概念来表示包含文字信息、图形信息、图像信息和声音信息等不同信息类型的一种综合信息类型。

总之,由于信息最本质的概念是客观事物属性的表面特征,其表现方式是多种多样的,因此,较为准确而全面的多媒体定义,就应该是指多种信息类型的综合。这些媒体可以是图形、图像、声音、文字、视频、动画等信息表示形式,也可以是显示器、扬声器、电视机等信息的展示设备,或者传递信息的光纤、电缆、电磁波等中介媒质,还可以是存储信息的磁盘、光盘、磁带等存储实体。

多媒体是指多种媒体的混合物,它集成了文本、图形、动画、视频、声音等多种媒体。所以可以把其基本定义为:多媒体是运用计算机综合处理多种媒体信息(文本、声音、图形、图像、动画等),使多种信息建立逻辑链接,以交互方式表达信息的技术和方法。对多媒体的处理和在网络上的传输,在技术上是比较复杂的,但在信息检索领域却是最有前途和发展未来的检索系统。

多媒体技术是计算机技术与通信技术、电视技术的相互结合。也就是说,多媒体技术就是利用计算机技术把文本、图形、图像、声音、视频和动画等多种媒体进行综合处理,使多种信息之间建立逻辑链接,集成一个完整的系统,支持完成一系列交互式操作的信息技术。

多媒体技术以计算机为中心,增强了信息的表现能力。利用多媒体技术,用户可以按照自己的需要、兴趣、任务要求、偏爱和认知特点来使用信息,任取图、文、声等信息表现形式,从而提高信息使用的方便性。也就是说,用户可以按照自己的目的和认知特征重新组织信息,增加、删除或修改节点,重新建立信息之间的链接。

在传统的数据库系统中,信息检索一般是以数值和字符型为主,多媒体则集成了图形、视频、音频等非格式化信息,数据量大、信息不定长、结构复杂等多媒体信息存储的特点。每一种媒体数据都有一些难以用字符和数字符号描述的内容线索,比如图像的形状、颜色、纹理,视频中的运动、声音、声调等。当用户在查询中用这些线索作为检索标识,对数据进行检索时,首先要将其人工化的转换为文本式关键词。这种转换有着极大的不确定性和不规范性,使得转换的主题关键词不能满足用户的检索要求。数据库不仅要对图像、视频、音频等媒体进行存储和基于文本的检索,而且还要对媒体数据内容进行自动语义分析、表达、存储和检索,多媒体数据库的检索方法是基于内容的信息检索。

网络世界是一个超级的信息世界,充满了各种媒体类型的各类信息。数据库技术解决了信息的存储,而信息媒体需要传播和交流,网络技术正在改变这种状况。在网络信息中,多媒体信息正在突破语言的障碍,改变信息交流只依赖于文本形式的缺陷,满足自然的信息交流需求。这种需求随着信息社会的发展,变得越来越重要。与一般的文本信息相比,多媒体信息真实、直观、形象、内容丰富多彩、还原性好,通过视频、音频、图像信息,可以满足各类人员的信息需求,是单一文本信息所无法替代的。多媒体信息系统最重要的特征是支持各种各样的数据,被广泛地认为是信息管理中最有前途的领域之一。网络上的多媒体信息包括文本、图形、图像、视频、音频等众多形式。随着这类信息的迅速增加,其产生和利用需要在技术领域有所突破,信息文献检索的查询使用者更加迫切地希望拥有新型的信息检索技术,因此,多媒体信息检索技术正成为信息技术、计算机技术、网格技术等现代媒体技术研究的重点。

在技术进步的条件下,电磁介质信息存储和读取更加方便快捷。媒体在传播的过程中,扮有重要的角色,只有信息附着在媒介上才可以流动和传播,如数媒、电媒。同时媒体也是信息的存储载体,在计算机领域,一是指用以存储信息的实体,电磁信号的存储载体;二是指信息的载体,音频、图像、文本、视频等,而多媒体的媒体则是后者。

(二)多媒体的特性

多媒体技术所处理的文字、数据、声音、图像、图形等媒体数据是一个有机的整体,而不是一个个“分立”的信息类的简单堆积,多种媒体之间,无论在时间上还是在空间上都存在着紧密的联系,是具有同步性和协调性的群体。因此,多媒体技术的关键特性在于信息载体的多样性、集成性、协同性、实时性和交互性。这也是多媒体技术研究中必须解决的主要问题。

综合来说,多媒体技术的特性主要有以下几点:

1.集成性

多媒体技术是多种媒体的有机集成。它集文字、文本、图形、图像、视频、语音等多种媒体信息于一体。它像人的感官系统一样,从眼、耳、口、鼻、脸部表情、手势等多种信息渠道接收信息,并送入大脑,然后通过大脑进行综合分析、判断,去伪存真,从而获得准确的信息。目前,多种媒体还在进一步研究中,如触觉、味觉、嗅觉媒体。多种媒体的集成是多媒体技术的一个重要特点,但要想完全像人一样从多种渠道获取信息,还有相当大的距离。

所谓集成性,除了声音、文字、图像、视频等媒体信息的集成,还包括传输、存储和呈现媒体设备的集成。多媒体系统一般不仅包括计算机本身,而且包括像电视、音响、录像机等设备。另外,具有多种技术的系统集成性,基本上可以说是包含了当今计算机领域内最新的硬件技术和软件技术

多媒体的集成性应该说是在多媒体系统上的一次飞跃。早期多媒体中的各项技术和产品几乎都是由不同厂商根据不同的方法和环境开发研制出来的,基本上只能单一、零散和孤立地被使用,在性能上很难满足用户日益增长的信息处理要求。但是,当它们在多媒体的大家庭里统一时,一方面意味着技术已经发展到相当成熟的阶段,另一方面也意味着各自独立的发展不再能满足应用的需要。信息空间的不完整,开发工具的不可协作性,信息交互的单调性等都将严重地制约和限制多媒体信息系统的全面发展。因此,多媒体的集成性主要表现在多媒体信息的集成以及操作这些媒体信息的工具和设备集成这两个方面。对于前者而言,各种信息媒体应能按照一定的数据模型和组织结构集成,后者强调了与多媒体相关的各种硬件的集成和软件的集成,为多媒体系统的开发和实现建立一个理想的集成环境,提高了多媒体软件的生产力。

2.交互性

多媒体的第二个关键特性是交互性。所谓交互就是通过各种媒体信息,使参与的各方(不论是发送方还是接收方)都可以进行编辑、控制和传递。交互性在于,使用者对信息处理的全过程都能进行完全有效的控制,并把结果综合地表现出来,而不是单一数据、文字、图形、图像或声音的处理。多媒体系统一般具有如下功能:捕捉、操作、编辑、存储、显现和通信,用户能够随意控制声音和影像,实现用户和用户之间、用户和计算机之间的数据双向交流的操作环境,以及多样性、多变性的学习和展示环境。

交互性向用户提供了更加有效的控制和使用信息的手段和方法,同时也为应用开辟了更加广阔的领域。多种媒体间的交互可自由地控制和干预信息的处理,增加对信息的注意力和理解,延长信息的保留时间。当交互性引入时,活动本身作为一种媒体便介入了信息转变为知识的过程。借助于活动,我们可以获得更多的信息,如在计算机辅助教学、模拟训练、虚拟现实等方面都取得了巨大的成功。媒体信息的简单检索与显示,是多媒体的初级交互应用,通过交互特性使用户介入到信息的活动过程中,才达到了交互应用的中级水平;当用户完全进入到一个与信息环境一体化的虚拟信息空间自由遨游时,才是交互应用的高级阶段,但这还有待于虚拟现实(Virtual Reality)技术的进一步研究和发展。

3.信息载体多样性

信息载体的多样性是多媒体的主要特征之一,也是多媒体研究需要解决的关键问题。多媒体技术的多样性体现在信息采集或生成、传输、存储、处理和显现的过程中,要涉及多种感知媒体、表示媒体、传输媒体、存储媒体或呈现媒体,或者多个信源或信宿的交互作用。这种多样性,当然不是指简单的数量或功能上的增加,而是质的变化。例如,多媒体计算机不但具备文字编辑图像处理、动画制作以及通过电话线路(经由调制解调器)或网络(经由网络接口卡)收发电子邮件(E-mail)等功能,而且有处理、存储、随机读取包括伴音在内的电视图像的功能,能够将多种技术、多种业务集合在一起

信息载体的多样性使计算机所能处理的信息空间范围扩展和放大,而不再局限于数值、文本或特殊对待的图形和图像,这是计算机变得更加人性化所必须的条件。人类对于信息的接收和产生主要在视觉、听觉、触觉、嗅觉和味觉五个感觉空间内,其中前三种占了95%的信息量。借助于这些多感觉形式的信息交流,人类对于信息的处理可以说是得心应手。然而计算机以及与之相类似的设备都远远没有达到人类的水平,在信息交互方面与人的感官空间就相差更远。多媒体就是要把机器处理的信息多维化,通过信息的捕获、处理与展现,使之在交互过程中具有更加广阔和更加自由的空间,以满足人类感官空间全方位的多媒体信息要求。

4.协同性

每一种媒体都有其自身规律,各种媒体之间必须有机地配合才能协调一致。多种媒体之间的协调以及时间、空间和内容方面的协调是多媒体的关键技术之一。

5.实时性

所谓实时性是指在多媒体系统中,多种媒体之间无论在时间上还是在空间上都存在着紧密的联系,是具有同步性和协调性的群体。例如,声音及活动图像是强实时的,多媒体系统提供同步和实时处理的能力。这样,在人的感官系统允许的情况下,进行多媒体交互,就像面对面(Face to Face)一样,图像和声音都是连续的。

在近几年的一些电影中,常会看到一台相当人性化的计算机,它可以与人交谈,并可提供任何你想要得知的信息;它可演奏任何你想要听的乐曲;在世界的各角落发生任何大事时,它也会及时地向你报告;它可监视家中的一切电器状况,会帮你接电话,随时提醒你做该做的事,甚至也可借助它向远在他乡的友人传达信息……在多媒体发展的今天,加上网络的迅速普及,这一切都会变成事实。

多媒体技术的产生必然会带来计算机界的又一次革命,它标志着计算机将不仅仅作为办公室和实验室的专用品,而将进入家庭、商业、旅游、娱乐、教育乃至艺术等几乎所有的社会与生活领域;同时,它也将使计算机朝着人类最理想的方向发展,即视听一体化,彻底淡化人机界面的概念。

正因为多媒体技术具有以上所说的几个特性,所以我们目前的家用电视系统就不能称为是一个多媒体系统。因为虽然现在的电视也具有“声、图、文”并茂的多种信息媒体,但是在电视机面前,我们除了可以选择不同的频道外,其他什么也不能做,既不能干涉它,也不能改变它,只能被动地接收电视台播放的节目,所以这个过程是单方向的,而不是双向的。但是,可以预言,在不远的将来,家用电视系统肯定会是一个多媒体的系统,它将集娱乐、教学、通信、咨询等功能于一身。

(三)多媒体技术发展简史

一般认为,1984年美国Apple公司提出的位图概念,标志着多媒体技术的诞生。当时Apple公司正在研制Macintosh计算机,为了增加图形处理功能,改善人机交互界面,使用了位图(Bitmap)、窗口(Windows)、图标(Icon)等技术。改善后的图形用户界面(Graphical User Interface,GUI)受到普遍欢迎,鼠标作为交互输入设备的应用更是大大方便了用户操作。在随后的几年间,多媒体技术得到了大力发展。

1985年,美国Commodore公司推出了世界上第一台真正的多媒体系统Amiga,该系统以其功能完备的视听处理能力,大量丰富的实用工具以及性能优良的硬件,使全世界看到了多媒体技术的未来。

到20世纪90年代,多媒体技术的发展达到了一个高潮,为使多媒体技术和众多相关设备具有更好的通用性和兼容性,人们开始制定一系列的技术和设备标准,并不断更新和发展。到现在为止,所建立的技术标准有静止图像压缩标准JPEG、动态图像压缩标准MPEG和语音信息压缩标准H.26X等,所建立的设备标准有个人多媒体计算机标准等。

喜欢玩文字游戏的人仿照物理学中著名的爱因斯坦能量公式E=mC2,将未来的信息环境(Information Environment)表示成多媒体与计算机和通信的乘积,即信息环境E=m(多媒体)·C(计算机)·C(通信)。由此可见,多媒体对于信息社会的重要性。早在20世纪80年代初,美国著名的麻省理工学院就成立了媒体实验室,从事有关多媒体信息处理的理论与技术研究。

近年来,随着技术的进步和市场前景的明朗,多媒体已在世界各地如火如荼地展开。除了互相竞争外,人们注意到这是一个与多学科、多产业相关的高新技术的交叉与综合,需要有大量的财力与智力投入,一些一流的大公司还联合开发了某些具有巨大市场影响力的战略型产品,典型例子如DVI,即为美国Intel和IBM合作的产物,而CD-I则为荷兰Philips与日本Sony公司联合的结晶。另外,还有许多新兴的高技术、高智力小公司也以自己在某一领域、某一方面的独到专长积极地参与技术角逐与市场竞争,并同样能够占有一席之地。近年来,在国际上的各种电子产品博览会、计算机/通信产品展览会上,多媒体及其相关产品的展台一直备受关注,各国厂商无不标榜自己的产品具有多媒体功能或采用了多媒体技术。多媒体已成为电子与信息领域的热门技术与产品。PC都在增加多媒体处理功能,实现系统升级,多媒体信息处理功能也已成为计算机的标准配置。发展多媒体技术,将使电子产品的技术水平产生一个新的飞跃。

我们将多媒体技术发展史上一些有重大影响的事件列举如下:(www.xing528.com)

1984年,Apple公司推出的Macintosh微机引入位图概念来处理图形、图像,并使用了窗口和图标作为用户接口。

1985年,Commodore公司推出第一个多媒体系统Amiga,具有影视与动画功能。

1986年3月,Philips和Sony联合推出了CD-I系统,它把各种多媒体信息以数字化的形式存放在650MB的CD-ROM上,用户可通过读取光盘中的内容来进行播放。

1987年3月,美国RCA公司推出了DVI系统,它以计算机技术为基础,用标准光盘来存储和检索静止图像、活动图像、声音和其他数据,后来技术卖给了Intel公司。

1987年8月,Apple公司引入了“超级卡(Hypercard)”,使Macintosh微机成为用户可以方便使用的、能处理多种媒体信息的机器,形成了唯一可与IBM PC分庭抗礼的势力。

1989年3月,Intel宣布将DVI技术开发成一种可以普及的商品,包括把DVI芯片装在IBM PS/2微机上;Intel/IBM展示DVI的普及化商品Action Media 750,其软件支持为AVSS(Audio Video SupportSystem)。

1990年11月,Philips等14家厂商组成多媒体市场协会。

1991年,第六届国际多媒体和CD-ROM大会宣布CD-ROM/XA标准,填补了原有标准在音频方面的不足;Intel/IBM推出Action Media 750Ⅱ及AVK(Audio Video Kernel)。

1991年11月,微软召开多媒体开发者会议,制定出MPC 1.0版技术规范。

1992年Comdex博览会上有两大热点:一是笔记本电脑;二是多媒体计算机。在这次博览会上,Intel和IBM共同研制的DVI(Digital Video Interactive)Action Media 750Ⅱ荣获了最佳多媒体产品奖和最佳展示奖。

1993年10月,美国“电话巨人”贝尔大西洋公司出巨资330亿美元并购美国最大的CATV公司——电信传播公司,为发展新型CATV、开发多媒体信息服务、实现“信息高速公路”起了巨大的推动作用。

1995年8月,微软正式公布了32位的微机操作系统Windows95。

到目前为止,微软已相继推出了Windows 98、Windows 2000、Windows XP、Windows2003、Windows Vista和Windows7等操作系统。

如今,多媒体技术的发展呈现出以下特点:

1.多学科交汇

多媒体技术是计算机、通信技术和大众传媒技术的融合,融合后的技术具有单一技术所无法实现的新功能和优异特性。因此,多媒体技术的集成性,决定了多媒体技术需要多领域的专家共同合作研究。

2.多领域应用

先进的科研生产管理系统和科研工具都将从多媒体技术和产品中受益。同时,多媒体技术将改变人们的生活娱乐方式。不具备多媒体功能的PC正逐渐被淘汰,家庭可用一个多媒体系统来提供功能更强、更全的家用电器服务。

3.顺应时代的要求,促进和带动新产业的形成和发展

多媒体技术将为人们提供更全面的综合信息处理技术,提供信息表示和显示的全新工具。多媒体技术产品在计算机市场和家电市场已展雄姿,它使计算机市场拓宽,使家电产品换代。而历史早已说明,凡是能进入千家万户的技术和产品,必然会在社会上崛起一支新兴产业大军。

总之,多媒体技术将向着高分辨率化以提高显示质量,高速化以缩短处理时间,简单化以方便操作,高智能化以提高信息识别能力,标准化以便于向信息交换和资源共享等方向发展。

(四)多媒体相关基本概念

多媒体是一门综合技术,它涉及许多概念,这里我们首先要解释与多媒体密切相关的超文本和超媒体两个重要概念,以加深对多媒体的认识,从整体上了解多媒体与超文本和超媒体之间的关系。

1.超文本

1965年,Ted Nelson在计算机上处理文本文件时想到了一种把文本中遇到的相关文本组织在一起的方法,让计算机能够响应人的思维并且能够方便地获取所需要的信息。他将这种方法称为超文本(Hypertext)。实际上,这个词的真正含义是“链接”的意思,用来描述计算机中的文件的组织方法,后来人们把用这种方法组织的文本称为“超文本”。

超文本是一种文本,它和书本上的文本是一样的。但与传统的文本文件相比,它们之间的主要差别是,传统文本是以线性方式组织的,而超文本是以非线性方式组织的。

这里的“非线性”是指文本中遇到的一些相关内容通过链接组织在一起,用户可以很方便地浏览这些相关内容。这种文本的组织方式与人们的思维方式和工作方式比较接近。超文本是一种新颖的文本管理技术,它以节点(Node)为单位组织信息,在节点与节点之间通过表示它们之间关系的链(Link)加以连接,构成表达特定内容的信息网络。超文本组织信息的方式与人类的联想记忆方式有相似之处,从而可以更有效地表达和处理信息。用超文本方式组织文字信息网络的典型例子是Windows操作系统的在线帮助系统。只要将鼠标移到有链的节点,当鼠标指针变为手形时单击,就可以看到术语的定义或关于术语的文字信息。

2.超媒体

超媒体(Hypermedia)是指用超文本方式加以组织和处理图形、图像、动画、声音、视频等多媒体信息。从超媒体获得的不仅仅是文本信息,还可以是多媒体计算机所能处理的任何信息。通过超媒体,用户不但可以看到整屏的信息,而且只需在其中的有些信息条目或图片图像上单击一下鼠标,就会马上出现用户所需的信息。使用超媒体可以高效地管理和组织大量具有逻辑联系的各种信息,使用户能在短时间内了解大量的有关信息。

超媒体这个词是从超文本衍生而来的。从超媒体,读者很容易联想到多媒体。这种联想是有道理的。因为超媒体与多媒体之间有着不可分割的密切关系。用数据库来管理多媒体信息,叫作多媒体数据库;用超文本技术管理多媒体信息,有一个特定的名词,即超媒体。简单地说,超媒体=超文本+多媒体。

(五)多媒体信息检索的定义

多媒体信息检索是指根据用户的需求,对文字、声音、图像、图形等多种媒体信息进行识别并获取所需信息的过程。目前有基于文本和基于内容特征的两种多媒体信息检索方式。

多媒体信息检索技术是把文字、声音、图像、图形等多种信息的传播载体通过计算机进行数字化加工处理而形成的一种综合技术。

(六)多媒体信息检索的方式

1.基于外部特征的检索方式

首先对多媒体信息进行人工分析,抽取反映该多媒体的物理特征和内容特征。这些特征包括多媒体的创建时间、创建人、创建地点等与内容无关的信息,如图像的标题、制作时间、收藏地点、版权状况、出版社,音乐的曲调名称、词曲作家、演奏者或演奏团体,动画的策划、编排者,视频的制片人、导演、地点、拍摄时间等都属于这一类;还有诸如文件扩展名,如图像文件常以“gif”“jpg”作为扩展名,影像文件以“mpeg”“avi”等作为扩展名,声音文件常用“Wav”等作为扩展名;多媒体标题和文字解说;其他检索关键字段,如某些Web页的页标题,由人工选择或指定的某些标引多媒体信息内容的关键词等。

然后对这些反映该信息外部特征的关键词进行文字著录或标引,建立类似于文本文献的标引著录数据库,从而将多媒体信息检索转变成对上述关键词的检索。在这种检索方式中,多媒体信息与数据库中的特定字段(如VFP中的通用字段、Access中的OLE对象等)建立链接,从而可以通过检索这些数据库中的文本关键字段来获取多媒体信息。这是目前组织多媒体信息的常用方法。

2.基于内容特征的检索方式

每一种多媒体数据都具有难以用符号化方法描述的信息线索,如图像中的颜色、对象分布,视频中的运动、事件、音频中的音调等。当用户希望利用这些信息线索对数据进行检索时,由于传统的数据库检索采用基于关键词的检索方式,一方面,在许多情况下媒体内容难以用仅有的几个关键词来充分描述,而且作为关键词图像特征的选取也有很大的主观性;另一方面,用户很难将这些信息线索转化为某种符号的形式。

基于内容特征的多媒体信息检索正是为克服这一缺陷而产生的,它要求数据库系统能够对多媒体数据进行内容语义分析,以达到更深的检索层次。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈