首页 理论教育 视频结构化描述和语义网简介

视频结构化描述和语义网简介

时间:2023-06-29 理论教育 版权反馈
【摘要】:视频资源层的语义互联在海量的视频资源层,语义网中的语义数据互联模型、开放数据互联模型等技术可以用来对视频进行基于语义关系的组织等。视频结构化描述的目的是构建视频内容的语义网络。如同语义网是建立在一系列技术标准和规范之上的一样,视频结构化描述也是建立在一系列标准和规范之上。

视频结构化描述和语义网简介

视频结构化描述应该包含以下三个层次:

(1)单一视频模式识别层 模式识别层主要针对单个视频的对象识别、对象之间关系识别,结合相应的语义技术,提高视频理解、模式识别的准确度。

(2)海量视频语义互联层 视频语义互联层主要针对视频与视频之间语义关系进行互联,海量的视频通过彼此之间的语义关系进行组织并进行管理。

(3)业务需求层 业务需求层主要针对特定业务的视频集合,一个业务需求犹如一个事件,聚集了很多的相关视频。业务需求与业务需求之间也可以按照彼此的语义关系进行互联。

视频结构化描述的三层架构如图7-4所示。从图7-4可以看出视频结构化描述架构分为三个自底向上的层次。模式识别层将视频拆分成相应的语义要素以及这些语义要素之间的语义关系。语义要素的集合构成了视频,视频与视频之间也按照彼此的语义关系进行互联与组织。视频资源的集合也构成了业务需求或者说是事件,事件与事件之间也可以通过彼此的语义关系进行互联和组织。视频结构化描述按照:业务—视频—要素三个层次构成。

图7-4 视频结构化描述架构层次图

基于提出的视频结构化描述关键技术与视频监控技术领域存在的3个问题,视频结构化描述中的关键问题为:

(1)模式识别层的规范重构 在视频的模式识别层,语义网技术中的本体模型、资源描述框架等技术可以用来对视频资源中的语义信息进行表示,并可以辅助视频模式识别结果的准确性等。

(2)视频资源层的语义互联 在海量的视频资源层,语义网中的语义数据互联模型、开放数据互联模型等技术可以用来对视频进行基于语义关系的组织等。

(3)业务需求层的智能聚融 在业务需求层,语义网中的规则挖掘、知识推理等技术可以用来准确地描述、挖掘业务需求,并将相应的视频资源反馈到实际的业务需求。

模式识别层的规范重构中,具体的语义元数据规范及其相应的技术如图7-5所示。(www.xing528.com)

图7-5 模式识别层的语义数据规范示意图

安防领域实际应用中,对于监控视频的理解要满足公安业务的特殊需求——特定的目标、丰富的特征、不同的行为事件以及分析过程柔性化和结果的及时、准确和高效。为此,在视频理解过程中,要充分利用目标和场景的各种结构化知识和模型,提高视频内容语义化的精度和自动化程度,提升内容语义化的层次,这也是视频结构化描述的重点和难点。

视频结构化描述的目的是构建视频内容的语义网络。在此视频内容语义网络,实现时空域内视频内容的全面感知,并通过网络化的语义内容,对视频理解的内容进行深度挖掘和推理。视频内容语义网是VSD的目的,同时也是实现VSD的手段。视频语义网涵盖两个层次:第一个层次为领域本体与本体、本体与属性特征、本体与衍生本体的相互连接形成的网络;第二个层次为跨时空域视频图像构成的信息网络。语义化和语义关联推理渗透在这两个层次中。

因此,视频结构化描述表现为在本体领域知识网络的指导下,对视频图像进行深度理解,生成实例化的本体网络,相互联系的本体实例把推理结果反馈到视频理解过程中,最终得到最优的视频内容语义化网络,如图7-6所示。

在上述基于结构化知识的视频理解的过程中存在3个关键点:

(1)领域本体知识网络 即视频内容本体及关系的全部集合。这里所说的视频内容本体既包括兴趣本体,也包括衍生出的非兴趣本体,还包括本体具体到抽象、局部到全局、底层到高层的所有特征;而关系则包括特征到特征、本体到本体、本体到特征之间的所有静态和动态的联系以及本体的各种事件行为描述。从一定意义上讲,视频理解是领域范围内的内容分析,不存在脱离领域知识的视频理解。

图7-6 基于结构化知识的视频理解

(2)视频理解(VSD)所使用的方法和模型 VSD的过程侧重于各类各层次的领域知识的利用,在VSD过程中,对于视频内容的分析理解都是在领域知识的指导下完成的。这里的领域知识不仅仅是领域本体知识网络,还包括一系列的标准和规范。如同语义网是建立在一系列技术标准和规范之上的一样,视频结构化描述也是建立在一系列标准和规范之上。

(3)知识推理及反馈 VSD的结果是相互连接、互为约束的。通过结构化视频理解的结果,形成了与业务领域知识同构的结构化树,这些结构化树使得跨时空域的知识推理成为可能。反之,通过知识推理可进一步挖掘视频图像内容,并反馈到视频理解的过程中,从而提高视频理解的精度与深度。

以上3个部分相互联系构成统一整体,视频内容在知识模型、结构化和反馈迭代过程中实现目标的深入描述和理解。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈