随着计算机技术及网络通讯技术的发展,使多媒体数据库的规模迅速膨胀,文本、数字、图形、图像、音频、视频等各种超大规模的多媒体信息检索十分重要。对于图像检索和音视频检索,需要经过计算机处理、分析和解释后才能得到它们的语义信息,这是当前多媒体检索正在努力的方向。针对这个问题,人们提出了基于内容的多媒体检索方法,利用多媒体自身的特征信息(如图像的颜色、纹理、形状,视频的镜头、场景等)来表示多媒体所包含的内容信息,从而完成对多媒体信息的检索。
数字媒体内容搜索技术
随着计算机技术及网络通讯技术的发展,使多媒体数据库的规模迅速膨胀,文本、数字、图形、图像、音频、视频等各种超大规模的多媒体信息检索十分重要。对于图像检索和音视频检索,需要经过计算机处理、分析和解释后才能得到它们的语义信息,这是当前多媒体检索正在努力的方向。针对这个问题,人们提出了基于内容的多媒体检索方法,利用多媒体自身的特征信息(如图像的颜色、纹理、形状,视频的镜头、场景等)来表示多媒体所包含的内容信息,从而完成对多媒体信息的检索。
u搜索引擎存在的不足
(1)过分强调查全率,忽视了查准率的提高;
(2)搜索引擎的查询接口缺乏统一的标准,这使得用户在使用不同的搜索引擎时经常常采用不同的检索策略,增加了用户检索的负担;
(3)搜索引擎工作检索机能尚不能满足用户需求:如何处理如此繁重的任务并提高处理效率,是一个优秀的搜索引擎必须要考虑的问题。
由于存在以上问题,近年来在搜索引擎研究和应用领域出现了很多新的研究思想和技术:P2P搜索理念、信息检索Agent、后控词表技术、多媒体搜索引擎等。其中,多媒体搜索引擎目的是使用户能够像查询文字信息那样方便快捷地对多媒体信息进行搜索和查询,找出自己感兴趣的多媒体内容进行播放和浏览。
u多媒体搜索引擎特点
(1)从多媒体内容中获取信息,直接对图像、视频、音频内容进行分析,抽取其特征和语义,利用这些内容建立特征索引,从而进行多媒体搜索。
(2)基于内容的多媒体搜索不是采用传统的点查询和范围查询,而是进行相似度匹配。在相似度的计算中,采用欧氏和其它距离公式,甚至采用非距离的度量。
(3)基于内容的多媒体搜索实质是对大型数据库的快速搜索。多媒体数据库不仅数据量巨大,而且种类和数量繁多,所以必须能实现对大型库的快速搜索。
目前,基于内容的图像检索的研究主要集中在特征层次上,根据图像的低层可视内容特征,如颜色、纹理、形状、空间关心等,建立图像的索引,计算查询图像和目标图像的相似距离,按相似度匹配进行检索。该检索技术从提出到现在,在国内外已经取得了不少研究成果,开发了许多基于内容的图像检索原型系统。其中,具有代表性的系统有QBIC、VisualSeek、MARS、Virage等。
基于内容的音频检索是多媒体、数据库等技术前沿的研究方向之一,从上世纪90年代起成为了一个较为活跃的研究领域。所谓基于内容的音频检索,是指通过音频特征分析,对不同的音频数据赋以不同的语义,使具有相同语义的音频信息在听觉上保持相似。
u三个主要问题
(1)视频分割
从时间上确定视频的结构,对视频进行不同层次的分割,如镜头分割、场景分割、新闻故事分割等;
(2)高层语义特征提取
对分割出的视频镜头,提取高层语义特征。这些高层语义特征用于刻画视频镜头以及建立视频镜头的索引的边界。
(3)视频检索
在事先建立好的索引的基础上,在视频中检索满足用户需求(Query)的视频镜头。用户的需求通常由文字描述和样例(图像样例、视频样例、音频样例)组合构成。
对视频信息进行处理,首先需要将视频按照不同的层次分割成若干个独立的单元,这是对视频进行浏览和检索的基础。视频分割必须考虑视频之间在语义上的相似程度。已有的场景分割算法考虑了结合音频信息来寻找场景的边界。