一种基于机器人视觉平台的视频检索方法
【专利摘要】本发明公开了一种基于机器人视觉平台的视频检索方法。该方法包括：双目摄像头采集视频片段，并将所述视频片段传送给视频处理系统；视频处理系统提取所述视频片段中每一个视频帧的视频指纹，具体的，将所述每一个视频帧的分辨率调整为320，检测视频帧中的特征点，围绕所述特征点检测局部图像，获取所述局部图像中所有可使用的最强特征点，将所述最强特征点用64维灰度和16维彩色来描述，并建立灰度和色彩视觉词库；依据灰度和色彩视觉词库，对所述视频指纹进行检索。本发明中，利用双目摄像头采集视频片段，提高了视频检索的准确性和灵活性，方便了用户进行视频自动获取与检索，通过建立视觉词库节省了每次检索的时间，提高了检索效率。
【专利说明】-种基于机器人视觉平台的视频检索方法
【技术领域】
[0001] 本发明设及视频识别领域，尤其设及一种基于机器人视觉平台的视频检索方法。
【背景技术】
[0002] 机器人视觉平台，简称Robo巧ye，是一款机器人视觉检索系统，采集机器人或智能 设备采集视觉数据并反馈给机器人或智能设备有价值的知识信息。上个世纪90年代W来， 出现了基于内容的视频分析和检索研究，其目的就是通过对视频内容进行计算机处理、分 析和理解，建立结构和索引，W实现方便有效的视频信息获取。因此，基于内容的视频分析 与检索研究从一开始就得到了广泛的重视，并取得了丰硕的研究成果。
[0003] 基于内容的视频分析从提出到现在，大致经历过3个阶段。第一阶段的研究主要 集中在视频结构的分析和浏览上，其中设及的关键技术有镜头边界检测、关键帖提取和场 景的合并。第二阶段的研究主要围绕相似性检索展开，核屯、问题是特征的提取和特征空间 距离的量度。前两个阶段的研究在一定程度上解决了视频检索和浏览的问题.并对视频管 理和获取技术进行了有价值的探索。第=阶段的工作提出了面向语义的信息提取，该也是 目前基于内容视频分析研究的热点。该阶段工作的根本目标是构建从底层特征到高层语义 之间的桥梁，最终形成符合人类思维形式的信息索引和检索方式。
[0004] 视频镜头的检测
[0005] 镜头检测的关键是确定从镜头到镜头的转换处，并利用镜头之间的转换方式找到 镜头图像之间的差别，镜头之间的转变包括切变、渐变和数字特技，针对不同的情况往往需 要使用不同的算法。其中切变检测的算法最为成熟，渐变和数字特技的检测算法往往依赖 一定的先验假设，技术还有待进一步完善。常用的自动镜头检测方法主要有W下几种：
[0006] (1)基于像素的镜头检测方法，利用视频两帖对应像素之间的差别来检测镜头边 界，该种方法的缺点在于容易受到噪声的影响；
[0007] (2)基于像素平均值，方差等统计特征的镜头检测方法；
[000引 （3)基于视频特征的镜头检测方法，包括基于边缘特征的比较方法（提取视频 每帖图像的边缘特征，通过检测边缘的突然变化来确定边界），采用颜色比率特征（Color RatioFea化re)的方法、基于光流特征的方法等，该些方法的计算复杂性都比较大；
[0009] (4)基于直方图的镜头检测方法，此方法利用视频帖图像的灰度直方图或者颜色 直方图的比较来检测边界，在镜头检测的精度和速度之间达到了较好的平衡，因此使用最 为普遍。
[0010] 关键帖提取
[OCm] 在镜头分割W后，为提供给用户浏览.一般要进行镜头关键帖化ey化ame)的提 取工作。一个镜头的关键帖就是反映该镜头主要内容的一帖图像或若干帖图像。关键帖的 选取一方面必须能够反映镜头中的主要事件，因而描述应尽可能完全律确；另一方面，为便 于管理，数据量应尽量小，且计算不宜太复杂。关键帖提取方法主要包括W下几种：
[0012] (1)最简单的关键帖提取方法是提取镜头固定位置上的帖作为关键帖。例如第一 帖、中间帖或最后一帖，或者相隔固定帖数采样一帖，该种方法操作简单，但不够灵活，因此 不能有效地反映镜头内容；
[0013] (2)较为复杂的方法包括基于内容复杂性、镜头活动性等特征来提取关键帖，该些 方法能较为准确地反映镜头内容；
[0014] (3)较理想的方法是通过分析视频视觉内容（颜色直方网、运动信息）随时间的变 化情况，确定所需关键帖的数日，并按照一定的规则为镜头抽取关键帖；
[0015] (4)还有一种常用的关键帖提取方法是采用图像拼接（Mosaic)技术，也称全景图 生成技术，即对分割得到的镜头各帖进行拼接，融合镜头中多帖的背景信息，生成一个全景 的拼接图像束代表视频片断的内容，虽然全景图能较为全面地反映镜头内容，但由于算法 对前景运动的敏感，该种技术的应用受到一定的限制，还有其他方法，例如用无监督聚类技 术来选择关键帖等。
[0016] 基于内容的相似性检索
[0017] 目前的视频检索主要依赖视频内容的相似性，称相似性检索。相似性检索要求用 户提交感兴趣的视频片断，检索过程将样本片断与视频库中的其它片断作相似性比较，并 按相似性大小返回检索结果。视频相似性检索的研究主要解决两个问题：如何提取反映视 频内容的特征；如何度量特征之间的相似性。
[001引在特征提取方面，目前的视频检索技术主要是从传统的图像检索技术直接或问接 地继承过来的，颜色、纹理和形状是图像检索中广泛使用的底层特征，相应地，它们也是视 频检索中十分重要的特征。但是，视频并不是简单的同像序列，相邻视频帖之间表现出非常 强的相关性。在近期研究中，越来越多的工作开始利用视频的运动信息为视频检索提供时 序线索，视频检索中使用的运动信息主要有物体运动轨迹、块运动矢量的主分量、时序纹理 和摄像机运动几种在相似性量度方面。相似性量度一般可W分为局部匹配和全局匹配两 种，局部相似性量度方法利用了视频片断间的时序关系，但仅局限在简单的线性关系上，更 有计算复杂的缺点；相反全局相似性量度方法具有索引信息少、检索速度快等优点。但却对 视频的时序关系缺乏描述，因此，更复杂的相似性量度方法被提出，例如运动物体轨迹、基 于流形假设的最短特征线等。
[0019] 基于内容的视频检索一直是计算机科学研究的热点和难点问题。目前该技术仍然 只是对底层特征的检索，与人们思维中的高层语义概念相去甚远，如何跨越语义鸿沟还需 要做更多的研究。
【发明内容】
[0020] 本发明提供了一种基于机器人视觉平台的视频检索方法，提高了视频检索的准确 性和灵活性，方便了用户进行视频自动获取与检索，提高了检索的效率。
[0021] 本发明的目的是通过W下技术方案实现的：
[0022] 一种基于机器人视觉平台的视频检索方法，其特征在于，该方法包括：
[0023] 双目摄像头采集视频片段，并将所述视频片段传送给视频处理系统；
[0024] 视频处理系统提取所述视频片段中每一个视频帖的视频指纹，具体的，将所述每 一个视频帖的分辨率调整为320,检测视频帖中的特征点，围绕所述特征点检测局部图像， 获取所述局部图像中所有可使用的最强特征点，将所述最强特征点用64维灰度和16维彩 色来描述，并建立灰度和色彩视觉词库；
[0025] 依据灰度和色彩视觉词库，对所述视频指纹进行检索。
[0026] 所述视频指纹为一组灰度值有差别的非连续的关键帖。
[0027] 所述对视频指纹进行检索，包括；对视频中的关键帖、前后连续帖和指纹关键帖图 片进行检索。
[002引所述对视频中的关键帖、前后连续帖的检索包括，提取视频中的关键帖和前后连 续帖，比较图像碎片的位移向量，出现差别的位移向量即为运动中的物体。
[0029] 与现有技术相比，本发明实施例至少具有W下优点：
[0030] 本发明实施例中，利用双目摄像头的灵活、精确的特点采集视频片段，提高了视频 检索的准确性和灵活性，用户不需要复杂的操作也可W进行视频自动获取与检索，通过建 立视觉词库，极大节约了用户每次检索的时间，提高了检索的效率，通过利用本方法进行视 频的采集与检索，检索准确度高、灵活性大、操作方便。
【专利附图】
【附图说明】
[0031] 图1为本发明实施例提出的一种基于机器人视觉平台的视频检索方法的流程框 图。
【具体实施方式】
[0032] 如图1所示，为本发明实施例提出的一种基于机器人视觉平台的视频检索方法的 结构框图，包括：
[0033] 双目摄像头采集视频片段，并将视频片段传送给视频处理系统；视频处理系统提 取视频片段中每一个视频帖的视频指纹，具体的，将每一个视频帖的分辨率调整为320,检 测视频帖中的特征点，围绕特征点检测局部图像，获取局部图像中所有可使用的最强特征 点，将最强特征点用64维灰度和16维彩色来描述，并建立灰度和色彩视觉词库；依据灰度 和色彩视觉词库，对视频指纹进行检索。
[0034] 视频指纹为一组灰度值有差别的非连续的关键帖。视频指纹提取的过程如下：
[0035] 第一步，输入视频W-个固定的帖速率（每秒S帖）被重新采样，W应对帖速率的 变化。
[0036] 第二步中，每个重采样帖被转换为灰度，W使拟议的指纹识别方法足W抵抗色彩 的变化，该种方法不仅适用于彩色视频的剪辑，也适用于经典的黑白电影。
[0037] 第=步中，每个灰度帖的大小被调整，W使它的宽度和高度分别规范化为两个固 定的值；X，Y。该一步骤使拟议的指纹识别方法能抵抗任何一个因素引起的大小变化。
[003引第四步中，每个调整后的帖被分成了 N行和M列，形成了 N*M的矩阵。最后，矩阵 中的每一块都被计算出它的质屯、梯度方向，进而每一帖都得到了一个=维的指纹向量。
[0039] 上述的质屯、梯度方向为：在第k帖的坐标（X，y)位置处，用函数f (X，y，k)表示该 点的亮度值，坐标（x，y)的梯度定义为；^/ 二[GxGy] =[當當] 坐标（X，y) 的f函数变化最快的方向就是梯度方向。
[0040] G^= f [x+1, y, k]-f [x-1, y, k]
[0041] Gy= f [X，y+1，k]-f [X，厂1，k]
[0042] 梯度矢量f也可用幅度函数r[x，y，k]和相位函数0 [x，y，k]来代替。
[0043] 进一步的，对视频指纹进行检索，包括；检索视频中的关键帖、前后连续帖和指纹 关键帖图片。视频指纹进行检索过程包括：
[0044] (1)指纹模化
[0045] 在把拟议的指纹序列看作是一个平稳遍历过程的一次实现的前提下，指纹匹配有 可能出现问题。我们注意到，相似的分析已用于水印检巧U，音频和视频指纹检测中。首先， 一个指纹序列的所有质屯、（c[n，m，k]，InN，ImM，IkK}是由它们的均值和标准差进一步规范 的，规范后的指纹序列P是一个平均值为0,方差为1的随机过程。在满足各态历经的前提 下，自相关函数R和Q可W由实际的指纹序列的时间平均自相关函数估计出，并且它们也用 于在给定一个固定阔值时获得错误警报的概率。
[0046] (2)阔值T的确定
[0047] 快速而易计算的指纹匹配可W用欧式距离平方获得，用UD和oD分别表示距离 D的均值和标准差。在一般的假设下，距离D服从正态分布N( y D，0 '2D)。
[0048] 检索视频中的关键帖、前后连续帖包括，提取视频中的关键帖和前后连续帖，比较 图像碎片的位移向量，出现差别的位移向量即为运动中的物体，具体可参考化enCV运动捕 捉。
[0049] W上所述，仅为本发明较佳的【具体实施方式】，但本发明的保护范围并不局限于此， 任何熟悉本【技术领域】的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换， 都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该W权利要求书的保护范 围为准。
【权利要求】
1. 一种基于机器人视觉平台的视频检索方法，其特征在于，该方法包括： 双目摄像头采集视频片段，并将所述视频片段传送给视频处理系统； 视频处理系统提取所述视频片段中每一个视频帧的视频指纹，具体的，将所述每一个 视频帧的分辨率调整为320,检测视频帧中的特征点，围绕所述特征点检测局部图像，获取 所述局部图像中所有可使用的最强特征点，将所述最强特征点用64维灰度和16维彩色来 描述，并建立灰度和色彩视觉词库； 依据灰度和色彩视觉词库，对所述视频指纹进行检索。
2. 如权利要求1所述的视频检索方法，其特征在于，所述视频指纹为一组灰度值有差 别的非连续的关键帧。
3. 如权利要求1所述的视频检索方法，其特征在于，所述对视频指纹进行检索，包括： 检索视频中的关键帧、前后连续帧和指纹关键帧图片。
4. 如权利要求3所述的视频检索方法，其特征在于，所述检索视频中的关键帧、前后连 续帧包括，提取视频中的关键帧和前后连续帧，比较图像碎片的位移向量，出现差别的位移 向量即为运动中的物体。
【文档编号】G06T7/20GK104504162SQ201510028271
【公开日】2015年4月8日 申请日期:2015年1月21日 优先权日:2015年1月21日
【发明者】邵可佳 申请人:北京智富者机器人科技有限公司