专利名称：运动检测装置及搜索区域形状可变运动检测器的制作方法
技术领域：
本发明涉及生成运动矢量的运动检测装置，适合于采用运动补偿的图象编码方式，例如，MPEG1、MPEG2、MPEG4等。
背景技术：
作为确定搜索范围的传统的运动(矢量)检测装置，在专利文献1中公开了视频编码装置中的最佳运动矢量搜索部。
该最佳运动矢量搜索部具有搜索范围确定部及预测运动矢量周边搜索部，搜索范围确定部根据从外部的控制部提供的容许运算量，求出搜索范围的大小。预测运动矢量周边搜索部，从已经求出的运动矢量的分散求出搜索范围的形状，将该形状的大小作为用上述搜索范围确定部所确定的大小，确定搜索范围的形状及大小。
特开平11-252571号公报传统的运动检测装置中，由于搜索区域(搜索范围)的大小根据容许运算量变化，因而装置的处理能力无法充分发挥的搜索范围的大小被确定，导致无法高效生成运动矢量的问题。
本发明鉴于解决上述问题而提出，以获得可高效生成运动矢量的运动检测装置。
发明内容
本发明的运动检测装置，生成成为编码对象的图象数据中的运动矢量，它具备全体运动信息生成器，生成指示由上述图象数据所规定的图象的全体运动的全体运动信息；以及搜索区域形状可变运动检测器，根据上述全体运动信息将搜索形状确定为确定搜索形状，设定具有根据该确定搜索形状及自身的运算能力而确定的区域面积的搜索区域，通过在该搜索区域内对上述图象数据中的现图象和参照图象进行比较运算而生成运动矢量。上述确定搜索形状在规定的定时随着上述全体运动信息的变化而变化。
本发明的搜索区域形状可变运动检测器，检测作为编码对象的图象数据中的运动矢量，它包括搜索区域形状控制部，接受表示图象的全体运动的全体运动信息，根据该全体运动信息将搜索形状确定为确定搜索形状，设定具有根据该确定搜索形状及规定的运算能力所确定的区域面积的搜索区域，输出用于依照该搜索区域而以规定单位选择上述图象数据中的现图象及参照图象中的至少一个图象的选择信号；以及运动检测部，根据上述选择信号，通过对上述图象数据中的上述参照图象和上述现图象进行比较运算而检测上述运动矢量。上述规定的运算能力包含上述运动检测部的运算能力。
图1是本发明的实施例1的运动检测装置的构成的方框图。
图2是图1的搜索区域形状可变运动检测器的内部构成的方框图。
图3是参照图象数据SW和现图象数据TMB的选择控制内容与搜索区域的形状的关系例(之一)的说明图。
图4是参照图象数据SW和现图象数据TMB的选择控制内容与搜索区域的形状的关系例(之二)的说明图。
图5是参照图象数据SW和现图象数据TMB的选择控制内容与搜索区域的形状的关系例(之三)的说明图。
图6是图2的搜索区域形状控制部所确定的搜索形状的例的说明图。
图7是本发明的实施例2的MPEG2视频编码装置的构成的方框图。
图8是表示根据监视摄象机的移动角度和焦点距离、被摄体的移动距离的差异的说明图。
图9是本发明的实施例3的运动检测装置的搜索区域形状控制部所确定的搜索形状例的说明图。
图10是本发明的实施例4的运动检测装置的搜索区域形状控制部所确定的搜索形状例的说明图。
图11是本发明的实施例5的运动检测装置中的搜索形状的实现例(之一)的说明图。
图12是本发明的实施例5的运动检测装置中的搜索形状的实现例(之二)的说明图。
图13是本发明的实施例6的运动检测装置中的搜索形状的实现例(之一)的说明图。
图14是本发明的实施例6的运动检测装置中的搜索形状的实现例(之二)的说明图。
图15是用表形式说明由实施例7的运动检测装置中的搜索区域形状控制部根据全体运动信息进行搜索区域的选择的说明图。
图16是实施例8的搜索区域形状控制部所确定的搜索形状的例的说明图。
图17是实施例9中的图象上的宏块的说明图。
图18是图17的宏块(之一)的搜索区域的说明图。
图19是图17的宏块(之二)的搜索区域的说明图。
图20是图17的宏块(之三)的搜索区域的说明图。
图21是本发明的实施例10的运动检测装置的构成的方框图。
图22是由全体运动信息生成器执行全体运动信息的生成处理的顺序的流程图。
图23是图22的步骤ST1的处理的详细流程图。
图24是图22的步骤ST2的详细流程图。
图25是本发明的实施例10的MPEG2视频编码装置的构成的方框图。
图26是本发明的实施例10的其他MPEG2视频编码装置的构成的方框图。
图27是实施例11中的搜索区域形状可变运动检测器的内部构成的方框图。
图28是参照图象数据SW和现图象数据TMB的选择控制内容与搜索区域的形状的关系例(之一)的说明图。
图29是参照图象数据SW和现图象数据TMB的选择控制内容与搜索区域的形状的关系例(之二)的说明图。
图30是参照图象数据SW和现图象数据TMB的选择控制内容与搜索区域的形状的关系例(之三)的说明图。
图31是实施例12的特征的说明图。
1、130运动检测装置，2搜索区域形状可变运动检测器，3、4全体运动信息生成器，5监视摄象机，7搜索区域形状可变运动检测部，1 MPEG2视频编码装置，21、23搜索区域形状控制部，22、24运动检测部，41～43、61～63、71～75、104、105搜索形状，81、82、91、92搜索区域，111～113宏块。
具体实施例方式
实施例1图1是本发明的实施例1的运动检测装置的构成的方框图。如同图所示，运动检测装置1由搜索区域形状可变运动检测器2及全体运动信息生成器3构成。全体运动信息生成器3控制外部的图象拍摄部即监视摄象机5。
全体运动信息生成器3将监视摄象机5的控制信息(动作方向、移动角速度、焦点距离等)作为全体运动信息S3提供给搜索区域形状可变运动检测器2。
例如，监视摄象机5一般通过微控制器的控制信息来控制运动。从而，具有上述微控制器的机能的全体运动信息生成器3，可以将上述控制信息本身作为全体运动信息S3提供给搜索区域形状可变运动检测器2。该控制信息成为表示由监视摄象机5拍摄的图象数据所规定的图象的全体运动的信息。
图2是表示搜索区域形状可变运动检测器2的内部构成的方框图。如同图所示，搜索区域形状可变运动检测器2由搜索区域形状控制部21及运动检测部22构成。搜索区域形状控制部21根据由全体运动信息生成器3获得的全体运动信息S3来确定搜索区域的形状，设定具有根据确定的搜索形状及运动检测部22的运算能力所确定的区域面积的搜索区域，向运动检测部22输出用以实现该搜索区域的现图象选择信号S11及参照图象选择信号S12，以及其他选择信号S13。
另外，搜索区域是指用以检测运动矢量的画面的一部分所对应的区域，区域面积是指搜索区域的面积，搜索形状是指搜索区域的形状。另外，现图象是成为编码对象的图象，参照图象是与现图象相比在时间上超前或落后的图象，用于与现图象进行比较。通过比较现图象和参照图象的各个象素值，算出运动矢量。运动矢量是表现帧间等的局部图象的运动的大小和方向的矢量。
运动检测部22接受由监视摄象机5获得的图象数据中的参照图象数据SW及现图象数据TMB(通常，在对图象数据进行编码处理时获得)，在根据现图象选择信号S11及参照图象选择信号S12确定的搜索区域内，执行参照图象数据SW和现图象数据TMB的比较运算处理，根据该比较结果输出运动矢量mv。
图3～图5是表示参照图象数据SW和现图象数据TMB的选择控制内容与其结果所获得的搜索区域的形状的关系例的说明图。这些例中，假定用参照图象数据SW及现图象数据TMB可选择的16×16象素等所构成的宏块各为4个，运动检测部22的运算能力为8个循环，在一个循环中可以执行参照图象数据SW及现图象数据TMB间的一个宏块单位的比较。图3～图5中，参照图象SW1～SW4是纵方向邻接的宏块，现图象TMB1～TMB4是横方向邻接的宏块。另外，通过允许部分重复参照图象SW1～SW4的间隔而使之变狭窄，可以使形成搜索区域的基本单位比宏块小，可以令搜索区域的基本单位最小为一个象素单位。
如图3所示，第1选择例31中，通过分别对参照图象SW1、SW2执行4个现图象TMB1～TMB4的比较运算处理，用横向的矩形确定区域面积为8个宏块的搜索区域35。
如图4所示，第2选择例32中，通过分别对参照图象SW1～SW4执行2个现图象TMB2、TMB3的比较运算处理，用纵向的矩形确定区域面积为8个宏块的搜索区域36。
如图5所示，第3选择例33中，对参照图象SW1执行2个现图象TMB1、TMB2的比较运算处理，分别对参照图象SW2、SW3执行2个现图象TMB2、TMB3的比较运算处理，对参照图象SW4执行2个现图象TMB3、TMB4的比较运算处理，从而，用右下斜形状确定区域面积为8个宏块的搜索区域37。
图6是表示用搜索区域形状控制部21确定的搜索形状的例的说明图。如同图所示，从横向矩形的搜索形状41、正方形的搜索形状42及纵向矩形的搜索形状43的3种矩形的搜索形状中选择任一搜索形状。
搜索区域形状控制部21接受全体运动信息S3，例如，全体运动信息S3指示偏向水平方向时选择搜索形状41，全体运动信息S3指示偏向垂直方向时选择搜索形状43，全体运动信息S3指示不偏向水平方向及垂直方向时选择搜索形状42。另外，上述的内容只是搜索形状的一个选择例，搜索形状的数目、搜索形状的选择内容不限于上述内容。
另外，搜索区域形状控制部21更新搜索形状的定时以画面(1幅画面)为单位。例如，判断为横方向(水平方向)的运动多的最初5幅画面用搜索形状41搜索，运动减缓的后续10幅画面用搜索形状42搜索，然后，判断为纵方向(垂直方向)的运动多的3幅画面用搜索形状43搜索。令作为这样的搜索形状的更新定时的最小控制单位为图象数据的画面单位。
这样，由于具有由监视摄象机5的运动相关的控制信息即全体运动信息S3所确定的搜索形状的搜索区域用画面单位更新的同时算出运动矢量mv，因而实施例1的运动检测装置可通过高效处理来获得精度高的运动矢量mv。
而且，通过根据运动检测部22的运算能力来设定搜索区域的区域面积，即使选择的搜索形状变化，也可以总是设定适于运动检测部22的运算能力的区域面积的搜索区域。换言之，实施例1可以在保证一定的搜索区域的区域面积(运算量)的同时，根据全体运动信息S3改变搜索形状。
另外，除了实施例1的搜索形状的更新，还可以综合移动相对于搜索区域的基准点的方向等。
另外，实施例1中说明了由搜索区域形状可变运动检测器2及全体运动信息生成器3组成的运动检测装置1，但是搜索区域形状可变运动检测器2也可以作为单体，通过从外部接受全体运动信息S3，也可如上述地通过高效处理来获得精度高的运动矢量mv。
实施例2图7是本发明实施例2的MPEG2视频(/音频/系统)编码装置10的结构方框图。实施例2中说明了这样的示例，即监视摄象机5的控制装置(全体运动信息生成器3)和图象的编码装置分离，与实施例1的搜索区域形状可变运动检测器2相当的搜索区域形状可变运动检测器7是MPEG2视频编码装置10的一部分。
该构成中，来自全体运动信息生成器3的全体运动信息S3经由主机接口11传送到搜索区域形状可变运动检测器7。
以下，说明MPEG2视频编码装置10的内部构成。主机接口11将从全体运动信息生成器3获得的全体运动信息S3传送到(处理器)总线27、(主机)总线28。
DSP部12与总线28连接，执行各种数字信号处理。视频接口13与总线27～29连接，对视频输入SV1及视频输出SV0进行对接处理。
环路内处理部14与总线27～29连接，执行正交变换、量子化、逆量子化、逆正交变换等的环路内处理，量子化后的信号提供给可变长度编码部15。
可变长度编码部15与总线27～29连接，根据环路内处理部14获得的信号执行可变长度编码处理。
参照图象数据SW，是视频输入SV1经由视频接口13在环路内处理部14处理后，经由DRAM接口18存储到外部DRAM结构的预测存储器(未图示)的数据。
现图象数据TMB，视频输入SV1经由视频接口13和DRAM接口18存储到上述预测存储器的数据。从而，搜索区域形状可变运动检测器7可经由DRAM接口18从预测存储器获取参照图象数据SW及现图象数据TMB。
在基于经由主机接口11获得的全体运动信息S3的搜索区域内，搜索区域形状可变运动检测器7经由DRAM接口18执行参照图象数据SW及现图象数据TMB的比较运算处理，从而与实施例1的搜索区域形状可变运动检测器2同样，算出运动矢量mv。
比特流接口16与总线27～29连接，按照规定的编码数据的传送顺序输出比特流信号BS0。
音频接口17与总线27～29连接，对音频输入SA1执行对接处理。
DRAM接口18与总线27～29连接，对上述预测存储器中的输入输出数据执行对接处理。
全体控制部19控制除主机接口11及DSP部12外的各构成部2、13～18的动作。
这样的构成中，搜索区域形状可变运动检测器7根据从外部的全体运动信息生成器3获得的全体运动信息S3，算出运动矢量mv，根据该运动矢量mv执行MPEG2视频编码装置10的编码处理。从而，可获得与实施例1同样的效果。
另外，可以考虑将监视摄象机5的动作方向和角速度及焦点距离等作为全体运动信息S3。即使在同一角速度下，运动的范围也因焦点距离而异，因而为了获得适当的搜索形状，焦点距离成为重要的信息。
图8是表示根据监视摄象机5的移动角度和焦点距离、被摄体的移动距离的差异的说明图。
如同图所示，被摄体为焦点距离L1的画面181时，当监视摄象机5移动角度θ时，画面181的移动小，而被摄体为焦点距离L2(＞L1)的画面182时，当监视摄象机5移动角度θ时，画面182的移动大。即，焦点距离越远，同一角度的移动所对应的画面内的移动幅度越幅大。因而，作为全体运动信息S3，可明白焦点距离的信息是重要的信息。
实施例3图9是本发明的实施例3的运动检测装置的搜索区域形状控制部21所确定的搜索形状例的说明图。另外，全体构成可以是图1、图2所示实施例1的构成或图7所示实施例2的构成。
如图9所示，采用菱形作为搜索形状的基本形状。搜索形状61是横向的菱形，搜索形状62是纵向及横向大致相等的菱形，搜索形状63是纵向的菱形。具有这些搜索形状61到63之一的搜索区域由例如一个象素为构成基本单位来实现。
实施例3中的搜索区域形状控制部21接受全体运动信息S3，例如，全体运动信息S3指示偏向水平方向时选择搜索形状61，全体运动信息S3指示偏向垂直方向时选择搜索形状63，全体运动信息S3指示不偏向水平方向及垂直方向时选择搜索形状62。其他动作与实施例1相同。
从而，实施例3的运动检测装置具有与实施例1同样的效果。而且，实施例3的运动检测装置，通过用菱形确定搜索形状的基本形状，与搜索形状的基本形状采用矩形的实施例1相比，在区域面积(运算量)相同的场合，可确定偏向程度更大的搜索区域，因而可以更有效地计算运动矢量mv。另外，以一个象素为基本单位实现搜索区域时，可确定形状精度高的菱形的搜索区域。
另外，实施例3中说明了3种搜索形状，但是不限于此，可以确定任意的n(＞1)种中的一种。
实施例4图10是本发明的实施例4的运动检测装置的搜索区域形状控制部所确定的搜索形状例的说明图。另外，全体构成也可以是图1、图2所示实施例1的构成或图7所示实施例2的构成。
如图10所示，采用平行四边形(包括矩形)作为搜索形状的基本形状。搜索形状71、72是偏左上的平行四边形，搜索形状73是矩形，搜索形状74、75是偏右上的平行四边形。具有这些搜索形状71～75之一的搜索区域由例如以一个象素为基本单位来实现。
实施例4中，搜索区域形状控制部21接受全体运动信息S3，例如，全体运动信息S3指示偏左上或右下方向时，选择搜索形状71、72之一，全体运动信息S3指示偏右上或左下时，选择搜索形状74、75之一，全体运动信息S3指示都不偏向左上、右下、右上、左下方向时，选择搜索形状73。其他动作与实施例1相同。
从而，实施例4的运动检测装置具有与实施例1同样的效果。而且，实施例4的运动检测装置通过用平行四边形确定搜索形状的基本形状，对于监视摄象机5的拍摄画面中的斜方向的运动，可以更有效地计算运动矢量mv。另外，以一个象素为基本单位来实现搜索区域时，可确定形状精度高的平行四边形的搜索区域。
另外，实施例4中，说明了5种搜索形状，但是不限于此，可以确定任意的n(＞1)种中的一种。
实施例5
图11及图12是本发明的实施例5的运动检测装置中的搜索形状的实现例的说明图。实施例5中，以宏块为基本单位实现实施例3中搜索形状为菱形的搜索区域。
如这些图所示，由小正方形的宏块MB模拟实现菱形的搜索区域。图11所示搜索区域81是由宏块MB模拟实现横向的菱形(与图9的搜索形状61相当)的例，图12所示搜索区域82是由宏块MB模拟实现纵向及横向大致均等的菱形(与图9的搜索形状62相当)的例。
图11及图12中，宏块MB的数目共48个。即，搜索区域81及搜索区域82是用相同运算能力(区域面积)可实现的区域。
由于基本的动作与实施例3相同，因而实施例5的运动检测装置具有与实施例3同样的效果。即，实施例5的运动检测装置与实施例3同样，通过同一运算能力可确定偏向程度更大的搜索区域，因而可以更有效地计算运动矢量mv。另外，由于以一个宏块为基本单位来实现搜索区域，因而与以一个象素为基本单位的搜索区域的情况相比，有对参照图象SW和现图象TMB进行比较的控制内容变得容易的优点。
另外，实施例5中，说明了2种搜索形状，但是不限于此，可以确定任意的n(＞1)种中的一种。
实施例6图13及图14是本发明的实施例6的运动检测装置中的搜索形状的实现例的说明图。实施例6中，以宏块为基本单位实现实施例4的平行四边形的搜索区域。
如这些图所示，由宏块MB模拟实现平行四边形的搜索区域。图13所示搜索区域91是由宏块MB模拟实现右上倾斜比较缓的平行四边形(与图10的搜索形状74相当)的例，图14所示搜索区域92是由宏块MB模拟实现左上倾斜比较急的平行四边形(与图10的搜索形状71相当)的例。
图13及图14中，宏块MB的数目共48个。即，搜索区域91及搜索区域92是用相同运算能力可实现的区域。
由于基本的动作与实施例4相同，因而实施例6的运动检测装置具有与实施例4同样的效果。即，实施例6的运动检测装置与实施例4同样，对于监视摄象机5的拍摄画面中的斜方向的运动，可以更有效地计算运动矢量mv。另外，由于以一个宏块为基本单位来实现搜索区域，因而与以一个象素为基本单位的搜索区域的情况相比，有对参照图象SW和现图象TMB进行比较的控制内容变得容易的优点。
另外，实施例6中，说明了2种搜索形状，但是不限于此，可以确定任意的n(＞1)种中的一种。
实施例7实施例1到实施例6中，将一个基本形状(矩形、菱形、平行四边形之一)的多种搜索形状之一确定为搜索形状，而实施例7中，将多种基本形状中的任一基本形状确定为搜索形状。
图15是用表形式说明由实施例7的运动检测装置中的搜索区域形状控制部根据全体运动信息S3进行搜索区域的选择的说明图。
如同图所示，根据全体运动信息S3所示的运动方向、运动的大小确定搜索形状。例如，运动方向在水平/垂直方向上其运动的大小比较大时(用矩形难以实现时)选择菱形，运动方向在水平/垂直方向上比较小时(用矩形可实现时)选择矩形。另一方面，运动方向为倾斜方向时，选择平行四边形。
除搜索形状的确定动作外，基本的动作与实施例1同样，因而实施例7的运动检测装置具有与实施例1同样的效果。而且，实施例7的运动检测装置通过根据全体运动信息S3来改变搜索区域的基本形状，对获得的全体运动增加可相适应的基本形状的变量，因而，可通过更高效的处理算出精度高的运动矢量mv。另外，用以实现搜索区域的基本单位可以是象素单位或宏块单位。
另外，实施例7中，说明了可选择的基本形状为3种，但是不限于此，可以确定任意的m(＞1)种基本形状中的一种。
实施例8实施例1中，使搜索精度一定来确定搜索形状，但是实施例8中，使搜索精度也作为一个要素来确定搜索形状。
图16是搜索区域形状控制部21所确定的搜索形状的例的说明图。如同图所示，与图6所示实施例1同样，从搜索形状41、搜索形状42、搜索形状43以及区域面积为搜索形状41～43的2倍(搜索精度为一半)的搜索形状104、搜索形状105中选择任一搜索形状。
搜索形状104、105是设定成搜索区域用的搜索形状41～43的2倍大小，而搜索精度设定成搜索形状41～43的一半的形状。例如搜索形状41～43的搜索精度若设定成一个象素单位，则搜索形状104、105的搜索精度设定成2个象素单位(内插一个象素)。从而，以同一运算量可以设定搜索形状41～43及搜索形状104、105之一的搜索区域。
除搜索形状的选择内容外，其他动作与实施例1相同，因而实施例8的运动检测装置具有与实施例1同样的效果。而且，实施例8的运动检测装置可以根据全体运动信息S3变更搜索精度。例如，在几乎没有全体运动的偏向时，与搜索精度相比，较重视区域面积，可以选择搜索形状104、105，而全体运动的偏向显著时，较重视搜索精度，可以选择搜索形状41～43。
即，实施例8的运动检测装置，由于对获得的全体运动相应地增加搜索区域的变量，可以通过更高效处理算出精度高的运动矢量mv。
另外，实施例8中，说明了2种可选择的搜索精度，但是不限于此，也可以确定任意的k(＞1)种基本形状中的任一种。
实施例9实施例1中，搜索区域(搜索形状)的更新定时(规定的定时)以画面为单位，但是实施例9中，不是以画面而是以片(slice)为单位(多个宏块单位)确定搜索形状及搜索区域(包含对基准点的方向)。
图17是图象110上的宏块的说明图。如同图所示，宏块111与画面的上端连接，宏块112处于画面的中央，宏块113与画面的下端连接。
图18～图20是对宏块111～113设定的搜索区域的说明图。另外，这里，假定全体运动信息生成器3输出的全体运动信息S3表示在水平方向的运动显著，在搜索区域形状可变运动检测器2的搜索区域形状控制部21内的寄存器等设定搜索区域。另外，令图18～图20的原点(X轴和Y轴的交点)为用以设定搜索区域的形成方向的基准点。
如图18所示，对包含宏块111的最上端的宏块群组成的片设定搜索区域121。宏块111位于画面的上端，由于负方向(画面的上方向)的垂直矢量不必要，因而仅仅对原点在正方向上设定搜索区域。
如图20所示，对包含宏块113的最下端的宏块群组成的片设定搜索区域123。宏块113位于画面的下端，由于正方向(画面的下方向)的垂直矢量不必要，因而仅仅对原点在负方向上设定搜索区域。
如图19所示，对包含宏块112的上述以外的片按照通常的方式，对原点在正负两方向均等地设定搜索区域122。
由于其他动作与实施例1同样，因而实施例9的运动检测装置具有与实施例1同样的效果。而且，实施例9的运动检测装置以片单位来改变搜索区域(包含来自原点的方向)的设定内容，因而可以通过更高效的处理算出高精度的运动矢量mv。
例如，如高速运转的汽车的司机目视画面的图象，对于上部区域从视点的中心急速向上方向移动，下部区域急速向下方向移动的图象，在上述上部区域中，设定象仅仅搜索上方向的搜索区域123一样的搜索区域，在上述下部区域中，设定象仅仅搜索下方向的搜索区域121一样的搜索区域，通过设定以片为单位的搜索区域，实施例9可以通过高效处理算出精度高的运动矢量mv。
另外，实施例9中仅仅采用矩形作为搜索形状的基本形状，但是也可以采用其他形状。
实施例10
图21是本发明的实施例10的运动检测装置的构成的方框图。如同图所示，运动检测装置130由搜索区域形状可变运动检测器2及全体运动信息生成器4构成。
全体运动信息生成器4，根据由搜索区域形状可变运动检测器2获得的包含画面单位的全运动矢量mv及其评估值(成为运动矢量确定要因的差分的绝对值和等)的运动矢量关联信息S2，生成全体运动信息S4。
图22是全体运动信息生成器4执行全体运动信息S4的生成处理的顺序的流程图。参照同图，在步骤ST1生成全体及高可靠性分散数据。
图23是详细说明图22的步骤ST1的处理的流程图。
参照同图，在步骤ST11中，根据每个所定单位(例如，每个宏块MB单位)获得的运动矢量的水平方向及垂直方向分量，执行1画面的全部运动矢量中的水平(方向)矢量分散运算处理及垂直(方向)矢量分散运算处理，求出水平矢量分散值VX及垂直矢量分散值VY，同时，获得表示全运动矢量的矢量分散的全体矢量分散数据D1。
接着，步骤ST12中，从所有运动矢量中选择评估值在阈值以下的运动矢量，作为高可靠性运动矢量，仅仅将高可靠性运动矢量作为步骤ST13的处理对象。
步骤ST13中，根据高可靠性运动矢量的水平方向及垂直方向分量，执行水平矢量分散运算处理及垂直矢量分散运算处理，求出高可靠性水平矢量分散值HVX及高可靠性垂直矢量分散值HVY，同时对高可靠性运动矢量的数目进行计数，且获得表示全部高可靠性运动矢量的矢量分散的高可靠性矢量分散数据D2。
回到图22，在步骤ST2转移到全体运动判定处理。图24是详细表示图22的步骤ST2的流程图。
参照同图，步骤ST21中，检查高可靠性运动矢量数是否在预先设定的基准值以上，若在基准值以上，则转移到步骤ST23，反之转移到步骤ST22。
步骤ST22中，高可靠性运动矢量数小于基准值时，根据全体矢量分散数据D1生成全体运动信息S4，以便抑制运动矢量分散大的轴的搜索范围。例如，在选择了图6的搜索形状43的状态下，可靠性低的全体运动矢量的垂直方向的分散大时，推测垂直方向的搜索的编码效率低，生成用以指示抑制垂直方向的扩展(促进水平方向的扩展)的全体运动信息S4。结果，搜索区域形状可变运动检测器2根据全体运动信息S4变更搜索区域，从搜索形状43变更到搜索形状42。
步骤ST23中，高可靠性运动矢量数在基准值以上时，根据高可靠性矢量分散数据D2生成全体运动信息S4，以抑制运动矢量的分散小的轴的搜索范围。例如，在选择图6的搜索形状42的状态下，高可靠性运动矢量的垂直方向的分散小时，推测几乎没有垂直方向的运动，生成用以指示抑制垂直方向的扩展的全体运动信息S4。结果，搜索区域形状可变运动检测器2根据全体运动信息S4变更搜索区域，从搜索形状42变更到搜索形状41。
即，步骤ST22中，生成用以指示向可靠性低的全体运动矢量的分散小的方向运动的全体运动信息S4，步骤ST23中，生成用以指示向高可靠性运动矢量的分散大的方向运动的全体运动信息S4。
这样，实施例10的运动检测装置130的全体运动信息生成器4，根据运动矢量关联信息S2进行图22～图24所示统计处理，生成全体运动信息S4。从而，不必象实施例1等一样采用监视摄象机5等的控制信息等，可以仅仅根据来自搜索区域形状可变运动检测器2的运动矢量关联信息S2来生成全体运动信息S4，因而可以简化电路构成。
图25是本发明的实施例10的MPEG2视频(不具有音频机能(音频接口17等))编码装置140的结构方框图。与图7所示实施例2同样，与搜索区域形状可变运动检测器2相当的搜索区域形状可变运动检测器7在MPEG2视频编码装置140内构成，同时在DSP部12内设置全体运动信息生成器4，以实现全体运动信息生成功能。另外，其他构成与实施例2相同，省略其说明。
图26是本发明的实施例10的其他MPEG2视频(音频、系统)编码装置150的构成方框图。MPEG2视频编码装置150在其内部安装有与图21所示运动检测装置130相当的运动检测装置131。另外，其他构成与图7所示实施例2相同，其说明省略。
另外，实施例10中，说明了由搜索区域形状可变运动检测器2及全体运动信息生成器4组成的运动检测装置130，但是与实施例1同样，搜索区域形状可变运动检测器2也可以作为单体，通过从外部接受全体运动信息S3，也可如上述地通过高效处理来获得精度高的运动矢量mv。
实施例11图27是实施例11中的搜索区域形状可变运动检测器6的内部构成的方框图。另外，搜索区域形状可变运动检测器6相当于图1所示实施例1的搜索区域形状可变运动检测器2。
如同图所示，搜索区域形状可变运动检测器6由搜索区域形状控制部23及运动检测部24构成。搜索区域形状控制部23根据由全体运动信息生成器3获得的全体运动信息S3，与搜索区域形状控制部21同样地进行搜索区域的设定，将用以实现设定的搜索区域的参照图象选择信号S12和其他选择信号S13向运动检测部24输出。
由于搜索区域形状控制部23指示仅仅对一个现图象TMB选择参照图象选择信号S12的内容，因而现图象选择信号S11变得不必要。
运动检测部24接受参照图象数据SW及现图象数据TMB，在根据参照图象选择信号S12所确定的搜索区域内，执行参照图象数据SW和现图象数据TMB的比较运算处理，根据该比较结果输出运动矢量mv。
图28～图30是参照图象数据SW和现图象数据TMB的选择控制内容与搜索区域的形状的关系例的说明图。这些例中，用参照图象数据SW可选择的宏块是16个，运算能力是8循环，假定在一个循环中可执行参照图象数据SW及现图象数据TMB间的一个宏块单位的比较。
如图28所示，第一选择例171中，通过对现图象TMB1执行与参照图象SW11、SW21、SW31、SW41、SW12、SW22、SW32、SW42的比较运算处理，用横向的矩形确定区域面积为8宏块的搜索区域175。
如图29所示，第2选择例172中，通过对现图象TMB1执行与参照图象SW21、SW31、SW22、SW32、SW23、SW33、SW24、SW34的比较运算处理，用纵向的矩形确定区域面积为8宏块的搜索区域176。
如图30所示，第3选择例173中，通过对现图象TMB1执行与参照图象SW11、SW21、SW22、SW32、SW23、SW33、SW34、SW44的比较运算处理，用右下斜的形状确定区域面积为8宏块的搜索区域177。
这样，实施例11中，除了实施例1的效果，搜索区域形状控制部23输出的搜索区域设定用的选择信号仅仅是参照图象选择信号S12。
实施例12实施例4中，搜索形状的更新定时(规定的定时)以画面为单位，而实施例12中，不以画面单位，而是以宏块为单位确定搜索形状。
图31是将画面190分割成9个区域的说明图。高速运转的汽车的司机目视的画面中，如同图虚线所示，假定一种运动从现图象区域195的中心开始呈放射状变化。实施例12中，着眼这样的运动，对各个宏块变更搜索形状。
实施例12中，搜索区域形状控制部21接受全体运动信息S3，例如，全体运动信息S3指示上述的放射状变化时，根据现图象TMB的宏块属于现图象区域191～199中的哪一个，用宏块单位从图10所示搜索形状71～75中选择搜索形状。以下，详述其选择内容。
现图象TMB的宏块属于现图象区域192、194、195、196、198之一时，采用搜索形状73，而且，对于现图象区域192的场合，如图20所示的搜索区域123，设定来自搜索区域的基准点的方向，以便重点搜索上方向的变化；对于现图象区域194的场合，设定来自搜索区域的基准点的方向，以便重点搜索左方向的变化；对于现图象区域196的场合，设定来自搜索区域的基准点的方向，以便重点搜索右方向的变化；对于现图象区域198的场合，如图18所示的搜索区域121，设定来自搜索区域的基准点的方向，以便重点搜索下方向的变化。
对于现图象区域191，采用搜索形状71，且设定来自搜索区域的基准点的方向，以便重点搜索左上方向的变化，对于现图象区域193，采用搜索形状75，且设定来自搜索区域的基准点的方向，以便重点搜索右上方向的变化。
对于现图象区域197，采用搜索形状75，且设定来自搜索区域的基准点的方向，以便重点搜索左下方向的变化，对于现图象区域199，采用搜索形状71，且设定来自搜索区域的基准点的方向，以便重点搜索右下方向的变化。
其他动作与实施例4相同，因而，实施例12的运动检测装置具有与实施例4同样的效果。而且，实施例12的运动检测装置，通过以宏块单位变更来自搜索形状及搜索区域的基准点的方向，可以通过更高效的处理算出高精度的运动矢量mv。
另外，实施例12中虽然说明了以平行四边形作为搜索形状的基本形状，但是也可以采用其他形状。
如以上说明，本发明中的权利要求1所述的运动检测装置，在规定的定时随着全体运动信息的变化改变确定搜索形状，求出运动矢量，因而可通过高效处理获得精度高的运动矢量。
另外，通过根据搜索区域形状可变运动检测器的运算能力来设定搜索区域的区域面积，即使确定搜索形状变化，也可以总是设定与搜索区域形状可变运动检测器的运算能力相适应的区域面积的搜索区域。
本发明中的权利要求17所述的搜索区域形状可变运动检测器，在规定的定时随着全体运动信息的变化改变确定搜索形状，求出运动矢量，因而可通过高效处理获得精度高的运动矢量。
另外，通过根据运动检测部的运算能力来设定搜索区域的区域面积，即使确定搜索形状变化，也可以总是设定与运动检测器的运算能力相适应的区域面积的搜索区域。
权利要求
1.一种运动检测装置，生成成为编码对象的图象数据中的运动矢量，它包括全体运动信息生成器，生成指示由上述图象数据所规定的图象的全体运动的全体运动信息；以及搜索区域形状可变运动检测器，根据上述全体运动信息将搜索形状确定为确定搜索形状，设定具有根据该确定搜索形状及自身的运算能力而确定的区域面积的搜索区域，通过在该搜索区域内对上述图象数据中的现图象和参照图象进行比较运算而生成运动矢量，上述确定搜索形状在规定的定时随着上述全体运动信息的变化而变化。
2.权利要求1所述的运动检测装置，其特征在于上述全体运动信息包括拍摄图象并获得上述图象数据的图象拍摄部的控制信息。
3.权利要求2所述的运动检测装置，其特征在于上述控制信息包括上述图象拍摄部的动作方向、移动角速度及焦点距离中的至少一个信息。
4.权利要求1所述的运动检测装置，其特征在于上述全体运动信息生成器，根据包含规定单位的上述图象数据所对应的多个运动矢量及其评估值的运动矢量关联信息，生成上述全体运动信息。
5.权利要求4所述的运动检测装置，其特征在于上述全体运动信息生成器，在根据上述运动矢量关联信息求出上述多个运动矢量的分散值的同时判断其可靠性，生成在可靠性高时指示分散值大的方向的运动、可靠性低时指示分散值小的方向的运动的全体运动信息。
6.权利要求1至权利要求5中任一项所述的运动检测装置，其特征在于上述搜索区域形状可变运动检测器，将多种矩形的搜索形状中任一个选择为上述确定搜索形状。
7.权利要求1至权利要求5中任一项所述的运动检测装置，其特征在于上述搜索区域形状可变运动检测器，将多种菱形的搜索形状中任一个选择为上述确定搜索形状。
8.权利要求1至权利要求5中任一项所述的运动检测装置，其特征在于上述搜索区域形状可变运动检测器，将多种平行四边形的搜索形状中任一个选择为上述确定搜索形状。
9.权利要求1至权利要求5中任一项所述的运动检测装置，其特征在于上述搜索区域形状可变运动检测器，将包含矩形、菱形及平行四边形中至少2个多种基本形状中的任一个选择为上述确定搜索形状。
10.权利要求1至权利要求5中任一项所述的运动检测装置，其特征在于上述搜索区域形状可变运动检测器，可将搜索精度不同的多种搜索形状中的任一个确定为上述确定搜索形状。
11.权利要求1至权利要求5中任一项所述的运动检测装置，其特征在于上述搜索区域形状可变运动检测器，在上述规定的定时变更对规定基准点的上述搜索区域的设定方向。
12.权利要求1至权利要求5中任一项所述的运动检测装置，其特征在于上述规定的定时包含上述图象数据的画面单位。
13.权利要求1至权利要求5的中任一项所述的运动检测装置，其特征在于上述规定的定时包含上述图象数据的片单位。
14.权利要求1至权利要求5中任一项所述的运动检测装置，其特征在于上述规定的定时包含上述图象数据的宏块单位。
15.权利要求1至权利要求5中任一项所述的运动检测装置，其特征在于上述搜索区域包含以宏块为基本单位而形成的搜索区域。
16.权利要求1至权利要求5中任一项所述的运动检测装置，其特征在于上述搜索区域形状可变运动检测器内置于视频编码装置。
17.一种搜索区域形状可变运动检测器，检测作为编码对象的图象数据中的运动矢量，它包括搜索区域形状控制部，接受表示图象的全体运动的全体运动信息，根据该全体运动信息将搜索形状确定为确定搜索形状，设定具有根据该确定搜索形状及规定的运算能力所确定的区域面积的搜索区域，输出用于依照该搜索区域而以规定单位选择上述图象数据中的现图象及参照图象中的至少一个图象的选择信号；以及运动检测部，根据上述选择信号，通过对上述图象数据中的上述参照图象和上述现图象进行比较运算而检测上述运动矢量，上述规定的运算能力包含上述运动检测部的运算能力。
全文摘要
本发明提供可高效生成运动矢量的运动检测装置。运动检测装置1由搜索区域形状可变运动检测器2及全体运动信息生成器3构成，全体运动信息生成器3控制外部的图象拍摄部即监视摄象机5，将监视摄象机5的控制信息(动作方向、移动角速度、焦点距离等)作为全体运动信息S3提供给搜索区域形状可变运动检测器2。搜索区域形状可变运动检测器2，以画面为单位更新由全体运动信息S3所确定的搜索形状及具有适于自身运算能力的区域面积的搜索区域的同时，算出运动矢量mv。
文档编号H04N5/14GK1518363SQ20031011999
公开日2004年8月4日 申请日期2003年11月28日 优先权日2003年1月10日
发明者花见充雄 申请人:株式会社瑞萨科技