专利名称：基于全方位计算机视觉的遗留物检测装置的制作方法
技术领域：
本发明涉及光学技术和计算机视觉技术在智能安保方面的应用，具体适用于大范围内的遗留物检测装置。
背景技术：
人或车在区域附近滞留，就可能意味着可疑对象在等待时机置放可疑物件或准备入侵，或者可能表示可疑对象在侦测当前所使用的视频监控系统的有效性。在反恐形势比较严峻的状态下，对可疑遗留物件的检测在机场和车站的候车厅、月台、体育馆、展览馆等影响公共安全的地方已成为必须检测的内容。
中国发明专利公开号CN101231696公开了一种遗留物检测方法及系统，其遗留物检测方法，包括以下步骤检测不同于背景的前景图像，确定前景像素点，并将前景像素点特征化；对前景像素点特征化的持续状态进行计时，提取计时达到预设值的像素点；检测出由提取的像素点形成的连通区域，确定为待分析目标；分析目标的运动特性以确认是否为遗留物。同时该专利还公开了一种遗留物检测系统，包括目标检测装置、对像素点计时并提取特征化状态的持续时间达到预设值的像素点的计时处理装置、检测由提取的像素点形成的连通区域以确定待分析目标的连通区域检测装置、确定待分析目标是否为遗留物的目标分析装置。
上述的遗留物检测方法及系统存在着几个主要问题1)由于摄像装置的视觉范围有限，要检测较大场景范围的遗留物必须采用多个摄像装置；2)在复杂场景中要准确的获取前景像素点并非容易之事，极其容易受到环境的干扰；3)在每一帧图像中对前景像素点的计时要花费较大的计算资源，影响检测的实时性和精度；4)由于没有考虑视频图像的运动对象和暂时静止对象的出现、事件发生的时间序列，会造成较高的误检测率；5)要检测遗留物是由何人所为几乎不可能。
发明内容
为了克服已有的遗留物检测系统的视觉范围受限、可靠性差、实时性差的不足，本发明提供一种具有全方位视觉、可靠性好、实时性强的基于全方位计算机视觉的遗留物检测装置。
本发明解决其技术问题所采用的技术方案是 一种基于全方位计算机视觉的遗留物检测装置，包括用于监视大范围全景内安全情况的视觉传感器、以及用于根据视觉传感器的信号进行遗留物检测的微处理器，所述视觉传感器与所述微处理器连接，所述视觉传感器为全方位视觉传感器和高速快球抓拍传感器，所述全方位视觉传感器包括支架、透明外罩、一次折反射镜、二次折反射镜、摄像部件镜头和广角镜头，所述透明外罩、一次折反射镜和摄像部件镜头安装在支架上，所述一次折反射镜位于所述透明外罩的上部，所述的透明外罩底部中央开口，所述摄像部件镜头位于所述一次折反射镜的上方，所述二次折反射镜安装在所述中央开口内，所述二次折反射镜的中部开小孔，在所述小孔内安装所述广角镜头，所述摄像部件镜头、一次折反射镜、二次折反射镜和广角镜头的中心轴配置在同一轴心线上；将摄像部件镜头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为S1、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式得到以下关系式 d＝S2+S3(12) 将摄像部件镜头与广角镜头的之间的距离d作为一个约束条件，通过设计广角镜头的焦点距离f2来满足公式(12)的要求； 将摄像部件镜头与广角镜头作为一个组合镜头来考虑的话，其焦距f由下式来表示 另外，将合成镜头的直径作为D，其放大倍数由下式来表示 合成镜头满足以下公式 式(15)中，θ1max是二次反射光线V3与折反射主轴Z的最大夹角；所述微处理器包括 ODVS图像获取模块，用于获得监控场景的全景视频图像，包括有系统初始化单元和图像获取模块； 场景内对象检测模块，用于抽取出监控场景内的运动对象、遗留物暂时静止对象和场景静止对象，包括有 长周期背景建模单元，用于通过采用基于混合高斯分布模型以较小的更新率对背景像素进行建模； 短周期背景建模单元，用于通过采用基于混合高斯分布模型以较大的更新率对背景像素进行建模； 阴影抑制单元，用于有效区分运动对象和运动阴影，基于HSV颜色空间的检测方法，在HSV颜色空间中，H分量表示色度，S分量表示饱和度，V分量表示亮度，通过以下决策公式(20)，来判断某像素点是否属于阴影
式中，IV(x，y)、IS(x，y)、IH(x，y)与BV(x，y)、BS(x，y)、BH(x，y)分别表示(x，y)处像素新输入值I(x，y)与背景像素值H、S、V分量；参数0＜α＜β＜1，α取值要考虑阴影的强度，当背景上投射的阴影越强时，参数α要取得越小，参数β用来增强系统的鲁棒性；参数τS小于零，参数τH的选取则主要根据场景的情况进行调试； 对象区分单元，用于抽取出监控场景内的运动对象、遗留物暂时静止对象和场景静止对象，与所述的长周期背景建模单元和所述的短周期背景建模单元中所得到的处理中间结果BL和BS进行差减运算，得到长周期前景FL、短周期前景FS，接着根据FL和FS值之间的关系，归纳出当前帧内某像素的四种不同类型，判定结果如表1所示 表1 根据表1的判断，类型1属于运动对象，类型2属于遗留物品暂时静止对象，类型4属于场景静态对象； 遗留事件检测模块，用于检测出在场景内发生的各种遗留事件的状态，包括有 遗留事件检测ID号自动生成单元，用于当遗留物品的携带者与遗留物品开始分离时刻，系统自动会产生一个遗留事件检测ID号并同时生成一个以该遗留事件检测ID号命名的文件夹，用于存放可疑遗留物品的携带者的特写图像和遗留事件的视频图像； 遗留物品的携带者抓拍单元，用于当遗留物品的携带者与遗留物品开始分离时刻时，从所述的对象区分单元处理结果得到遗留物品的携带者位置信息(Sx，Sy)，然后根据在系统初始化单元中所建立的映射表，输出一个与携带者位置信息(Sx，Sy)相对应的数字ID给高速快球的控制控制端口，指示高速快球抓拍传感器转动对准该位置进行拍摄，获得遗留物品的携带者的特写图像； 遗留物品的携带者跟踪单元，用于采用基于KALMAN滤波的跟踪算法跟踪遗留物品的携带者的轨迹； 遗留物品空间位置状态判断单元，用于确认遗留物品与遗留物品的携带者相分离的状态；当遗留物品的携带者与遗留物品开始分离时刻时，得到遗留物的位置信息(Ox，Oy)，然后不断的读取从遗留物品的携带者跟踪单元中所计算得到的携带者的位置信息(Sx′，Sy′)，然后计算这两个点之间的距离，计算方法由公式25所示， 遗留物品所经历的静止时间计算单元，用于计算当遗留物品的携带者与遗留物品开始分离时刻到当前的时间间隔，计算方法是从遗留物品的携带者与遗留物品开始分离时刻开始获取计算机系统时间TStart，然后在所述的遗留状态判断单元判断结束后在获取当前的计算机系统时间TNow，遗留物品所经历的静止时间可以由公式26计算， t＝TNow-TStart (26) 式中，t为遗留物品所经历的静止时间，TStart为从遗留物品的携带者与遗留物品开始分离时刻的系统时间，Tnow为目前系统的时间； 遗留状态判断单元，用于确认遗留物品是否真正处在遗留状态根据在所述的遗留物品空间位置状态判断单元中所计算得到的携带者离遗留物品的距离是否超过了所规定的距离或者完全消失在场景中，以及在所述的遗留物品所经历的静止时间计算单元所计算得到遗留物品单独静止时间是否超过了所规定的时间，作出各种遗留状态和警示的综合判定；遗留物综合判定表如表2所示； 表2。
进一步，全方位视觉传感器满足整个监控领域顶视的全景视频图像不变形要求，用以下方法来进行设计 根据成像原理，一次入射光线V1与折反射主轴Z的夹角为Φ，一次反射光线V2与折反射主轴Z的夹角为θ2，过P1点(t1，F1)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ1，过P2点(t2，F2)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε1，基于上述关系可以得到公式(1)
其中 式中，F1是一次折反射镜面曲线，F2是二次折反射镜面曲线； 利用三角关系并进行简化整理，得到公式(2)、(3) F1′2-2αF1′-1＝0(2) F2′2-2βF2′-1＝0(3) 上式中， 解公式(2)、(3)可以得到公式(4)、(5)； 式中F1′为F1曲线的微分，F2′为F2曲线的微分； 在成像平面上的点与水平面上的点之间满足某种线性关系，与视点S的距离为C并与Z轴相垂直的水平面L上的任意点P，在成像平面上的有一个对应的像素点p，将水平面上的坐标用极坐标表示，这时水平面L上的任意点P(r，z)用以下公式来表示， r＝C*tanφ，z＝s+C(6) 设计水平面上具有平均分辨率ODVS，即水平方向不变形的ODVS，在水平面L上的任意点P与Z轴相垂直方向的坐标r和像素点p与Z轴的距离t2/F2(t2)之间要保证具有线性关系；使得以下公式能成立， r＝a*f*t2/F2(t2)+b(7) 根据成像原理有以下关系成立，入射角用公式(8)表示， 将公式(6)、(8)代入公式(7)并整理，得到在水平方向不变形的条件，用公式(9)表示， 满足公式(9)的镜面曲线设计符合水平方向平均分辨率要求。
再进一步，所述透明外罩呈碗状，透明外罩包括上部的圆锥体以及下部的半圆球，所述的半圆球的半径处与圆锥体过渡。
更进一步，在所述遗留物品的携带者跟踪单元中，设定处理两帧连续图像之间的间隔时间是一定的，记为Δt，假设上一时刻前景目标对象的所处位置为(Sx，Sy)，当前时刻前景目标对象的所处位置为(Sx′，Sy′)，当前前景目标对象在X轴上的速度Vx，在Y轴上的速度为Vy，那么当前时刻前景目标对象所处的位置与上一时刻前景目标对象所处的位置的关系如公式(21)所示 式中，Sx、Sy为上一时刻前景目标对象的所处x、y位置，Sx′、Sy′为当前时刻前景目标对象的所处x、y位置，Δt为两帧之间的时间间隔，Vx为当前前景目标对象在X轴上的速度，Vy为当前前景目标对象在Y轴上的速度； 对前景目标对象的速度进行预测，设定其在X轴上的加速度为ax，在Y轴上的加速度为ay，建立一个系统状态{Vx，Vy，ax，ay}，取系统控制量U(k)为0，状态转移矩阵为 测量值为前景目标对象的速度值，记测量值转移矩阵为 假设W(k)和V(k)为零均值且独立的噪声向量，则设其协方差为 然后测得前景目标对象运动速度，并设定一个误差协方差初始值，通过KALMAN滤波不断地从上一时刻前景目标对象的速度状态预测出当前时刻的运动状态，实现预测跟踪。
本发明的技术构思为近年发展起来的全方位视觉传感器ODVS(OmniDirectional Vision Sensors)为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。这种ODVS摄像机主要由一个CCD摄像机和正对着摄像头的一个反光镜组成。反光镜面将水平方向一周的图像反射给CCD摄像机成像，这样，就可以在一幅图像中获取水平方向360°的环境信息。这种全方位摄像机有着非常突出的优点，特别在对全景实时处理要求下，是一种快速、可靠的视觉信息采集途径。
这种ODVS摄像机可以在全方位拍摄到半球视野中的所有情况，这种全方位视觉是一种典型的机器视觉，是人不可能具备的。ODVS摄像机采集图像的原理和人眼观察物体的原理不一样，使得全方位图像与人眼看到的图像差别也很大，因此如何通过全方位光学成像技术和计算机视觉技术为智能安保领域提供一种快速、可靠的监控领域大范围内视觉信息采集途径，并根据ODVS摄像机得到的实时全方位图像，通过计算迅速准确地能够有效地检测是否有物体被遗留在某一区域(疑爆炸物)，并确定何时、何人所遗留。噪音过滤功能使它可以在很繁忙的场景和变化的天气中，保证很高的准确率。并能通过各种手段通知监控人员注意有可能发生的危险事件。
通过基于两个不同更新率的混合高斯分布模型的建模方法分别建立一个长周期的背景模型和一个短周期的背景模型，然后将所获得的实时全景图像分别与长周期的背景模型、短周期的背景模型进行差减运算，接着对运算结果进行基于统计信息的可能性函数判断，得到运动对象、暂时静止对象和背景静止对象的判定结果；接着考虑视频图像的运动对象和暂时静止对象的出现、事件发生的时间序列检测出在全方位场景内的遗留物；最后通过高速快球抓拍物品携带者的特写图像，来确定遗留物在何时、由何人所遗留。
本发明的有益效果主要表现在1、具有全方位视觉、可靠性好、实时性强；2、维护方便、维护成本低；3、使用于机场、地铁、体育场馆、公共场所等大型场合的安全检测。
图1为无死角的全方位视觉传感器的结构示意图； 图2为全方位视觉传感器所拍摄的视频图像示意图； 图3为摄像部件镜头与广角镜头进行组合的光学原理图； 图4为按二次折反射原理以及水平方向平均分辨率来设计的ODVS说明图； 图5为按水平方向平均分辨率来设计的成像平面投影原理图； 图6为利用4阶Runge-Kutta算法求F1和F2的数字解的折反射镜面曲线图； 图7为基于全方位计算机视觉的遗留物检测方法示意图； 图8为基于全方位计算机视觉的遗留物检测装置硬件结构图； 图9为判断前景对象与背景对象的流程图； 图10为ODVS与高速快球之间的信息融合示意图； 图11为基于全方位计算机视觉的遗留物检测装置软件框图。
具体实施例方式 下面结合附图对本发明作进一步描述。
参照图1～图11，遗留物视频检测的核心问题是要检测物品的携带者在不能放置任何物品的区域内单独将物品留下并超过了允许的时间。本发明的实施方案是首先，采用无死角水平方向不变形的全方位视觉传感器，其特有的360°的视野能有效地解决遗留物品在场景中出现的空间位置和时间的不确定的问题；其次，提出了一种基于两个不同更新率的混合高斯分布模型的建模方法，可有效地对暂时进入全景视野的遗留物和遗留物携带者进行检测；再次，为了克服混合高斯分布模型无法有效区分运动对象和自身运动阴影的缺点，引入了阴影抑制单元；最后，根据物品的携带者单独将物品留下并超过了允许的时间来判断其是否属于遗留物，附图7表示了物品的携带者单独将物品留下的一种遗留物状态。
如附图8所示，基于全方位计算机视觉的遗留物检测装置包括有全方位视觉传感器、高速快球和计算机，所述的全方位视觉传感器用于获得监控场景内的全景视频图像，所述的高速快球用于抓拍监控场景内遗留物携带者的特写图像，所述的计算机用于检测在监控场景内是否发生了遗留物； 如附图11所示，所述的计算机包括有ODVS图像获取模块、场景内对象检测单元和遗留事件检测模块； 所述的ODVS图像获取模块用于获得监控场景的全景视频图像，包括有系统初始化模块和图像获取模块；所述的场景内对象检测单元用于抽取出监控场景内的运动对象、遗留物暂时静止对象和场景静止对象，包括有长周期背景建模单元、短周期背景建模单元、阴影抑制单元和对象区分单元；所述的遗留事件检测模块，用于检测出在场景内发生的各种遗留事件的状态，包括有遗留事件检测ID号自动生成单元、遗留物品的携带者抓拍单元、遗留物品的携带者跟踪单元、遗留物品空间位置状态判断单元、遗留物品所经历的静止时间计算单元和遗留状态判断单元，最终遗留状态判断单元能根据这些状态输出相应的警示； 所述的系统初始化模块，主要用于ODVS所获得的全景视频信息与高速快球的局部图像信息的融合，这两种信息的融合是通过建立ODVS图像中的坐标与高速快球转动角度信息之间的映射关系来实现的，即通过预置点定制法将全景视频图像分割成一个个小区域，分割方法见附图10；然后将每个小区域与控制高速快球的抓拍点之间建立一种映射关系；这样抓拍某一个小区域的特写图像时只要给高速快球的控制端口一个对应的数字ID，高速快球就能自动地转到到该小区域进行抓拍；这些功能是通过一张ODVS与高速快球之间的映射表来实现的，系统初始化时读取这张映射表，同时也可以允许使用者重新建立新的映射表； 所述的图像获取模块，主要用于通过视频卡或者其他视频接口读取ODVS的全景视频图像；所获得的全景视频图像输出给场景内对象检测单元进行处理； 所述的长周期背景建模单元，用于通过采用基于混合高斯分布模型以较小的更新率对背景像素进行建模，即混合高斯背景建模算法，通过该算法的运算运动对象与暂时静止的对象都能会被检测为前景对象； 所述的短周期背景建模单元，用于通过采用基于混合高斯分布模型以较大的更新率对背景像素进行建模，即混合高斯背景建模算法，通过该算法的运算暂时静止的对象和场景静态对象都能会被检测为背景对象； 所述的混合高斯背景建模算法，其主要思想是对每个像素点采用多个高斯模型的混合表示。设用来描述每个点颜色分布的高斯分布共有K个，对每一个像素点随时间变化的序列{Y1，Y2，....，Yn}，用混合高斯模型来为其建模。定义当前观测点的像素值的概率公式，如公式(16)所示 式中t为时间点；K是高斯模型的数量(一般取3～5个)；ωn，t为第n个高斯模型的权值；μn，t和σn，t2分别是在t时刻第n个高斯模型的均值和方差；其中概率密度函数如公式17所示 各个高斯分布分别具有不同的权值和优先级，它们总是按照优先级从高到低的次序排序。取适当的背景权值阈值区间，只有在此阈值之内的前若干个分布才被认为是背景分布，其它则是前景分布。所以，在检测前景点时，按照优先级次序将像素点Yt与各高斯分布逐一匹配，若没有表示背景分布的高斯分布与Yt匹配，则判定该点为前景点，否则为背景点； 所述的较小的更新率和较大的更新率，是指公式(18)的更新系数α，较小的更新率是指更新系数α具有较小的值，较大的更新率是指更新系数α具有较大的值，更新系数的取值范围0＜α＜1， 式中，μ和σ2分别是高斯模型的均值和方差，α是更新系数，Y为像素点。
所述的阴影抑制单元，用于有效区分运动对象和运动阴影，为了提高装置的检测精度这里引入了阴影抑制单元，将阴影检测算法与混合高斯分布模型相结合，对于新进入的像素值It，根据混合高斯背景分布模型判断该像素是背景还是运动前景，若为前景则进一步采用阴影决策公式判断其是否属于运动阴影。具体流程图如图9所示。
所述的阴影检测算法，采用基于HSV颜色空间的检测方法，HSV颜色空间接近人类视觉感知色彩的方式，比RGB颜色空间更能够准确地检测出阴影。在HSV颜色空间中，H分量表示色度，S分量表示饱和度，V分量表示亮度。由于阴影处的亮度和饱和度较背景偏暗，而色度基本保持一致，所以可以通过以下决策公式(20)，来判断某像素点是否属于阴影。
式中，IV(x，y)、IS(x，y)、IH(x，y)与BV(x，y)、BS(x，y)、BH(x，y)分别表示(x，y)处像素新输入值I(x，y)与背景像素值H、S、V分量。参数0＜α＜β＜1，α取值要考虑阴影的强度，当背景上投射的阴影越强时，参数α要取得越小，参数β用来增强系统的鲁棒性。参数τS小于零，参数τH的选取则主要根据场景的情况进行调试。
所述的对象区分单元，用于抽取出监控场景内的运动对象、遗留物暂时静止对象和场景静止对象；首先是读取全景视频图像，然后分别与所述的长周期背景建模单元和所述的短周期背景建模单元中所得到的处理中间结果BL和BS进行差减运算，得到长周期前景(FL，Foreground Long)、短周期前景(FS，ForegroundShort)，接着根据FL和FS值之间的关系，归纳出当前帧内某像素的四种不同类型，判定结果如表1所示 表1根据FL和FS值判断某像素的类型 根据表1的判断，类型1属于运动对象，类型2属于遗留物品暂时静止对象，类型4属于场景静态对象； 所述的遗留事件检测ID号自动生成单元，用于对遗留事件命名，当遗留物品的携带者与遗留物品开始分离时刻，系统自动会产生一个遗留事件检测ID号并同时生成一个以该遗留事件检测ID号命名的文件夹，用于存放可疑遗留物品的携带者的特写图像和遗留事件的视频图像； 所述的遗留事件检测ID号，用于产生一个能标识遗留事件、存储对该遗留事件相关等视频及图像数据的主键，遗留事件检测ID号的命名规则是YYYYMMDDHHMMSS*以14位符号命名，YYYY-表示公历的年；MM-表示月；DD-表示日；HH-表示小时；MM-表示分；SS-表示秒；均由计算机的系统时间自动产生； 所述的遗留物品的携带者抓拍单元，用于抓拍遗留物品携带者的特写图像并将其保存在遗留事件检测ID号命名的文件夹内；当遗留物品的携带者与遗留物品开始分离时刻时，从所述的对象区分单元处理结果得到遗留物品的携带者位置信息(Sx，Sy)，然后根据在所述的系统初始化模块中所建立的映射表，输出一个与携带者位置信息(Sx，Sy)相对应的数字ID给高速快球的控制控制端口，指示高速快球转动对准该位置进行拍摄，以获得遗留物品的携带者的特写图像，抓拍特写图像的原理图如附图10所示； 所述的遗留物品的携带者跟踪单元，用于跟踪遗留物品的携带者的轨迹；本发明中采用基于KALMAN滤波的跟踪算法，KALMAN滤波是以最小均方误差为估计的最佳准则，来寻求一套递推估计的算法，其基本思想是采用信号与噪声的状态空间模型，利用上一时刻的估计值和当前时刻的观测值来更新对状态变量的估计，求出当前时刻的估计值； 在采用基于KALMAN滤波的进行目标对象跟踪时，只要获取到目标对象的速度就可以计算出当前目标对象的运动状态。假设处理两帧连续图像之间的间隔时间是一定的，记为Δt，假设上一时刻前景目标对象的所处位置为(Sx，Sy)，当前时刻前景目标对象的所处位置为(Sx′，Sy′)，当前前景目标对象在X轴上的速度Vx，在Y轴上的速度为Vy，那么当前时刻前景目标对象所处的位置与上一时刻前景目标对象所处的位置的关系如公式21所示 式中，Sx、Sy为上一时刻前景目标对象的所处x、y位置，Sx′、Sy′为当前时刻前景目标对象的所处x、y位置，Δt为两帧之间的时间间隔，Vx为当前前景目标对象在X轴上的速度，Vy为当前前景目标对象在Y轴上的速度； 因此只要能够预测出前景目标对象的速度，就可以对前景目标对象进行跟踪。为了对前景目标对象的速度进行预测，假设其在X轴上的加速度为ax，在Y轴上的加速度为ay，就可以建立一个系统状态{Vx，Vy，ax，ay}。取系统控制量U(k)为0。记状态转移矩阵为 而在本发明中，测量值为前景目标对象的速度值，因此记测量值转移矩阵为 假设W(k)和V(k)为零均值且独立的噪声向量，则可以设其协方差为 然后测得前景目标对象运动速度，并设定一个误差协方差初始值，就可以通过KALMAN滤波不断地从上一时刻前景目标对象的速度状态预测出当前时刻的运动状态，以实现预测跟踪； 所述的遗留物品空间位置状态判断单元，用于确认遗留物品与遗留物品的携带者相分离的状态；当遗留物品的携带者与遗留物品开始分离时刻时，得到遗留物的位置信息(Ox，Oy)，然后不断的读取从遗留物品的携带者跟踪单元中所计算得到的携带者的位置信息(Sx′，Sy′)，然后计算这两个点之间的距离，计算方法由公式25所示， 所述的遗留物品所经历的静止时间计算单元，用于计算当遗留物品的携带者与遗留物品开始分离时刻到当前的时间间隔，计算方法是从遗留物品的携带者与遗留物品开始分离时刻开始获取计算机系统时间TStart，然后在所述的遗留状态判断单元判断结束后在获取当前的计算机系统时间TNow，遗留物品所经历的静止时间可以由公式26计算， t＝TNow-TStart(26) 式中，t为遗留物品所经历的静止时间，TStart为从遗留物品的携带者与遗留物品开始分离时刻的系统时间，Tnow为目前系统的时间； 所述的遗留状态判断单元，用于确认遗留物品是否真正处在遗留状态；根据在所述的遗留物品空间位置状态判断单元中所计算得到的携带者离遗留物品的距离是否超过了所规定的距离或者完全消失在场景中，以及在所述的遗留物品所经历的静止时间计算单元所计算得到遗留物品单独静止时间是否超过了所规定的时间等情况，作出各种遗留状态和警示的综合判定；遗留物综合判定表如表2所示； 表2遗留物综合判定表 所述的全方位视觉传感器，用于有效地获得遗留物品是在何时、何地、何人所遗留的完整全景视频图像，需要进行无死角水平方向不变形的全方位视觉传感器的设计； 所述的水平方向不变形，需要进行水平方向平均分辨率设计，以满足整个监控领域顶视的全景视频图像不变形要求；在ODVS设计上可以归结于折反射镜面曲线的设计，如附图4所示，空间上的一个光源点P的入射光V1在主反射镜面(t1，F1)点上进行反射，反射光V2反射到次反射镜面(t2，F2)点上再进行反射，反射光V3以角度θ1进入摄像装置的镜头，在摄像单元(CCD或者CMOS)上成像。
根据成像原理，一次入射光线V1与折反射主轴Z的夹角为Φ，一次反射光线V2与折反射主轴Z的夹角为θ2，过P1点(t1，F1)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ1，过P2点(t2，F2)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε1，基于上述关系可以得到公式(1)
其中 式中，F1是一次折反射镜面曲线，F2是二次折反射镜面曲线； 利用三角关系并进行简化整理，得到公式(2)、(3) F1′2-2αF1′-1＝0 (2) F2′2-2βF2′-1＝0 (3) 上式中， 解公式(2)、(3)可以得到公式(4)、(5)； 式中F1′为F1曲线的微分，F2′为F2曲线的微分； 所述的成像平面上的点与水平面上的点之间的关系来说具有某种线性关系，与视点S的距离为C并与Z轴相垂直的水平面L上的任意点P，在成像平面上的有一个对应的像素点p，如附图4所示，将水平面上的坐标用极坐标表示，这时水平面L上的任意点P(r，z)可以用以下公式来表示， r＝C*tanφ，z＝s+C(6) 为了设计水平面上具有平均分辨率ODVS，即水平方向不变形的ODVS，在水平面L上的任意点P与Z轴相垂直方向的坐标r和像素点p与Z轴的距离t2/F2(t2)之间要保证具有线性关系。使得以下公式能成立， r＝a*f*t2/F2(t2)+b (7) 根据成像原理有以下关系成立，入射角用公式(8)表示， 将公式(6)、(8)代入公式(7)并整理，得到在水平方向不变形的条件，用公式(9)表示， 满足公式(9)的镜面曲线设计符合水平方向平均分辨率要求； 通过对公式(2)、(3)、(9)利用4阶Runge-Kutta算法求F1和F2的数字解，这样计算得到的一次折反射镜面和二次折反射镜面曲线能实现水平方向平均分辨率；图6是利用4阶Runge-Kutta算法求F1和F2的数字解的折反射镜面曲线图； 设计透明外罩2，为了使得透明外罩2不会产生内壁的反射干扰光，如图1所示。具体做法是将透明外罩设计成碗状，即设计成半圆球，这样能避免在透明外罩2发生反射干扰光，ODVS的结构如图1所示； 所述的无死角ODVS，用于克服原先ODVS中被二次折反射镜面所遮挡而造成的死角，在设计上，本发明中将广角镜头配置在二次折反射镜面上，设计广角镜头以及确定广角镜头的位置是本发明的一个任务。图3是摄像部件镜头与广角镜头的位置关系图。在图3中将广角镜头配置在一次折反射镜的前方和二次折反射镜面上，摄像部件镜头、广角镜头、一次折反射镜和二次折反射镜的中心轴配置在同一轴心线上；通过一次折反射镜上的圆孔在广角镜头与摄像部件镜头之间成像，称为第一成像点，该成像点通过摄像部件镜头在视点处成像。这里将摄像部件镜头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为S1、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式可以得到以下关系式 d＝S2+S3(12) 要使公式(12)成立的话，也就是将图3中的从第一折反射镜面后的摄像部件镜头距离为d的地方配置广角镜头的话，就可以得到图2中图像中部所显示的广角成像图；但是本发明中是将广角镜头配置在第二折反射镜面上，因此将摄像部件镜头与广角镜头的之间的距离d作为一个约束条件，只有通过设计广角镜头的焦点距离f2来满足公式(12)的要求； 进一步，对于图3中将摄像部件镜头与广角镜头作为一个组合镜头来考虑的话，其焦距f可以由下式来表示 另外，将合成镜头的直径作为D，其放大倍数可以由下式来表示 为了将合成镜头的视场与ODVS的死角部分相吻合，在设计合成镜头时需要满足以下公式 式中，θ1max是二次反射光线V3与折反射主轴Z的最大夹角；经过上述设计的ODVS拍摄出来的图像效果图如图2所示，从单个ODVS来说消除了原来ODVS的死角部分，并且通过摄像部件镜头与广角镜头的组合方式加上第一折反射镜面以及第二折反射镜面的设计，能有效地覆盖原来的ODVS的死角部分。
所述的第一折反射镜面、第一折反射镜面上的小孔、摄像机、透明外罩、第二折反射镜面、广角镜头在同一中心轴线上；摄像机的镜头安置在第一折反射镜面后部的视点位置上，如图1所示； 所述的透明外罩，主要用于支撑第一折反射镜面、第二折反射镜面、广角镜头以及保护第一折反射镜面和第二折反射镜面不受到外界粉尘的污染而影响折反射的质量。
实施例2 有时为了节约系统成本，只检测在监控场景内是否遗留物，可以在硬件上省略掉高速快球，在软件上省略到抓拍的相关模块，其余均于实施例1相同。
上述的实施例1和实施例2所产生的发明效果是通过全方位的计算机视觉传感器使得安防监控的范围更宽广，提供了一种全新的、维护成本低、维护方便、判断更可靠的、可视化的、智能化的安防监控途径方法与装置。可应用于机场、地铁、体育场馆、公共场所等反恐安全检测。
权利要求
1、一种基于全方位计算机视觉的遗留物检测装置，包括用于监视大范围全景内安全情况的视觉传感器、以及用于根据视觉传感器的信号进行遗留物检测的微处理器，所述视觉传感器与所述微处理器连接，其特征在于所述视觉传感器为全方位视觉传感器和高速快球抓拍传感器，所述全方位视觉传感器包括支架、透明外罩、一次折反射镜、二次折反射镜、摄像部件镜头和广角镜头，所述透明外罩、一次折反射镜和摄像部件镜头安装在支架上，所述一次折反射镜位于所述透明外罩的上部，所述的透明外罩底部中央开口，所述摄像部件镜头位于所述一次折反射镜的上方，所述二次折反射镜安装在所述中央开口内，所述二次折反射镜的中部开小孔，在所述小孔内安装所述广角镜头，所述摄像部件镜头、一次折反射镜、二次折反射镜和广角镜头的中心轴配置在同一轴心线上；将摄像部件镜头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为S1、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式得到以下关系式
d＝S2+S3 (12)
将摄像部件镜头与广角镜头的之间的距离d作为一个约束条件，通过设计广角镜头的焦点距离f2来满足公式(12)的要求；
将摄像部件镜头与广角镜头作为一个组合镜头来考虑的话，其焦距f由下式来表示
另外，将合成镜头的直径作为D，其放大倍数由下式来表示
合成镜头满足以下公式
式(15)中，θ1max是二次反射光线V3与折反射主轴Z的最大夹角；所述微处理器包括
ODVS图像获取模块，用于获得监控场景的全景视频图像，包括有系统初始化单元和图像获取单元；
场景内对象检测模块，用于抽取出监控场景内的运动对象、遗留物暂时静止对象和场景静止对象，包括有
长周期背景建模单元，用于通过采用基于混合高斯分布模型以较小的更新率对背景像素进行建模；
短周期背景建模单元，用于通过采用基于混合高斯分布模型以较大的更新率对背景像素进行建模；
阴影抑制单元，用于有效区分运动对象和运动阴影，基于HSV颜色空间的检测方法，在HSV颜色空间中，H分量表示色度，S分量表示饱和度，V分量表示亮度，通过以下决策公式(20)，来判断某像素点是否属于阴影
式中，IV(x，y)、IS(x，y)、IH(x，y)与BV(x，y)、BS(x，y)、BH(x，y)分别表示(x，y)处像素新输入值I(x，y)与背景像素值H、S、V分量；参数0＜α＜β＜1，α取值要考虑阴影的强度，当背景上投射的阴影越强时，参数α要取得越小，参数β用来增强系统的鲁棒性；参数τS小于零，参数τH的选取则主要根据场景的情况进行调试；
对象区分单元，用于抽取出监控场景内的运动对象、遗留物暂时静止对象和场景静止对象，与所述的长周期背景建模模块和所述的短周期背景建模模块中所得到的处理中间结果BL和BS进行差减运算，得到长周期前景FL、短周期前景FS，接着根据FL和FS值之间的关系，归纳出当前帧内某像素的四种不同类型，判定结果如表1所示
表1
根据表1的判断，类型1属于运动对象，类型2属于遗留物品暂时静止对象，类型4属于场景静态对象；
遗留事件检测模块，用于检测出在场景内发生的各种遗留事件的状态，包括有遗留事件检测ID号自动生成单元，用于当遗留物品的携带者与遗留物品开始分离时刻，系统自动会产生一个遗留事件检测ID号并同时生成一个以该遗留事件检测ID号命名的文件夹，用于存放可疑遗留物品的携带者的特写图像和遗留事件的视频图像；
遗留物品的携带者抓拍单元，用于当遗留物品的携带者与遗留物品开始分离时刻时，从所述的对象区分单元处理结果得到遗留物品的携带者位置信息(Sx，Sy)，然后根据在系统初始化单元中所建立的映射表，输出一个与携带者位置信息(Sx，Sy)相对应的数字ID给高速快球的控制控制端口，指示高速快球抓拍传感器转动对准该位置进行拍摄，获得遗留物品的携带者的特写图像；
遗留物品的携带者跟踪单元，用于采用基于KALMAN滤波的跟踪算法跟踪遗留物品的携带者的轨迹；
遗留物品空间位置状态判断单元，用于确认遗留物品与遗留物品的携带者相分离的状态；当遗留物品的携带者与遗留物品开始分离时刻时，得到遗留物的位置信息(Ox，Oy)，然后不断的读取从遗留物品的携带者跟踪模块中所计算得到的携带者的位置信息(Sx′，Sy′)，然后计算这两个点之间的距离，计算方法由公式25所示，
遗留物品所经历的静止时间计算单元，用于计算当遗留物品的携带者与遗留物品开始分离时刻到当前的时间间隔，计算方法是从遗留物品的携带者与遗留物品开始分离时刻开始获取计算机系统时间TStart，然后在所述的遗留状态判断模块判断结束后在获取当前的计算机系统时间TNow，遗留物品所经历的静止时间可以由公式26计算，
t＝TNow-TStart (26)
式中，t为遗留物品所经历的静止时间，TStart为从遗留物品的携带者与遗留物品开始分离时刻的系统时间，Tnow为目前系统的时间；
遗留状态判断单元，用于确认遗留物品是否真正处在遗留状态根据在所述的遗留物品空间位置状态判断模块中所计算得到的携带者离遗留物品的距离是否超过了所规定的距离或者完全消失在场景中，以及在所述的遗留物品所经历的静止时间计算模块所计算得到遗留物品单独静止时间是否超过了所规定的时间，作出各种遗留状态和警示的综合判定；遗留物综合判定表如表2所示；
表2。
2、如权利要求1所述的基于全方位计算机视觉的遗留物检测装置，其特征在于全方位视觉传感器满足整个监控领域顶视的全景视频图像不变形要求，用以下方法来进行设计
根据成像原理，一次入射光线V1与折反射主轴Z的夹角为Φ，一次反射光线V2与折反射主轴Z的夹角为θ2，过P1点(t1，F1)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ1，过P2点(t2，F2)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε1，基于上述关系可以得到公式(1)
其中
式中，F1是一次折反射镜面曲线，F2是二次折反射镜面曲线；
利用三角关系并进行简化整理，得到公式(2)、(3)
F1′2-2αF1′-1＝0 (2)
F2′2-2βF2′-1＝0 (3)
上式中，
解公式(2)、(3)可以得到公式(4)、(5)；
式中F1′为F1曲线的微分，F2′为F2曲线的微分；
在成像平面上的点与水平面上的点之间满足某种线性关系，与视点S的距离为C并与Z轴相垂直的水平面L上的任意点P，在成像平面上的有一个对应的像素点p，将水平面上的坐标用极坐标表示，这时水平面L上的任意点P(r，z)用以下公式来表示，
r＝C*tanφ，z＝s+C (6)
设计水平面上具有平均分辨率ODVS，即水平方向不变形的ODVS，在水平面L上的任意点P与Z轴相垂直方向的坐标r和像素点p与Z轴的距离t2/F2(t2)之间要保证具有线性关系；使得以下公式能成立，
r＝a*f*t2/F2(t2)+b (7)
根据成像原理有以下关系成立，入射角用公式(8)表示，
将公式(6)、(8)代入公式(7)并整理，得到在水平方向不变形的条件，用公式(9)表示，
满足公式(9)的镜面曲线设计符合水平方向平均分辨率要求。
3、如权利要求1或2所述的基于全方位计算机视觉的遗留物检测装置，其特征在于在所述遗留物品的携带者跟踪模块中，设定处理两帧连续图像之间的间隔时间是一定的，记为Δt，假设上一时刻前景目标对象的所处位置为(Sx，Sy)，当前时刻前景目标对象的所处位置为(Sx′，Sy′)，当前前景目标对象在X轴上的速度Vx，在Y轴上的速度为Vy，那么当前时刻前景目标对象所处的位置与上一时刻前景目标对象所处的位置的关系如公式(21)所示
式中，Sx、Sy为上一时刻前景目标对象的所处x、y位置，Sx′、Sy′为当前时刻前景目标对象的所处x、y位置，Δt为两帧之间的时间间隔，Vx为当前前景目标对象在X轴上的速度，Vy为当前前景目标对象在Y轴上的速度；
对前景目标对象的速度进行预测，设定其在X轴上的加速度为ax，在Y轴上的加速度为ay，建立一个系统状态{Vx，Vy，ax，ay}，取系统控制量U(k)为0，状态转移矩阵为
测量值为前景目标对象的速度值，记测量值转移矩阵为
假设W(k)和V(k)为零均值且独立的噪声向量，则设其协方差为
然后测得前景目标对象运动速度，并设定一个误差协方差初始值，通过KALMAN滤波不断地从上一时刻前景目标对象的速度状态预测出当前时刻的运动状态，实现预测跟踪。
全文摘要
一种基于全方位计算机视觉的遗留物检测装置，包括用于监视大范围全景内安全情况的视觉传感器、以及用于根据视觉传感器的信号进行遗留物检测的微处理器，视觉传感器为全方位视觉传感器和高速快球抓拍传感器，微处理器包括ODVS图像获取模块，场景内对象检测模块，用于抽取出监控场景内的运动对象、遗留物暂时静止对象和场景静止对象，遗留事件检测模块，用于检测出在场景内发生的各种遗留事件的状态，包括遗留事件检测ID号自动生成单元、遗留物品的携带者抓拍单元、遗留物品的携带者跟踪单元、遗留物品空间位置状态判断单元、遗留物品所经历的静止时间计算单元、遗留状态判断单元。本发明具有全方位视觉、可靠性好、实时性强。
文档编号G02B17/08GK101552910SQ20091009707
公开日2009年10月7日 申请日期2009年3月30日 优先权日2009年3月30日
发明者汤一平, 陈耀宇 申请人:浙江工业大学, 汤一平