用于实时重建3d轨迹的方法和系统的制作方法
【专利说明】用于实时重建3D轨迹的方法和系统
[0001] 本发明涉及用于重建人或移动对象在一个场所处的轨迹的方法和系统。特别地， 本发明涉及敏感场所，例如机场、体育场、车站等的决策中心内的安全管理。
[0002] 本发明有利地但不仅仅应用于搜索已经遗留行李件的人，该行李可能被视为是可 疑的。
[0003] 目前，例如在车站中发现有遗留的行李件的情况下，通过扬声器做出通知使得遗 留其行李的人会过来并领取该行李。但是，如果该行李是被故意遗弃的，则行李的物主不会 出现来收回其行李。此外，即使在行李被无意地遗弃的情况下，物主出现所需要的时间也可 能非常长。只要在接近行李已经被遗弃的地方的活动由于预防措施中断直到确定该行李是 无害的，这就是不利的。
[0004] 已知文件US2004/0240542描述了一种具有多个摄像机的监控系统，每个摄像机 都与用于自动检测可疑对象的方法相关。在US2004/0240542所描述的系统中，实时地自 动分析来自摄像机的数据，以确定已经为其预定义参数的可疑对象。在警报的情况下，操作 者回放记录以确定有问题的对象：实际上是机器检测然后触发警报，然后操作者必须确定 对象。
[0005] 还已知文件EP1 975 752描述了一种使得能够确定最佳定位的摄像机的实时方 法。但是，该实时方法需要最初确定对象，然后确定在摄像机朝向有问题的对象的定向方面 最佳定位的摄像机。
[0006] 本发明的一个目的是减少在包括视频监控系统的位置中搜索对象的物主的时间。
[0007] 本发明的另一目的是提供一种易于使用的、有效的、统一的工具以确定物主。
[0008] 上述目的中的至少一个利用一种用于通过连接到一组摄像机并且访问来自这些 摄像机的视频记录的处理服务器来重建一个场所处轨迹的方法来实现。该处理服务器基于 以下来实施基于虚拟现实和增强现实的3D可视化应用：
[0009] _场所的3D表示的静态模型，和
[0010] -动态3D表示数据库。
[0011] 根据本发明，3D可视化应用配置为用于：
[0012] -在时刻T0时的3D可视化中，响应于来自用户的第一指令来确定被视为已经被物 主遗留在该场所的对象的位置，
[0013] -确定用于显示该对象的最佳定位的至少一个摄像机，
[0014] -访问来自该摄像机的视频记录以显示在T0之前的时刻t时的记录，t响应于与 物主遗留对象的时刻相对应的第二指令来确定，
[0015] -启动用于通过来自不同摄像机的从时刻t到目前时刻的记录来追踪物主的方 法，以确定物主的当前位置。
[0016] 利用根据本发明的方法，当由监控摄像机监测到对象被遗留在一个场所时，如今 可以快速地发现被遗留的对象的物主。在敏感场所、例如机场处，这种方法使得能够快速拘 押遗留的行李件的物主以核实这是真实的疏忽事件还是危险的行为。
[0017] 对象的位置可以通过用户在显示场所的3D可视化的屏幕上的点击来确定。用户 可以已经通过来自安保人员的呼叫接收关于对象状况的信息。还可以根据处理服务器中接 收到的GPS( "全球定位系统"）坐标或来自建筑物内的定位系统的坐标来确定对象的位置。 这些坐标会由安保人员具体地从便携式设备、例如移动电话或"智能手机"传输。优选地， 摄像机形成包括其他传感器的视频监控系统的一部分。
[0018] 根据本发明的方法提供3D可视化以及对实时多维决策的辅助。由此可以在几秒 内而不是如之前的几分钟内检测事件、消除怀疑、控制威胁或采取行动。
[0019] 处理服务器使用场所的3D表示的静态模型和动态3D表示数据库来确定最佳放置 的摄像机。3D表示使得能够特别地考虑墙壁和其他障碍物。由此可以得知人是否位于摄像 机的视场中。动态数据库可以包含关于以下的动态数据：
[0020] -摄像机的移动，
[0021] -用户做出的不同点击，
[0022] -正在监控的轨迹，
[0023] -坐标，
[0024] -时间线，
[0025]-等。
[0026] 参照已知的现有技术，结合文件US2004/0240542和EP1 975 752不能实现本发 明，这是因为在本发明中，操作者确定对象，确定最佳定位的摄像机，然后回放来自该相同 摄像机的记录。在US2004/0240542中，记录被回放，而不是由操作者来确定对象。
[0027] 根据本发明，追踪方法允许在其中可以看到物主的视频的直接回放，在回放期间 当物主离开视频（记录）的视场时从一个视频转到另一个视频。这种转换每次都发生，确 定最佳定位的摄像机。
[0028] 根据本发明的一个有利特征，可以如下所述地进行最佳定位的摄像机的选择：
[0029] -基于在显示正在查看的记录的2D监视器上做出的点击，确定物主与地面的作用 点的三维坐标，
[0030] -基于3D可视化和2D监视器之间的双射函数来计算在3D可视化中物主与地面的 作用点的三维坐标，并且基于该三维坐标来确定最佳定位的摄像机，然后显示来自最佳定 位的摄像机的记录以继续追踪。
[0031] 本发明特别地但并不仅仅值得注意的是，通过在与地面的作用点上的点击，实际 上固定了沿着"Z"轴的位置，该位置对应于地面。由此利用X、y、z坐标，本领域技术人员可 以找到使得能够使3D可视化和监视器上的2D视频显示联系的双射函数。
[0032] 作为非限制性实例，可以如下所述地定义描述双射函数的算法：
[0033] 双射函数3D坐标<->2D摄像机坐标
[0034] f:摄像机参考标记->3D参考标记
[0035]f_l:3D参考标记_>摄像机参考标记
[0036] (u,v)视频窗口中2D点的标准化坐标
[0037] (X，Y,Z)三维空间中3D点的坐标
[0038] f(u，V，摄像机参考标记，3D参考标记，3D静态模型，3D动态模型）->X，Y，Z
[0039] Calculate3Dposition(u,V，摄像机参考标记，3D参考标记）_>U,V
[0040] Calculatelntersection(U,V, 3D静态模型，3D动态模型）->X,Y,Zf-1 (X,Y,Z，3D 参考标记，摄像机参考标记，3D静态模型，3D动态模型）->U，V
[0041]If(X，Y，Z)在摄像机视场（摄像机参考标记）中ThenCalculatePosition2D(X，Y,Z，3D参考标记，摄像机参考标记，u,v)
[0042] Endif
[0043] 监视器上的点击使得在3D可视化中能够具有三维定位。转换到3D表示使得能够 考虑障碍物并且有效地计算最佳定位的摄像机。
[0044] 根据本发明的一个有利特征，通过计算每个摄像机的d/f比来确定最佳放置的摄 像机，d为物主与地面的作用点的三维坐标和所考虑的摄像机之间的距离，f为摄像机的焦 距。表述"最佳定位的摄像机"指的是物主在其视场中并且具有最小d/f?比的摄像机。可 以具有多个摄像机的排名，并且不仅显示最佳定位的摄像机，还显示最佳定位的那些