复眼事件相机与转台协同的多目标检测跟踪系统及方法与流程

本发明涉及多目标的检测跟踪，具体涉及复眼事件相机与转台协同的多目标检测跟踪系统及方法。

背景技术：

1、多目标检测跟踪是计算机视觉领域中的一项重要技术，其主要目的是在视频中检测跟踪多个目标的位置和轨迹，多目标检测跟踪技术在许多领域得到了广泛的应用。

2、目前，多目标检测跟踪方法大多是采用一个或者多个传统相机观测，同时采用另一个或多个传统相机追踪。但是单个传统相机在拍摄高速目标时会形成运动模糊，导致检测与跟踪失败。采用多个传统相机虽然在一定程度上能够解决目标高速移动造成的运动模糊问题，但是增加传统相机会导致带宽、计算量以及计算时间增加，而且当没有目标运动时，传统相机仍会不停地拍摄，造成计算与存储资源的浪费。

3、事件相机也称动态视觉传感器，与传统相机不同，事件相机输出的不是图像，而是根据各个像素点的亮度变化输出异步的事件流，因此，事件相机具有高动态范围、高时间分辨率等优势，在目标高速运动时也有较好的检测与跟踪效果。但是目前通常采用单个事件相机进行单目标的检测与跟踪，该方法不适于大视场的多目标检测与跟踪。

技术实现思路

1、本发明的目的是解决现有目标检测跟踪系统及方法存在带宽大、计算量大以及浪费计算与存储资源，或者不适于大视场的多目标检测与跟踪的技术问题，而提供一种复眼事件相机与转台协同的多目标检测跟踪系统及方法。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种复眼事件相机与转台协同的多目标检测跟踪系统，其特殊之处在于：

4、包括中控单元、防御单元、m个底座、n个二维转台，以及分别安装在m个底座上的m组复眼事件相机、分别安装在n个二维转台上的n个高速相机；所述复眼事件相机、高速相机均朝向目标监控区域；其中，m和n均为大于1的整数；

5、所述中控单元分别与防御单元、复眼事件相机、二维转台、高速相机通讯连接，中控单元用于接收复眼事件相机采集的事件流并发现目标和计算目标在世界坐标系下的三维坐标、根据目标在世界坐标系下的三维坐标向二维转台发送转动信号并跟踪目标、接收高速相机采集的目标图像数据并检测识别敌方目标和计算敌方目标在世界坐标系下的三维坐标、向防御单元发送打击信号；

6、所述防御单元用于接收打击信号，对敌方目标进行打击并检测打击结果；

7、所述复眼事件相机用于采集目标触发的事件流并传输至中控单元；

8、所述二维转台用于接收中控单元(3)根据目标在世界坐标系下的三维坐标发送的转动信号，调整方位角和俯仰角；

9、所述高速相机用于采集目标图像数据并传输至中控单元。

10、进一步地，所述m个底座均匀设置在目标监控区域对应的地面区域内；

11、所述n个二维转台均匀设置在目标监控区域对应的地面区域内，可以保证监控范围最大，监控区域重叠度最小。

12、进一步地，所述n为24；

13、所述复眼事件相机为两组，每组复眼事件相机由25个事件相机构成；

14、所述底座为半球形结构，25个事件相机按仿生复眼样式安装在底座上，通过小体积的安装结构即可实现大视场的监控。

15、同时，还提供了一种复眼事件相机与转台协同的多目标检测跟踪方法，采用上述复眼事件相机与转台协同的多目标检测跟踪系统，其特殊之处在于，包括以下步骤：

16、步骤1、对m组复眼事件相机、n个二维转台以及n个高速相机进行标定，获取复眼事件相机、高速相机的内外参数，以及二维转台的方位角和俯仰角信息；

17、步骤2、利用m组复眼事件相机采集目标触发的事件流，中控单元每隔t1时间接收一次复眼事件相机采集的该时间段的事件流并进行降噪处理；

18、步骤3、中控单元检测降噪处理后的事件流是否存在目标，若存在目标，则根据步骤1中所得复眼事件相机的内外参数计算各目标在世界坐标系下的三维坐标；否则，返回步骤2；

19、步骤4、根据步骤3中所得各目标在世界坐标系下的三维坐标，确定分别与各目标所在监控区域对应的各高速相机；根据步骤1所得的二维转台的方位角和俯仰角信息，分别调度所确定的各高速相机对应的二维转台、与各高速相机相邻的其中一个空闲高速相机对应的二维转台，使各目标均处于其中两个高速相机的中心视野并跟踪记录目标图像数据；若同一个高速相机中出现p个目标，则采用相邻的其中2p-2个空闲高速相机对其余p-1个目标进行跟踪并记录目标图像数据；其中，p为大于1的整数；

20、步骤5、中控单元根据步骤4中所得目标图像数据对各目标进行检测识别，若为敌方目标，则根据步骤1中所得与敌方目标对应的高速相机的内外参数以及步骤4中调度后的二维转台的方位角和俯仰角信息，计算敌方目标在世界坐标系下的三维坐标并执行步骤6；若不是敌方目标，则通过控制与其对应的二维转台使高速相机停止跟踪；

21、步骤6、防御单元根据步骤5中所得敌方目标在世界坐标系下的三维坐标，对敌方目标进行打击，打击成功后通过控制与敌方目标对应的二维转台使高速相机停止跟踪，完成多目标的检测与跟踪。

22、进一步地，步骤6具体为：

23、防御单元根据步骤5中所得敌方目标在世界坐标系下的三维坐标，对敌方目标进行打击，并检测打击结果，若打击后的敌方目标失去威胁，则打击成功，通过控制与敌方目标对应的二维转台使高速相机停止跟踪；否则，打击失败，通过控制与敌方目标对应的二维转台使高速相机继续跟踪直至打击成功，完成多目标的检测与跟踪。

24、进一步地，步骤2中的降噪处理具体为：

25、首先计算邻域事件数量矩阵q；其中，q的大小与空间邻域的大小相同，q的元素为新到达事件空间邻域中每个像素产生的事件个数；

26、再根据下式计算得到随机噪声判定值r：

27、r＝||f*q||1

28、其中，f*q表示随机噪声滤波器f与矩阵q的哈达马积，||||1表示1的范数；

29、若r大于阈值，则保留事件，否则滤除事件。

30、进一步地，所述q为5×5的矩阵；

31、本发明的有益效果：

32、本发明提供了一种复眼事件相机与转台协同的多目标检测跟踪系统及方法，可以解决传统相机存在的计算慢、带宽高和浪费计算与存储资源问题。本发明使用复眼事件相机观测目标，同时采用多个高速相机进行检测跟踪，可以获取高分辨率的目标细节，各个高速相机只关注各自的监控区域，当需要时才让其动态协同其它高速相机观测相邻区域的目标，使得到的检测结果更加准确，且当空中有多个目标时，整个检测跟踪系统的稳定性以及准确性更强，能够实现大视场的多目标的检测与跟踪。

技术特征：

1.一种复眼事件相机与转台协同的多目标检测跟踪系统，其特征在于：

2.根据权利要求1所述复眼事件相机与转台协同的多目标检测跟踪系统，其特征在于：

3.根据权利要求2所述复眼事件相机与转台协同的多目标检测跟踪系统，其特征在于：

4.一种复眼事件相机与转台协同的多目标检测跟踪方法，采用权利要求1至3任一所述复眼事件相机与转台协同的多目标检测跟踪系统，其特征在于，包括以下步骤：

5.根据权利要求4所述复眼事件相机与转台协同的多目标检测跟踪方法，其特征在于，步骤6具体为：

6.根据权利要求5所述复眼事件相机与转台协同的多目标检测跟踪方法，其特征在于，步骤2中的降噪处理具体为：

7.根据权利要求6所述复眼事件相机与转台协同的多目标检测跟踪方法，其特征在于：

技术总结
本发明提供了复眼事件相机与转台协同的多目标检测跟踪系统及方法，解决了现有技术的带宽和计算量大、浪费资源，或不适于大视场多目标检测跟踪的问题。系统包括中控单元、防御单元、M个底座、N个二维转台，及M组复眼事件相机、N个高速相机；中控单元分别与用于接收打击信号的防御单元、采集事件流的复眼事件相机、接收转动信号的二维转台、采集目标图像数据的高速相机通讯连接，用于接收复眼事件相机采集的事件流并发现目标和计算目标在世界坐标系下的三维坐标、向二维转台发送转动信号并跟踪目标、接收高速相机采集的目标图像数据并检测识别敌方目标和计算敌方目标在世界坐标系下的三维坐标、向防御单元发送打击信号。

技术研发人员：杨军,张德志,陈向成,刘文祥,张敏,郁奥博,李进,李国亮,陈斌
受保护的技术使用者：西北核技术研究所
技术研发日：
技术公布日：2024/5/10