一种高速目标着弹点高精度光幕探测方法与流程

1.本发明属于着弹点探测技术领域，特别涉及一种高速目标着弹点高精度光幕探测方法。


背景技术：

2.特种作战训练中，需要沉浸式实弹对抗训练，要求实时测量子弹着靶坐标，为视频快速切换提供依据及评估打击效果，需要探测设备能够高分辨定位(2mm)、快速响应＜0.3s、大范围监测(同时监测54m
×
4m)，同时，要求监测系统不受沉浸式实弹射击影响，也不能影响训练效果，特别是不能对沉浸投影视频效果产生影响。
3.已有几种着弹指标测量技术：红外热像仪、红外摄像机、可见光线阵摄像机。
4.红外热像仪：能够快速探测实弹着弹瞬间对靶标灼伤产生的热量进行定位，探测概率高，但也有虚警，存在几个问题，不能满足使用要求：一是像素数低，分辨率不高，无法满足高精度定位(要求2mm)；二是成本太高，要实现大范围(54m
×
4m)监测，需要的设备量庞大，成本太高，无法承受；三是热量冷却时间不确定，对快速连射训练时，不能确定每发子弹坐标。
5.红外摄像机：现有的红外摄像机测量系统一般是近红外(或短波红外)，或可见光摄像机工作在近红外波段，该摄像机无法直接探测实弹着弹坐标，现有系统一般是用于探测近红外激光模拟射击定位，探测的目标是近红外激光光斑坐标，非实际弹坑，虽然也是沉浸式监测，但无法用于实弹训练，不能满足使用要求。
6.可见光线阵摄像机，利用可见光线形光斑形成光幕，探测子弹穿越光幕时在屏幕产生的阴影位置解算子弹坐标，该方式理论上可以满足监测要求，精度、成本、实时性等均可以，但实际应用时存在几个问题：一是对安装平台精度要求太高(urad级)，调试及试验成功风险极高，特别是对大范围监测，难度更大；二是对可见光线阵激光器光斑均匀性及稳定性要求极高，现有光源无法满足要求，否则探测概率极低或虚警率极高；三是为了满足高分辨率及对高速目标探测，摄像机像素(大于5k线阵)及帧频极高(大于50khz)图像信息量极大，对计算机实时处理及实时传输带宽要求极高，成本极高；四是屏幕不同部位定位精度差异极大，定位精度非线性，局部精度太低；五是不能处理弧形屏幕，只能处理平面屏幕；六是测量误差与子弹飞行轨迹有关，子弹飞行方向与靶板不垂直时，测量误差较大。


技术实现要素：

7.本发明针对现有技术中存在的技术问题，提供一种高速目标着弹点高精度光幕探测方法，采集靶板的近红外光图像，并从图像中准确识别出弹孔着弹点，本方法工作在近红外波段，不受沉浸式实弹射击影响，也不影响训练效果。
8.本发明采用的技术方案是：一种高速目标着弹点高精度光幕探测方法，包括以下步骤：
9.s1：近红外光源照射靶板，摄像设备不断拍摄靶板的近红外光图像，并采集每个射
击动作的射击触发前帧图像、射击触发帧图像和射击触发后帧图像，三个帧图像保存为一组射击弹序帧图像；
10.所述射击触发帧图像为发射信号探测器发出射击触发信号时所述摄像设备拍摄的靶板近红外光图像，所述发射信号探测器探测到射击动作时发出射击触发信号。射击触发前帧图像为射击触发信号发出前摄像设备拍摄的靶板近红外光图像，射击触发后帧图像为射击触发信号发出后摄像设备拍摄的靶板近红外光图像。
11.对摄像设备拍摄的近红外光图像进行实时按序堆栈存储，以发射信号探测器发出的射击触发信号作为时序对准信号，射击触发信号前、中、后的三幅近红外光图像分别作为射击触发前帧图像、射击触发帧图像和射击触发后帧图像，保存为一组射击弹序帧图像。
12.s2：从射击弹序帧图像中选取两个帧图像进行帧差处理(当前帧减去背景帧)，得到帧差结果图像；
13.射击弹序帧图像保存有射击触发前帧图像、射击触发帧图像和射击触发后帧图像时，射击触发前帧图像作为背景帧，射击触发后帧图像作为当前帧；
14.由于射击触发信号到来时刻的不同，射击弹序帧图像保存的帧图像有时会有缺少：
15.射击弹序帧图像保存有射击触发帧图像和射击触发后帧图像时；射击触发帧图像作为背景帧，射击触发后帧图像作为当前帧；
16.射击弹序帧图像保存有射击触发前帧图像和射击触发帧图像时；射击触发前帧图像作为背景帧，射击触发帧图像作为当前帧；
17.射击弹序帧图像只保存有射击触发帧图像时；前一组射击弹序帧图像中的射击触发帧图像作为背景帧，当前射击弹序帧图像的射击触发帧图像作为当前帧。
18.s3：对帧差结果图像进行灰度阈值分割，获得二值图像；
19.所述灰度阈值为帧差结果图像的灰度最大值的百分之六十。
20.s4：利用弹孔目标识别搜索区域模板从上述二值图像中识别出候选弹孔目标；所述弹孔目标识别搜索区域模板包括中心像素点和离中心像素点距离最近的m个周围像素点，所述中心像素点为灰度值为255的像素点；m大于等于20。
21.从候选弹孔目标中筛选出真正的弹孔目标：若某个候选弹孔目标中至少有n个灰度值为255的像素点，且候选弹孔目标的平均灰度值在所有的候选弹孔目标中最小，则该候选弹孔目标为真正的弹孔目标。n大于等于3。m和n的值依据子弹的口径(弹孔的大小)而调整。
22.s5：建立靶板物理坐标，根据弹孔目标在二值图像中的像素坐标，转换成靶板的物理坐标，计算出弹孔目标在靶板上的位置。
23.与现有技术相比，本发明所具有的有益效果是：本发明工作在近红外波段，能够适应复杂背景探测，不受沉浸式实弹射击影响，也不影响训练效果。本发明的摄像设备不断拍摄靶板的近红外光图像，边采集边存储，同时对前面图像进行删除的堆栈式处理方式，极大地提高了图像处理速度实时性；以射击触发信号作为时序对准信号，存储射击触发信号发出前、射击触发信号发出时和射击触发信号后的三个图像，图像后期处理结果准确，且能够处理高速连发和多点齐射目标。本发明采用帧差处理方式处理图像，并设计了弹孔目标识别搜索区域模板，能够准确、快速的从二值图像中识别、确认出真正的弹孔目标。
附图说明
24.图1为本发明实施例的流程框图；
25.图2为本发明实施例的应用场景的结构示意图；
26.图3为本发明实施例的弹孔目标识别搜索区域模板；
27.图4为本发明实施例的像素坐标转化为物理坐标的原理图。
28.图中，1-近红外光源，2-摄像设备，3-发射信号探测器，4-弹着点识别计算机，5-中央处理计算机，6-靶板。
具体实施方式
29.为使本领域技术人员更好的理解本发明的技术方案，下面结合附图和具体实施例对本发明作详细说明。
30.本发明的实施例提供了一种高速目标着弹点高精度光幕探测方法，如图1所示，其包括以下步骤：
31.s1：按照图2所示的结构搭建本实施例的应用场景，靶板6的前面斜上方放置近红外光源1，近红外光源1向靶板上照射近红外光，此时，靶板可以视为光幕。在靶板6的前方摆放摄像设备2，摄像设备2上均设置有用于滤除可见光的滤光片。所述摄像设备2可采用面阵ccd摄像机或面阵cmos摄像机，拍摄靶板的近红外光图像。发射信号探测器3朝向射击区域，用于探测子弹发射时枪口产生的火光闪烁或声波信号，并向弹着点识别计算机4发出射击触发信号。发射信号探测器3和摄像设备2与弹着点识别计算机4连接。弹着点识别计算机4与中央处理计算机5连接。
32.靶板6在近红外光源1照射下，摄像设备2中呈现的图像为均匀亮屏。当有子弹穿过靶板6，在靶板6上留下弹坑痕迹时，能够在图像中出现明显暗光斑。
33.识别计算机对摄像设备拍摄的近红外光图像进行实时按序堆栈存储，可只动态保留一定数量的图像，例如20幅，然后以发射信号探测器发出的射击触发信号作为时序对准信号，从20幅图像中取出射击触发信号前、中、后的三幅近红外光图像分别作为射击触发前帧图像、射击触发帧图像和射击触发后帧图像，保存为一组射击弹序帧图像。
34.启动设备，摄像设备不断拍摄靶板，实时采集靶板的近红外光图像，并发送给弹着点识别计算机，保存为射击触发前帧图像。弹着点识别计算机的初始状态：触发标志设置为等待触发状态，触发后帧图像存储完成标志置为真。若触发标志一直处于等待触发状态时，则不断更新当前采集图像到当前射击弹序帧图像的射击触发前帧图像中。
35.弹着点识别计算机实时监听串口射击触发信号，当接收到射击触发信号时，触发标志设置为触发状态。此时，当触发后帧图像存储完成标志为真时，射击弹序保持不变；当触发后帧图像存储完成标志为假时，射击弹序加一，并将触发后帧图像存储完成标志置为假。实时将当前采集图像保存在当前射击弹序帧图像中，并标记为射击触发帧图像。完成射击触发帧图像存储时，触发标志设置为完成状态。
36.当触发标志为完成触发状态时，实时将当前采集图像保存在当前射击弹序帧图像中，并标记为射击触发后帧图像。完成触发后帧图像存储时，射击弹序加1，触发标志设置为等待状态，触发后帧图像存储完成标志置为真。
37.不断重复上述过程，完成每个射击动作的射击弹序帧图像的存储。
38.s2：从射击弹序帧图像中选取两个帧图像作为当前帧和背景帧，并进行帧差处理(当前帧减去背景帧)，得到帧差结果图像。
39.由于射击触发信号到来时刻的不同，射击弹序帧图像保存的帧图像有时会有缺少，射击弹序帧图像中保存的帧图像与当前帧、背景帧的选取过程为：
40.1.射击弹序帧图像保存有射击触发前帧图像、射击触发帧图像和射击触发后帧图像时，射击触发前帧图像作为背景帧，射击触发后帧图像作为当前帧；
41.2.射击弹序帧图像保存有射击触发帧图像和射击触发后帧图像时；射击触发帧图像作为背景帧，射击触发后帧图像作为当前帧；
42.3.射击弹序帧图像保存有射击触发前帧图像和射击触发帧图像时；射击触发前帧图像作为背景帧，射击触发帧图像作为当前帧；
43.4.射击弹序帧图像只保存有射击触发帧图像时；前一组射击弹序帧图像中的射击触发帧图像作为背景帧，当前射击弹序帧图像的射击触发帧图像作为当前帧。
44.s3：对帧差结果图像进行灰度阈值分割，获得二值图像；经试验发现，所述灰度阈值为帧差结果图像的灰度最大值的百分之六十时，能够很好地分割出弹孔和背景。
45.s4：为了从二值图像中识别出候选弹孔目标，我们依据弹孔的大小设计了如图3所示的弹孔目标识别搜索区域模板。本实施例中采用了弹弓试验试验(弹珠直径7mm)以及92式手枪(弹径9.2mm)试验。弹孔目标识别搜索区域模板包括中心像素点和离中心像素点距离最近的20个周围像素点。
46.在利用弹孔目标识别搜索区域模板从二值图像中识别出候选弹孔目标的过程中，选出灰度值为255的像素点作为弹孔目标识别搜索区域模板的中心像素点，每个弹孔目标识别搜索区域作为一个候选弹孔目标。
47.从候选弹孔目标中筛选出真正的弹孔目标：若某个候选弹孔目标中至少有3个灰度值为255的像素点，且候选弹孔目标的平均灰度值在所有的候选弹孔目标中最小，则该候选弹孔目标为真正的弹孔目标。
48.不断重复步骤s2-s4的过程，从每个射击动作的射击弹序帧图像中识别出该射击动作的真正的弹孔目标。
49.s5：建立靶板物理坐标，根据弹孔目标在二值图像中的像素坐标，转换成靶板的物理坐标，计算出弹孔目标在靶板上的位置。
50.每个射击动作的射击弹序帧图像和处理结果保存到中央处理计算机的硬盘中，以便于后续的离线分析处理和事件回放。
51.建立靶板物理坐标：
52.在靶板每个单元靶区设置8个边界参考坐标点，分别是(0，0)、(2250，0)、(4500，0)、(0，2000)、(4500，2000)、(0，4000)、(2250，4000)、(4500，4000)，这8个坐标就是靶板的物理坐标。(0，0)位于靶板左下角，(4500，4000)位于靶板右上角。
53.像素坐标转化为物理坐标：
54.摄像机在空间任意位置，实际采集曲面和摄像机中ccd一一对应，如图4，因此以实际曲面建立坐标系，当实际曲面进行坐标变换时，其ccd也进行坐标变换，均可以理解为实际曲面，先绕z轴旋转a，再绕y轴旋转b，其像旋是绕x轴旋转c。
55.定义摄像机初始位置为(-x，0，0)，该位置摄像机任意一点像素点为(0，y，z)，由于
存在7个未知参数a、b、c、x、y、z、d，在建立方程中包含三角函数，造成方程求解存在困难，因此本方法采用分别求解，求出未知数时，再进行误差矫正。
56.1、求解a、x、d、y
57.由于像旋角度较小，初始位置选择300个像素对应像旋影响较小，因此首先忽略像旋的影响。
58.经过旋转之后其对应关系为：
[0059][0060][0061]
经过旋转后摄像机与该点像素构成的直线为：
[0062][0063]
由公式3可知，令xk＝0，即可得到该直线与yoz平面的交点，该点为摄像机的物理坐标。
[0064]
根据相似三角形可得：
[0065][0066]
f为焦距，d为像高。
[0067]
单个像元尺寸为2.4um
×
2.4um由此可知单个像素下，可得：
[0068][0069][0070]
当实际曲面中选择(0，y，0)时，联立方程(1)、(2)和(3)可得其投影点到原点的距离：
[0071][0072]
测量未选转前像素点308对应实际曲面的距离d1和未选转前像素点300对应实际曲面的距离d2，可得到y，将方程(4)、(5)、(7)可知a、x、d、y，根据公式(6)可以得到一个像素下的z。
[0073]
2、求解b
[0074]
根据求得a、x、d、y、z，当实际曲面中选择(0，y，0)时，联立方程(1)、(2)和(3)可得其投影点到原点的距离：
[0075]
yk＝f(b)
ꢀꢀꢀ
(8)
[0076]
zk＝f(b)
ꢀꢀꢀ
(9)
[0077][0078]
联立(8)、(9)和(10)可以得到b。
[0079]
3、求解c
[0080]
由于存在像旋，在300-400像素点时，其像旋角影响较小，通过上式计算出a、b、x、y、z、d时，考虑其像旋问题。将实际曲面绕x轴旋转可得：
[0081][0082][0083]
经过旋转后摄像机与该点像素构成的直线为：
[0084][0085]
将(11)、(12)和(13)联立可得
[0086]
yk＝f(c)
ꢀꢀꢀ
(14)
[0087]
zk＝f(c)
ꢀꢀꢀ
(15)
[0088][0089]
由于像旋会对y和z均有影响，因此在进行像旋矫正时，采用竖直方向和水平方向均进行矫正，测量摄像机水平方向2354和竖直方向1836位置，像素数为400
×
400，得到d5和d6，联立方程(14)、(15)和(16)，利用二分法查找的方法，使计算的d5和d6的平均值小于2mm，既可以得到c。
[0090]
4、误差矫正
[0091]
采用该方法会存在系统误差和测量误差，在初始时，忽略了c的影响，导致在求解的过程中，计算值d5和d6会于测量值有较大的差距，在测量的过程中，产生0.1mm的误差也会对该算法产生很大的影响，因此，在求解的过程中需要矫正该误差，使计算值d5和d6与测量值差值在允许范围内。
[0092]
考虑到误差来源为d1，d1过大会使a偏大，导致d5和d6偏大，d1较小会使a偏小，导致d5和d6偏小，因此其存在一个极值，使d5和d6与测量值相近。因此在计算c时，将d1在原来的基础上加2mm，通过0.02mm递减的方式查询最优解。
[0093]
5、物理坐标原点的转换
[0094]
在求出最优解后，由于坐标系并非为摄像机像素坐标系，因此在这个过程中，需要转换坐标系，将以上所求的未知量带入(11)、(12)、(13)，由于以上y和z分别为像素307.5和像素299.5情况下长度，因此原点坐标下像素-2747.5和-1835.5对应的y和z，令其乘以系数-2747.5/308和-1835.5/299.5，令xk＝0可得yk1和zk1。
[0095]
假设待求像素为ky和kz，则令y和z其乘以系数(ky-2747.5)/308和(kz-1835.5)/299.5，令xk＝0可得yk2和zk2。该点物理坐标可以表示为yk2-yk1和zk2-zk1即为该点像素
的实际位置(靶板物理坐标)，其中，yk2-yk1为水平方向，zk2-zk1为竖直方向。
[0096]
以上通过实施例对本发明进行了详细说明，但所述内容仅为本发明的示例性实施例，不能被认为用于限定本发明的实施范围。本发明的保护范围由权利要求书限定。凡利用本发明所述的技术方案，或本领域的技术人员在本发明技术方案的启发下，在本发明的实质和保护范围内，设计出类似的技术方案而达到上述技术效果的，或者对申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖保护范围之内。