基于机器视觉的自动报靶射击训练系统及实现方法

1.本发明是基于机器视觉的自动报靶射击训练系统及实现方法，属于图像数据处理技术领域。


背景技术：

2.传统射击训练中报靶和更换靶纸皆依靠人工实现，存在效率低，安全性差和公平性低的问题，现已出现了一些实弹射击报靶更换靶纸的产品，但半导体电子靶高报废率无法支持军事日常训练，胶粘法更换靶纸易受天气环境影响。


技术实现要素：

3.本发明要解决的技术问题是针对以上不足，提供基于机器视觉的自动报靶射击训练系统及实现方法，通过图像处理技术加入自学习思想使检测更加精准，解决了人工报靶更换靶纸存在的效率低，安全性差和公平性低的问题，极大提高军事射击训练效率。
4.为解决以上技术问题，本发明采用以下技术方案：
5.基于机器视觉的自动报靶射击训练系统，包括靶体、压力传感模块、靶纸更换模块、图像采集处理模块、数据分析处理模块、语音播报模块、用户终端和数据服务器，图像采集处理模块、压力传感模块、数据服务器、语音播报模块和用户终端皆与数据分析处理模块连接，压力传感模块与图像采集处理模块连接，用户终端与靶纸更换模块连接；
6.所述压力传感模块和靶纸更换模块均安装在靶体上；
7.所述图像采集处理模块包括采集单元、光照感应单元、图像预处理单元和图像传输单元；
8.所述数据分析处理模块包括分析单元、自学习单元和通讯单元；
9.所述用户终端用于显示该轮射击靶纸图像、各次环值、射击成绩和该射击人员以往射击平均成绩，用户终端中角色包括射击人员和管理员。
10.基于机器视觉的自动报靶射击训练系统的实现方法，包括图像预处理流程、图像数据分析处理流程、自动报靶换靶纸流程和自学习流程，图像预处理流程用于对图像采集处理模块采集的图像进行预处理，图像数据分析处理流程用于将数据分析处理模块接收到的预处理后的图像进行分析处理，自动报靶换靶纸流程用于控制实现全自动的报靶及更换靶纸，自学习流程利用自学习算法处理数据服务器中数据，使后期系统判断更为精准。
11.进一步的，所述图像预处理流程用于对采集图像预处理，包括以下步骤：
12.首先需要去除图像背景将图片中的靶面分离出来，之后对图像进行灰度化，中值滤波去除噪点，图像二值化处理凸显弹孔和靶面轮廓，根据完整靶面区域得到外接矩形参数坐标进行靶面剪裁，最后对剪裁下的靶面图像进行几何校正操作；若光照感应单元采集光照数据低于预设值i，则图像预处理模块首先利用限制对比度自适应直方图均衡法对原始图像进行夜间图像增强处理，增强后再对图像进行预处理。
13.进一步的，所述图像预处理单元中去除图像背景将图片中的靶面分离具体算法流
程如下：
14.首先将原图像由rgb颜色空间转换为hsv颜色空间，提取出靶纸对应颜色像素，将提取出的像素按原位置复制进一张新创建的空白图像，最后将该图像转换为rgb颜色空间得到一张只有靶面的图像；
15.中值滤波是图像处理中一种常用的滤波手段，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值，起到明显图像去噪的作用，其滤波模型如下：
16.g
x，y
＝med[f
x+i，y+j，
i，j＝-l，....，0，....，+l]；
[0017]
其中，x，y表示像素点的位置信息，模型选择滤波窗口大小(2l+1)*(2l+1)的矩形，f
x+i，y+j
为该点窗口的像素点灰度值序列，g
x，y
为灰度值序列中值，用该中值替换原像素点灰度值完成中值滤波。
[0018]
进一步的，所述图像二值化处理通过阈值分割凸显弹孔和靶面轮廓，具体算法如下：
[0019][0020]
其中，x，y表示像素点的位置信息，f(x，y)表示原图像该像素点的灰度值，g(x，y)表示阈值分割更新后该像素点的灰度值，遍历整张图像的像素点，当灰度值小于等于阈值t更新像素点灰度值为0，当灰度值大于阈值t则保留原始灰度值不变。
[0021]
进一步的，所述几何校正首先定位靶纸图像四个顶点，根据四个顶点坐标，按照区域最大原则生成一个矩形，矩形四个顶点作为基准点，利用四个顶点和四个基准点求解变换系数，利用变换系数进行坐标转换，最后进行灰度差值完成几何校正；在算法实现中本发明采用地址映射公式为：
[0022]
x＝a
0，0
+a
0，1
v+a
1，0
u+a
1，1
vu；
[0023]
y＝b
0，0
+b
0，1
v+b
1，0
u+b
1，1
vu；
[0024]
通过矩阵方式对应的线性最小二乘解为：
[0025]
a＝x
′wt
(ww
t
)-1
；
[0026]
b＝y
′wt
(ww
t
)-1
；
[0027]
采用三次卷积插值函数作为插值函数，公式为：
[0028][0029]
其中，算法实现中a取-1。
[0030]
进一步的，所述图像数据分析处理流程包括以下步骤：
[0031]
首先靶心提取，再环线半径提取，采用图像差影法获得弹着点信息，最后质心定位和环值判定；
[0032]
靶心提取方式为：对预处理后的二值化图像进行形态化滤波消除图像中的数字和靶环线，再对齐进行圆形边缘检测获取10环圆形区域，该区域圆心即为靶心；
[0033]
图像环线半径提取方式为：提取二值化图像边缘，做一条过靶心的竖直线，该直线与各环线交点到靶心距离即为环线半径；
[0034]
采用图像差影法比对前后两张图像获得弹着点信息，所述分析单元在做图像差影法处理时，首先获取压力传感数据和光照数据，将获取数据对比数据服务器中预存储的不
同压力、光照与图像差影法动态容差值t对应库，选择对应的图像差影法动态容差值t进行图像差影法。
[0035]
进一步的，所述图像差影法进行运算时，设置图像差影法动态容差值t，若前后图像某点像素相减大于0小于等于t则认为差影后为0，通过这种方法可以减小图像差影法受靶体抖动和光照强弱的影响；图像弹孔质心定位即计算目标区域各坐标点在x,y方向上的算数平均值；图像环值判定首先根据弹孔坐标判断是否在有效区域，若不在有效区域记为0环，若在有效区域计算到靶心距离比较各环线半径确定环数。
[0036]
进一步的，所述自动报靶换靶纸流程包括以下步骤：
[0037]
当管理员从用户终端人脸验证成功后选择开始射击，靶纸更换模块启动更换靶纸，待射击人员从用户终端人脸验证成功，射击人员可以进行射击；
[0038]
当压力感应模块感应到子弹落靶立刻向图像采集处理模块发送压力感应信号，同时向数据分析处理模块发送压力感应数据，图像采集处理模块接收到压力感应信号后立即进行图像采集和图像预处理，若光照感应单元判定光照强度低于预设值i则图像预处理模块首先利用限制对比度自适应直方图均衡法对原始图像进行夜间图像增强处理，增强后再对图像进行预处理，并将预处理后的图像和光照数据发送数据分析处理模块；
[0039]
数据分析处理模块对图像进行靶心提取，环线半径提取，图像差影法获得弹着点信息，质心定位和环值判定处理，将靶纸图像，各次环值，射击成绩和和各次射击的压力感应数据发送用户终端，并将此轮射击成绩，各次环值发送数据服务器，同时将射击成绩发送语音播报模块；
[0040]
管理员从用户终端选择射击结束，用户终端显示该轮射击靶纸图像，各次环值，射击成绩和该射击人员以往射击平均成绩，语音播报模块播放该轮射击成绩；
[0041]
若射击人员和管理员在一轮射击结束后检查用户终端并检查靶纸后确定系统出现误判，管理员可以在用户终端选择误判分析，用户终端将显示此轮射击中每次射击后的靶面图像，若确定出现误判，管理员选择出现误判的该次射击对应的靶面图像；
[0042]
在用户终端输入此次射击环数，最后用户终端将修改后环数发送数据服务器，同时将出现误判的该次射击对应的靶面图像和修改后环数发送数据分析处理模块，数据分析处理模块的自学习单元根据自学习算法改进图像差影法动态容差值t，并更新数据服务器中对应数据。
[0043]
进一步的，所述自学习流程包括以下步骤：
[0044]
在一轮射击结束后，用户终端显示每次射击环数和射击成绩，若射击人员和管理员对射击成绩存在异议，在检查靶纸后确定出现系统误判，则管理人员可以在用户终端选择误判分析，用户终端将显示此轮射击中每次射击后的靶面图像；
[0045]
若确定出现误判，管理员选择出现误判的该次射击对应的靶面图像，在用户终端输入此次射击环数，用户终端将修改后环数和出现误判的该次射击对应的靶面图像发送数据分析处理模块的自学习单元，同时将修改后环数发送数据服务器更新该次成绩；
[0046]
自学习单元将图像差影法动态容差值t从该误判图像原采用的t逐级降低直到检测环数与管理员输入环数相同，则将数据服务器中预存储的对应压力、光照下的图像差影法动态容差值t更新为修改后的图像差影法动态容差值t，使得之后识别更加精准。
[0047]
本发明采用以上技术方案，与现有技术相比，具有如下技术效果：
[0048]
本发明设计合理，其在每轮射击开始前自动更换靶纸，射击过程中采集靶面图像，自动识别靶面弹孔位置，最终在用户终端显示射击成绩，数据服务器存储射击人员信息和成绩，本发明可以适应室外雨天、光照强度低等不良天气情况，同时使用自学习思想使识别精度不断提高，提供了一种能适应多种地形和环境条件的自动报靶更换靶纸方式；本发明解决了人工报靶更换靶纸存在的效率低，安全性差和公平性低的问题，极大提高军事射击训练效率。
附图说明
[0049]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
[0050]
图1为本发明的系统结构图；
[0051]
图2为本发明设备分布图；
[0052]
图3为本发明靶体主视图；
[0053]
图4为本发明靶体侧视图；
[0054]
图5为本发明图像采集处理模块外观图；
[0055]
图6为本发明图像预处理流程的流程图；
[0056]
图7为本发明图像数据分析处理流程的流程图；
[0057]
图8为本发明自动报靶换靶纸流程的流程图；
[0058]
图9为本发明自学习流程的流程图。
具体实施方式
[0059]
实施例1，如图1至图2所示，基于机器视觉的自动报靶射击训练系统，包括靶体、压力传感模块、靶纸更换模块、图像采集处理模块、数据分析处理模块、语音播报模块、用户终端和数据服务器，图像采集处理模块、压力传感模块、数据服务器、语音播报模块和用户终端皆与数据分析处理模块连接，压力传感模块与图像采集处理模块连接，用户终端与靶纸更换模块连接。
[0060]
所述靶体包括靶标板、靶杆和保护装置，保护装置用于保护靶纸更换模块与压力传感模块防止被射击子弹击坏。
[0061]
所述压力传感模块安装于靶体的保护装置后，当感应到子弹打到靶标板上立刻分别向图像采集处理模块发送压力感应信号，向数据分析处理模块发送压力感应数据。
[0062]
所述靶纸更换模块安装于靶体的保护装置后，包括上下两个滚轴，利用滚轴卷纸的方式将防水高强度靶纸固定在靶标板上，上方滚轴放未使用靶纸，下方滚轴卷入使用后的靶纸，当用户在用户终端选择开始射击后，用户终端向靶纸更换模块发送更换靶纸指令，靶纸更换模块的两个滚轴同时顺时针转动将使用后的靶纸卷入下方滚轴，未使用的靶纸从上方滚轴绷紧拉出到靶标板前。
[0063]
所述图像采集处理模块包括采集单元、光照感应单元、图像预处理单元和图像传输单元，采集单元用于通过相机采集靶位的图像，若采集单元接收到压力传感模块发送的感应信号，则认为此时有子弹落靶，采集单元立刻采集靶位图像；光照感应单元用于感应此
轮射击过程中的光照强度，并将光照数据发送数据分析处理模块；因为采集单元采集的靶位图像需要将靶位对应图像从原始图像中分割出来，分割出的图像因为拍摄角度或光照强度会出现靶面畸形和靶面弹孔不清晰等问题，故图像预处理单元对采集到的图像进行夜间图像增强，靶面图像分割和图像几何校正等预处理；图像传输单元将预处理后的靶面图像发送数据分析处理模块。
[0064]
所述数据分析处理模块包括分析单元、自学习单元和通讯单元；分析模块用于接收压力传感模块和图像采集处理模块发送的压力感应数据，光照数据和图像数据，对图像进行靶心提取，环线半径提取，通过压力感应数据和光照数据确定图像差影法动态容差值t，利用图像差影法识别弹孔，弹孔质心定位等处理，最后环值判定和本次射击分数统计；通讯单元用于将靶纸图像，各次环值和射击成绩发送用户终端，并将此轮射击成绩，各次环值和各次射击的压力感应数据发送数据服务器，同时将射击成绩发送语音播报模块；当射击人员在一轮射击后检查用户终端并检查靶纸后确定系统出现误判，自学习单元根据自学习算法改进图像差影法动态容差值t，并更新数据服务器中对应数据，使后期系统判断更为精准。
[0065]
所述语音播报模块包括一个网络智能音箱放置于射击位边，用于接收数据分析处理模块发送的射击成绩数据并播报此轮射击成绩。
[0066]
所述用户终端用于显示该轮射击靶纸图像、各次环值、射击成绩和该射击人员以往射击平均成绩，射击人员可以在用户终端选择开始射击和结束射击，当选择开始射击后向靶纸更换模块发送更换靶纸指令；当一轮射击结束后，若射击人员检查用户终端并检查靶纸后确定系统出现误判，管理员可以在用户终端选择误判分析，用户终端将显示此轮射击中每次射击后的靶面图像，若确定出现误判，管理员选择出现误判的该次射击对应的靶面图像，在用户终端输入此次射击环数，最后用户终端将修改后环数发送数据服务器，同时将出现误判的该次射击对应的靶面图像和修改后环数发送数据分析处理模块。
[0067]
所述用户终端包括包括手机和平板电脑等移动终端。
[0068]
所述用户终端中角色包括：射击人员和管理员；射击人员在射击前需要进行人脸识别，射击人员的id，脸部信息，角色，各轮射击成绩和射击平均成绩存储在数据服务器中；管理员在系统开启后需要进行人脸识别，只有管理员有权限在用户终端选择开始射击，结束射击和误判分析。
[0069]
所述数据服务器用于存储用户id、脸部信息、角色、各轮射击成绩和射击平均成绩；预存储不同压力感应数据和光照数据对应的图像差影法动态容差值t。
[0070]
如图3所示，所述靶体包括靶标板和靶杆，靶标板和靶杆均采用高强度防弹钢板，靶杆包括两条竖直支撑靶杆和三条分别向正后方、左后方和右后方的加固靶杆，可以有效避免子弹落靶带来的靶面抖动。
[0071]
如图4所示，所述保护装置由前后高强度防弹钢板内夹eva强缓冲减震材料构成；所述压力传感模块包括一个压力传感器，当子弹打到靶标板压力传感器立刻分别向图像采集处理模块发送压力感应信号，向数据分析处理模块发送压力感应数据。
[0072]
所述靶纸更换模块的两个滚轴位于靶标板和保护装置后，上方出纸滚轴外套未使用靶纸卷，未使用靶纸从靶标板的靶纸出纸口出纸，使用后的靶纸从靶标板的靶纸回收口通过下方收纸滚轴卷入。
[0073]
如图5所示，所述图像采集处理模块的采集单元使用一台网络摄像机；所述图像采集处理模块的光照感应单元使用光照传感器采集光照数据。所述图像采集处理模块在接收到压力感应模块发送的压力感应信号后采集单元立刻采集靶面图像，有效实现了每发子弹落靶都会采集一张靶面图像，避免了不同子弹打入相近弹孔无法精准识别的问题。
[0074]
基于机器视觉的自动报靶射击训练系统及实现方法包括图像预处理流程、图像数据分析处理流程、自动报靶换靶纸流程和自学习流程。
[0075]
如图6所示，所述图像预处理流程用于对采集图像预处理，包括以下步骤：
[0076]
首先需要去除图像背景将图片中的靶面分离出来，之后对图像进行灰度化，中值滤波去除噪点，图像二值化处理凸显弹孔和靶面轮廓，根据完整靶面区域得到外接矩形参数坐标进行靶面剪裁，最后对剪裁下的靶面图像进行几何校正操作；若光照感应单元采集光照数据低于预设值i，则图像预处理模块首先利用限制对比度自适应直方图均衡法对原始图像进行夜间图像增强处理，增强后再对图像进行预处理；
[0077]
所述图像预处理单元中去除图像背景将图片中的靶面分离具体算法流程如下：
[0078]
首先将原图像由rgb颜色空间转换为hsv颜色空间，提取出靶纸对应颜色像素，将提取出的像素按原位置复制进一张新创建的空白图像，最后将该图像转换为rgb颜色空间得到一张只有靶面的图像；
[0079]
中值滤波是图像处理中一种常用的滤波手段，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值，起到明显图像去噪的作用，其滤波模型如下：
[0080]gx，y
＝med[f
x+i,y+j
，i，j＝-l,....，0，....，+l]；
[0081]
其中，x，y表示像素点的位置信息，模型选择滤波窗口大小(2l+1)*(2l+1)的矩形，f
x+i,y+j
为该点窗口的像素点灰度值序列，g
x，y
为灰度值序列中值，用该中值替换原像素点灰度值完成中值滤波。
[0082]
所述图像二值化处理通过阈值分割凸显弹孔和靶面轮廓，具体算法如下：
[0083][0084]
其中，x，y表示像素点的位置信息，f(x,y)表示原图像该像素点的灰度值，g(x,y)表示阈值分割更新后该像素点的灰度值，遍历整张图像的像素点，当灰度值小于等于阈值t更新像素点灰度值为0，当灰度值大于阈值t则保留原始灰度值不变。
[0085]
由于射击训练过程中摄像机与靶面会出现一定角度偏差，靶面图像会出现一定程度畸变，故需所述几何校正操作对图像校正；图像校正首先定位靶纸图像四个顶点，根据四个顶点坐标，按照区域最大原则生成一个矩形，矩形四个顶点作为基准点，利用四个顶点和四个基准点求解变换系数，利用变换系数进行坐标转换，最后进行灰度差值完成几何校正；在算法实现中本发明采用地址映射公式为：
[0086]
x＝a
0,0
+a
0,1
v+a
1，0
u+a
1,1
vu；
[0087]
y＝b
0,0
+b
0,1
v+b
1,0
u+b
1,1
vu；
[0088]
通过矩阵方式对应的线性最小二乘解为：
[0089]
a＝x
′wt
(ww
t
)-1
；
[0090]
b＝y
′wt
(ww
t
)-1
；
[0091]
采用三次卷积插值函数作为插值函数，公式为：
[0092][0093]
其中，算法实现中a取-1。
[0094]
如图7所示，所述图像数据分析处理流程包括以下步骤：
[0095]
首先靶心提取，再环线半径提取，采用图像差影法获得弹着点信息，最后质心定位和环值判定；靶心提取方式为：对预处理后的二值化图像进行形态化滤波消除图像中的数字和靶环线，再对齐进行圆形边缘检测获取10环圆形区域，该区域圆心即为靶心；图像环线半径提取方式为：提取二值化图像边缘，做一条过靶心的竖直线，该直线与各环线交点到靶心距离即为环线半径；分析单元在一轮射击过程中通过图像差影法比对前后两张图像获得弹着点信息，但虽本发明靶体采用高强度防弹钢材，子弹落靶后靶体仍会产生一定程度震动抖动，并且图像采集过程中受光线强度影响，传统差影法可能会因此产生误差，因此本发明采用改进的图像差影法，当做图像差影运算时，设置图像差影法动态容差值t，若前后图像某点像素相减大于0小于等于t则认为差影后为0，通过这种方法可以减小图像差影法受靶体抖动和光照强弱的影响；图像弹孔质心定位即计算目标区域各坐标点在x,y方向上的算数平均值；图像环值判定首先根据弹孔坐标判断是否在有效区域，若不在有效区域记为0环，若在有效区域计算到靶心距离比较各环线半径确定环数。
[0096]
所述分析单元在做图像差影法处理时，首先获取压力传感数据和光照数据，将获取数据对比数据服务器中预存储的不同压力、光照与图像差影法动态容差值t对应库，选择对应的图像差影法动态容差值t进行图像差影法。
[0097]
如图8所示，所述自动报靶换靶纸流程包括以下步骤：
[0098]
当管理员从用户终端人脸验证成功后选择开始射击，靶纸更换模块启动更换靶纸，待射击人员从用户终端人脸验证成功，射击人员可以进行射击；
[0099]
当压力感应模块感应到子弹落靶立刻向图像采集处理模块发送压力感应信号，同时向数据分析处理模块发送压力感应数据，图像采集处理模块接收到压力感应信号后立即进行图像采集和图像预处理，若光照感应单元判定光照强度低于预设值i则图像预处理模块首先利用限制对比度自适应直方图均衡法对原始图像进行夜间图像增强处理，增强后再对图像进行预处理，并将预处理后的图像和光照数据发送数据分析处理模块；
[0100]
数据分析处理模块对图像进行靶心提取，环线半径提取，图像差影法获得弹着点信息，质心定位和环值判定处理，将靶纸图像，各次环值，射击成绩和和各次射击的压力感应数据发送用户终端，并将此轮射击成绩，各次环值发送数据服务器，同时将射击成绩发送语音播报模块；
[0101]
管理员从用户终端选择射击结束，用户终端显示该轮射击靶纸图像，各次环值，射击成绩和该射击人员以往射击平均成绩，语音播报模块播放该轮射击成绩；
[0102]
若射击人员和管理员在一轮射击结束后检查用户终端并检查靶纸后确定系统出现误判，管理员可以在用户终端选择误判分析，用户终端将显示此轮射击中每次射击后的靶面图像，若确定出现误判，管理员选择出现误判的该次射击对应的靶面图像；
[0103]
在用户终端输入此次射击环数，最后用户终端将修改后环数发送数据服务器，同时将出现误判的该次射击对应的靶面图像和修改后环数发送数据分析处理模块，数据分析处理模块的自学习单元根据自学习算法改进图像差影法动态容差值t，并更新数据服务器
中对应数据。
[0104]
如图9所示，所述自学习流程包括以下步骤：
[0105]
在一轮射击结束后，用户终端显示每次射击环数和射击成绩，若射击人员和管理员对射击成绩存在异议，在检查靶纸后确定出现系统误判，则管理人员可以在用户终端选择误判分析，用户终端将显示此轮射击中每次射击后的靶面图像；
[0106]
若确定出现误判，管理员选择出现误判的该次射击对应的靶面图像，在用户终端输入此次射击环数，用户终端将修改后环数和出现误判的该次射击对应的靶面图像发送数据分析处理模块的自学习单元，同时将修改后环数发送数据服务器更新该次成绩；
[0107]
自学习单元将图像差影法动态容差值t从该误判图像原采用的t逐级降低直到检测环数与管理员输入环数相同，则将数据服务器中预存储的对应压力、光照下的图像差影法动态容差值t更新为修改后的图像差影法动态容差值t，使得之后识别更加精准。
[0108]
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好的说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。