一种基于胖瘦模板识别的视频监控装置及方法与流程

1.本发明属于图形监控技术领域，尤其涉及一种基于胖瘦模板识别的视频监控装置及方法。


背景技术：

2.飞机座舱显示系统是飞行员的“眼睛”，其实时显示的参数正确与否，直接关系飞行安全。因此，对显示系统中的重要参数进行实时监控尤为必要。当画面参数显示异常值时，监控功能可以及时向显示系统发出警告，以辅助座舱显示系统及时纠偏、执行应急动作，保障飞行安全。
3.显示系统中常采用gpu绘制图像，显示画面是gpu经过渲染、反走样处理的，这些处理虽然能使画面在人眼看起来质量更高，但对不同位置的数字显示不完全一样，这会对正确识别这个数字产生干扰。


技术实现要素：

4.本发明提供一种基于胖瘦模板识别的视频监控装置及方法，该方法基于胖瘦模板匹配误差实现，能够有效抵抗视频通路的视频因gpu渲染、反走样引起的图形畸变，对画面进行监控，提高显示可靠性，提升平均故障间隔时间，保证飞行安全。
5.本发明的技术方案：
6.一方面，本发明提供一种基于胖瘦模板识别的视频监控装置，所述装置包括二值化模块、坐标生成模块、模板选择模块以及字符匹配模块；
7.所述二值化模块的输入端和所述坐标生成模块的输入端分别连接外部视频数据流，所述二值化模块的输出端、所述坐标生成模块的输出端、所述模板选择模块的输出端均连接字符匹配模块的输入端，所述字符匹配模块的输出端输出最终匹配结果。
8.进一步的，所述二值化模块，用于将外部视频数据流转换为二值化数据流；
9.所述坐标生成模块，用于生成外部视频数据流中每个数据对应的图像坐标位置；
10.所述模板选择模块，用于根据外部输入的待监控字符的数值，选择相应的胖模板和瘦模板，并发送至字符匹配模块；
11.所述字符匹配模块，用于根据预先设定的待监控字符的位置，将二值化数据流与胖模板和瘦模板进行对比，得到最终的匹配结果。
12.另一方面，本发明提供一种基于胖瘦模板识别的视频监控方法，所述方法包括：
13.s1，将外部视频数据流转换为二值化数据流；
14.s2，生成外部视频数据流中每个数据对应的图像坐标位置；
15.s3，根据外部输入的待监控字符的数值，选择相应的胖模板和瘦模板，并根据预先设定的待监控字符的位置，将二值化数据流与胖模板和瘦模板进行对比，得到最终的匹配结果。
16.进一步的，所述方法基于fpga控制器实现，fpga控制器获取外部视频流数据以及
待监控数据信息，进行相应的监控功能，得到最终的匹配结果；
17.所述外部视频流数据包括：rgb彩色数据、场同步信号vs、行同步信号hs、数据有效信号de；
18.所述待监控数据信号包括：待监控字符的坐标范围和参考值。
19.进一步的，s1具体为：采用基于阈值的二值化原理将外部视频数据流转换为二值化数据；
20.将rgb数据转换为灰度数据，采用如下两个公式中的任意一个：
21.gray＝r*0.299+g*0.587+b*0.114
22.gray＝r*0.212+g*0.715+b*0.072
23.然后，将灰度值与设定好的阈值比较，大于阈值的输出为1，小于等于阈值的输出为0；上述公式中的乘法运算各系数均乘以1000，变成整数进行运算。
24.进一步的，s1具体为：基于颜色提取的二值化原理将外部视频数据流转换为二值化数据；
25.将输入的rgb数据中的红色分量、绿色分量、蓝色分量分别与预先设定好的颜色分量值对比，如果均相等，则输出为1，否则输出为0。
26.进一步的，s2具体为：
27.根据视频行同步信号hs、场同步信号vs及数据有效信号de，为每一个流入的像素数据，计算其在整幅图像中的位置坐标；
28.选取图像左上角为坐标原点，其中，x方向坐标coor_x依据输入的视频数据有效信号de和像素时钟clk生成，数据有效信号de上升沿启动coor_x计数，并且在数据有效信号de为高电平期间，每一个像素时钟clk上升沿时coor_x进行加1操作，并在数据有效信号de下降沿时进行清零操作，如此循环往复；
29.y方向的坐标coor_y生成在每个视频帧的开始，场同步信号vs信号上升沿时，启动并清零coor_y，之后在每个数据有效信号de的下降沿，coor_y加1，直到下个视频帧的场同步信号vs上升沿到来时清零，如此循环往复。
30.进一步的，所述胖模板，指待监控字符的所有可能出现的像素点集合，任何落在胖模板范围之外的像素点都被认为不匹配像素点；
31.所述瘦模板，指待监控字符必须包含的像素点集合，瘦模板中任何不被待监控字符包含的像素点，都被认为不匹配像素点。
32.进一步的，s3具体为：
33.将预先设定的待监控字符的位置对应的视频像素数据分别与胖模板、瘦模板按位对比，统计出待监控字符落在胖模板范围之外的像素点个数，以及没有被待监控字符所包含的瘦模板像素点个数，记为不匹配点数；
34.若不匹配点数小于设定值，则输出匹配成功，否则，输出匹配失败。
35.本发明技术方案以实际的显示画面为基础，得到特制的空速识别图形模板，此模板能有效抵抗由于gpu绘图时渲染、反走样处理时引入的图形边界模糊及图形显示位置在二值化后轻微偏移的问题；将二值化的空速图像与胖瘦模板进行匹配，能够准确识别出数字。
附图说明
36.图1为本发明实施例提供的一种基于胖瘦模板识别的视频监控装置架构示意图；
37.图2为本发明实施例提供的基于阈值的二值化原理示意图；
38.图3为本发明实施例提供的基于颜色提取的二值化原理示意图；
39.图4为本发明实施例提供的坐标与像素点的对应关系示意图；
40.图5为本发明实施例提供的胖模板和瘦模板示意图；
41.图6为本发明实施例提供的匹配过程示意图；
42.图7为本发明实施例提供的匹配结果示意图。
具体实施方式
43.下面根据附图和实施例对本发明作进一步详细说明。
44.本发明实施方案流程如下：
45.本发明实施例提供的一种基于胖瘦模板识别的视频监控装置架构如图1所示，fpga根据外部提供的视频数据流(data，vs，hs，de)以及待监控数据信息(坐标范围，参考值)，进行相应的监控功能，并将监控结果输出。
46.外部输入的视频数据是24位彩色图像。首先对输入的视频数据进行二值化操作，将rgb彩色数据转换为需要的二值化数据流。同时，根据场同步vs，行同步hs，数据有效信号de，采用计数器生成每个视频数据对应的图像坐标位置。这样二值化的像素数据和坐标(x,y)一一对应，送入字符匹配模块同预先选择好的胖、瘦模板进行对比。最后将匹配结果(com_err)和匹配完成(com_valid)信号输出。
47.a)二值化模块
48.二值化是将输入的24位宽度的rgb数据流转化为单比特数据流，从而节省资源，简化后续的数据提取、模板匹配等处理过程。
49.图像的二值化，本质上是一种滤波算法，过滤掉无用的背景数据，将需要的特征数据提取出来。二值化算法多种多样，实际使用中，应根据不同的应用场景，选择不同的二值化算法。
50.本发明实施例以常见的基于阈值的二值化和基于特殊颜色提取的二值化为例，简单介绍其逻辑实现原理。
51.基于阈值的二值化原理如图2所示。输入的24位rgb数据中，高8位代表红色分量、中间8位代表绿色分量、低8位代表蓝色分量。首先将rgb数据转换为灰度数据，常见的转换的公式有两个：
52.gray ＝ r*0.299 + g*0.587 + b*0.114 (1)
53.gray ＝ r*0.212 + g*0.715 + b*0.072 (2)
54.然后，将灰度值与设定好的阈值比较，大于阈值的输出为1，小于等于阈值的输出为0。在fpga中应尽量避免浮点运算，因此，上述公式中的乘法运算各系数均乘以1000后，变成整数进行运算。相应的，灰度转二值化时的阈值也乘以1000后进行比较。
55.基于颜色提取的二值化原理如图3所示。将输入的24位rgb数据中的红色分量、绿色分量、蓝色分量分别与预先设定好的颜色分量值对比，如果均相等，则输出为1，否则输出为0。
56.b)坐标生成模块
57.坐标生成模块的功能是根据视频行、场同步信号及数据有效信号，为每一个流入的像素数据，计算出其在整幅图像中的位置坐标。一般选取图像左上角为坐标原点，以800
×
600大小的图像为例，其坐标与像素点的对应关系如图4所示。
58.其中，x方向坐标coor_x依据输入的视频数据有效信号de和像素时钟clk生成。de上升沿启动coor_x计数，并且在de为高电平期间，每一个clk上升沿时coor_x进行加1操作，并在de下降沿时进行清零操作，如此循环往复。对于800
×
600的视频数据，每行视频800个像素，则coor_x的范围为[0,799]。
[0059]
y方向的坐标coor_y的生成时序。在每个视频帧的开始,即vs信号上升沿时，启动并清零coor_y，之后在每个de的下降沿，coor_y加1，直到下个视频帧的vs上升沿到来时清零，如此循环往复。对于800
×
600的视频数据，一共600行有效数据，则coor_y的范围为[0,599]。
[0060]
c)模板选取模块
[0061]
模板选取模块即根据外部输入的待监控字符的数值，选择相应的胖、瘦模板数据输出给字符匹配模块。
[0062]
首先介绍下胖、瘦模板的概念。所谓胖模板，即待监控字符的所有可能出现的像素点集合，任何落在胖模板范围之外的像素点都被认为不匹配像素点。所谓瘦模板，即待监控字符必须包含的像素点集合，瘦模板中任何不被待监控字符包含的像素点，都被认为不匹配像素点。
[0063]
采集不同位置显示的字符，然后裁剪出合适的大小，使用合适的二值化进行转化，并以此为基础迭代得出胖瘦模板，其中胖模板是这些采集样本的“或”，表示数字对应像素点可能出现的位置。瘦模板是这些采集数据样本的“与”，表示满足数字特征的最小集。
[0064]
这些模板固化在fpga的rom中，当对视频中的数字识别时，需要对画面用相等公式二值化，然后裁剪对应位置数字，然后存储到ram中，然后将ram中的二值化数字与rom中保存的数字进行比较。匹配的条件是截取的图中为1的点要被胖模板包含，超出的点不能超过阈值，同时截取的图要包含瘦模板中为1的点，超出的点不能超过阈值。选定合适的阈值就能准确识别出数字。
[0065]
以数字1为例，其胖、瘦模板如图5所示。
[0066]
如图5所示，胖、瘦模板大小均为14
×
20
×
1bit，共280bit。在fpga中，胖瘦模板各自存放在280bit的寄存器中，寄存器最低位代表模板左上角像素点，寄存器最高位代表模板右下角像素点。
[0067]
该模块比较简单，通过case语句根据输入的待监控字符数值，选择相应的胖、瘦模板输出即可。
[0068]
d)字符匹配模块
[0069]
字符匹配模块将流入到特定位置的视频像素数据与预先准备好的模板数据进行按位对比，最后给出匹配结果。
[0070]
根据上面介绍的胖瘦模板概念，所谓字符匹配过程，即统计出待监控字符落在胖模板范围之外的像素点个数，以及没有被待监控字符所包含的瘦模板像素点个数。这个统计过程可以通过简单的与非操作实现。
[0071]
以数字1为例，首先将其胖模板取反，再与待监控字符1进行与操作，然后统计字符显示范围内数值为1的像素点个数，即得到不匹配的点数，其处理过程如图6所示(不匹配点数为4)。
[0072]
同理，与瘦模板的匹配过程如图7所示(不匹配点数为4)。
[0073]
本发明技术方案基于阈值的二值化和基于特殊颜色提取的二值化，通过不同方式的二值化得到二值化值；迭代的模板制作方法，在做胖模板时，要统计待监控字符的所有可能出现的像素点集合，做瘦模板时，要统计待监控字符必须包含的像素点集合；在做匹配时，统计出待监控字符落在胖模板范围之外的像素点数，以及没有被待监控字符所包含的瘦模板像素点个数，当这两次的比较的像素点数都在对应阈值范围内，则认为匹配到前字符，否则认为没有匹配上。
[0074]
本发明技术方案以实际的显示画面为基础，得到特制的空速识别图形模板，此模板能有效抵抗由于gpu绘图时渲染、反走样处理时引入的图形边界模糊及图形显示位置在二值化后轻微偏移的问题；将二值化的空速图像与胖瘦模板进行匹配，能够准确识别出数字。