一种基于机器视觉的仪表检测方法
【专利摘要】本发明公开了一种基于机器视觉的仪表检测方法，所述仪表检测具体为：(1)对任意输入图像，先经过级联Adaboost粗检测器，检测出目标仪表候选区域；(2)对步骤(1)得到的每个候选区域，使用双级联参数回归器，回归出标准图像与待识别图像之间的仿射变换矩阵，然后将待识别图片仿射变换到标准图像的姿态，实现仪表姿态的归一化；(3)将步骤(2)得到的姿态归一化后的图像通过后验验证器确认是否存在目标仪表，最后输出检测结果。本发明提出的仪表检测方法，解决了仪表检测中姿态和尺度问题，具有高正检率，低误检率的优点，同时该发明处理速度快，实现了仪表实时检测功能。
【专利说明】
一种基于机器视觉的仪表检测方法
技术领域
[0001] 本发明属于数字图像处理和仪表检测领域，具体涉及一种基于机器视觉的仪表检 测方法。
【背景技术】
[0002] 化工厂、变电站、炼油厂等工业领域，安装大量的现场指示仪表，这些仪表不具有 远传功能，需要现场读数，用来监控工业现场运行状况。其中仪表检测是其重要组成部分， 用人工巡检的方式检测现场仪表费时费力低效，因此基于机器视觉的仪表自动检测技术具 有广泛的应用前景。
[0003] 现有研究中，常见的仪表检测方法有模板匹配，Hough变换，特征点匹配等方法。戴 亚文提出了一种基于多特征模板匹配方法来检测指针仪表(Dai Y,Wang S,Wang X.The moldplate-matching method based on the several characteristic parameters of the meter pointer gray[J]·Electrical Measurement&Instrumentation,2004)〇 Ge 11 aboina提出利用Hough圆检测算法，来检测指针仪表的圆形面板(Ge 11 aboina Μ K, Swaminathan G,Venkoparao V.Analog dial gauge reader for handheld devices[C]// Industrial Electronics and Applications(ICIEA),2013 8th IEEE Conference onlEEE, 2013 :1147-1150. )，Yang提出了通过Hough直线检测检测图像中仪表指针位置 (Yang B,Lin G,Zhang ff.Auto-recognition Method for Pointer-type Meter Based on Binocular Vision[J] .Journal of Computers,2014,9(4)·)。这两种方法分别检测出指针 仪表的圆面板和指针，从而检测出目标仪表。Yang提出了基于ORB特征匹配的图像配准方法 检测仪表（Yang Z,Niu ff,Peng X,et al.An image-based intelligent system for pointer instrument reading[C]//Information Science and Technology(ICIST),2014 4th IEEE International Conference onlEEE,2014:780-783·)，先将待识别图像配准到 标准突现的姿态下，然后再在对应的区域通过背景作差法确定指针位置，从而计算指针示 数。房桦提出了基于SIFT特征匹配的指针示数识别方法(房桦，明志强，周云峰，等.一种适 用于变电站巡检机器人的仪表识别算法[J].自动化与仪表，2013,28(5): 10-14.)，同样通 过SIFT特征匹配的检测目标仪表。
[0004] 上述仪表检测方法，使用模板匹配对仪表在图像中的姿态要求极高，而且对光照 和图像噪声敏感。使用Hough变换的方法，依赖于边缘检测算法，在复杂的工业现场和不同 的成像条件下，圆形仪表面板不一定是严格圆形，而且圆形面板和指针的边缘不一定能够 检测出来，因而一旦Hough圆检测或者直线检测失败，则无法得到正确检测结果。使用特征 点匹配的的方法，在实际使用过程中，存在表盘部分遮挡问题，甚至有些表盘面板图像的纹 理特征比较少，本身就提取不到〇RB、SIFT之类的特征，导致正确匹配的特征点对很少，还有 可能由于复杂的图像背景干扰，在复杂背景上提取到对应的特征，造成大量的误匹配，由于 以上原因，特征点匹配的方法也比较容易失败。
[0005] 综上所述，现有的研究仪表检测方法对仪表图像在不同光照、姿态、尺度，部分遮 挡，成像模糊等工况条件十分敏感，难以满足实际使用要求。
【发明内容】
[0006] 针对现有技术的不足，本发明提出了一种基于机器视觉的仪表检测方法，旨在使 用机器学习的方法，解决仪表图像姿态、尺度、光照等工况条件对仪表检测的影响，提高目 标仪表的检出率和降低误检率。
[0007] 本发明采用的技术方案如下：一种基于机器视觉的仪表检测方法，所述仪表检测 具体为：
[0008] (1)对任意输入图像，先经过级联Adaboost粗检测器，检测出目标仪表候选区域；
[0009] (2)对步骤1得到的每个候选区域，使用双级联参数回归器，回归出标准图像与待 识别图像之间的仿射变换矩阵，然后将待识别图片仿射变换到标准图像的姿态，实现仪表 姿态的归一化；
[0010] (3)将步骤2得到的姿态归一化后的图像通过后验验证器确认是否存在目标仪表， 最后输出检测结果。
[0011] 进一步的，所述的经过级联Adaboost粗检测器，检出目标仪表候选区域具体步骤 如下：
[0012] (1.1)采集η张目标仪表图像作为训练样本，其中η为大于等于10的正整数;选取其 中一张正面拍摄的图像作为标准图像，记作I std;在每张训练样本图像上标记4个以上重复 出现的标记点；
[0013] (1.2)在每张训练样本中随机采集正方形图像，正方形的边长等于仪表的直径，若 该正方形的中心落在与仪表同心直径为m倍仪表直径的同心圆内，则把采集到的正方形图 像作为正样本图像;若正方形的中心落在与仪表同心直径为m倍仪表直径的同心圆外，则把 采集到的正方形图像作为负样本图像;其中，采集到的正样本图像和负样本图像数量相同， m取值为0.1-0.5;
[0014] (1.3)计算正负样本的图像特征，作为级联Adaboost分类器的输入，训练一个级联 Adaboost分类器；
[0015] (1.4)对任意图像输入到级联Adaboost分类器中，检测出目标仪表候选区域。
[0016] 进一步的，所述步骤(2)具体为：
[0017] (2.1)采集的η张训练样本图像中标准图像记作Istd，训练样本图像记作I targ(3t，通 过仿射变换矩阵将Istd变换到Itarget的姿态下，所述仿射变换矩阵记作H r;在Istd上随机撒ns 个点，作为计算特征的采样点，记作P;n张训练样本图像中，在每张训练样本图像上随机选 取j个初始仿射变换矩阵Ho;ns为大于等于50的正整数;j为大于等于20的正整数；
[0018] (2·2)将P通过Ho映射到新的位置，在Itarget图像上计算shape-indexed feature记 作幻，然后更新得到第一层回归值HnzHrftT1;把^和1作为外层回归器的输入，训练得到 第一层外层回归器R 1;
[0019] (2.3)将^作为第一层外层回归器心的输入，预测得到第一外层估计值ΔΙ则更 新仿射变换矩阵出=ΔΗ.;再将P通过出映射到新的位置，在Itarget图像上计算shape-indexed feature记作X2，然后更新得到第二层回归值Hr2 = ; X2和Hr2作为外层回归器 的输入，训练得到第二层外层回归器R2;以此类推，获得多层外层回归器{Ri，!^，···，!^}，其 中，T为外层回归器的层数；
[0020] (2.4)步骤(2.3)得到第1层外层回归器1?1，其中1为1、2、3 - 1'，令第1层外层回归器 R冲有k个内层回归器，记为{巧,/^ 内层回归器使用随机蕨回归器，训练步骤如 下：
[0021]将xdP第一层回归值Hrl作为随机蕨回归器的输入，训练得到第一个外层回归器的 第一个内层回归器辦漱幻作为第一个内层回归器/?的输入，预测得到第一内层估计值A Hrl，然后更新得到第二内层回归值然后再将 Χ#ΡΗ\2作为随机蕨回归器的 输入，训练得到第一个外层回归器的第二个内层回归器将幻作为第二个内层回归器 的输入，预测得到第二内层估计值A Hr2,然后更新得到第三内层回归值Hi1; 然后再将作为随机蕨回归器的输入，训练得到第一个外层回归器的第三个内层回 归器以此类推，得到所有内层回归器;从而完成双级联参数回归器的训练；
[0022] (2.5)将步骤(1)中得到的候选区域输入到双级联参数回归器中，得到该候选区域 与Istd之间的仿射变换矩阵，将该候选区域仿射变换到Istd的姿态下，以此得到姿态归一化 的仪表图像。
[0023]进一步的，所述步骤(3)具体为：
[0024] (3.1)采集η张目标仪表图像作为训练样本，其中η为大于等于10的正整数;选取其 中一张正面拍摄的图像作为标准图像，记作Istd;在每张训练样本图像上标记4个以上重复 出现的标记点，利用标记点，通过最小二乘法估计出训练样本图像仿射变换到标准图像的 仿射变换矩阵，将所有样本图像仿射变换到标准仪表图像的姿态下，将所有训练样本图像 姿态归一化；
[0025] (3.2)在步骤(3.1)中得到的姿态归一化的图像上随机采集正方形图像，正方形的 边长等于仪表的直径，若该正方形的中心落在与仪表同心直径为m倍仪表直径的同心圆内， 则把采集到的正方形图像作为正样本图像;若正方形的中心落在与仪表同心直径为m倍仪 表直径的同心圆外，则把采集到的正方形图像作为负样本图像;其中，采集到的正样本图像 和负样本图像数量相同，m取值为0.1-0.5;
[0026] (3.3)分别计算步骤(3.2)得到的正负样本图像的H0G特征，作为正负样本，训练得 到一个支持向量机作为后验验证器；
[0027] (3.4)将步骤(2)得到的姿态归一化后的图像通过步骤(3.3)得到的后验验证器确 认是否存在目标仪表，最后输出检测结果。
[0028] 与现有技术相比，本发明具有的有益效果是：
[0029] 1、该发明作为仪表检测算法，不依赖边缘检测算法，也不需要做图像二值化，解决 了常规的投影法、模板匹配法、Hough变换、特征点匹配等方法不能解决的光照、遮挡、复杂 背景干扰等问题。
[0030] 2、该发明在保持高正检率的前提下，通过双级联参数回归，姿态归一化和后验验 证的方法极大的降低了目标仪表的误检率，使检测性能大大提高。
[0031] 3、该发明中Adaboost粗检测器和双级联参数回归运算效率高，极大的加快仪表检 测速度，实际使用中处理速度达到15帧每秒，实现了实时检测目标仪表功能。
[0032] 4、该发明在解决目标仪表检测问题的同时，将待识别图像配准到标准图像的姿态 下，使所有的图像都归一化到标准图像的姿态和尺度下。如此一来，只需要在固定的区域中 去识别与标准图像相同尺度和姿态的数字示数和指针示数，极大的有利于后续的示数识别 算法。
【附图说明】
[0033] 图1是本发明中仪表检测流程图；
[0034] 图2是本发明中级联Adaboost粗检测器训练示意图；
[0035] 图3是本发明中双级联参数回归示意图；
[0036]图4是本发明中后验验证器示意图。
【具体实施方式】
[0037]下面结合附图和实施方式对本发明进一步说明。
[0038] 如图1所示，本发明包含级联Adaboost粗检测器，双级联参数回归，后验验证器三 个部分。运行时，对任意输入图像，先经过级联Adaboost粗检测器，检出目标仪表候选区域。 然后对每个候选区域，使用双级联参数回归器，回归出标准图像与待识别图像之间的仿射 变换矩阵，然后将待识别图片仿射变换到标准图像的姿态，实现仪表姿态的归一化，再通过 后验验证器确认是否存在目标仪表，最后输出检测结果。
[0039] 如图2所示，级联Adaboost粗检测器训练流程如下：
[0040] (1.1)在工业现场采集η张目标仪表图像作为训练样本，η彡10即可，样本中包含的 仪表姿态、背景、尺度等因素越丰富，效果越好，实验中取典型值η = 50。选取其中一张正面 拍摄的图像作为标准图像，记作Istd，在所有样本图像上，标记4个以上重复出现的标记点， 一般每张训练样本图像上标记点数量取典型值8;
[0041] (1.2)在每张训练样本中随机采集正方形图像，正方形的边长等于仪表的直径，若 该正方形的中心落在与仪表同心直径为m倍仪表直径的同心圆内，则把采集到的正方形图 像作为正样本图像;若正方形的中心落在与仪表同心直径为m倍仪表直径的同心圆外，则把 采集到的正方形图像作为负样本图像;其中，采集到的正样本图像和负样本图像数量相同， m取值为0.1-0.5，实验中m取典型值0.2;
[0042] (1.3)计算正负样本的图像特征，此处特征可取但不局限于局部二值模式(LBP)特 征，作为级联Adaboost分类器的输入，训练一个级联的Adaboost强分类器，要求该分类器的 正检率高;例如，训练时，每层Adaboost分类器正检率设置为0.99，误检率设置为0.50，级联 层数设置为10。此级联Adaboost分类器效果是高正检率的同时有高误检率；
[0043] (1.4)对任意图像输入到（1.3)中训练处的级联Adaboost粗分类器中，检测出目标 仪表候选区域。
[0044] 如图3所示，双级联参数回归器的训练流程如下：
[0045] (2.1)采集的η张训练样本图像中标准图像记作Istd，训练样本图像记作Itarget，通 过仿射变换矩阵将Istd变换到Itarget的姿态下，所述仿射变换矩阵记作Hr;在I std上随机撒ns 个点，作为计算特征的采样点，记作P;n张训练样本图像中，在每张训练样本图像上随机选 取j个初始仿射变换矩阵Ho;ns为大于等于50的正整数；j为大于等于20的正整数，实验中取 典型值 ns=100, j = 50;
[0046] (2·2)将P通过Ho映射到新的位置，在Itarget图像上计算shape-indexed feature记 作幻，然后更新得到第一层回归值HnzHrftT1;把^和1作为外层回归器的输入，训练得到 第一层外层回归器R 1;
[0047] (2.3M#X1作为第一层外层回归器仏的输入，预测得到第一外层估计值ΔΗ!，则更 新仿射变换矩阵出=ΔΗ.;再将P通过出映射到新的位置，在Itarget图像上计算shape-indexed feature记作X2，然后更新得到第二层回归值Hr2 = ; X2和Hr2作为外层回归器 的输入，训练得到第二层外层回归器R2;以此类推，获得多层外层回归器{Ri，!^，···，!^}，其 中，T为外层回归器的层数，一般地，T取典型值20;
[0048] (2.4)步骤(2.3)得到第1层外层回归器1?1，其中1为1、2、3 - 1'，令第1层外层回归器 R冲有k个内层回归器，记为?对,一般k取典型值50;内层回归器使用随机蕨回 归器，训练步骤如下：
[0049] 将xjP第一层回归值Hrl作为随机蕨回归器的输入，训练得到第一个外层回归器的 第一个内层回归器;將幻作为第一个内层回归器1?的输入，预测得到第一内层估计值A H rl，然后更新得到第二内层回归值然后再将Χ#ΡΗ\2作为随机蕨回归器的 输入，训练得到第一个外层回归器的第二个内层回归器将幻作为第二个内层回归器 的输入，预测得到第二内层估计值A Hr2,然后更新得到第三内层回归值Hi1; 然后再将作为随机蕨回归器的输入，训练得到第一个外层回归器的第三个内层回 归器以此类推，得到所有内层回归器;从而完成双级联参数回归器的训练；
[0050] (2.5)将步骤(1)中得到的候选区域输入到双级联参数回归器中，得到该候选区域 与Istd之间的仿射变换矩阵，将该候选区域仿射变换到Istd的姿态下，以此得到姿态归一化 的仪表图像。
[0051 ] 如图4所示，后验验证器训练流程如下：
[0052] (3.1)采集η张目标仪表图像作为训练样本，其中η为大于等于10的正整数，通常取 50;选取其中一张正面拍摄的图像作为标准图像，记作Istd;在每张训练样本图像上标记4个 以上重复出现的标记点，一般每张训练样本图像上标记点数量取典型值8;利用标记点，通 过最小二乘法估计出训练样本图像仿射变换到标准图像的仿射变换矩阵，将所有样本图像 仿射变换到标准仪表图像的姿态下，实现图像姿态归一化；
[0053] (3.2)在步骤(3.1)中得到的姿态归一化的图像上随机采集正方形图像，正方形的 边长等于仪表的直径，若该正方形的中心落在与仪表同心直径为m倍仪表直径的同心圆内， 则把采集到的正方形图像作为正样本图像;若正方形的中心落在与仪表同心直径为m倍仪 表直径的同心圆外，则把采集到的正方形图像作为负样本图像;其中，采集到的正样本图像 和负样本图像数量相同，m取典型值0.2;
[0054] (3.3)分别计算步骤(3.2)得到的正负样本图像的H0G特征，作为正负样本，训练得 到一个支持向量机作为后验验证器；
[0055] (3.4)将步骤(2)得到的姿态归一化后的图像通过步骤(3.3)得到的后验验证器确 认是否存在目标仪表，最后输出检测结果。
[0056] 上述【具体实施方式】用来解释说明本发明，而不是对本发明进行限制，在本发明的 精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范
【主权项】
1. 一种基于机器视觉的仪表检测方法，其特征在于，所述仪表检测具体为： (1) 对任意输入图像，先经过级联Adaboost粗检测器，检测出目标仪表候选区域； (2) 对步骤1得到的每个候选区域，使用双级联参数回归器，回归出标准图像与待识别 图像之间的仿射变换矩阵，然后将待识别图片仿射变换到标准图像的姿态，实现仪表姿态 的归一化； (3) 将步骤2得到的姿态归一化后的图像通过后验验证器确认是否存在目标仪表，最后 输出检测结果。2. 如权利要求1所述的一种基于机器视觉的仪表检测方法，其特征在于:所述的经过级 联Adaboost粗检测器，检出目标仪表候选区域具体步骤如下： (1.1) 采集η张目标仪表图像作为训练样本，其中η为大于等于10的正整数;选取其中一 张正面拍摄的图像作为标准图像，记作Istd;在每张训练样本图像上标记4个W上重复出现 的标记点； (1.2) 在每张训练样本中随机采集正方形图像，正方形的边长等于仪表的直径，若该正 方形的中屯、落在与仪表同屯、直径为m倍仪表直径的同屯、圆内，则把采集到的正方形图像作 为正样本图像;若正方形的中屯、落在与仪表同屯、直径为m倍仪表直径的同屯、圆外，则把采集 到的正方形图像作为负样本图像;其中，采集到的正样本图像和负样本图像数量相同，m取 值为 0.1-0.5; (1.3) 计算正负样本的图像特征，作为级联Adaboost分类器的输入，训练一个级联 Adaboost分类器； (1.4) 对任意图像输入到级联Adaboost分类器中，检测出目标仪表候选区域。3. 如权利要求1所述的一种基于机器视觉的仪表检测方法，其特征在于:所述步骤(2) 具体为： (2.1) 采集的η张训练样本图像中标准图像记作Istd，训练样本图像记作Itarget，通过仿 射变换矩阵将Istd变换到Itarget的姿态下，所述仿射变换矩阵记作Hr;在Istd上随机撒ns个点， 作为计算特征的采样点，记作p;n张训练样本图像中，在每张训练样本图像上随机选取j个 初始仿射变换矩阵化;ns为大于等于50的正整数;j为大于等于20的正整数； (2.2) 将P通过化映射到新的位置，在Itarget图像上计算shape-indexed fea化re记作XI， 然后更新得到第一层回归值出1 =出册-1;把XI和Hrl作为外层回归器的输入，训练得到第一层 外层回归器Ri; (2.3) 将XI作为第一层外层回归器Ri的输入，预测得到第一外层估计值Δ出，则更新仿 射变换矩阵出=A出册;再将P通过化映射到新的位置，在Itarget图像上计算shape-indexed fea化re记作X2,然后更新得到第二层回归值Hr2 = HrHri;x沸Hr2作为外层回归器的输入，训 练得到第二层外层回归器R2;W此类推，获得多层外层回归器{扣，1?2，...，扣}，其中，1'为外 层回归器的层数； (2.4) 步骤(2.3)得到第1层外层回归器私，其中1为1、2、3-，1'，令第1层外层回归器私中 有k个内层回归器，记为[的，巧t?,...,巧内层回归器使用随机藤回归器，训练步骤如下： 将XI和第一层回归值出1作为随机藤回归器的输入，训练得到第一个外层回归器的第一 个内层回归器化1;将XI作为第一个内层回归器巧的输入，预测得到第一内层估计值A出1， 然后更新得到第二内层回归值Η/τ2 = ΗτιΔΗτΓ1;然后再将XI和H/r2作为随机藤回归器的输 入，训练得到第一个外层回归器的第二个内层回归器巧J2;将XI作为第二个内层回归器Rf的 输入，预测得到第二内层估计值AHr2,然后更新得到第；内层回归值H/r3 = H/r2AHr2^1;然 后再将XI和?Ττ3作为随机藤回归器的输入，训练得到第一个外层回归器的第Ξ个内层回归 器巧f拟此类推，得到所有内层回归器;从而完成双级联参数回归器的训练； (2.5)将步骤（1)中得到的候选区域输入到双级联参数回归器中，得到该候选区域与 Istd之间的仿射变换矩阵，将该候选区域仿射变换到Istd的姿态下，W此得到姿态归一化的 仪表图像。4.如权利要求1所述的一种基于机器视觉的仪表检测方法，其特征在于:所述步骤(3) 具体为： (3.1) 采集η张目标仪表图像作为训练样本，其中η为大于等于10的正整数;选取其中一 张正面拍摄的图像作为标准图像，记作Istd;在每张训练样本图像上标记4个W上重复出现 的标记点，利用标记点，通过最小二乘法估计出训练样本图像仿射变换到标准图像的仿射 变换矩阵，将所有样本图像仿射变换到标准仪表图像的姿态下，实现图像姿态归一化； (3.2) 在步骤(3.1)中得到的姿态归一化的图像上随机采集正方形图像，正方形的边长 等于仪表的直径，若该正方形的中屯、落在与仪表同屯、直径为m倍仪表直径的同屯、圆内，则把 采集到的正方形图像作为正样本图像;若正方形的中屯、落在与仪表同屯、直径为m倍仪表直 径的同屯、圆外，则把采集到的正方形图像作为负样本图像;其中，采集到的正样本图像和负 样本图像数量相同，m取值为0.1-0.5; (3.3) 分别计算步骤(3.2)得到的正负样本图像的册G特征，作为正负样本，训练得到一 个支持向量机作为后验验证器； (3.4) 将步骤(2)得到的姿态归一化后的图像通过步骤(3.3)得到的后验验证器确认是 否存在目标仪表，最后输出检测结果。
【文档编号】G06K9/62GK105975979SQ201610261821
【公开日】2016年9月28日
【申请日】2016年4月22日
【发明人】熊蓉, 方立, 王军南
【申请人】浙江大学