一种机器视觉特征跟踪系统的制作方法

1.本发明涉及跟踪系统技术领域，具体来说，涉及一种机器视觉特征跟踪系统。


背景技术：

2.随着运动目标检测技术的快速发展，相应的产生了多种用于对运动目标进行检测的方法，例如现有技术中基于运动目标的颜色特征、运动信息以及运动模型等建立相应的检测方法，而其中运动目标的特征检测与跟踪是研究的重要基础和关键技术，例如可以对处于运动状态的人的手部、脸部所拍摄的图像序列的特征进行检测和跟踪，进而可以实现对于人的手势、人的脸部等的识别。
3.其中，在对运动目标进行跟踪时，运动目标跟踪算法是比较基础，也是相对重要的部分，主要是指通过定义相应数学模型及检测算法，对视频帧序列中的运动目标自动进行跟踪、位置检测的一种技术。在进行运动目标跟踪时，需要对运动目标进行建模表达，主要途径为使用基于点的模型，使用基于轮廓的模型和使用基于密度核的模型。这些方法首先都是根据所需跟踪的运动目标来构建模型，然后在线进行模型匹配，来获取运动目标跟踪的效果。而随着视频智能分析要求的不断提高，对于目标跟踪准确度的要求也不断提高，因此，本发明提出了一种高精度的机器视觉特征跟踪系统。


技术实现要素：

4.针对相关技术中的问题，本发明提出一种机器视觉特征跟踪系统，以克服现有相关技术所存在的上述技术问题。
5.为此，本发明采用的具体技术方案如下：
6.一种机器视觉特征跟踪系统，包括基准目标特征提取单元、待定目标特征提取单元、相似度分析单元、目标特征确认单元及特征更新单元；
7.其中，基准目标特征提取单元用于提取检测视频的多个帧的第一帧中的特征，得到基准目标特征；
8.待定目标特征提取单元用于提取检测视频中被跟踪的待定候选目标的特征，得到待定目标特征；
9.相似度分析单元用于将基准目标特征与待定目标特征进行相似度比较；
10.目标特征确认单元用于依据相似度比较的结果来确认待定目标特征是否为基准目标特征，当相似度结果大于或等于匹配阈值时，则确认该待定目标特征为目标跟踪特征；
11.特征更新单元用于将目标跟踪特征更新为新的基准目标特征。
12.进一步的，基准目标特征提取单元包括图像获取模块、特征提取模块、特征关联模块及基准目标特征输出模块；
13.其中，图像获取模块用于获取检测视频多个帧中的第一帧图像；
14.特征提取模块用于对第一帧图像进行特征提取；
15.特征关联模块用于采用多元线性回归模型描述基准目标图像数据与特征数据之
间的随机线性关系；
16.基准目标特征输出模块用于输出基准目标的特征。
17.进一步的，特征提取模块包括特征识别子模块、特征裁剪子模块、第一超分重建子模块及透视变化处理子模块；
18.其中，特征识别子模块用于识别第一帧图像中的特征；
19.特征裁剪子模块用于对第一帧图像中的特征部分进行裁剪处理；
20.第一超分重建子模块用于对裁剪后的低分辨率的特征图像进行超分重建处理；
21.透视变化处理子模块用于依据透视变换原理对裁剪后的特征图像中角度偏离的图像进行处理。
22.进一步的，特征关联模块在采用多元线性回归模型描述基准目标图像数据与特征数据之间的随机线性关系时包括以下步骤：
23.采用多元线性回归模型描述基准目标图像数据与特征数据之间的随机线性关系，其关系如下：
24.yi＝β0+β1x
i1
+β2x
i2
+β3x
i3
+εi,i＝1,2,
…
,n；
25.其中，y表示基准目标图像特征评估数据指标，x1表示特征数量，x2表示特征类型，x3表示特征数据分组汇聚协议，β0，β1，β2，β3表示回归系数，εi表示随机误差项，且各εi相互独立且服从n(0,σ2)分布，n表示样本容量，且n个样本观测值如下：
26.(yi,x
i1
,x
i2
,x
i3
)i＝1,2,
…
,n。
27.进一步的，待定目标特征提取单元包括图像采集处理模块及特征自动标注模块；
28.其中，图像采集处理模块用于采集检测视频中被跟踪的待定候选目标图像并进行图像处理；
29.特征自动标注模块用于利用强化学习及深度神经网络技术对待定候选目标图像中的特征进行自动标注。
30.进一步的，图像采集处理模块包括图像采集子模块、分辨率核验子模块及第二超分重建子模块；
31.其中，图像采集子模块用于采集检测视频中被跟踪的待定候选目标图像；
32.分辨率核验子模块用于对待定候选目标图像的分辨率进行核验；
33.第二超分重建子模块用于对分辨率低于预设阈值的待定候选目标图像进行超分重建处理。
34.进一步的，特征自动标注模块在利用强化学习及深度神经网络技术对待定候选目标图像中的特征进行自动标注时包括以下步骤：
35.采用silc算法对基准目标图像进行多尺度超像素划分，并标记所述超像素的特征概率阈值；
36.构建超像素分类训练集，并采用基于机器学习方法训练上述标记后的超像素得到学习模型；
37.构建用于标注模型的训练集，并基于深度神经网络的端到端学习，自动对特征区域标注分割；
38.构建标注模型，并使用预先备置的特征图像数据对构建的所述标注模型进行测试；
39.利用测试后的标注模型对待定候选目标图像中的特征进行自动标注；
40.其中，学习模型用于对分类训练集中的超像素进行分类，并由人工对分类结果给予奖励和惩罚，将奖励和惩罚结果反馈给学习模型，学习模型通过奖惩机制重新做出调整，循环直至学习模型达到最优，获得待定候选目标图像中特征区域的标注信息；
41.深度神经网络为resnet网络，resnet网络包括identity block和conv block；identity block的输入和输出维度一致，conv block的输入和输出维度不一致，且identity block可以串联多个。
42.进一步的，采用silc算法对基准目标图像进行多尺度超像素划分包括以下步骤：
43.初始化种子点：按照设定的超像素个数，在待定候选目标图像内均匀的分配初始种子点；
44.在初始种子点的n*n邻域内重新选择二次种子点；
45.在每个二次种子点周围的邻域内为每个像素点分配类标签；
46.距离度量：对于每个搜索到的像素点，分别计算它和该二次种子点的距离；
47.迭代优化；
48.增强连通性；
49.其中，距离度量包括颜色距离和空间距离，距离计算方法如下：
[0050][0051][0052][0053]
dc表示颜色距离，ds表示空间距离，ns表示类内最大空间距离，定义为ns＝s＝sqrt(n/k)，适用于每个聚类，其中颜色相似性的度量因子是l、a、b颜色空间的l1范数，颜色邻近性的度量因子是图像二维坐标空间x、y，因而综合的度量因子是[l、a、b、x、y]五维空间；
[0054]
最大的颜色距离nc既随图片不同而不同，也随聚类不同而不同，取一个固定常数m代替，最终的距离度量d'如下：
[0055][0056]
进一步的，采用基于机器学习方法训练上述标记后的超像素得到学习模型包括以下步骤：
[0057]
卷积过程：采用一个可训练的滤波器f
x
去卷积一个输入图像，第一阶段得到是输入图像，后面阶段得到是卷积特征map，然后再加一个偏置b
x
，得到卷积层c
x
；
[0058]
子采样过程：邻域四个像素求和得到一个总像素，然后通过标量w加权，再增加偏置b，然后再通过一个sigmoid激活函数，产生一个缩小四倍的特征映射图s
x+1
；
[0059]
其中，卷积层c
x
计算公式为：
[0060]cx
＝f
x
(w,input)+b
x
；
[0061]
特征映射图s
x+1
计算公式为：
[0062]sx+1
＝sigmoid[w
·
(x
i,j
+x
i+1,j
+x
i,j+1
+x
i+1,j+1
)]。
[0063]
进一步的，构建标注模型包括以下步骤：
[0064]
确定mean-iou作为目标函数；
[0065]
求解目标函数，得到使目标函数值最小的标注模型；
[0066]
其中，目标函数的计算公式为：
[0067][0068]
式中，iou为产生的候选框与原标记框的交叠率，area(c)为候选框的面积，area(g)为原标记框的面积。
[0069]
本发明的有益效果为：通过设置有基准目标特征提取单元、待定目标特征提取单元、相似度分析单元、目标特征确认单元及特征更新单元，不仅可以在基准目标特征提取单元的作用下对运动目标进行基准特征提取，得到运动目标的基准目标特征，而且还可以在待定目标特征提取单元的作用下利用强化学习及深度神经网络技术对待定候选目标图像中的特征进行自动标注，得到待定目标特征，再基于基准目标特征与待定目标特征相似度的比较便可分析得到该待定目标特征是否为目标跟踪特征，从而实现对运动目标特征的快速跟踪，相比于传统的特征跟踪方法，本发明通过将超分重建及透视变换技术与目标特征提取相结合，可以实现输入图像质量的提升，从而实现目标特征识别的精确度，同时利用强化学习及深度神经网络技术对待定候选目标图像中的特征进行自动标注，使模型以更贴近人类大脑的学习方式来达到快速准确地实现目标特征的自动标注，从而能够有效地提高运动目标跟踪的准确度。
附图说明
[0070]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0071]
图1是根据本发明实施例的一种机器视觉特征跟踪系统的结构框图；
[0072]
图2是根据本发明实施例的一种机器视觉特征跟踪系统中特征提取模块的结构框图；
[0073]
图3是根据本发明实施例的一种机器视觉特征跟踪系统中国图像采集处理模块的结构框图。
[0074]
图中：
[0075]
1、基准目标特征提取单元；11、图像获取模块；12、特征提取模块；121、特征识别子模块；122、特征裁剪子模块；123、第一超分重建子模块；124、透视变化处理子模块；13、特征关联模块；14、基准目标特征输出模块；2、待定目标特征提取单元；21、图像采集处理模块；211、图像采集子模块；212、分辨率核验子模块；213、第二超分重建子模块；22、特征自动标
注模块；3、相似度分析单元；4、目标特征确认单元；5、特征更新单元。
具体实施方式
[0076]
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
[0077]
根据本发明的实施例，提供了一种机器视觉特征跟踪系统。
[0078]
现结合附图和具体实施方式对本发明进一步说明，如图1-3所示，根据本发明实施例的一种机器视觉特征跟踪系统，包括基准目标特征提取单元1、待定目标特征提取单元2、相似度分析单元3、目标特征确认单元4及特征更新单元5；
[0079]
其中，基准目标特征提取单元1用于提取检测视频的多个帧的第一帧中的特征，得到基准目标特征；
[0080]
具体的，基准目标特征提取单元1包括图像获取模块11、特征提取模块12、特征关联模块13及基准目标特征输出模块14；
[0081]
图像获取模块11用于获取检测视频多个帧中的第一帧图像；特征提取模块12用于对第一帧图像进行特征提取；特征关联模块13用于采用多元线性回归模型描述基准目标图像数据与特征数据之间的随机线性关系；基准目标特征输出模块14用于输出基准目标的特征。
[0082]
特征提取模块12包括特征识别子模块121、特征裁剪子模块122、第一超分重建子模块123及透透视变化处理子模块124；
[0083]
特征识别子模块121用于识别第一帧图像中的特征；特征裁剪子模块122用于对第一帧图像中的特征部分进行裁剪处理；第一超分重建子模块123用于对裁剪后的低分辨率的特征图像进行超分重建处理；透视变化处理子模块124用于依据透视变换原理对裁剪后的特征图像中角度偏离的图像进行处理。
[0084]
第一超分重建子模块123在对裁剪后的低分辨率的特征图像进行超分重建处理时包括以下步骤：
[0085]
将分辨率低于预设阈值的特征图像导入srgan网络；
[0086]
对所述srgan网络中放大倍数、学习率及迭代次数的核心运行参数进行设置；
[0087]
通过所述srgan网络中三个卷积层进行逐步处理，生成高分辨率的图像；
[0088]
具体的，所述srgan网络中三个卷积层进行逐步处理包括以下步骤：
[0089]
首先利用第一卷积层抽取所述特征图像的特征点，然后通过第二卷积层对所述特征点进行非线性映射，实现对每个特征点缺失细节的预测，最后利用第三层卷积层组合映射后的图像，生成高分辨率的特征图像。
[0090]
获得输出的高分辨率的特征图像。
[0091]
透视变化处理子模块124在依据透视变换原理对裁剪后的特征图像中角度偏离的图像进行处理时包括以下步骤：
[0092]
调用opencv中的getperspectivetransform函数对剪裁后所述特征图像进行处理，得到透视变换矩阵；
[0093]
调用opencv中的warpperspective函数执行透视变换，得到透视变换后的特征图像。
[0094]
其中，特征关联模块13在采用多元线性回归模型描述基准目标图像数据与特征数据之间的随机线性关系时包括以下步骤：
[0095]
采用多元线性回归模型描述基准目标图像数据与特征数据之间的随机线性关系，其关系如下：
[0096]
yi＝β0+β1x
i1
+β2x
i2
+β3x
i3
+εi,i＝1,2,
…
,n；
[0097]
其中，y表示基准目标图像特征评估数据指标，x1表示特征数量，x2表示特征类型，x3表示特征数据分组汇聚协议，β0，β1，β2，β3表示回归系数，εi表示随机误差项，且各εi相互独立且服从n(0,σ2)分布，n表示样本容量，且n个样本观测值如下：
[0098]
(yi,x
i1
,x
i2
,x
i3
)i＝1,2,
…
,n。
[0099]
待定目标特征提取单元2用于提取检测视频中被跟踪的待定候选目标的特征，得到待定目标特征；
[0100]
具体的，待定目标特征提取单元2包括图像采集处理模块21及特征自动标注模块22；
[0101]
图像采集处理模块21用于采集检测视频中被跟踪的待定候选目标图像并进行图像处理；特征自动标注模块22用于利用强化学习及深度神经网络技术对待定候选目标图像中的特征进行自动标注。
[0102]
图像采集处理模块21包括图像采集子模块211、分辨率核验子模块212及第二超分重建子模块213；
[0103]
图像采集子模块211用于采集检测视频中被跟踪的待定候选目标图像；分辨率核验子模块212用于对待定候选目标图像的分辨率进行核验；第二超分重建子模块213用于对分辨率低于预设阈值的待定候选目标图像进行超分重建处理。
[0104]
特征自动标注模块22在利用强化学习及深度神经网络技术对待定候选目标图像中的特征进行自动标注时包括以下步骤：
[0105]
s1、采用silc算法对基准目标图像进行多尺度超像素划分，并标记超像素的特征概率阈值；
[0106]
具体的，采用silc算法对基准目标图像进行多尺度超像素划分包括以下步骤：
[0107]
初始化种子点：按照设定的超像素个数，在待定候选目标图像内均匀的分配初始种子点；
[0108]
在初始种子点的n*n邻域内重新选择二次种子点；
[0109]
在每个二次种子点周围的邻域内为每个像素点分配类标签；
[0110]
距离度量：对于每个搜索到的像素点，分别计算它和该二次种子点的距离；
[0111]
迭代优化；理论上上述步骤不断迭代直到误差收敛，实践发现10次迭代对绝大部分图片都可以得到较理想效果，所以一般迭代次数取10；
[0112]
增强连通性；经过上述迭代优化可能出现以下瑕疵：出现多连通情况、超像素尺寸过小，单个超像素被切割成多个不连续超像素等，这些情况可以通过增强连通性解决。主要思路是：新建一张标记表，表内元素均为-1，按照“z”型走向(从左到右，从上到下顺序)将不连续的超像素、尺寸过小超像素重新分配给邻近的超像素，遍历过的像素点分配给相应的
标签，直到所有点遍历完毕为止。
[0113]
其中，距离度量包括颜色距离和空间距离，距离计算方法如下：
[0114][0115][0116][0117]
dc表示颜色距离，ds表示空间距离，ns表示类内最大空间距离，定义为ns＝s＝sqrt(n/k)，适用于每个聚类，其中颜色相似性的度量因子是l、a、b颜色空间的l1范数，颜色邻近性的度量因子是图像二维坐标空间x、y，因而综合的度量因子是[l、a、b、x、y]五维空间；
[0118]
最大的颜色距离nc既随图片不同而不同，也随聚类不同而不同，取一个固定常数m代替，最终的距离度量d'如下：
[0119][0120]
s2、构建超像素分类训练集，并采用基于机器学习方法训练上述标记后的超像素得到学习模型；
[0121]
学习模型用于对分类训练集中的超像素进行分类，并由人工对分类结果给予奖励和惩罚，将奖励和惩罚结果反馈给学习模型，学习模型通过奖惩机制重新做出调整，循环直至学习模型达到最优，获得待定候选目标图像中特征区域的标注信息；
[0122]
具体的，超像素划分得到的超像素是不规则的形状，我们通过如下方法统一超像素尺寸：
[0123]
获取所述超像素的外接矩形；具体包括以下步骤：
[0124]
对超像素的二值图像进行拓扑分析，确定边界的围绕关系，找到最外边界即为超像素的轮廓；
[0125]
根据cv2.boundingrect(c)函数，以i中得到的轮廓为参数，得到矩形的左上点和右下点，确定超像素的外接矩形。
[0126]
计算所述超像素外接矩形的几何中心；具体包括以下步骤：
[0127]
在超像素外接矩形内，截取规定尺寸的超像素块，并计算所需超像素块的左上角坐标(x_，y_)；
[0128]
x_＝x-round[roi_size-x_len)/2]；
[0129]
y_＝y-round[(roi_size-y_len)/2]；
[0130]
其中，roi_size是我们预先规定的超像素尺寸，为128*128，x、y为超像素外接矩形的左上角坐标，x_len和y_len分别为超像素外接矩形的边长。
[0131]
以所述超像素的几何中心向四周取方块，遇到边界则反方向取；具体包括以下步骤：
[0132]
如果x_+roi_size和y_+roi_size没有超过图像边界，直接以超像素中心向横竖各取roi_size大小的像素；
[0133]
如果x_+roi_size或y_+roi_size有超过图像边界的，直接从边界处向回取roi_size大小的像素；
[0134]
如果x_或y_本身有超过图像边界的，直接从起始边界处向横竖取roi_size大小的像素。
[0135]
采用基于机器学习方法训练上述标记后的超像素得到学习模型包括以下步骤：
[0136]
卷积过程：采用一个可训练的滤波器f
x
去卷积一个输入图像，第一阶段得到是输入图像，后面阶段得到是卷积特征map，然后再加一个偏置b
x
，得到卷积层c
x
；
[0137]
子采样过程：邻域四个像素求和得到一个总像素，然后通过标量w加权，再增加偏置b，然后再通过一个sigmoid激活函数，产生一个缩小四倍的特征映射图s
x+1
；
[0138]
其中，卷积层c
x
计算公式为：
[0139]cx
＝f
x
(w,input)+b
x
；
[0140]
特征映射图s
x+1
计算公式为：
[0141]sx+1
＝sigmoid[w
·
(x
i,j
+x
i+1,j
+x
i,j+1
+x
i+1,j+1
)]。
[0142]
s3、构建用于标注模型的训练集，并基于深度神经网络的端到端学习，自动对特征区域标注分割；
[0143]
具体的，深度神经网络为resnet网络，resnet网络包括identity block和conv block；identity block的输入和输出维度一致，conv block的输入和输出维度不一致，且identity block可以串联多个。
[0144]
s4、构建标注模型，并使用预先备置的特征图像数据对构建的标注模型进行测试；
[0145]
具体的，构建标注模型包括以下步骤：
[0146]
确定mean-iou作为目标函数；
[0147]
求解目标函数，得到使目标函数值最小的标注模型；
[0148]
其中，目标函数的计算公式为：
[0149][0150]
式中，iou为产生的候选框与原标记框的交叠率，area(c)为候选框的面积，area(g)为原标记框的面积。
[0151]
s5、利用测试后的标注模型对待定候选目标图像中的特征进行自动标注；
[0152]
相似度分析单元3用于将基准目标特征与待定目标特征进行相似度比较；
[0153]
具体的，相似度分析单元3包括用于获取基准目标特征的基准目标特征获取模块、用于获取待定目标特征的待定目标特征获取模块及用于将基准目标特征与待定目标特征进行相似度比较的相似度比较模块。
[0154]
目标特征确认单元4用于依据相似度比较的结果来确认待定目标特征是否为基准目标特征，当相似度结果大于或等于匹配阈值时，则确认该待定目标特征为目标跟踪特征；
[0155]
特征更新单元5用于将目标跟踪特征更新为新的基准目标特征。
[0156]
综上所述，借助于本发明的上述技术方案，通过设置有基准目标特征提取单元1、
待定目标特征提取单元2、相似度分析单元3、目标特征确认单元4及特征更新单元5，不仅可以在基准目标特征提取单元1的作用下对运动目标进行基准特征提取，得到运动目标的基准目标特征，而且还可以在待定目标特征提取单元2的作用下利用强化学习及深度神经网络技术对待定候选目标图像中的特征进行自动标注，得到待定目标特征，再基于基准目标特征与待定目标特征相似度的比较便可分析得到该待定目标特征是否为目标跟踪特征，从而实现对运动目标特征的快速跟踪，相比于传统的特征跟踪方法，本发明通过将超分重建及透视变换技术与目标特征提取相结合，可以实现输入图像质量的提升，从而实现目标特征识别的精确度，同时利用强化学习及深度神经网络技术对待定候选目标图像中的特征进行自动标注，使模型以更贴近人类大脑的学习方式来达到快速准确地实现目标特征的自动标注，从而能够有效地提高运动目标跟踪的准确度。
[0157]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。