基于视频的生产线物品部件运动检测与跟踪方法
【专利摘要】本发明涉及自动化生产线领域内的一种基于视频的生产线物品部件运动检测与跟踪方法，采用了单个数字摄像机采集生产线物品的运送图像，采用背景差分和物体特征建模，实现对运动物体和生产线背景的图像分割。在生产线正常运行过程中，通过背景差分，确定生产线的背景区域和运动物品部件区域，并对产品进行表面特征和轮廓特征进行建模。在生产线的装配过程中，背景图像的高斯模型将不断更新，以更好地对生产线上的物体部件进行分割而不受到外界环境干扰的影响。同时在多幅图像中对其各自运动轨迹的进行匹配，从而实现对多个物体连续跟踪。本发明能够提高连续运动中的产品部件位置计算的可靠性，可准确跟踪物品，可满足产品装配自动化的需要。
【专利说明】基于视频的生产线物品部件运动检测与跟踪方法
【技术领域】
[0001]本发明涉及一种自动生产线，特别涉及利用图像对运动物品进行检测与定位的方法。
【背景技术】
[0002]机器视觉伴随计算机技术、现场总线技术的发展而日益成熟，已是现代工业自动化生产中不可或缺的组成部分，广泛应用于汽车、食品、医药、化工、机械加工、电子器件等行业。随着计算机硬件价格的降低，装备视觉系统的生产线可以有效替代多个人工操作者。同时，新型生产线能够灵活的进行各种不同的任务。对于不同的应用，只需要对视觉系统的软件加以更新或升级以适应新需求即可。由于疲劳的原因，传统生产线的人工操作者难以保证持续性的准确操作。装配了视觉系统，生产线可以极大的减少操作误差，有效保证生产质量。
[0003]当前很多生产线上使用了大量的工业机器人完成产品装配过程中的物品抓取和放置工作。与人工操作相比，机器人的引入大大提高了生产效率，但是由于多数工业机器人需要提前预设系统参数，并且要求物品以极高的精度出现在固定的位置。当意外情况出现时，机器人可能无法抓取物品，从而造成装配过程的中断。这极大的限制了生产的灵活性。如果这种工业机器人配备了视觉系统，可以实时感知外界环境，在产品装配过程中就拥有了自适应和自我调节能力。
[0004]基于机器视觉的生产线，在产品的自动装配过程中，需要计算机对于摄像机采集到的数据进行分析。这包括对每一帧图像中产品部件的位置进行自动检测，并在运动状态下可以准确跟踪该部件的位置图像坐标。
[0005]目前常用的运动物体的检测与跟踪方法首先建立背景环境模型，通过摄像头按照不同帧采集得到的图像会与背景模型进行对比，当画面有变化时，如有物体出现，计算比较结果得出的数字会超过阈值并指示系统能自动作出相应的处理。然而，由于背景图像的动态变化，如光照、影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。已有的视觉跟踪技术采用背景差分法，是通过对给定的视频序列图像进行学习，使用特定的数学模型来对图像中场景的背景进行建模并存储起来，然后用当前的视频序列图像与存储的背景模型做差分并通过选定适当的阈值来二值化，最终就得到相应的运动区域。该法在场景比较简单时，使用简单的背景模型可得到很好的检测效果，但在复杂多变的场景，就会出现过多的漏检现象。
【发明内容】
[0006]本发明的目的是提供一种基于视频的生产线物品部件运动检测与跟踪方法，使其能够在复杂生产装配环境下，可以从图像中准确检测与跟踪运动物体的位置坐标。
[0007]本发明的目的是这样实现的:一种基于视频的生产线物品部件运动检测与跟踪方法，包括如下步骤: 1)图像获取:通过单个数字摄像机获取空载运行的生产线图像和实际运行的生产线图像；
2)背景生成:对获取的几秒钟的空载运行图像进行高斯滤波，以减小背景中的噪声；然后进行统计，建立背景图像的高斯模型；
3)背景差分:将获取的生产线实际运行图像与步骤2)中的背景模型的像素平均值进行绝对值减法运算，当该像素的绝对值小于背景模型方差的3倍，将该像素点划分为背景；
4)前景分割:将获取的生产线实际运行图像与步骤2)中的背景模型的像素平均值进行绝对值减法运算，当该像素的绝对值超过背景模型方差的3倍，将其划分为前景；
5)物体标识:对于步骤4)所获得的前景像素进行连通区域标记，再计算每个区域的面积；用预先设定的面积阈值剔除掉部分面积很小的区域；获取物品的颜色直方图和二维轮廓模型，如果物品的颜色直方图和二维轮廓模型相吻合，则进入步骤6)，如果物品的颜色直方图和二维轮廓模型不一致，则跳转到步骤8)建立新的模型；
6)粒子滤波:计算步骤5)中的区域图像中心坐标；使用粒子滤波方法来追踪当前坐标在连续图像中的运动轨迹，为后续的自动控制提供物品的位置信息；
7)背景模型更新:使用前景区域之外的每个像素来对更新高斯背景模型；提取实时背景图像，进行背景建模后，对高斯背景模型进行更新；
8)物体特征模型更新:一旦每个区域的中心点能够在连续的几幅图像中被跟踪，则提取区域的颜色直方图和轮廓形状；将多幅图像中跟踪的区域的颜色直方图与轮廓模型进行平均来建立物品的表面和轮廓模型，并对前景进行更新。
[0008]本发明由单个数字摄像机采集生产线视频，通过将生产线图像进行图像预处理和统计背景以获得噪声小的稳定背景图像，通过背景差分和粒子滤波对图像进行处理和分析，获得生产线的背景区域以及多个物品部件在传送带上的区域，以对多个物品部件进行快速的特征提取和匹配跟踪与运动检测。本发明的突出特点是采用价格低廉的单个摄像头与工控机简单相连，通过计算快速得出物品在生产线传送带上的位置坐标；本发明的另外突出特点是可以克服例如光线变化，物体遮挡造成图像阴影等外部环境干扰。本发明改进背景建模，充分利用了图像中每个像素点和相邻像素点之间的相似特性。同时采用了随机采样的原理增加系统的鲁棒性，可以让背景模型随着时间的推移，外界光线变化已经现场环境发生变化时作出及时更新，从而保证了准确的检测到运动物品，降低漏检率。在生产线的装配过程中，背景图像的高斯模型将不断更新，以更好地对生产线上的物体部件进行分割而不受到外界环境干扰的影响。同时在多幅图像中对其各自运动轨迹的进行匹配，从而实现对多个物体连续跟踪。本发明能够提高连续运动中的产品部件位置计算的可靠性，可准确跟踪物品,可满足产品装配自动化的需要。
[0009]本发明的运动检测与跟踪方法由包括如下软件模块:图像采集、高斯滤波、分割前景、物品标识、粒子滤波、物品特征提取与模型更新、背景图像的提取与背景模型的更新、输出物体图像位置。图像采集所用的摄像头与工控机之间通过1394数字采集卡联接。摄像头安装在生产线上方，与生产线的轴向方向呈30°?90°的俯视角。
【专利附图】
【附图说明】
[0010]图1为本发明工作流程图。
【具体实施方式】
[0011]如图所示，为一种基于视频的生产线物品部件运动检测与跟踪方法，该方法由如下软件模块来实现的:图像采集、高斯滤波、分割前景、物品标识、粒子滤波、物品特征提取与模型更新、背景图像的提取与背景模型的更新、输出物体图像位置。
[0012]进行检测与跟踪时，按如下步骤:
1)图像获取:通过单个数字摄像机获取空载运行的生产线图像和实际运行的生产线图像；图像采集所用的摄像头与工控机之间通过1394数字采集卡联接，摄像头安装在生产线上方，与生产线的轴向方向呈30°?90°的俯视角；
2)背景生成:对获取的几秒钟的空载运行图像进行高斯滤波，以减小背景中的噪声；然后进行统计，建立背景图像的高斯模型；
3)背景差分:将获取的生产线实际运行图像与步骤2)中的背景模型的像素平均值进行绝对值减法运算，当该像素的绝对值小于背景模型方差的3倍，将该像素点划分为背景；
4)前景分割:将获取的生产线实际运行图像与步骤2)中的背景模型的像素平均值进行绝对值减法运算，当该像素的绝对值超过背景模型方差的3倍，将其划分为前景；
5)物体标识:对于步骤4)所获得的前景像素进行连通区域标记，再计算每个区域的面积；用预先设定的面积阈值剔除掉部分面积很小的区域；获取物品的颜色直方图和二维轮廓模型，如果物品的颜色直方图和二维轮廓模型相吻合，则进入步骤6)，如果物品的颜色直方图和二维轮廓模型不一致，则跳转到步骤8)建立新的模型；
6)粒子滤波:计算步骤5)中的区域图像中心坐标；使用粒子滤波方法来追踪当前坐标在连续图像中的运动轨迹，为后续的自动控制提供物品的位置信息；
7)背景模型更新:使用前景区域之外的每个像素来对更新高斯背景模型；提取实时背景图像，进行背景建模后，对高斯背景模型进行更新；
8)物体特征模型更新:一旦每个区域的中心点能够在连续的几幅图像中被跟踪，则提取区域的颜色直方图和轮廓形状；将多幅图像中跟踪的区域的颜色直方图与轮廓模型进行平均来建立物品的表面和轮廓模型，并对前景进行更新。
[0013]附图1中，模块I中的彩色图像由单个CXD摄像头采集。
[0014]为了除去图像噪音，在模块2中本发明使用了图像处理中非常有效的高斯滤波器。使用二维高斯核来平滑每一个像素。
[0015]模块3的主要功能是利用统计得到的背景模型，对当前图像中的运动物体进行分害I]。对于每个像素，背景模型由一维高斯分布来表达。对于当前图像中的任何一个像素，将像素值与背景模型中的对应均值进行对比。如表示位于图像坐标的像素值，表示位于图像坐标的高斯模型的均值和标准方差。如果，将被标记为背景像素，否则将被标记为前景像素。但是，这些标记的前景像素由于噪声和物品的阴影会包含错误地分类。
[0016]本发明在模块4中进行物品的标识。这涵盖了两个方面。首先，模块4对模块3中所获得的前景像素进行连通区域标记。并计算每个区域的面积。并筛选掉面积过小的前景备选区域，同时将没有筛选掉的区域进行标号。其次，物品的外观特征，例如颜色直方图，和轮廓形状可以用来区别物品和图像中移动阴影区域。经过初始化阶段，物品的外观模型可以通过模块9和10得到。对于当前每个区域，提取颜色直方图和区域轮廓。与模块10得出的外观模型进行数值对比。如果这种变化超过预设的经验值，将该区域标记为背景区域。经过这两个方面的操作，模块3中的前景备选区域的数量大大减少，从而减少了不必要的计算和避免受到错误干扰。
[0017]本发明在模块5中引入了粒子滤波，将连续多帧的前景区域进行匹配。对于模块4中得到的每个区域，计算出该区域的图像中心坐标。从二维高斯分布中获取样本。计算样本的颜色直方图并将其与前一帧图像中的对应的颜色直方图进行对比。统计分布会选择相似分数较高的进一步繁衍。匹配值由直方图距离决定。这个模块可以帮助整个系统在图像中出现多个物品部件时，可以辨别出每个部件的运动轨迹，从而可以进行连续的部件位置估计。
[0018]在模块5完成连续的物品位置锁定后，模块7选中没有被标定为前景区域的其它像素，并提取其像素值和图像坐标。模块8输入收集到的实时背景像素，对已经存在的背景模型进行参数更新。如表示位于图像坐标的像素值，表示位于图像坐标的高斯模型的均值和标准方差。如果，将被标记为背景像素，否则将被标记为前景像素。.如果没有被模块7标记为前景像素，将其加入到背景高斯模型中，模型的平均值更新为，模型的标准方差更新为。通过实验可以灵活设定参数。
[0019]模块4中需要物品的外观模型。本发明在模块9中对已经检测到的物品进行特征值提取。模块10将新近提取到的物品特征值加入到已有的外观模型中进行参数更新。一旦每个区域的中心点能够在连续的几幅图像中被跟踪，则提取区域的颜色直方图和轮廓形状。将多幅图像中跟踪的区域的颜色直方图与轮廓模型进行平均来建立物品的外观特征和轮廓模型。
[0020]模块7和8的使用引入了运动物体模型的自适应机制。模块9和10的使用引入了背景模型的自适应机制。从而提高了整个运动检测和跟踪系统的及时调整能力。
[0021]本发明计算机复杂度低，能够实现正确检测于物品部件的连续不间断跟踪，可以满足生产线上的自动物品装配要求。
[0022]本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。
【权利要求】
1.一种基于视频的生产线物品部件运动检测与跟踪方法，其特征在于包括如下步骤:1)图像获取:通过单个数字摄像机获取空载运行的生产线图像和实际运行的生产线图像； 2)背景生成:对获取的几秒钟的空载运行图像进行高斯滤波，以减小背景中的噪声；然后进行统计，建立背景图像的高斯模型；3)背景差分:将获取的生产线实际运行图像与步骤2)中的背景模型的像素平均值进行绝对值减法运算，当该像素的绝对值小于背景模型方差的3倍，将该像素点划分为背景； 4)前景分割:将获取的生产线实际运行图像与步骤2)中的背景模型的像素平均值进行绝对值减法运算，当该像素的绝对值超过背景模型方差的3倍，将其划分为前景； 5)物体标识:对于步骤4)所获得的前景像素进行连通区域标记，再计算每个区域的面积；用预先设定的面积阈值剔除掉部分面积很小的区域；获取物品的颜色直方图和二维轮廓模型，如果物品的颜色直方图和二维轮廓模型相吻合，则进入步骤6)，如果物品的颜色直方图和二维轮廓模型不一致，则跳转到步骤8)建立新的模型； 6)粒子滤波:计算步骤5)中的区域图像中心坐标；使用粒子滤波方法来追踪当前坐标在连续图像中的运动轨迹，为后续的自动控制提供物品的位置信息； 7)背景模型更新:使用前景区域之外的每个像素来对更新高斯背景模型；提取实时背景图像，进行背景建模后，对高斯背景模型进行更新； 8)物体特征模型更新:一旦每个区域的中心点能够在连续的几幅图像中被跟踪，则提取区域的颜色直方图和轮廓形状；将多幅图像中跟踪的区域的颜色直方图与轮廓模型进行平均来建立物品的表面和轮廓模型，并对前景进行更新。
2.如权利I所述的基于视频的生产线物品部件运动检测与跟踪方法，其特征在于包括如下软件模块:图像采集、高斯滤波、分割前景、物品标识、粒子滤波、物品特征提取与模型更新、背景图像的提取与背景模型的更新、输出物体图像位置。
3.如权利I所述的基于视频的生产线物品部件运动检测与跟踪方法，其特征在于:图像采集所用的摄像头与工控机之间通过1394数字采集卡联接。
4.如权利3所述所述的基于视频的生产线物品部件运动检测与跟踪方法，其特征在于:摄像头安装在生产线上方，与生产线的轴向方向呈30°?90°的俯视角。
【文档编号】G06T7/20GK104299246SQ201410540457
【公开日】2015年1月21日 申请日期:2014年10月14日 优先权日:2014年10月14日
【发明者】董远强, 朱文俊 申请人:江苏湃锐自动化科技有限公司