专利名称：图像采集分析方法
技术领域：
本发明涉及图像处理技术领域，特别涉及一种对采集的图像进行分析并得到商品在货架上的摆放信息的方法。
背景技术：
随着零售业的发展，超市已经成为大众商品的主要销售渠道。掌握商品在超市中的摆放情况有利于商品生产厂家随时把握市场动向并及时调整营销策略。目前，商品生产厂家获得商品摆放信息的途径主要是派遣工作人员到超市实地调查。被派遣的工作人员到达超市后通过目测和人工计数的方式对商品是否摆放整齐、摆放数量的多少进行统计。这种人工去现场测量的方法存在如下问题。首先，厂家需要派遣大量工作人员前往不同的销售点进行调查，效率低下；其次，目测和人工计数的方式并不准确，工作人员很难在短时间内数清某种商品的数量，同时准确评价商品摆放的整齐程度，主观性因素太强；再次，该方法采集到的数据其真实性无法保证，工作人员的疏忽大意会导致数据不准确，甚至会出现故意伪造数据的情况。总而言之，目前的方法需要投入大量人力物力成本但又不能得到准确的结果。利用计算机作为辅助工具进行商品信息统计可以在提高效率的同时保证统计结果的准确率。目前与之相关的方法包括模式识别中的目标检测和目标分类方法。这类方法首先采集超市货架图像，然后通过目标检测找到超市货架上的商品，接下来利用目标分类的方法将检测到的商品分到其所属类别，最后统计各个类别商品的数量。这类方法也存在一些缺陷。首先，其无法处理重复模式的情况，对于超市货架而言，同一类商品往往会摆放多件，这类方法通常只能判断检测到的某个商品是什么类别，但无法判断检测到的同一类别的商品是不是货架上的同一件商品，这样在统计时可能造成重复计数；其次，这类方法通常对光照条件要求较高，而不同超市的光照条件差别很大，导致这类方法不能完全推广。总的来说，即使利用了计算机，现有的方法还是不能够在高效率的同时保证准确率。
发明内容
(一 )要解决的技术问题本发明要解决的技术问题是如何能够高效准确的对拍摄的超市货架图像进行识别和分析，进而得到货架上商品的数量类别等信息。( 二 )技术方案为了解决上述技术问题，本发明提供了一种图像采集分析方法，包括步骤1、制作若干个标尺并将其摆放在每行超市货架上，所述标尺上具有若干组编码；步骤2、采集摆放有所述标尺的货架的图像；步骤3、对采集到的所述图像分离色彩通道，在分离后的各个通道上检测标尺的编码；
步骤4、根据对 所述编码的检测结果对图像进行校正；步骤5、根据对所述编码的检测结果在校正后的图像上分割出图像中包含商品的区域；步骤6、在所述区域上利用颜色特征和局部纹理特征对商品进行分类，进而得到商品摆放的相关信息。其中，所述编码由数字和二维码组成。进一步地，所述二维码为彩色二维码，所述数字和彩色二维码一一对应，且各组编码都不相同。在进一步地技术方案中，所述步骤3包括将所述图像分离色彩通道，在分离后的各个通道上利用模板匹配的方法检测数字和二维码，同时利用数字和二维码之间的一一对应关系进行交叉验证，最终得到所述标尺在图像平面的坐标。在进一步地技术方案中，所述步骤4的校正包括色彩校正和畸变校正。所述色彩校正包括分别对各个通道的色彩值求线性变换，通过所述线性变换将二维码所在区域的亮度和对比度归一化成事先设定的常数，将所述线性变换应用到整幅图像即完成了色彩校正。所述畸变校正包括对整个图像求二维仿射变换矩阵，将所述标尺在图像中的形状调整为水平直线。在进一步地技术方案中，所述步骤5包括根据所述标尺的坐标、所述标尺和商品摆放区域的相对位置关系分割出图像中包含商品的区域。所述步骤6包括在所述区域中统计待分类商品的颜色特征，并与事先制作的颜色列表作对比；在所述区域中提取待分类商品的局部纹理特征，并与事先制作的纹理列表做对比，得到待分类商品所属的类别。其中，在步骤1之前还包括预先采集若干商品图像作为训练样本，对训练样本进行色彩校正和畸变校正在校正后的图像中统计其颜色出现的频率，求取频率的局部极大值，根据所述局部极大值确定和调整混合高斯模型的个数，利用所述混合高斯模型对统计的颜色出现的频率进行拟合， 当某一颜色的高斯分布的中心概率密度大于设定阈值时，该高斯模型对应的颜色为主要颜色，将最后得到的主要颜色组成颜色列表；对每一类商品，统计所述颜色列表中各种颜色出现的频率，用统计的频率作为该类商品的颜色特征；对所述训练样本任意取一 16*16像素的窗，计算所述窗的局部纹理特征，求得所述局部纹理特征的局部极大值，根据局部极大值确定和调整混合高斯模型的个数，然后利用混合高斯模型对统计的局部纹理特征出现频率进行拟合，如果某一高斯分布的中心概率密度大于事先设定的阈值，则该高斯模型对应的特征为主要局部纹理特征，将其加入局部纹理特征列表，最后得到包含所有商品主要局部特征的局部纹理特征列表。所述在所述区域中统计待分类商品的颜色特征，并与事先制作的颜色列表作对比具体包括
提取所述区域中待分类商品的颜色特征，并与所述颜色列表中的颜色特征进行比较，当所述待分类商品与某类训练样本的颜色特征差值之和最小时，所述待分类商品在颜色特征上属于该类训练样本的类别。所述在所述区域中提取待分类商品的局部纹理特征，并与事先制作的局部纹理列表做对比，得到待分类商品所属的类别具体包括对根据颜色特征分类之后得到的同一颜色特征下的每两类商品，统计其出现频率差值最大的若干个局部纹理特征，利用所述局部纹理特征出现频率的差异性判断当前商品的准确分类。所述步骤6之后还包括根据所述步骤6得到的类别结果统计各类商品的数量和在货架上的位置，输出统计结果。(三)有益效果上述技术方案具有如下有益效果通过用带有数字和二维码的标尺标识商品的摆放信息，并采集有标尺的货架的图像，通过对图像进行校正、分割区域以及颜色统计等处理，能够高效、准确的得到商品的摆放位置、数量等信息。而且本方法简便易行，节省大量人力物力。
图1是本发明实施例的图像采集分析方法的流程图；图2是本发明实施例的货架结构示意图；图3是本发明实施例的标尺示意图；图4是本发明实施例的畸变校正示意图；图5是本发明实施例的彩色二维码的示意图。
具体实施例方式下面结合附图和实施例，对本发明的具体实施方式
作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。如图1所示，为本发明实施例的图像采集分析方法的流程图，本实施例包括以下步骤步骤1、制作若干个标尺，并将标尺摆放在每行超市货架上，标尺上带有若干组由数字和二维码组成的编码；本方法设计了特殊的印有数字和二维码的彩色标尺，如图2所示，将该标尺横放于货架前的商品标签处，即图2中的D、E、F区域。本实施例的标尺在每行区域放置一个， 每个标尺都是分段的，每一段具有一组编码。每一组编码具有固定长度并印有不同的数字和二维码。通过识别数字和二维码可以反推出该组编码位于哪一条标尺的哪个位置，进而得知该组编码对应的商品在货架上的位置。如图3所示，具体地，标尺上的编码包括两位数字和二维码，可以位于每一段的两端。二维码分为两行、若干列，由行和列形成的每一小方格都印上不同颜色，每段编码的颜色排列方式都不相同。该二维码为彩色二维码，彩色二维码可以在各个色彩通道上单独编码，因而能够获得比黑白二维码更大的编码空间，图中的Ni (如Ni、N2等)表示数字，Ci (如Cl、C2等)为彩色二维码的颜色。数字和二维码是一一对应的，所有标尺的编码都不重复出现。这样只要识别了数字和二维码中的任何一个即可确定这一组编码在标尺中的位置。识别数字和二维码可以用模板匹配的方法。步骤2、采集 超市货架上的标尺图像；利用相机、手机等图像采集设备对摆放在超市货架上的标尺图像进行采集；利用多条标尺之间的投影变换关系可以求得拍摄者与货架平面的角度，即通过标尺可以获取拍摄者与货架的相对位置。也可以在货架的对面或合适的位置设置摄像头，将摄像头与主机连接，定时或在需要时控制摄像头采集货架图像；能够进一步节省人力物力，提高统计商品信息的准确性。步骤3、对采集到的图像分离色彩通道，在各通道上检测标尺上的特定标志；本实施例的特定标志即标尺上的编码数字和二维码；检测二维码时，首先，要对采集到的图像分离色彩通道。分离色彩通道的方法与生成彩色二维码的方法正好相反。如果彩色二维码在RGB 三个通道上分别编码然后叠加，检测标志时则将图像分解成RGB三个通道。如果彩色二维码在CMY三个通道上分别编码然后叠加，检测标志时则将图像分解成CMY三个通道。然后，在分离后的各通道上利用模板匹配的方法检测数字和二维码，同时利用数字和二维码之间的一一对应关系进行交叉验证，最终得到标尺在图像平面的坐标，可以用一直线方程表示。步骤4、根据特定标志的检测结果对图像进行校正；本步骤的图像校正包括色彩校正和畸变校正。其中，色彩校正利用步骤3分离色彩通道的结果，对各个通道进行归一化。归一化时首先对三个通道的色彩值求一个线性变换，经过该变换之后二维码所在区域的亮度(灰度均值)和对比度(灰度方差)归一化成事先设定的常数。将该变换应用到整幅图像即完成了色彩校正。色彩校正需要在各个色彩通道分别进行。利用二维码中的色彩信息还可以求得各色彩通道的亮度和对比度，进行归一化后就能排除不同光照条件的影响。这里的线性变换是将各个通道的色彩值重新以不同比例进行混合。例如线性变换之前有三个通道， 三个通道的色彩值分别为r、g、b，校正后的三个通道的色彩值的可能是第一个通道的色彩值为0. 9r+0. lg，第二个通道的色彩值为0. 9g+0. lb，第三个通道的色彩值为0. 9b+0. Ir。畸变校正也要利用步骤3的结果。畸变校正首先根据步骤2中拍摄者与货架平面的角度对整个图像求一个二维仿射变换矩阵，经过该变换后标尺在图像中将是一条水平直线，如图4所示，将该变换应用到整幅图像即完成了畸变校正。步骤5、根据特定标志的检测结果在校正后的图像上分割出待分析的商品区域；图像校正后，根据标尺的坐标、利用标尺(图2中D、E、F三个区域)和商品摆放区域(图2中A、B、C三个区域)的相对位置关系分割出图像中包含商品的区域，后续处理时在该区域内提取特征。步骤6、在步骤5得到的区域上利用色彩信息和纹理信息对商品进行分类，进而得至嘀品摆放的相关信息。对于步骤5分割得到的区域在采用本方法之前，需要预先采集大量商品图像作为训练样本，根据标尺对样本图像色彩校正和畸变校正，在校正后的图像中统计各种颜色出现频率，即对这些训练样本提取颜色特征。根据统计的训练样本中所有颜色出现的频率，利用Mean-Shift算法求得颜色频率的局部极大值，根据局部极大值确定和调整混合高斯模型的个数，然后利用混合高斯模型对统计的颜色出现频率进行拟合。如果某一高斯分布的中心概率密度大于事先设定的阈值，则该高斯模型对应的颜色为主要颜色，将其加入颜色列表。最后得到包含所有商品主要颜色的颜色列表。然后统计颜色特征对于每一类商品，统计颜色列表中各种颜色出现的频率，用该频率作为这类商品的颜色特征。最后统计局部纹理特征提取局部纹理特征时取目标图像16*16像素的窗，计算其局部纹理特征，例如Gabor特征。对每一幅商品图像，用16*16像素的窗对其进行密集采样，然后利用Mean-Shift算法求得局部纹理特征的局部极大值，根据局部极大值确定和调整混合高斯模型的个数，然后利用混合高斯模型对统计的局部纹理特征出现频率进行拟合，如果某一高斯分布的中心概率密度大于事先设定的阈值，则该高斯模型对应的特征为主要局部纹理特征，将其加入局部纹理特征列表。最后得到包含所有商品主要局部特征的局部纹理特征列表。对于每一类商品，统计局部纹理特征列表中各种纹理出现的频率，用该频率作为这类商品的局部纹理特征。在本步骤6识别货架上的商品时，本方法用到了两类特征，其中颜色特征用于进行粗分类，局部纹理特征用于进行细分类。用颜色特征进行粗分类的方法如下对步骤5得到的区域进行统计颜色特征时， 该区域中每个像素的颜色被认为属于颜色列表中与其最相似的一种颜色。具体地，待分类商品的颜色特征，即主要颜色出现的频率，与事先制定的颜色列表中的已知商品的颜色特征可以定义相似度。例如对于每一种主要颜色，待分类商品出现该颜色的频率和已知商品出现该颜色的频率的差值可以作为相似度的度量，差值越小说明待分类商品越接近已知的该类商品。接下来统计每一类商品图像中各类颜色出现的频率，以此作为描述该类商品的颜色特征(模板)；在商品分类的过程中，待分类商品的颜色特征与哪一类商品的模板最接近，即待分类商品与已知的若干类商品，即训练样本中各主要颜色的概率差值之和最小的一类商品模板；该待分类商品即被认为属于这一类。由于不同种类的商品可能具有相同的颜色统计特性，这一步的分类结果并不准确，只能输出多个可能结果(即某一商品可能属于某几类)。进一步分类需要利用局部纹理特征。在得到粗分类结果后，本方法通过局部纹理特征区分不同种类的商品。由于粗分类得到的多个可能的商品种类具有相近的颜色特征，局部纹理特征仅在灰度图像上提取。对粗分类之后得到的同一颜色特征下的每两类商品，统计其出现频率差值最大的若干个局部纹理特征，即在两类商品中出现频率差异最大的若干个局部纹理特征；利用所述局部纹理特征出现频率的差异性对当前商品进行准确的分类。最后根据步骤6得到的类别结果统计各类商品的数量和在货架上的位置，输出统计结果。由于商品需要更新换代，新的商品会进入市场，过时的商品会退出市场，固定不变的商品颜色模板和局部纹理特征并不能取得满意的分类结果。本方法利用当前的分类结果作为新的训练集，定时自动进行自适应训练。在将来的处理中用最新的训练结果作为参考。由以上实施例可以看出，本发明实施例通过用带有数字和二维码的标尺标识商品的摆放信息，并采集有标尺的货架的图像，通过对图像进行校正、分割区域以及颜色统计等处理 ，能够高效、准确的得到商品的摆放位置、数量等信息。而且本方法简便易行，节省大量人力物力。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。
权利要求
1.图像采集分析方法，其特征在于，包括步骤1、制作若干个标尺并将其摆放在每行超市货架上，所述标尺上具有若干组编码； 步骤2、采集摆放有所述标尺的货架的图像；步骤3、对采集到的所述图像分离色彩通道，在分离后的各个通道上检测标尺的编码； 步骤4、根据对所述编码的检测结果对图像进行校正；步骤5、根据对所述编码的检测结果在校正后的图像上分割出图像中包含商品的区域；步骤6、在所述区域上利用颜色特征和局部纹理特征对商品进行分类，进而得到商品摆放的相关信息。
2.如权利要求1所述的图像采集分析方法，其特征在于，所述编码由数字和二维码组 成。
3.如权利要求2所述的图像采集分析方法，其特征在于，所述二维码为彩色二维码，所述数字和彩色二维码一一对应，且各组编码都不相同。
4.如权利要求3所述的图像采集分析方法，其特征在于，所述步骤3包括将所述图像分离色彩通道，在分离后的各个通道上利用模板匹配的方法检测数字和二维码，同时利用数字和二维码之间的一一对应关系进行交叉验证，最终得到所述标尺在图像平面的坐标。
5.如权利要求4所述的图像采集分析方法，其特征在于，所述步骤4的校正包括色彩校正和畸变校正。
6.如权利要求5所述的图像采集分析方法，其特征在于，所述色彩校正包括对各个通道的色彩值求线性变换，通过所述线性变换将二维码所在区域的亮度和对比度归一化成事先设定的常数，将所述线性变换应用到整幅图像即完成了色彩校正。
7.如权利要求5所述的图像采集分析方法，其特征在于，所述畸变校正包括对整个图像求二维仿射变换矩阵，将所述标尺在图像中的形状调整为水平直线。
8.如权利要求7所述的图像采集分析方法，其特征在于，所述步骤5包括根据所述标尺的坐标、所述标尺和商品摆放区域的相对位置关系分割出图像中包含商品的区域。
9.如权利要求8所述的图像采集分析方法，其特征在于，所述步骤6包括 在所述区域中统计待分类商品的颜色特征，并与事先制作的颜色列表作对比； 在所述区域中提取待分类商品的局部纹理特征，并与事先制作的局部纹理列表做对比，得到待分类商品所属的类别。
10.如权利要求9所述的图像采集分析方法，其特征在于，在步骤1之前还包括预先采集若干商品图像作为训练样本，对训练样本进行色彩校正和畸变校正，在校正后的图像中统计其颜色出现的频率，求取频率的局部极大值，根据所述局部极大值确定和调整混合高斯模型的个数，利用所述混合高斯模型对统计的颜色出现的频率进行拟合，当某一颜色的高斯分布的中心概率密度大于设定阈值时，该高斯模型对应的颜色为主要颜色，将最后得到的主要颜色组成颜色列表；对每一类商品，统计所述颜色列表中各种颜色出现的频率，用统计的频率作为该类商品的颜色特征；对所述训练样本任意取一 16*16像素的窗，计算所述窗的局部纹理特征，求得所述局部纹理特征的局部极大值，根据局部极大值确定和调整混合高斯模型的个数，然后利用混合高斯模型对统计的局部纹理特征出现频率进行拟合，如果某一高斯分布的中心概率密度大于事先设定的阈值，则该高斯模型对应的特征为主要局部纹理特征，将其加入局部纹理特征列表，最后得到包含所有商品主要局部特征的局部纹理特征列表。
11.如权利要求10所述的图像采集分析方法，其特征在于，所述在所述区域中统计待分类商品的颜色特征，并与事先制作的颜色列表作对比具体包括提取所述区域中待分类商品的颜色特征，并与所述颜色列表中的颜色特征进行比较， 当所述待分类商品与某类训练样本的颜色特征差值之和最小时，所述待分类商品在颜色特征上属于该类训练样本的类别。
12.如权利要求11所述的图像采集分析方法，其特征在于，所述在所述区域中提取待分类商品的局部纹理特征，并与事先制作的局部纹理列表做对比，得到待分类商品所属的类别具体包括对根据颜色特征分类之后得到的同一颜色特征下的每两类商品，统计其出现频率差值最大的若干个局部纹理特征，利用所述局部纹理特征出现频率的差异性对当前商品进行分类。
13.如权利要求9所述的图像采集分析方法，其特征在于，所述步骤6之后还包括 根据所述步骤6得到的类别结果统计各类商品的数量和在货架上的位置，输出统计结果。
全文摘要
本发明涉及图像处理技术领域，具体公开了一种图像采集分析方法，包括步骤1、制作若干个标尺并将其摆放在每行超市货架上，所述标尺上具有若干组编码；步骤2、采集摆放有所述标尺的货架的图像；步骤3、对采集到的所述图像分离色彩通道，在分离后的各个通道上检测标尺的编码；步骤4、根据对所述编码的检测结果对图像进行校正；步骤5、根据对所述编码的检测结果在校正后的图像上分割出图像中包含商品的区域；步骤6、在所述区域上利用颜色特征和局部纹理特征对商品进行分类，进而得到商品摆放的相关信息。本发明能够高效、准确的得到商品在货架上的摆放位置、数量等信息。而且本方法简便易行，节省大量人力物力。
文档编号G06K9/60GK102184405SQ20111009803
公开日2011年9月14日 申请日期2011年4月19日 优先权日2011年4月19日
发明者丁晓青, 何飞, 王生进, 苏亚, 郑良, 陈晨 申请人:清华大学