运动图像识别装置以及运动图像识别方法
【技术领域】
[0001]本发明的实施方式涉及一种将输入的运动图像中的数据码与降价标签这样的标签建立关联地进行识别的运动图像识别装置以及运动图像识别方法。
【背景技术】
[0002]作为处理记载于商品上的数据码(例如条形码)的系统，已知有销售点实时管理(POS)系统。POS系统一般使用于超市这样的零售商。POS系统基于读取(解码)分别记载于顾客所购买的商品上的数据码而获得的商品码，获取登记于该POS系统的该商品的商品单价，计算出其合计金额。
[0003]在零售商所处理的商品之中，有时包含例如粘贴有记载了降价金额的标签(以下，称作降价标签)的商品。因此，要求POS系统高效地对粘贴有降价标签的商品进行降价处理。因此，近年来，提出有应答这种要求的技术。该技术使用通过拍摄商品的记载有数据码的面而获取的图像。换句话说，关于该技术，在从获取的同一图像内检测出数据码与降价标签的情况下，一并输出所述数据码的解码结果与所述降价标签的识别结果。
[0004]根据应用这种技术(以下，称作现有技术)的POS系统，在将标签的识别结果与数据码的解码结果一并输出的情况下，能够以记载于所述降价标签的降价金额自动地对商品单价进行减额处理。换句话说，无需操作人员的操作就能够进行降价操作。另外，在使用记载有折扣率的折扣标签或者记载有被赋予的点数的积点标签取代降价标签的情况下，POS系统也能够同样地处理。
[0005]现有技术文献
[0006]专利文献
[0007]专利文献1:日本专利第4422706号公报
【发明内容】
[0008]发明要解决的问题
[0009]上述现有技术需要将降价标签这样的标签粘贴于能够与商品的数据码同时拍摄到的面。如果在不能与商品的数据码同时拍摄到的面上粘贴有标签，则该标签不包含在通过拍摄该数据码而获取的图像中。例如，在牛奶盒的外侧(第一面)印刷有数据码、在该牛奶盒的背侧(与第一面不同的第二面)上粘贴有标签的情况下，不能在同一图像内包含数据码与标签这两者。这样，在将标签以不与商品的数据码一起容纳在同一图像内的配置粘贴于该商品上的情况下，难以通过现有技术使数据码与标签相关联。如果不能建立这种关联，则难以正确地进行降价处理(或者折扣处理或者积点处理)。
[0010]本发明要解决的问题在于提供一种即使在数据码与标签配置在同一物体的不同的面上的情况下也能够根据运动图像将两者建立关联的运动图像识别装置以及运动图像识别方法。
[0011]用于解决问题的手段
[0012]根据实施方式，运动图像识别装置具备运动图像输入部、缓冲部、运动物体检测部、数据码读取部、标签识别部、建立关联部、以及输出部。运动图像输入部输入运动图像。缓冲部保存所输入的所述运动图像。所述运动物体检测部从保存于所述缓冲部的所述运动图像中检测运动物体并识别各个运动物体。所述数据码读取部从所述运动图像的各个帧中检测条形码、二维条形码等数据码，并将该检测出的数据码解码。所述标签识别部从所述运动图像的各个帧中检测标签，并识别在该检测出的标签上记载的符号。所述建立关联部在识别后的所述标签与解码后的所述数据码处于识别后的所述运动物体中的同一物体上的情况下将所述标签的识别结果与所述数据码的解码结果建立关联。所述输出部一并输出所述数据码的解码结果以及与该解码结果建立了关联的所述标签的识别结果。
【附图说明】
[0013]图1是表示实施方式的运动图像识别装置的典型的硬件结构的框图。
[0014]图2是以所述运动图像识别装置的功能结构为主进行表示的框图。
[0015]图3是表示图1所示的运动图像区域中的N个指示器(pointer)与N个缓冲器之间的对应关系的例子的图。
[0016]图4是表示从图3的状态起I帧后的、运动图像区域中的N个指示器与N个缓冲器之间的对应关系的例子的图。
[0017]图5是表示保存运动图像的帧的缓冲器的大小与该缓冲器内的坐标系的例子的图。
[0018]图6是表示帧与小分区之间的关系的例子的图。
[0019]图7是表示帧内的小分区的大小与坐标的例子的图。
[0020]图8是示意性表示保存运动物体的编号的二维阵列的例子的图。
[0021]图9是表示应用于该实施方式的块匹配的情况的图。
[0022]图10是示意性表示应用于该实施方式的标签词典的典型的数据构造的图。
[0023]图11是表示不存在与条形码建立了关联的标签的情况下的输出内容的例子的图。
[0024]图12是表示存在与条形码建立了关联的标签的情况下的输出内容的例子的图。
[0025]图13是表示用于催促输入修正后的标签识别结果的第一请求消息的例子的图。
[0026]图14是表示与所述第一请求消息对应的第一应答消息的例子的图。
[0027]图15是表示用于催促输入修正后的解码结果的第二请求消息的例子的图。
[0028]图16是表示与所述第二请求消息对应的第二应答消息的例子的图。
【具体实施方式】
[0029]以下，参照附图对实施方式进行说明。
[0030]图1是表示实施方式的运动图像识别装置10的典型的硬件结构的框图。在本实施方式中，运动图像识别装置10作为POS系统的一个要素而动作。运动图像识别装置10例如使用个人计算机(PC) 11来实现。PC 11具备CPU 12、存储装置13、输入输出控制器14以及系统总线15。CPU 12、存储装置13以及输入输出控制器14利用系统总线15相互连接。PC 11还具备视频端子16。
[0031]CPU 12执行包含运动物体的检测、数据码的读取(解码)以及标签的识别在内的信息处理。在本实施方式中，数据码是条形码(一维条形码)。另外，运动物体是例如商品。为了使该商品作为运动物体被检测出，例如对POS系统内的POS终端的操作人员要求如下这种操作。该操作是操作人员握持所述商品并移动到后述的摄像机17的拍摄范围(换句话说出示给摄像机17)。此外，在自助收银机的情况下，顾客自身进行所述操作。
[0032]商品通常具有记载有条形码的条形码面。记载有条形码的条形码面不仅是印刷有条形码的商品的面，也指的是粘贴有条形码贴的商品的面。在条形码贴上印刷有条形码。此夕卜，在所述商品上有时也粘贴有降价标签、折扣标签或者积点标签这样的标签。在降价标签上记载有降价金额，在折扣标签上记载有折扣率，在积点标签上记载有被赋予的点数。
[0033]存储装置13包括RAM部、ROM部以及闪存部。RAM部使用至少一个RAM而构成，ROM部使用至少一个ROM而构成，闪存部使用至少一个闪存(换句话说是可改写的非易失性存储器)而构成。
[0034]存储装置13具备软件区域13a、运动图像区域13b、作业数据区域13c、设定数据区域13d以及标签词典区域13e。软件区域13a例如被确保在ROM部内。运动图像区域13b以及作业数据区域13c例如被确保在RAM部内。设定数据区域13d以及标签词典区域13e例如被确保在闪存部内。ROM部、RAM部以及闪存部的存储区域被分配给由CPU 12识别的同一个地址空间内。由此CPU 12以不会意识到ROM部、RAM部或者闪存部的方式，按照用途访问软件区域13a、运动图像区域13b、作业数据区域13c、设定数据区域13d以及标签词典区域13e。
[0035]软件区域13a用来保存用于所述信息处理的的软件。该软件包含命令码、常数、各种表、变量的初始值。运动图像区域13b用于保存运动图像。运动图像例如经由视频端子16以及输入输出控制器14而输入。
[0036]作业数据区域13c用来保存用于所述信息处理的作业数据。作业数据包含条形码的解码结果以及标签的识别结果。设定数据区域13d用于保存后述的设定数据。标签词典区域13e用于保存后述的标签词典。
[0037]输入输出控制器14经由视频端子16而与获取运动图像拍摄装置例如摄像机17连接。输入输出控制器14输入由摄像机17获取的运动图像，利用例如直接存储器访问(DMA)将该运动图像传送到存储装置13。输入输出控制器14还经由输入输出接口例如串行输入输出接口 18而与POS终端连接。输入输出控制器14在CPU 12 (通过CPU 12执行的软件)的控制下经由串行输入输出接口 18输出运动图像识别装置10的处理结果。运动图像识别装置10的处理结果包含条形码的解码结果、标签的识别结果以及区域检测结果。输入输出控制器14还经由串行输入输出接口 18输入从POS终端传送的数据(例如修正数据)。输入输出控制器14还与扬声器19连接。输入输出控制器14从扬声器19输出消息或者警告音。
[0038]图2是以运动图像识别装置10的功能结构为主进行表示的框图。该功能结构通过由图1所示PC 11的CPU 12执行所述软件来实现。运动图像识别装置10具备运动图像输入部201、缓冲部202、运动物体检测部203、数据码读取部204、标签识别部205、建立关联部206、更新部207、输出部208、警告部(第一警告部)209 (#1)、警告部(第二警告部)210 (#2)、修正输入部211、决定部212、警告部(第三警告部)213 (#3)、修正部214以及多数票决选择部215。在本实施方式中，这些要素201至215中的除缓冲部202以外的要素由软件模块构成。但是，也可以将这些软件模块的一部分或者全部替换成硬件模块。缓冲部202使用存储装置13的运动图像区域13b而构成。
[0039]运动图像输入部201输入利用输入输出控制器14传送的运动图像221。缓冲部202用于保存运动图像221。若更详细地叙述，缓冲部202用于按时间序列依次将运动图像221的帧中的连续的N个帧暂时保存。运动物体检测部203从运动图像221中检测运动物体并分别识别该运动物体。由此，运动物体检测部203获取运动物体的检测结果222。运动物体检测部203包含物体编号决定部203a。物体编号决定部203a决定用于对所检测出的运动物体进行识别的编号。
[0040]数据码读取部204从运动图像221的各个帧检测数据码，并将该数据码解码。在本实施方式中，利用数据码读取部204检测并解码的