信息处理装置及其控制方法与流程

本申请是申请号是201410681455.4、申请日是2014年11月24日、发明名称为“信息处理装置及其控制方法”的分案申请，同时，如母案一样主张申请日为2014年01月08日、申请号为jp2014-001859的日本申请为优先权，并引用上述申请的内容，上述优先权的内容视为记载在本申请中。

本发明涉及一种信息处理装置及其控制方法。

背景技术：

目前，存在有这样一种技术，通过从摄像物品的图像数据抽出所述物品的特征量，并与表示预先准备的核对用物品的特征量的数据进行比较，识别所述物品的种类等。此外，提案有一种店铺系统，通过将该技术用于蔬菜和水果等的商品的识别(辨别)，对已识别出的商品进行销售登记。在所涉及的店铺系统中，当存在有多个作为商品候选的核对用商品(商品候选)时，按照与商品的相似度从高到低的顺序显示商品候选，并接受来自操作员的选择。

不过，在上述现有的构成中，由于按照相似度从高到低的顺序显示商品候选，所以即使举起一个商品，当出现有与在先显示的商品候选相比高的相似度的商品候选时，也会轮换(交替)商品候选的显示顺序。这时，当以操作员想选择商品候选的定时轮换商品候选的显示顺序时，则有选择不意图的商品候选的可能性。因此，期望有用于防止这样的误操作的技术。

技术实现要素：

鉴于上述问题，本发明的目的在于提供一种信息处理装置及其控制方法，其能够提高商品候选的显示所涉及的便利性。

为解决上述问题，本发明第一方面所涉及的信息处理装置包括：检测部、识别部、商品候选显示部及接受部。检测部，从采集到的图像中检测出商品。识别部，将所述检测部检测出的所述商品的特征量和作为基准的基准商品的各个基准商品的特征量进行比较，将其相似度大于等于阈值的基准商品识别为商品候选。商品候选显示部，将在经过规定时间之前识别出的所述商品候选按照相似度从高到低的顺序进行显示，而且依次显示在所述规定时间之后识别出的所述商品候选。接受部，接受对已显示的所述商品候选的选择操作。

本发明第二方面所涉及的信息处理装置的控制方法，包括以下步骤：检测步骤，从采集到的图像中检测出商品；识别步骤，将通过所述检测步骤检测出的所述商品的特征量和作为基准的基准商品的各个基准商品的特征量进行比较，将其相似度大于等于阈值的基准商品识别为商品候选；商品候选显示步骤，将在经过规定时间之前识别出的所述商品候选按照相似度从高到低的顺序进行显示，而且依次显示在所述规定时间之后识别出的所述商品候选；以及接受步骤，接受对已显示的所述商品候选的选择操作。

附图说明

下面，参照附图对本发明所涉及的信息处理装置及其控制方法进行说明。当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

图1是表示实施例所涉及的结账系统的外观构成的立体图；

图2是表示图1所示的pos终端及商品读取装置的硬件构成的框图；

图3是示意地表示图2所示的plu文件的数据构成的一例图；

图4是表示图1所示的pos终端及商品读取装置的功能构成的框图；

图5是表示商品候选画面的显示例的图；

图6是表示商品候选画面的显示例的图；

图7是表示商品候选画面的显示例的图；

图8是表示商品读取装置所执行的商品识别处理的次序的流程图；

图9是表示pos终端所执行的销售登记处理的次序的流程图；

图10是表示实施例所涉及的自助pos的外观构成的立体图；以及

图11是表示图10所示的自助pos的硬件构成的框图。

附图标记说明

1结账系统

11pos终端

611销售登记部

101商品读取装置

1611图像采集部

1612商品检测部

1613特征量抽出部

1614相似度判定部

1615商品候选显示部

1616输入接受部

1617信息输出部

f1plu文件

sc存储计算机

具体实施方式

下面，参照附图，以结账系统为例对本实施例所涉及的信息处理装置及程序进行说明。店铺系统是具有进行一交易所涉及的商品的登记、对账的pos终端的结账系统(pos系统)等。本实施例是向引进到超市等的店铺的结账系统的应用例。

图1是表示结账系统1的外观构成的立体图。如图1所示，结账系统1具有pos终端11、作为信息处理装置的商品读取装置101。

pos终端11载置在结账台51上的拉出装置21上表面上。拉出装置21通过pos终端11控制开放动作。在pos终端11的上表面上配置有由操作员(店员等)进行按下操作的键盘22。从操作键盘22的操作员来看，在键盘22的里侧设置有朝向操作员显示信息的显示装置23。显示装置23在其显示面23a上显示信息。在显示面23a上层压有触摸面板26。在显示装置23的更里侧可旋转地立着设置有顾客用显示装置24。顾客用显示装置24在其显示面24a上显示信息。

另外，图1所示的顾客用显示装置24虽然为将显示面24a朝向图1中跟前侧的状态，但是通过以显示面24a朝向图1中里侧的方式使顾客用显示装置24旋转，顾客用显示装置24朝向顾客显示信息。

长方形桌子状的柜台151以与载置有pos终端11的结账台51形成为l字的方式被配置。柜台151的上面形成有负荷接受面152。负荷接受面152载置有收纳商品g的购物筐153。购物筐153可以考虑划分成通过顾客带来的第一购物筐153a、载置在与第一购物筐153a隔着商品读取装置101的位置上的第二购物筐153b。

柜台151的负荷接受面152设置有可与pos终端11数据发送接收地连接的商品读取装置101。商品读取装置101具有薄型矩形形状的外壳102。

在外壳102的正面配置有读取窗103。在外壳102的上部安装有显示/操作部104。显示/操作部104设置有在表面上层压有触摸面板105的液晶显示器等的显示装置106。在显示装置106的右边配设有键盘107。在键盘107的右边设置有未图示的读卡器的卡读取槽108。从操作员角度看，在显示/操作部104的里面靠左侧设置有顾客用显示装置109，用于向顾客提供信息。

通过顾客带来的第一购物筐153a收纳有一交易所涉及的商品g。第一购物筐153a内的商品g通过操作商品读取装置101的操作员被移动到第二购物筐153b。在该移动过程中，商品g朝向商品读取装置101的读取窗103。这时，读取窗103内所配置的摄像部164(参照图2)摄像商品g。

图2是表示pos终端11及商品读取装置101的硬件构成的框图。

pos终端11具有作为执行信息处理的信息处理部的微计算机60。微计算机60在执行各种运算处理并控制各部的cpu(centralprocessingunit：中央处理器)61、rom(readonlymemory：只读存储器)62以及ram(randomaccessmemory：随机存取存储器)63。rom62存储cpu61所执行的程序。此外，微计算机60具有计时时间的rtc(realtimeclock：实时时钟)等的计时部(未图示)。

拉出装置21、键盘22、显示装置23、顾客用显示装置24、通信接口25、触摸面板26、hdd(harddiskdrive：硬盘驱动器)64、连接接口65及打印机66均通过各种输入输出电路(均未图示)与pos终端11的cpu61连接。

键盘22包含在上表面上显示有“1”、“2”、“3”……等的数字、“×”的乘法的运算符的数字键22d、临时合计键22e及合计键22f。

hdd64存储有各种程序、各种文件。cpu61在pos终端11的起动等时将hdd64所存储的程序的全部或一部分复制到ram63并进行执行。

此外，hdd64存储有plu文件f1等的数据文件。plu文件f1通过连接接口65可从商品读取装置101读出。

plu文件f1是设定有关联在店铺内销售的商品g和与其商品g的销售登记等相关的信息的数据文件。图3是示意地示出plu文件f1的数据构成的一例图。如图3所示，plu文件f1对应每个商品g关联登记有唯一分配的商品id、商品名、单价等与商品有关的信息以及摄像了该商品g的商品图像。此外，plu文件f1对应每个商品g关联登记有该商品g的特征量(基准商品的特征量数据)。

商品图像是在后述的相似度判定时摄像了被作为比较对象的基准商品的各个商品的图像。商品图像在后述的商品候选的显示时作为表示该商品候选的图像被显示。此外，从各商品g的摄像图像(例如，商品图像)预先抽出的该商品g的特征量与对应的商品id关联登记。在这里，特征量就是诸如商品g的表面的色彩、图案、凹凸状况、形状等表示商品g的特征的信息。

另外，在本实施例中，虽然是将各商品g的特征量预先登记在plu文件f1中的形态，但是不限定于此，也可以是不登记特征量的形态。这时，也可以是通过后述的特征量抽出部1613从各商品图像抽出特征量，每次都取得特征量的形态。此外，也可以是登记显示用图像替代商品图像的形态。以下，将登记在plu文件f1中的商品称为“登记商品”。

返回到图2，pos终端11的cpu61通过输入输出电路(未图示)连接有用于与存储计算机sc执行数据通信的通信接口25。存储计算机sc被设置在店铺的后院等。存储计算机sc的hdd(未图示)存储有发送给pos终端11的plu文件f1、用于管理所述plu文件f1所登记的各登记商品的库存状态的库存管理文件等。

连接接口65可在与商品读取装置101之间数据发送接收。连接接口65连接有商品读取装置101。此外，打印机66在票据等上进行打字。pos终端11在cpu61的控制下，通过打印机66在票据上打印一交易的交易内容。

商品读取装置101具有商品读取部110、显示/操作部104。商品读取部110具有微计算机160。微计算机160具有cpu161、rom162及ram163。rom162存储cpu161执行的程序。此外，微计算机160具有计时时间的rtc等的计时部(未图示)。

cpu161通过各种输入输出电路(均未图示)连接有摄像部164、声音输出部165及连接接口175。摄像部164、声音输出部165及连接接口175通过cpu161控制动作。

摄像部164是彩色ccd传感器或彩色cmos传感器等，并是从读取窗103进行摄像的摄像部。例如，摄像部164进行30fps的视频摄像。摄像部164以规定帧频依次摄像的帧图像(摄像图像)被保存在ram163中。声音输出部165是用于产生预先设定的警告音等的声音电路和扬声器等。声音输出部165在cpu161的控制下进行警告音等声音的告知。

显示/操作部104具有触摸面板105、显示装置106、键盘107、顾客用显示装置109及连接接口176。商品读取部110的连接接口175可与pos终端11的连接接口65连接并在与pos终端11之间进行数据发送接收。连接接口175通过连接接口176与显示/操作部104连接，cpu161通过连接接口175在与商品读取部110和显示/操作部104之间进行数据发送接收。

接着，参照图4，对通过cpu161、cpu61执行程序来实现的cpu161、cpu61的功能构成进行说明。

图4是表示pos终端11及商品读取装置101的功能构成的框图。如图4所示，商品读取装置101的cpu161通过依次执行程序，具有作为图像采集部1611、商品检测部1612、特征量抽出部1613、相似度判定部1614、商品候选显示部1615、输入接受部1616及信息输出部1617的功能。

图像采集部1611是与采集部对应的功能部。图像采集部1611向摄像部164输出摄像导通信号从而使摄像部164开始摄像动作。图像采集部1611依次采集在摄像动作开始后摄像部164摄像并保存在ram163中的摄像图像。基于图像采集部1611的摄像图像的采集按照ram163所保存的顺序进行。

商品检测部1612是与检测部对应的功能部。商品检测部1612采用模式匹配技术等检测出图像采集部1611采集到的摄像图像所包含的商品g的全部或一部分的轮廓线。接着，对从前次的摄像图像(帧图像)抽出的轮廓线和从此次的帧图像抽出的轮廓线进行比较，检测出有变化的部分、即检测出朝向读取窗103的商品g的映入区域。

作为检测出商品g的其他方法，判定从摄像图像是否检测出有皮肤区域，当检测出有皮肤区域时、即当检测出有店员的手的映入时，通过在该皮肤区域的附近进行检测上述的轮廓线，对假想店员的手正把持的商品g的轮廓抽出进行尝试。这时，当检测出表示手的形状的轮廓和在手的轮廓附近除此之外的物体的轮廓时，从该物体的轮廓检测出商品g。

特征量抽出部1613是与抽出部对应的功能部。特征量抽出部1613从图像采集部1611采集到的摄像图像，抽出通过商品检测部1612检测出的商品g的表面状态(表面的色彩、图案、凹凸状况、形状等)，作为特征量。

相似度判定部1614是与计算部及识别部对应的功能部。相似度判定部1614将plu文件f1所登记的各登记商品的特征量和特征量抽出部1613抽出的特征量进行比较，分别计算出其相似度。相似度判定部1614将在计算出的相似度中其值大于等于规定阈值的登记商品(商品id)识别为通过摄像部164摄像的商品g的候选(商品候选)。

此外，相似度判定部1614具有当在相似度大于等于阈值的登记商品中存在有一个其相似度的值与其他相比变得非常高的登记商品时，将符合的一登记商品视为商品候选的自动确定功能。另外，相似度的比较基准可以任意设定。例如，也可以与对其他的商品候选计算出的相似度的最高值进行比较，自动确定具有大于等于20％的相似度的一登记商品。

此外，相似度只要是将商品g的特征量和plu文件f1所登记的商品的基准特征量进行比较，表示两特征量相似哪种程度的值(相似度)就可以。另外，相似度的概念不限定于该例子，也可以是表示与plu文件f1所登记的各登记商品的特征量的一致度的值、或表示商品g的特征量和plu文件f1所登记的各登记商品的特征量相关哪种程度的值。

对象上述那样在图像中所包含的物体进行识别被称为一般物体识别(genericobjectrecognition：一般物体识别)。关于这种的一般物体识别，在下列的文献中各种识别技术被说明。

柳井啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，vol.48，no.sig16[平成22年8月10日検索]，インターネット<url:http://mm.cs.uec.ac.jp/ipsj-tcvim-yanai.pdf>(柳井启司，“一般物体识别的现状与未来”，信息处理学会论文志，vol.48，no.sig16“平成22年8月10日检索”，互联网＜url：http：//mm.cs.uec.ac.jp/ipsj-tcvim-yanai.pdf＞)

此外，通过对应每个物品(目的物)对图像进行区域分割，进行一般物体识别的技术在下列的文献中被说明。

jamieshottonら，“semantictextonforestsforimagecategorizationandsegmentation”，[平成22年8月10日検索]，インターネット<url:http://citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep＝rep1&type＝pdf>(jamieshottonら(杰米肖顿等人)，“semantictextonforestsforimagecategorizationandsegmentation：”，“平成22年8月10日检索”，互联网＜url：http：//citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep＝rep1&type＝pdf＞)

另外，相似度的计算方法尤其不限。例如，既可以将相似度作为绝对评价进行计算出，又可以作为相对评价进行计算出。当将相似度作为绝对评价进行计算出时，只要将已摄像的商品g的图像和登记商品一对一进行比较，直接采用该比较的结果导出的相似度就可以。此外，当将相似度作为相对评价进行计算出时，只要以摄像的商品g和各登记商品的相似度的总和为1.0(100％)的方式计算出就可以。

商品候选显示部1615是与选择部及显示控制部对应的功能部。商品候选显示部1615将与通过相似度判定部1614识别为商品候选的登记商品有关的信息显示在显示装置106上。更详细地说，商品候选显示部1615从plu文件f1读出被识别为商品候选的登记商品的记录，并显示在显示装置106的商品候选画面内。

图5是表示商品候选画面的显示例的图。显示装置106所显示的商品候选画面a1包含摄像图像区域a11和商品候选区域a12。

摄像图像区域a11是用于显示图像采集部1611采集到的摄像图像的区域。在摄像图像区域a11的下部设置有从部类代码、商品明细等中手动识别(登记)商品g用的手动登记按钮b1。cpu161根据手动登记按钮b1的操作，在显示装置106上显示手动进行商品g的识别(登记)用的手动登记画面(未图示)。另外，通过手动登记画面指定的商品被作为后述的确定商品处理。

商品候选区域a12是用于显示与识别为商品候选的登记商品有关的信息的区域。商品候选区域a12配置有显示区域a2。在图5中，虽然示出有在商品候选区域a12中设定了四个显示区域a2的例子，但是显示区域a2的个数不特别限定。商品候选显示部1615在显示区域a2中配置显示商品候选的商品图像、商品名等的商品信息(g1、g2)。另外，商品候选区域a12所显示的商品候选可通过触摸面板105进行选择。根据上述构成，商品读取装置101的操作员可以从商品候选区域a12所显示的商品候选中选择与商品g相符合的商品候选。

另外，通过将商品候选按照相似度从高到低的顺序配置在显示区域a2中，能够谋求提高选择时的便利性。当采用了该显示方法时，由于按照相似度从高到低的顺序显示商品候选，所以当出现有与先显示的商品候选相比高的相似度的商品候选时，则就会轮换(替换)显示顺序(配置顺序)。这时，当以操作员希望选择商品候选的定时(时间)轮换商品候选的显示顺序时，则有选择无意图的商品候选的可能性。

因而，为了防止产生上述那样的误操作，商品候选显示部1615以不改变显示位置(顺序)的方式将通过相似度判定部1614识别出的商品候选分成两阶段进行显示。

具体地说，商品候选显示部1615在相似度判定部1614执行商品候选的识别所涉及的处理的规定时间(以下，称为待机时间)的期间，待机商品候选的显示。接着，商品候选显示部1615当经过待机时间时，则通过将在该待机时间期间通过相似度判定部1614识别出的商品候选的商品信息按照相似度从高到低的顺序配置在显示区域a2中从而进行所述商品信息的显示。

而且，商品候选显示部1615当在待机时间之后通过相似度判定部1614识别有商品候选时，则通过将对应的商品信息依次配置在显示区域a2中从而进行所述商品信息的显示。

例如，在待机时间的期间所识别的商品候选是“白菜”及“大葱”，“白菜”的相似度与“大葱”相比高。这时，如图5所示，商品候选显示部1615通过按照相似度更高的“白菜”、“大葱”的顺序，将符合的商品信息g1、g2配置在显示区域a2中，从而一起显示商品信息g1、g2。另外，虽然在图5的商品候选区域a12中，从左上到右上，接着从左下到右下的显示区域a2中进行配置，但是配置方法并不限定于该例。

此外，在上述的待机时间之后，商品候选“卷心菜”和“莴苣”依次被识别出。这时，如图6所示，商品候选显示部1615通过以“卷心菜”被识别出的定时，将符合的商品信息g3配置在显示区域a2中，进行商品信息g3的显示。而且，如图7所示，商品候选显示部1615通过以“莴苣”被识别出的定时将符合的商品信息g4配置在显示区域a2中，进行商品信息g4的显示。在图5至图7的例子中，当在维持了在待机时间期间所识别的商品候选(“白菜”和“大葱”)的显示的状态下，显示区域a2的区域空着时，将在待机时间之后所识别出的商品候选(“卷心菜”和“莴苣”)在显示区域a2中进行显示。另外，如果在待机时间期间所识别的商品候选的数量达到显示区域a2的区域数量，则不进行向显示区域a2显示待机时间之后所识别出的商品候选。

这样，商品候选显示部1615将在经过规定待机时间之前所识别的商品候选按照相似度从高到低的顺序进行显示，而且，依次显示待机时间之后所识别的商品候选。通过这样，能够保持同时显示的商品候选(商品信息)的显示位置(顺序)，所以能够降低发生随着显示顺序的轮换的误操作。此外，由于将在待机时间之前所识别出的商品候选按照相似度从高到低顺序进行显示，所以能够使商品候选的显示所涉及的便利性提高，而且使选择所述商品候选所涉及的操作性提高。

另外，待机时间的长短可设定诸如500毫秒等任意数值。此外，开始待机时间的计时的基点也可以任意设定。在本实施例中，将商品检测部1612从摄像图像检测出商品g的定时视为开始待机时间的计时的基点。

返回到图4，输入接受部1616通过触摸面板105或键盘107接受与显示装置106的显示对应的各种输入操作。例如，输入接受部1616从显示装置106所显示的商品候选中接受对任意一个商品候选的选择操作。输入接受部1616将已选择的商品候选作为与通过摄像部164摄像的商品g对应的商品(确定商品)进行接受。另外，当商品检测部1612可检测出多个商品g时，输入接受部1616也可以从商品候选中接受多个商品候选的选择操作。

信息输出部1617对上述那样确定的确定商品，通过连接接口175将表示该商品的信息(例如，商品id、商品名等)输出给pos终端11。

另外，信息输出部1617也可以将通过触摸面板105或键盘107另外输入的销售个数与商品id等同时输出给pos终端11。此外，作为信息输出部1617输出给pos终端11的信息，既可以直接通知信息输出部1617从plu文件f1读出的商品id，又可以通知能够指定商品id的商品名、商品图像的文件名，还可以通知该商品id的存储地方(plu文件f1中的存储地址)。

另一方面，pos终端11的cpu61通过执行程序，具有作为销售登记部611的功能。销售登记部611基于从商品读取装置101的信息输出部1617输出的商品id和销售个数，进行对应的商品的销售登记。具体地说，销售登记部611通过参照plu文件f1，将通知的商品id及与所述商品id对应的商品分类、商品名、单价等与销售个数同时记录在销售主文件等中从而进行销售登记。

以下，对结账系统1的动作进行说明。首先，参照图8，对商品读取装置101的动作进行说明。在这里，图8是表示商品读取装置101所执行的商品识别处理的次序的流程图。另外，作为本处理的前提，显示装置106显示有商品候选画面a1。

首先，当根据通过pos终端11开始商品登记等而开始本处理时，则图像采集部1611向摄像部164输出摄像导通信号从而开始基于摄像部164的摄像(步骤s11)。

图像采集部1611采集摄像部164摄像并保存在ram163中的帧图像(摄像图像)(步骤s12)。接着，商品检测部1612从在步骤s12中采集到的摄像图像进行商品g的全部或一部分的检测(步骤s13)。在这里，当未检测出有商品g时(步骤s13的否)，返回到步骤s12。

当在步骤s13中检测出有商品g时(步骤s13的是)，商品候选显示部1615判定是否正在计时待机时间当中(步骤s14)。在这里，当判定出正在计时当中时(步骤s14的是)，过渡到步骤s16。此外，当判定出不是正在计时当中时(步骤s14的否)，商品候选显示部1615在开始待机时间的计时后(步骤s15)，过渡到步骤s16。

特征量抽出部1613从在步骤s12中采集到的摄像图像，抽出在步骤s13中检测出的商品g的特征量(步骤s16)。接着，相似度判定部1614对在步骤s16中所抽出的特征量和plu文件f1所登记的各登记商品的特征量进行比较，分别计算出其相似度(步骤s17)。而且，相似度判定部1614当在计算出的相似度中存在有其值大于等于规定阈值的登记商品时，则将其登记商品(商品id)识别为商品候选。

接着，商品候选显示部1615判定是否经过了待机时间(步骤s18)。在这里，当判定出未经过待机时间(步骤s18的否)，再返回到步骤s12。此外，当判定出经过了待机时间时(步骤s18的是)，商品候选显示部1615判定是否存在有通过相似度判定部1614识别出的商品候选(步骤s19)。

当在步骤s19中，判定出未存在有商品候选时(步骤s19的否)，再返回到步骤s12。此外，当判定出存在有商品候选时(步骤s19的是)，商品候选显示部1615判定其商品候选是否是在待机时间内已被识别出的(步骤s20)。

在这里，商品候选显示部1615将在待机时间内识别出的商品候选(步骤s20的是)，按照相似度从高到低的顺序进行显示(步骤s21)。更详细地说，商品候选显示部1615通过从plu文件f1读出符合的各商品候选的记录，并按照相似度从高到低的顺序配置在显示区域a2中，从而将在待机时间内识别出的商品候选一起进行显示。

另一方面，商品候选显示部1615将经过待机时间后识别出的商品候选(步骤s20的否)，按照识别出的顺序进行依次显示(步骤s22)。更详细地说，商品候选显示部1615从plu文件f1读出符合的商品候选的记录，并依次配置在显示区域a2，从而按照识别出的顺序显示商品候选。

接着，输入接受部1616判定是否通过触摸面板105或键盘107接受了商品候选的选择(步骤s23)。在这里，当未接受商品候选的选择操作时(步骤s23的否)，再返回到步骤s12。

此外，当在步骤s23中接受选择任一商品候选的操作时(步骤s23的是)，则商品候选显示部1615停止计时(步骤s24)。通过这样，能够停止一商品g所涉及的待机时间的计时。

接着，信息输出部1617将表示确定商品的商品id等信息输出给pos终端11(步骤s25)，并过渡到步骤s26。在这里，当通过触摸面板105或键盘107另外输入有销售个数时，在步骤s22中将该销售个数与表示确定商品的信息同时输出给pos终端11。另外，也可以是当未进行销售个数的输入时，输出销售个数“1”作为默认值的形式。

在接续的步骤s26中，cpu161判定有无从pos终端11发送商品登记的结束通知等而结束业务(步骤s26)。当继续业务时(步骤s26的否)，cpu161返回到步骤s12的处理并继续处理。此外，当结束业务时(步骤s26的是)，图像采集部1611向摄像部164输出摄像截至信号，从而结束基于摄像部164的摄像(步骤s27)，结束商品识别处理。

接着，对pos终端11的处理动作进行说明。图9是表示pos终端11所执行的销售登记处理的次序的流程图。

首先，当根据通过键盘22的操作指示而开始商品登记等从而开始处理时，则cpu61接收商品读取装置101在图8的步骤s25中输出的确定商品的商品id和其销售个数(步骤s31)。接着，销售登记部611基于在步骤s31中接收到的商品id及销售个数，从plu文件f1读出商品种类、单价等，将通过商品读取装置101读取的商品g的销售在销售主文件中进行登记(步骤s32)。

接着，cpu61判定有无通过键盘22的操作指示而结束销售登记等从而结束业务(步骤s33)。当继续业务时(步骤s33的否)，cpu61返回到步骤s31继续处理。当结束业务时(步骤s33的是)，cpu61结束销售登记处理。

以上，虽然对本发明的实施例进行了说明，但是上述实施例是作为例子提出的，并不意图限定发明的范围。上述实施例可以用其他各种形式来实施，在不脱离发明要旨的范围内可以进行各种省略、替换、变更、追加等。上述实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。

例如，在上述实施例中，虽然是以商品检测部1612从摄像图像检测出商品g的定时开始待机时间的计时的形态，但是并不限定于此。例如，也可以是以相似度判定部1614开始了商品候选的识别所涉及的处理的定时开始待机时间的计时的形态。具体地说，也可以将开始了特征量的抽出、相似度的计算等的定时，作为开始待机时间的计时的基点。

此外，也可以是以相似度判定部1614第一个识别出商品g的商品候选的定时开始待机时间的计时的形态。当采用该形态时，在一个也未识别有商品候选的期间，不进行待机时间的计时。因此，即使是在需要时间直到第一个识别商品候选的情况下，也能够对在从第一个被识别到经过待机时间的期间所识别出的商品候选按照相似度从高到低的顺序进行显示，所以能够谋求提高便利性。

此外，在上述实施例中，虽然是pos终端11具有plu文件f1的形态，但是不限定于此，也可以是商品读取装置101具有plu文件f1的一部分或全部的形态。

此外，在上述实施例中，虽然在商品读取装置101中进行商品候选的识别的形态，但是也可以是pos终端11具有商品读取装置101所具有的功能部的一部分或全部的形态。

例如，也可以是pos终端11具有特征量抽出部1613及相似度判定部1614，商品读取装置101具有图像采集部1611、商品检测部1612、商品候选显示部1615、输入接受部1616及信息输出部1617的形态。这时，在商品读取装置101侧将通过图像采集部1611采集并通过商品检测部1612检测出商品的摄像图像发送给pos终端11。此外，商品读取装置101接收在pos终端11侧识别出的商品(登记商品)的结果，商品候选显示部1615将该接收到的结果作为商品候选进行显示。此外，当pos终端11具有商品读取装置101全部的功能部时，商品读取装置101具有作为摄像装置的功能，pos终端11基于从商品读取装置101发送出的摄像图像进行商品候选的显示。

此外，在上述实施例中，虽然对采用了固定式扫描仪装置(商品读取装置101)的例子进行了说明，但是不限定于此，也可以是将手持式扫描仪装置与pos终端11连接的形态。

此外，在上述实施例中，虽然在包括pos终端11和商品读取装置101的结账系统1中向商品读取装置101应用了本发明的实施例，但是并不限定于此，也可以应用于具有pos终端11及商品读取装置101的功能的一体构成的装置、或诸如通过有线或无线连接有图1所示的商品读取装置101及pos终端11而构成的结账系统1。作为具有pos终端11及商品读取装置101的功能的一体构成的装置，列举有设置在超市等店铺中使用的自助结账装置(以下，仅称为自助pos)。

在这里，图10是表示自助pos200的外观构成的立体图，图11是表示自助pos200的硬件构成的框图。另外，以下，对图1及图2所示的同样构成，附加相同符号进行示出，并省略其重复的说明。

如图10及图11所示，自助pos200的主体202具有在表面上配设有触摸面板105的显示装置106、为了识别(检测)商品的种类等而读取商品图像的商品读取部110。

作为显示装置106，诸如采用有液晶显示器。显示装置106显示用于向顾客告知自助pos200的操作方法的引导画面、各种的输入画面、显示通过商品读取部110已读取的商品信息的登记画面、显示商品的合计金额、预付金额、找零金额等并进行选择支付方法的对账(结账)画面等。

商品读取部110是通过顾客将附在商品上的码符号对准商品读取部110的读取窗103，从而通过摄像部164读取商品图像的装置。

此外，在主体202的右侧设置有用于放置已装入筐中的未结算的商品的商品载置台203，在主体202的左侧设置有用于放置已结算的商品的商品载置台204。此外，设置有挂装入已结算的商品用的袋的袋挂钩205、用于将已结算的商品在装入袋之前临时放置的临时放置台206。商品载置台203及204分别设置有计量器207、208，并具有确定在结算前后商品的重量为相同的情况的功能。

此外，自助pos200的主体202设置有用于进行存入结算用纸币和接受找零纸币的找零机201。

当在这样构成的自助pos200中应用了本发明的实施例时，自助pos200具有作为信息处理装置的功能。另外，具有pos终端11和商品读取装置101功能的一体构成的装置不限定于上述构成的自助pos200，也可以是除去计量器207及208而构成的装置。

此外，在上述实施例的各装置中执行的程序，虽然被预先安装在各装置所具有的存储介质(rom或存储部)中而提供，但是并不限定于此。例如，也可以用可安装的形式或可执行的形式的文件记录在cd-rom、软磁盘(fd)、cd-r、dvd(digitalversatiledisk：数字多功能光盘)等计算机可读的存储介质中而提供。而且，存储介质不限定于与计算机或嵌入系统独立的介质，也包含有下载通过lan、互联网等传输来的程序而存储或临时存储的存储介质。

此外，也可以将在上述实施例的各装置中执行的程序存储在与互联网等的网络连接的计算机上，并通过经由网络下载来提供。此外，也可以将在上述实施例的各装置中执行的程序经由互联网等的网络进行配置。

此外，也可以是将上述实施例的程序安装在具有通信功能的便携电话、智能电话、pda(personaldigitalassistant：个人数字助理)等便携信息终端中，实现其功能的形态。