输入系统、输入程序和输入方法与流程

1.本发明涉及用于避免或减少用户接触的输入系统、输入程序和输入方法。


背景技术：

2.由于世界范围内的传染病的流行，传染病对策再次受到关注。例如，将在店铺中的结算从店员操作的有人收银替换为由顾客自身操作结算装置的自助收银等，利用it(information technology，信息技术)来减少人与人接触的机会是有效的传染病对策之一。
3.常规上，从必要的人员削减和效率化的观点出发，已知有利用it的收银和窗口业务等的自动化技术。例如，专利文献1中记载了利用基于面部图像的生物体认证的自动结算的方法。专利文献1中记载了用户通过预定的手势明确地指示面部认证的执行。
4.此外，专利文献2中记载了在利用自动售货机购买商品时的面部认证中，通过要求顾客做预定动作，从而排除根据人以外的信息来进行面部认证。
5.现有技术文献
6.专利文献
7.专利文献1：日本特开2019
‑
67075号公报
8.专利文献2：日本特开2020
‑
87093号公报


技术实现要素：

9.发明要解决的问题
10.另一方面，由于细菌和病毒通过不特定多数的人接触的物体进行传播而引起的接触感染也被认为是一个问题。在上述的常规技术中，假设以用户自身进行输入为前提，并且在输入时很多人会触摸相同的部分，因而从预防接触感染的观点来看，可以说是不充分的。
11.因此，本发明要解决的问题是提供一种在各种输入操作中能够避免或减少大量用户的接触的新颖的输入技术。
12.用于解决问题的手段
13.为了解决上述问题，本发明提供一种输入系统，其用于识别预先注册的用户并进行结算，所述输入系统包括：读取装置，对确定购买商品的商品确定信息进行读取；拍摄装置，拍摄进行结算的用户；动作识别装置，当从由所述拍摄装置所拍摄的用户图像中识别出由所述用户进行的结算动作时，结束由所述读取装置进行的读取；认证装置，基于所述用户图像，进行已注册的用户的认证；以及结算装置，在识别出所述结算动作并且所述认证成功的情况下，基于已注册的用户信息，执行所述购买商品的价款的结算处理。
14.通过采用这样的结构，可以在无需用户触摸装置自身的情况下完成与结算相关的所有输入。因此，用户只要触摸商品就能购买，能够降低由于不特定多数的接触而引起的感染风险，而且，还可以减少装置的污染和磨损。此外，即使在滑雪场或工地现场等需要戴手套的情况下也能够容易进行结算，而且，还根据用户图像进行结算，因而无需携带钱包、智
能手机等，提高了用户的便利性。
15.在本发明的优选方式中，所述动作识别装置从所述用户图像中识别出预先注册的手势作为所述结算动作。
16.通过采用这样的构成，可以期待减少错误识别的效果。
17.在本发明的优选方式中，所述用户信息包括确定用户所属的组的组确定信息，所述结算装置基于所述组确定信息执行所述结算处理。
18.通过采用这样的构成，例如，通过将本发明应用于在公司内的商店等中购物的结算，并且，确定用户所属的组来进行结算，可以实现利用了从工资中预扣款或利用福利厚生费的支付。
19.在本发明的优选方式中，所述结算装置基于所述组确定信息确定预先注册的组信息，并且，按照在所述组信息中所指定的结算方法执行所述结算处理。
20.通过采用这样的结构，能够通过按照每个组指定的结算方法进行结算。
21.在本发明的优选方式中，还包括：在所述读取装置开始所述读取之后，在预定时间的期间未连续进行所述读取的情况下进行取消处理的装置。
22.通过采用这样的构成，在用户途中停止输入并直接离开等情况下，能够做出取消处理并接收下一输入。
23.在本发明的优选方式中，还包括：显示部，在所述读取装置开始所述读取之后，在所述动作识别装置识别所述结算动作失败的情况下，进行用于结束所述读取并进行请求所述结算处理的输入的结算显示。
24.通过采用这样的构成，即使在由于某种原因而无法很好地从用户图像中识别结算动作的情况下，用户也可以使用其他方法请求结算处理。
25.在本发明的优选方式中，所述显示部在所述读取装置开始所述读取之后、当所述动作识别装置在预定时间的期间未识别出所述结算动作的情况下，视为所述结算动作的识别失败。
26.在本发明的优选方式中，所述结算显示请求所述用户触摸与上次显示时不同的部分。
27.通过采用这样的构成，即使在结算动作的识别失败的情况下，也可以避免大量用户触摸相同的部分。
28.为了解决上述问题，本发明提供一种用于识别预先注册的用户并进行结算的输入程序，所述输入程序使计算机作为以下装置发挥功能：读取装置，对确定购买商品的商品确定信息进行读取；拍摄装置，拍摄进行结算的用户；动作识别装置，当从由所述拍摄装置所拍摄的用户图像中识别出由所述用户进行的结算动作时，结束由所述读取装置进行的读取；认证装置，基于所述用户图像，进行已注册的用户的认证；以及结算装置，在识别出所述结算动作并且所述认证成功的情况下，基于已注册的用户信息，执行所述购买商品的价款的结算处理。
29.为了解决上述问题，本发明提供一种输入方法，其用于识别预先注册的用户并进行结算，所述输入方法使计算机执行以下步骤：对确定购买商品的商品确定信息进行读取的步骤；拍摄进行结算的用户的步骤；当从所拍摄的用户图像中识别出由所述用户进行的结算动作时，结束所述读取的步骤；基于所述用户图像，进行已注册的用户的认证的步骤；
以及在识别出所述结算动作并且所述认证成功的情况下，基于已注册的用户信息，执行所述购买商品的价款的结算处理的步骤。
30.发明的效果
31.根据本发明，可以提供一种能够避免或减少大量用户的接触的新颖的输入技术。
附图说明
32.图1是本发明的实施方式中的输入系统的功能框图。
33.图2是示出在本发明的实施方式中在数据库db中注册的信息的一例的图。
34.图3是示出在本发明的实施方式中作为交易历史表来存储的信息的一例的图。
35.图4是与本发明的实施方式中的输入系统的用户用于购买产品的结算相关的处理流程图。
36.图5是示出本发明的实施方式中的输入系统的显示画面的一例的图。
37.图6是示出本发明的实施方式中的输入系统的显示画面的一例的图。
38.图7是示出本发明的实施方式中的输入系统的显示画面的一例的图。
39.图8是示出本发明的实施方式中的输入系统的显示画面的一例的图。
40.图9是本发明的实施方式中的输入系统的接触位置的记录的一例以及显示部上的位置的表示中使用的坐标的说明图。
41.图10是与本发明的实施方式中的输入系统的按钮的显示位置的决定相关的流程图。
42.图11是示出与本发明的实施方式中的输入系统的按钮的显示位置的决定相关的示例的图。
具体实施方式
43.以下，使用附图对本发明的输入系统进行说明。另外，以下所示的实施方式是本发明的一例，本发明不限于以下的实施方式，也可以采用各种结构。
44.例如，虽然在本实施方式中对输入系统的构成、动作等进行了说明，但是，相同的构成的方法、装置、计算机程序等也可以发挥相同的作用效果。此外，程序也可以存储在记录介质中。如果使用该记录介质，则例如可以在计算机中安装程序。这里，存储有程序的记录介质也可以是例如cd
‑
rom等的非瞬态记录介质。
45.此外，在本实施方式中，以利用面部认证的结算为前提，例示了用于在结算处理的指示和其他各种输入中避免或减少用户的接触的技术，但本发明不限于此。例如，也可以通过在其他任意输入中执行后述的按钮的显示位置决定，在不使用图像认证的系统或以用户的接触为前提的广泛的系统中，用于防止大量用户触摸相同的部分。
46.在本实施方式中，设想了特别是公司内的商店等，属于特定的组的用户所利用的店铺中的实施方式。因此，在本实施方式中，针对设置有输入系统的每个店铺，决定了利用组，并且，作为属于该组的用户而注册的人在该店铺中利用本发明的输入系统。
47.(1)使用用户图像的结算输入
48.首先，对用于通过在结算时拍摄用户而得到的用户图像来进行结算的输入系统的整体构成进行说明。图1是示出本实施方式的输入系统的功能结构的图。
49.本实施方式的输入系统包括：读取装置11、拍摄装置12、动作识别装置13、认证装置14、结算装置15、显示部16、接触位置记录装置17、按钮显示装置18、以及接触位置重置装置19，并且，该输入系统构成为能够与数据库db相互通信。
50.输入系统通过普通的计算机装置来实现，其包括：cpu(central processing unit，中央处理单元)、gpu(graphics processing unit，图形处理单元)等的运算装置，ram(randomaccess memory，随机存取存储器)等的主存储装置，hdd(hard disk drive，硬盘驱动器)、ssd(solid state drive，固态驱动器)、闪存等的辅助存储装置，包括用于连接到网络的连接装置、用于对商品信息进行读取的读取装置、拍摄装置、显示器等的各种输入/输出装置等。在本实施方式中，通过将条形码读取器等的读取装置、相机、显示器(优选为触摸面板显示器)等连接到与用于对数据库db等进行访问的网络连接的任意的计算机装置，构成输入系统。
51.读取装置11对用于确定购买商品的商品确定信息进行读取。具体而言，例如，用于读取条形码的条形码读取器、用于通过图像识别来识别商品图像或字符从而确定商品的相机、通过短距离无线通信来接收商品确定信息的标签读取器等用作本发明的读取装置11。
52.拍摄装置12拍摄进行结算的用户并生成用户图像。在本实施方式中，设置在显示部16周围的拍摄装置用作拍摄装置12。拍摄装置12对进行结算的用户的面部进行拍摄，并且，将用户图像传送到动作识别装置13、认证装置14、显示部16。
53.动作识别装置13在从用户图像中识别出预先注册的手势作为结算动作时，结束由读取装置11进行的读取。此外，本实施方式的动作识别装置13除了结算动作以外还进行中止动作的识别。在识别出中止动作的情况下，重置截止到当前所读取的商品确定信息，并中止结算。另外，在本实施方式中，分别预先注册v字形和平手势的手势作为结算动作，以及手掌朝向正面的手势作为中止动作。另外，作为结算动作和中止动作不限于此，也可以将例如笑脸等特定的表情作为结算动作或中止动作。此外，也可以以手势和表情的双方为条件来识别结算动作或中止动作。
54.结算动作和中止动作的识别可以使用任意的图像识别方法来进行。例如，可列举以下方法：将拍摄各动作而得到的图像和表示该动作的种类的信息的组作为教师数据输入多个，使用公知的机器学习的方法制作各动作的分类模型，将用户图像输入到该分类模型，从而检测结算动作或中止动作。作为分类的动作，设为结算动作、中止动作、以及除此以外的动作等即可。这里，在本实施方式中，在一定时间内连续检测到结算动作或中止动作的情况下，动作识别装置13识别该动作并进行处理。
55.认证装置14基于用户图像对已注册的用户进行认证。在本实施方式中，预先将拍摄用户的面部而得到的图像与用户相关联地注册，并且，将预先注册的图像与用户图像进行比较，由此对已注册的用户进行认证。另外，除此之外，也可以通过虹膜认证或静脉认证等任意的方法来对已注册的用户进行认证，但是优选的是，通过用户不触摸装置的方法来进行认证。
56.用户图像的分析处理也可以在输入系统中进行，但是在本实施方式中，认证装置14向管理用户的认证用的注册图像的外部服务器请求用户图像的分析，接收分析结果，并将其与数据库db中注册的用户进行核对，从而对已注册用户进行认证。在用户认证中，可以使用通过图像的特征量提取来判断一致的常规面部认证技术。
57.结算装置15在由动作识别装置13识别出结算动作并且由认证装置14对已注册的用户进行的认证成功的情况下，基于已注册的用户信息执行商品的价款的结算处理。此外，在本实施方式中，用户信息与确定用户所属的组的组确定信息相关联，并且，结算装置15基于组确定信息执行结算处理。此外，也可以基于组确定信息，按照在预先注册的组信息中所指定的结算方法执行结算处理。
58.在本实施方式中，作为结算处理，结算装置15将包含确定用户的信息以及结算金额的交易历史记录在数据库db中。由此，可以进行向用户个人或用户所属的组的费用请求。除此之外，例如也可以这样处理：将信用卡或银行账户的支付信息注册为用户信息，并且将用于从卡公司或银行接收商品价款的支付的信息发送到外部的服务器等。此外，也可以在组信息中对每个组规定支付方法，并且根据该支付方法，将支付的请求发送到外部服务器等。
59.显示部16显示用于进行输入的各种信息。显示部16在读取装置11开始读取之后，在预定时间内动作识别装置13未识别出结算动作的情况下，进行结算显示以结束读取并请求结算处理的输入。在本实施方式中，使用触摸面板显示器作为显示部16，并且，结算按钮显示在显示部16上作为结算显示。然后，代替由动作识别装置13进行的结算手势的识别，通过经由结算按钮的输入来接收用户的指示，结束由读取装置11进行的读取。
60.另一方面，在读取装置11开始读取之后，在未进行预定时间读取的情况下，输入系统重置截止到当前所读取的商品确定信息，执行中止结算的取消处理。此时的取消处理与由动作识别装置13识别出中止动作的情况的处理相同。
61.接触位置记录装置17在显示部16上确定用户触摸的接触位置，并将其与发生该接触的时刻一起记录在数据库db中。另外，发生接触的时刻也可以不与严密地进行接触的时刻完全相同，而是包括例如通过该接触进行了输入的时刻、通过该接触进行输入的结算的执行时刻等前后的时刻。
62.接触位置记录装置17也可以通过例如设置在显示部16的接触传感器来确定接触位置。此外，也可以通过对显示部16进行拍摄而获得的图像等进行分析来确定接触位置。在本实施方式中，在显示部16上显示用于接收来自用户的输入的按钮，并且，在进行了经由该按钮的输入的情况下，接触位置记录装置17将该按钮的显示位置的中心视为接触位置来记录。另外，接触位置记录装置17也可以通过传感器等来确定并记录所有的接触位置，而与显示部16上的显示内容无关。
63.按钮显示装置18基于接触位置，将基准时刻以后的接触最少的位置决定为按钮的显示位置。这里，在本实施方式中，按钮显示装置18决定作为结算显示而显示的结算按钮的显示位置。
64.接触位置重置装置19接收重置指示并重置接触位置的记录。在进行了重置的情况下，按钮显示装置18基于重置后的接触位置，将接触较少的位置决定为显示位置。另外，在本实施方式中，通过将进行了重置的时刻设置为基准时刻，从而基于重置后的接触位置来决定显示位置，但是也可以例如根据重置指示，在先前的接触位置的记录中设置重置标志，或者删除接触位置的记录本身。
65.图2和图3是示出在数据库db中注册的信息的一例的图。如图2所示，数据库db具有用户主表(usermaster)、组主表(group master)、以及组用户主表(group usermaster)，并
且，根据这些信息管理各用户的信息、组的信息、以及属于各组的用户的信息。
66.用户主表是与用户相关的用户信息，具有：作为用户的标识符并且用于登录等的用户id；在系统侧唯一地确定用户的系统uid；用户的姓名；以及用于在执行用于面部认证的图像分析的外部服务器中唯一地确定面部认证信息的面部认证id。这样，通过使用与用户id不同的能够唯一地确定用户的不变的系统uid，例如在使用邮件地址作为用户id的情况下等，即使用户自由地更改用户id，也可以容易地确定用户。此外，也可以将各种管理权限等存储为用户主表。
67.此外，在通过信用卡或从银行账户中扣款而进行结算的情况下，信用卡或银行账户的信息还被存储为支付信息。这里，也可以在用户信息中预先存储指定结算方法的信息，结算装置15基于用户信息中的指定来执行结算处理。此外，根据需要，管理登录密码等的信息，并且基于用户信息进行向系统的用户登录。
68.组主表是与组相关的组信息，具有：唯一地确定组的组id；作为组标识符的组代码；表示组的名称的组名；组开始了系统利用的利用开始日；以及组结束了系统利用或预定结束的利用结束日。组代码能够由组的管理者等任意地改变，但是组id是唯一地确定组的不变的字符串。
69.组用户主表保持组与用户之间的关联。组id、属于组的用户的系统uid、该用户在组内购买的次数、以及该用户在组内购买的总额被存储为组用户主表。这里，在本实施方式中，“在组内购买”是指购买发生在该组被指定为利用组的店铺中。
70.另外，在组主表或组用户主表中，也可以存储指定该组中的结算方法的信息。此外，在这些信息的各记录中，也可以进一步对记录的创建者、创建日期和时间、更新者、以及更新日期和时间进行记录。
71.图3是示出作为交易历史表所存储的信息的一例的图。交易历史表的记录是针对每个购买商品而创建的。例如，在一次交易中购买了两种类型的商品的情况下，创建两个记录。交易历史记录表的记录包括：组id、交易日期和时间、明细号、进行了交易的装置的装置id、设置有装置的卖场的楼层id、确定进行了交易的用户的系统uid、商品的jan代码、商品名、商品名假名、个数、单价、购买金额、税率、以及消费税额。通过这样记录交易历史，可以针对每个组确定各用户的购买金额，例如，用户可以通过适合每个组的方法来进行价款的支付，例如，从工资中预扣款或用作福利厚生费等。作为购买金额和消费税额，记录对象的购买产品的金额。即，即使在与图3例示的商品同时购买了其他商品的情况下，交易历史的记录也成为图3的内容。
72.这里，在本实施方式中，作为交易日期和时间在服务器侧记录以毫秒为单位的时间戳，并且，将同一时刻的交易历史的记录视为一次交易来处理。由此，本实施方式的输入系统可以以收据那样的形式汇总输出一次交易的信息。除此之外，用户可以通过登录系统来确认记录有自己的系统uid的交易历史，并且，可以将该交易历史用作收据。
73.图4是与用于用户购买商品的结算相关的处理流程图。当开始用于购买商品的输入时，首先在步骤s101中，读取装置11开始读取，拍摄装置12开始用户的拍摄，并且，等待商品确定信息的读取、或者结算动作或中止动作的检测。
74.图5是示出此时在显示部16上显示的输入画面的一例的图。输入画面w1包括：购买等待商品显示部w11，其显示由读取装置11确定的购买等待商品；以及用户图像显示部w12，
其显示由拍摄装置12拍摄的用户图像。
75.用户图像显示部w12实时显示拍摄图像，并且，用户可以确认自身的图像。这里，也可以在用户图像显示部w12中显示左右反转的用户图像，以便用户容易理解。在读取商品确定信息之前，如图5中的(a)所示，在购买等待商品显示部w11中进行请求读取商品确定信息的显示，并且，在有一个以上的购买等待商品的情况下，如图5中的(b)所示，在画面的上下进行请求结算动作或中止动作的显示。
76.在步骤s101中，读取装置11进行商品确定信息的读取。在本实施方式中，通过条形码读取器读取商品的代码并确定商品。在读取了商品确定信息的情况下，进入步骤s102，追加由读取装置11所确定的商品作为购买等待商品，并且，将该商品的金额相加到合计金额。在购买等待商品显示部w11上反应追加后的信息。然后，再次返回到步骤s101，输入系统等待下次的商品读取、动作的检测。
77.当在步骤s101中动作识别装置13检测到动作时，在结算动作的情况下(步骤s103中“结算动作”)，进入步骤s104。在步骤s104中，判断是否一定时间连续地检测出结算动作。
78.在步骤s104中结算动作未持续一定时间的情况下，在步骤s105中，进一步判断在未识别结算动作的状态下是否经过了一定时间。然后，在没有识别结算动作的状态下未经过一定时间的情况下，返回到步骤s101，并且，在未识别出一定时间结算动作的情况下，进入步骤s106并显示结算按钮。
79.这样，在本实施方式中，在预定时间期间未进行结算动作的识别的情况下，存在结算动作的识别由于某种原因而失败的可能性，因而显示结算按钮，以便可以使用按钮进行输入。特别是在本实施方式中，在检测到未达到预先设定的持续时间的短时间的结算动作的情况下，如果结算动作未被识别为预定时间以上，则显示结算按钮。此时，也可以将在由拍摄装置12所拍摄的图像中检测到人脸作为另一条件。此外，同样地，也可以在预定时间期间未进行商品确定信息的读取的情况下，或者在检测到未达到预先设定的持续时间的短时间的中止动作的情况下等，显示部16显示中止按钮。
80.图6是示出结算动作识别时的输入画面w1的一例的图。当检测到结算动作时，如图6中的(a)所示，在输入画面w1中进一步显示识别显示w13。由此，用户可以掌握检测到动作。这里，优选的是，识别显示w13表示直到识别出结算动作为止的时间。在本实施方式中，识别显示w13根据连续检测出结算动作的时间而改变，在持续一定时间检测到结算动作时，如图6中的(a)所示，识别显示w13延伸到画面上部。由此，可以请求用户继续结算动作。此外，也可以在结算动作的检测中，将直到识别结算动作为止的倒计时与例如“请不要移动”等的消息一起显示为识别显示w13，从而请求用户继续结算动作。
81.在显示结算按钮或中止按钮的情况下，由于用户触摸该按钮，因而优选的是，请求触摸与上次显示时不同的部分，以避免大量用户接触同一部分。可以设想的是，例如预先准备按钮显示位置的多个候选，每次显示时更改位置，或记录用户的接触位置，在未接触的位置显示按钮。后面描述后一种方法的细节。
82.当在步骤s104中动作识别装置13持续一定时间检测到结算动作的情况下，识别结算动作并进入步骤s107。这样，通过向用户请求一定时间、例如3秒钟的结算动作的持续，在用户偶然暂时采取了类似于结算动作的姿势的情况下等，可以防止错误地进行结算。在步骤s107中，认证装置14进行基于用户图像的认证处理。在本实施方式中，认证装置14向管理
预先注册的用户的面部认证信息的外部服务器请求分析用户图像。
83.在外部服务器中，基于预先注册的用户的面部认证信息进行用户图像的分析，并且确定与用户图像相对应的已注册的用户。然后，用于唯一地确定该用户的面部认证信息的面部认证id被返回到输入系统，认证装置14接收该面部认证id。然后，通过从数据库db中确定具有该面部认证id的用户信息，从而确定要进行结算的用户。
84.然后，在步骤s108中，结算装置15通过将包括所确定的用户的系统uid和购买商品等的信息的交易历史记录在数据库db中来进行结算处理，并结束处理。
85.这里，在本实施方式中，用户信息与团体确定信息相关联，确定用户所属的团体。由此，能够基于团体信息进行结算。例如，针对在团体信息中被指定通过从工资中预扣款进行支付的团体的用户，不进行在购买时刻的支付处理，而是基于交易历史单独生成针对团体的请求信息。另一方面，针对在团体信息中被指定通过用户个人的信用卡进行支付的团体的用户，针对卡公司等的服务器进行结算处理请求，以便在购买时刻通过信用卡进行支付。
86.另外，在分析用户图像的外部服务器中，在未确定与用户图像相对应的已注册用户的情况下，或者在未确定由认证装置14接收到的具有面部认证id的用户信息的情况下，优选的是，将该情况显示在显示部16上而不进行结算处理。
87.图7是示出在步骤s107和s108中显示在显示部16上的画面的一例的图。优选的是，在步骤s107中执行面部认证的期间、或者在认证后进行步骤s108的结算处理的期间，如图7中的(a)所示，显示正在进行用于结算的处理。此外，在结算完成后，优选的是，如图7中的(b)所示，显示处理结束的意思。
88.另外，在步骤s101中动作识别装置13检测到中止动作的情况下(步骤s103中的“中止动作”)，进入步骤s109，与步骤s104同样地，判断是否一定时间连续检测出中止动作。在步骤s109中中止动作未持续一定时间的情况下，返回到步骤s101，输入系统再次等待下次的商品读取、动作的检测。此时，在未识别出一定时间中止动作的情况下，显示部16也可以显示中止按钮。
89.图8是示出在检测到中止动作的情况下的画面的显示例的图。当检测到中止动作时，如图8中的(a)所示，与结算动作识别时同样地，在输入画面w1中显示识别显示w13。另外，也可以在结算动作的情况下和中止动作的情况下使识别显示w13的显示方式不同。
90.当在步骤s109中动作识别装置13持续一定时间检测到中止动作的情况下，识别中止动作并进入步骤s110。在步骤s110中，输入系统执行重置购买等待商品和金额的取消处理，并结束处理。此时，如图8中的(b)所示，优选的是显示交易中止的意思。
91.这里，设想了这样的问题：在用户进行了商品确定信息的读取之后，不进行中止动作而放置并离开现场。为了可以将这种情况视为取消处理，本实施方式的输入系统在读取装置11开始读取之后，在步骤s101中没有商品的读取的情况下，进入步骤s111，判断在没有读取的状态下是否经过了一定时间(例如30秒)。
92.这里，在一定时间的期间未连续进行读取的情况下，进入步骤s112，进行取消处理。此时，也可以将在由拍摄装置12所拍摄的图像中未检测到人脸作为另一条件。另一方面，在未经过一定时间的情况下，返回到步骤s101，继续等待商品的读取、动作的检测。
93.另外，图4的处理过程是一例，即也可以任意改变处理顺序等。例如，也可以并行地
进行基于动作识别装置13的结算动作或中止动作的识别、和基于认证装置14的已注册的用户的认证，或者调换顺序。
94.如上所述，根据本实施方式的输入系统，由于利用用户图像来进行面部认证和结算动作的识别，因而用户可以在不触摸装置的情况下完成结算。由此，可以期待预防接触感染、防止由于接触引起的装置的磨损的效果等。此外，如本实施方式那样，通过将用户信息与团体信息相关联，并且，进行基于团体信息的结算处理，能够进行与每个团体的请求对应的结算。
95.(2)按钮的显示位置决定
96.接下来，参照图9至图11，对下述处理进行详细说明，即，例如在显示上述的结算按钮或中止按钮等情况下，用于减少大量用户对同一部分的接触的、与按钮显示位置决定相关的处理。另外，如上所述，本实施方式只不过是一例，可以在采用触摸面板显示器的任意输入装置中利用本发明。
97.在本实施方式中，输入系统包括接触位置记录装置17和按钮显示装置18。通过按钮显示装置18，将在显示部上过去接触较少的位置决定为按钮的显示位置，并在显示部16中在该显示位置处显示按钮。由此，在用户操作按钮时，可以避免或减少大量用户触摸显示部16上的同一部分，并且可以期待接触感染的风险降低等的效果。
98.在本实施方式中，数据库db还存储接触位置。在图9中示出了接触位置的记录的一例以及在显示部16上的位置的表示中使用的坐标的说明图。本实施方式的接触位置记录装置17通过设置在显示部16的传感器来确定用户触摸的位置，并且，将该位置记录在数据库db中。在本实施方式中，作为接触位置，记录有例如通过图9下部所示的坐标指定的区域和接触时刻。
99.这里，本实施方式的接触位置记录装置17为了减轻处理负担，并不总是确定对整个显示部16的接触，在进行了通过按钮输入的情况下，视为存在对该按钮的显示位置的接触。另外，也可以始终监视相对于整个显示部16的接触位置，接触位置记录装置17也可以确定并记录所有的接触位置，而与按钮等的显示无关。
100.另外，显示部16上的位置表示也可以任意设定。此外，在跨越多个区域的位置处存在接触的情况下等，也可以将多个区域记录为接触位置。
101.图10是与由按钮显示装置18决定按钮的显示位置相关的流程图。首先，在步骤s21中，从数据库db中记录的接触位置的记录中提取基准时刻以后的接触位置的记录。这样，通过以基准时刻以后的接触为对象，避开该接触位置来决定显示位置，例如通过在所决定的时刻进行装置的消毒，能够实现防止由于与装置接触而引起的接触感染等的运用。
102.随后，在步骤s22至步骤s25的处理中，基于成为对象的过去的接触位置，将接触较少的位置决定为按钮的显示位置。另外，该处理过程是一例，只要在能够确定接触较少的位置的范围内，就可以任意改变。
103.首先，在步骤s22中，确认是否存在针对按钮的显示位置的候选之一的接触位置的记录。在没有接触记录的情况下，进入步骤s23，将该位置决定为按钮的显示位置并且结束处理。另一方面，在存在针对该位置的接触位置的记录的情况下，进入步骤s24，进一步确认是否存在其他显示位置候选。
104.如果没有其他显示位置候选，则在步骤s25中，在基准时刻以后的接触位置的记录
中，将最后接触的时刻最早的位置决定为显示位置并且结束处理。这样，在基准时刻以后不存在未记录有接触的位置的情况下，多个用户将触摸同一部分，因而也可以向使用输入系统的店铺的管理者的终端装置等通知该情况，促使进行装置的消毒。
105.另一方面，在存在其他的显示位置候选的情况下，在步骤s26中改变为下一候选并返回到步骤s22，并且，重复处理直到决定显示位置为止。由此，在基准时刻以后存在没有接触的位置的情况下，将该位置决定为显示位置，并且，在基准时刻以后不存在没有接触的位置的情况下，将在基准时刻以后最后接触的时刻最早的位置决定为显示位置。
106.此外，在本实施方式中，输入系统包括接触位置重置装置19，可以重置接触位置的记录。由此，例如在进行装置的消毒时，店铺的工作人员等输入重置指示，由此，能够以消毒后的接触为对象，在没有接触的位置处显示按钮。
107.在图11中示出具体例进行说明。例如，如图11中的(a)所示，显示了按钮，并且，假定用户触摸了显示为接触位置的位置。于是，作为接触位置，记录按钮的显示位置的中心即w、12的坐标和接触时刻。
108.于是，在随后显示按钮的情况下，如图11中的(b)所示，避开该接触位置来决定显示位置。这里，作为显示位置，示出按钮的中心坐标即可，并且，在图11中的(b)的例子中，v、12成为显示位置。
109.这里，已知在操作显示在画面上的圆形按钮的情况下，许多用户触摸其中心附近。因此，在图11中的(b)中，显示区域的端部与接触位置重叠，但是中心为v、12，该坐标不被记录为接触位置，因而在本实施方式中也容许这种情况。另外，也可以变更为以按钮的显示区域不包括过去的接触位置为条件来决定显示位置。
110.另外，上述的处理过程是一例，能够任意地进行处理顺序等的设计变更。例如，在本实施方式中，以基准时刻以后的接触位置为对象，将预先设定的基准时刻以后的接触最少的位置决定为显示位置，但是能够进行将从当前时刻起追溯了预定时间的时刻作为基准时刻等的变更。此外，也可以采用这样的构成：不设置所决定的基准时刻，而是基于过去所有的接触位置，将接触最少的位置决定为按钮的显示位置。
111.附图标记说明
112.11：读取装置
113.12：拍摄装置
114.13：动作识别装置
115.14：认证装置
116.15：结算装置
117.16：显示部
118.17：接触位置记录装置
119.18：按钮显示装置
120.19：接触位置重置装置
121.w1：输入画面
122.w11：购买等待商品显示部
123.w12：用户图像显示部
124.w13：识别显示
125.w14：结算按钮。