信息处理装置、记录介质和定位方法与流程

信息处理装置、记录介质和定位方法
1.对关联申请的相互参考
2.本技术主张在2021年9月16日申请的日本专利申请第2021-151352号的优先权以及利益。在本说明书中引入日本专利申请第2021-151352号的说明书、权利要求书、附图整体作为参考。
技术领域
3.本发明涉及信息处理装置、记录介质和定位方法。


背景技术：

4.过去，已知利用摄像的图像来推定移动体等的位置的技术。
5.在日本特开2005-315746号公报中，公开了与在多个标志设置于室内上方的环境下自主行驶的移动体的自身位置辨识方法相关的技术。在日本特开2005-315746号公报的自身位置辨识方法中，事前登记设置于天花板等的多个标志的位置。在自身位置的辨识中，从自移动体摄像的天花板图像提取标志候补点并算出二维的候补点坐标，并且，在移动体行驶区域内设定多个任意的假想点，将在移动体存在于假想点的情况下得到的图像上的标志的二维坐标通过三维的登记位置分别导出，并将候补点坐标和二维坐标分别进行比较。然后，将与最近似于候补点坐标的二维坐标对应的移动体的假想点推动那个为自身位置。
6.若标志的数量多，则位置的测定精度提升。例如，在日本特开2005-315746号公报记载的技术中，移动范围内的标志的设置数直接关系到位置精度。但若要实现多处的定位，就需要将许多标志设置于设想移动的场所。


技术实现要素：

7.本发明的目的在于，提供抑制了标志的数量且导出精度高的定位结果的信息处理装置、记录介质和定位方法。
8.为了达成上述目的，本发明的一个方式的信息处理装置，具备1个以上的处理部，所述1个以上的处理部执行如下处理：从由摄像部摄像的包含设于空间内的标志的图像，取得图像坐标系中的所述标志的位置，基于所述图像坐标系中的标志位置和世界坐标系中的所述标志的位置，来取得所述世界坐标系中的确定前的与所述摄像部相关的定位时的信息，基于所述世界坐标系中的确定前的摄像部的定位信息和所述世界坐标系中的所述辅助标志的位置，来确定与所述摄像部相关的定位时的信息。
9.发明的效果
10.根据本发明，能提供抑制了标志数且导出位置精度高的定位结果的信息处理装置、记录介质和定位方法。
附图说明
11.图1是表示包含本发明的第1实施方式所涉及的信息处理装置的定位系统的整体
结构的示意图。
12.图2是包含第1实施方式所涉及的信息处理装置所取得的标志以及辅助标志的天花板的摄像图像的示意图。
13.图3是表示第1实施方式所涉及的信息处理装置以及摄像部的硬件的结构的框图。
14.图4是表示第1实施方式所涉及的信息处理装置的功能结构的功能框图。
15.图5是表示第1实施方式所涉及的标志以及辅助标志的位置的一例的示意图。
16.图6是将第1实施方式所涉及的标志以及辅助标志的位置的一例通过表形式示出的图。
17.图7是说明第1实施方式所涉及的信息处理装置所执行的定位处理的流程的流程图。
18.图8是说明从摄像图像提取亮度高的区域的处理的示意图。
19.图9是说明从所提取的区域确定用在定位中的辅助标志的处理的示意图。
20.图10是说明从摄像图像确定标志的处理的示意图。
21.图11是表示第1实施方式所涉及的图像标志位置、图像辅助标志位置、世界已知标志位置的一览表的图。
22.图12是表示第1实施方式所涉及的世界已知辅助标志位置与算出辅助标志位置的关系的表的图。
23.图13a是表示第1实施方式所涉及的算出辅助标志位置和图像辅助标志位置的图像坐标系上的关系的图。
24.图13b是表示第1实施方式所涉及的算出辅助标志位置和图像辅助标志位置的图像坐标系上的关系的图。
25.图13c是表示第1实施方式所涉及的算出辅助标志位置和图像辅助标志位置的图像坐标系上的关系的图。
26.图14是表示基于第1实施方式所涉及的图像辅助标志位置和算出辅助标志位置将世界已知辅助标志位置与图像辅助标志位置建立对应的表的示例的图。
27.图15是表示第2实施方式所涉及的辅助标志为四边形的情况的示例的示意图。
28.图16a是表示针对第2实施方式所涉及的多边形的辅助标志、对顶点分配辅助标志位置的示例的示意图。
29.图16b是表示针对第2实施方式所涉及的多边形的辅助标志、对顶点分配辅助标志位置的示例的示意图。
30.图17是说明在第2实施方式所涉及的辅助标志为多边形的情况下取得图像辅助标志位置的处理的流程的流程图。
31.图18a是表示第2实施方式所涉及的辅助标志的大小比给定小的情况的示例的示意图。
32.图18b是表示本实施方式所涉及的辅助标志的边界部分不清晰的情况的示例的示意图
33.图19是表示第2实施方式所涉及的辅助标志为四边形的情况的世界已知辅助标志位置的表的示例的图。
34.图20a是表示将摄像图像中的辅助标志与世界已知辅助标志位置建立对应地识
别、将所识别的世界已知辅助标志位置作为标志使用的示例的概念图。
35.图20b是表示与世界已知辅助标志位置建立对应地识别本实施方式所涉及的摄像图像中的辅助标志、将所识别的世界已知辅助标志位置作为标志使用的示例的概念图。
36.图20c是表示与世界已知辅助标志位置建立对应地识别本实施方式所涉及的摄像图像中的辅助标志、将所识别的世界已知辅助标志位置作为标志使用的示例的概念图。
37.图20d是表示与世界已知辅助标志位置建立对应地识别本实施方式所涉及的摄像图像中的辅助标志、将所识别的世界已知辅助标志位置作为标志使用的示例的概念图。
38.图20e是表示与世界已知辅助标志位置建立对应地识别本实施方式所涉及的摄像图像中的辅助标志、将所识别的世界已知辅助标志位置作为标志使用的示例的概念图。
具体实施方式
39.以下使用附图来说明本发明的实施方式。
40.《定位系统1＞
41.首先，参考图1来说明定位系统1的概要。图1是表示包含本发明的第1实施方式所涉及的信息处理装置10的定位系统1的整体结构的示意图。图2是包含第1实施方式所涉及的信息处理装置10所取得的标志5以及辅助标志6的天花板4的摄像图像7的示意图。
42.如图1所示那样，定位系统1具备：搭载于移动体3侧而不是包含天花板的建筑物9侧的摄像部2；设置于移动体3所移动的建筑物9内的标志5；和基于摄像部2所摄像的摄像图像7来对移动体3的位置进行定位的信息处理装置10。
43.摄像部2在搭载于移动体3的状态下取得摄像图像7。本实施方式的摄像部2以给定的帧频对上方的天花板4连续进行摄像，取得多个时间上连续的天花板4的摄像图像7。
44.此外，摄像部2与用于与信息处理装置10进行通信的通信装置28连接。将摄像部2所取得的摄像图像7或基于摄像图像7的种种信息经由通信装置28发送到信息处理装置10。另外，在该示例中，搭载摄像部2的移动体3是叉车等作业车辆。
45.标志5是包含如下那样的装置或标识的物体：通过标志5自身发送数据、或摄像部2对标志5摄像来进行图像处理，由此能从数据库19取得设置标志5的世界坐标系70中的三维位置信息。
46.本实施方式的标志5例如是能控制可见光的颜色、定时等发光形态的发光装置。标志5例如按照给定的模式进行颜色的变更、明灭等，来对识别用的信息进行光通信。另外，标志5的发光也可以不是可见光，而是近红外光。即，只要是摄像机能拍到的光波带即可。
47.在本实施方式中，标志5为了确定摄像部2的位置、朝向而设置多个。在图1所示的示例中，标志5在天花板4设置有2处。另外，标志5不一定非要设置于天花板4，只要设置在摄像部2能摄像的移动体3进行移动的建筑物9内即可。
48.在辅助标志6中，辅助标志6自身并不发送数据。此外，在摄像部2拍摄了辅助标志6的情况下，仅凭借图像处理，不能从数据库19取得设定辅助标志6的世界坐标系70中的三维位置信息。辅助标志6例如是在天花板4设置多个的光源或照明。在本说明书中，辅助标志6是指能从摄像图像7通过图像处理确定的区域。区域的确定，例如能利用亮度或色度等。
49.在建筑物9设置窗口8，在该窗口8被拍进摄像图像7的情况下，根据时间段，虽然存在满足亮度的条件的情况，但执行控制，通过图像处理不将窗口8的区域作为辅助标志6进
行处理。另外，本实施方式的辅助标志6并不限定于自发光体。也可以从摄像图像7通过图像处理来确定反射光的白色的反射物、存在于茶色的平面中的被涂成绿色的区域等，作为辅助标志6。
50.信息处理装置10基于标志5以及辅助标志6的已知的位置、和摄像图像7中所含的标志5的位置51(以下称作图像内标志位置51)以及辅助标志6的位置61(以下称作图像内辅助标志位置61)，来对摄像部2的位置进行定位。标志5以及辅助标志6的已知的位置例如可以预先从设计图确定，也可以通过其他定位装置来确定。
51.在本说明书中，标志5或辅助标志6的位置用三维的世界坐标系70来标注。
52.本实施方式的信息处理装置10与用于与摄像部2进行通信的通信装置18连接。通过信息处理装置10侧的通信装置18和摄像部2侧的通信装置28建立通信，信息处理装置10从摄像部2取得摄像图像7。
53.《硬件结构》
54.图3是表示第1实施方式所涉及的信息处理装置10以及摄像部2的硬件的结构的框图。
55.在图3的示例中，信息处理装置10具备处理器11、rom(read only memory，只读存储器)12、ram(random access memory，随机存取存储器)13、输入输出部14、通信部15和存储部16。
56.处理器11进行各种运算以及处理。处理器11例如是cpu(central processing unit，中央处理器)、mpu(micro processing unit，微处理器)、soc(system on a chip，系统级芯片)、dsp(digital signal processor，数字信号处理器)、gpu(graphics processing unit，图形处理器)、asic(application specific integrated circuit，特定用途集成电路)、pld(programmable logic device)或fpga(field-programmable gate array，现场可编程门阵列)等。或者，处理器11是将这些当中的多者组合而得到的处理器。此外，处理器11也可以是在这些中组合了硬件加速器等而得到的处理器。
57.处理器11、rom12以及ram13经由总线相互连接。处理器11按照记录于rom12的程序或载入到ram13的程序来执行各种处理。可以将程序的一部分或全部装进处理器11的电路内。
58.输入输出部14由键盘、各种按钮、麦克风等构成，对应于用户的指示操作来输入各种信息。此外，输入输出部14由显示器、扬声器等构成，输出图像、声音。包含带触控面板的信息终端。通信部15是用于经由通信装置28与摄像部2等进行通信的网络接口。存储部16是存储摄像图像7、已知信息等各种信息的区域。
59.接下来，说明摄像部2的硬件结构的示例。摄像部2具备光学镜头部21和图像传感器22。
60.光学镜头部21为了对被摄体摄像，由将光会聚的透镜例如聚焦透镜、变焦透镜等构成。聚焦透镜是使被摄体像成像在图像传感器22的受光面透镜。变焦透镜是使焦距在一定的范围内自由变化的透镜。光学镜头部21中此外还根据需要设有调整焦点、曝光、白平衡等设定参数的外围电路。
61.图像传感器22由光电变换元件、afe(analog front end，模拟前端)等构成。光电变换元件由cmos(complementary metal oxide semiconductor，互补金属氧化物半导体)
型的光电变换元件等构成。对光电变换元件从光学镜头部21入射被摄体像。为此，光电变换元件对被摄体像进行光电变换(摄像)并将图像信号蓄积一定时间，将蓄积的图像信号作为模拟信号依次供给到afe。afe对该模拟的图像信号执行a/d(analog/digital，模拟/数字)变换处理等各种信号处理。通过该各种信号处理来生成数字信号，输出摄像图像7作为摄像部2的输出信号。
62.＜信息处理装置的功能结构》
63.图4是表示第1实施方式所涉及的信息处理装置10的功能结构的功能框图。图4如上述那样示出功能结构，并示出处理的流程的关系。
64.信息处理装置10用通过处理器11基于给定的程序执行运算处理而实现的处理部100进行信息处理装置10的各种控制。
65.本实施方式的处理部100按功能区别具有图像处理部101、标志识别部102、已知信息取得部103、一次定位部104、算出部105、辅助标志识别部106、确定定位部107和输出部108。
66.图像处理部101取得摄像图像7并执行失真处理等前处理等。标志识别部102通过执行从摄像图像7识别标志5的处理，能取得图像内标志位置51。
67.已知信息取得部103执行将摄像部内部参数25、摄像部设置参数26、世界坐标系70中的已知的标志位置52(以下称作世界已知标志位置52)以及世界坐标系70中的已知的辅助标志位置62(以下称作世界已知辅助标志位置62)等预先设定的已知信息从数据库19取得的处理。另外，数据库19可以构建在信息处理装置10的存储部16中，也可以构建在信息处理装置10的外部的服务器中。
68.一次定位部104执行如下处理：基于从摄像图像7取得的图像内标志位置51和从数据库19取得的世界已知标志位置52将摄像部2的位置一次地定位，并取得世界坐标系70中的确定前的摄像部2的位置23(以下称作一次世界摄像位置23)。在该一次世界摄像位置23中包含摄像部2的位置和摄像部2所朝向的方向。
69.算出部105执行投影算出处理，根据世界已知辅助标志位置62来对摄像部2进行摄像的情况下得到的摄像图像7上的位置进行投影处理，从而算出。
70.辅助标志识别部106执行如下处理：将从摄像图像7通过图像处理取得的辅助标志6的位置61(以下称作图像内辅助标志位置61)与世界已知辅助标志位置62建立对应，来进行识别。在本实施方式中，执行该建立对应处理，设为除了包含图像内标志位置51以及世界已知标志位置52以外还包含图像内辅助标志位置61以及世界已知辅助标志位置62的pnp问题，来算出移动体3的位置。由此，即使是例如2个这样少的标志5个数的设置，也能通过活用已有的照明等辅助标志6，来高精度地算出移动体3的位置。
71.确定定位部107执行如下处理：基于摄像部2的一次位置、世界已知标志位置52以及世界已知辅助标志位置62等，来确定并取得世界坐标系70中的最终的摄像部2的位置(以下称作确定世界摄像部位置24)。在该确定世界摄像部位置24中包含摄像部2的位置和摄像部2所朝向的方向。输出部108执行输出定位结果的处理。
72.另外，在该示例中，信息处理装置10位于远离摄像部2的场所，但并不限定于该结构。例如，信息处理装置10也可以是安装在移动体3、摄像部2的结构。
73.《已知信息》
74.接下来，参考图5以及图6来说明预先登记于数据库19的已知信息的示例。
75.图5是表示第1实施方式所涉及的标志5以及辅助标志6的平面设置的示意图。在图5中，以俯视观察示出设置于天花板4的标志5以及辅助标志6的位置关系。在该示例中，2个标志5作为识别编号而被赋予5a、5b，分别个别进行处置。在本实施方式中，关于有16灯的辅助标志6也同样，作为识别编号被赋予6a～6p，分别个别进行处置。
76.图6是以表形式示出第1实施方式所涉及的标志5以及辅助标志6的世界坐标系70中的位置的一例的图。如上述那样，标志5以及辅助标志6的位置通过设计图、定位等预先确定。在图6中，示出分别针对标志5的识别编号5a、5b和辅助标志6的识别编号6a～6p的作为三维位置的世界坐标。在此，为了说明的方便，将天花板4的角落之一设为原点，在俯视观察下设定x轴、y轴，将垂直方向设定为z轴，将地面设定为z轴的原点。执行如下处理：在标志5以及辅助标志6的三维位置作为已知信息预先登记于数据库19中的状态下，基于由摄像部2对天花板4摄像而取得的摄像图像7来确定摄像部2的位置。
77.《定位处理》
78.接下来，说明利用摄像图像7的定位处理。图7是说明第1实施方式所涉及的信息处理装置10所执行的定位处理的流程的流程图。
79.若定位处理开始，处理部100就取得摄像部2所摄像的摄像图像7，进行失真补正处理(步骤s101)。失真补正处理例如补正由广角镜头摄像的图像所具有的桶状像差。
80.步骤s101的处理后，处理部100进行辅助标志6的位置的确定处理(步骤s102)。
81.参考图8以及图9来说明辅助标志位置的确定处理的一例。图8是说明从摄像图像7提取亮度高的区域的处理的示意图。如图8所示那样，处理部100的图像处理部101为了从摄像图像7确定辅助标志6，作为前处理，对摄像图像7通过给定的阈值进行2值化，仅将亮度高的区域设为白色，将这以外设为黑色。其结果，位于饱和区域那样的亮度高的区域被提取。但在该状态下，根据白天等有日照的时间段，窗口8的位置也会作为亮度高的区域被提取。
82.图9是说明从图8中提取的区域确定利用在定位中的辅助标志6的处理的示意图。如图9所示那样，图像处理部101为了将起因于窗口8的不对定位做出贡献的区域排除，执行基于所提取的区域的实际的形状、面积等的过滤处理，仅确定标志5以及辅助标志6的可能性高的区域。然后，分别对多个辅助标志6通过图像处理取得区域中心位置，将该区域中心位置作为图像内辅助标志位置61进行存储。然后，辅助标志识别部106作成辅助标志6的图像内辅助标志位置61的一览表。在此，中心位置在世界坐标系70中采用被认识为辅助标志6的区域的重心、xyz坐标各自的平均、最大坐标与最小坐标的中间值等。并不限于这些，中心位置可以将辅助标志6的位置设为1个位置进行代表。
83.在摄像图像7上设定二维坐标来确定摄像图像7上的图像内辅助标志位置61。在本说明书中，摄像图像7上的二维坐标系被称作图像坐标系71。
84.图11表示图像内辅助标志位置61的一览表的示例。对给出图像内辅助标志位置61的辅助标志6如l1、l2那样分配一次的识别编号。在该阶段中，只是从摄像图像7确定多个辅助标志6的位置，并不能确定多个辅助标志6与图6所示的辅助标志6a～6p的哪一者对应，不能唯一地进行识别。为此，如图11所示那样，在该时间点，辅助标志6与世界已知辅助标志位置62的关联并不成立。
85.接下来，标志识别部102进行标志识别处理(步骤s103)。图10是说明从摄像图像7
确定标志5的处理的示意图。在标志识别处理中，由标志识别部102从摄像图像7通过图像处理来确定标志5的位置。
86.图11表示图像内标志位置51和世界已知标志位置52的一览表的示例。对给出图像内标志位置51的标志5如m1、m2那样分配一次的识别编号。由于标志5被识别，因此，例如m1、m2的图像内标志位置51被与图5所示的标志5a、5b关联。
87.说明标志识别处理的一例。标志识别部102基于连续的摄像图像7来取得发光模式，将其与预先设定的发光模式进行比较，来确定摄像图像7中的标志5的位置。
88.接下来，一次定位部104进行定位可能性判定处理(步骤s104)。作为定位可能性判定处理，例如，一次定位部104判定是否标志5在摄像图像7中存在2个以上、且能进行定位。
89.在能用标志5进行定位的情况下(步骤s104“是”)，一次定位部104进行一次定位处理(步骤s105)。
90.说明一次定位处理的一例。如上述那样，标志5a、5b由于能从摄像图像7个别进行识别，因此，一次定位部104基于图11的对应关系来取得标志5a、5b的世界已知标志位置52。
91.作为一次定位处理，例如一次定位部104基于图像内标志位置51和世界已知标志位置5，经过pnp定位处理来对摄像部2进行一次定位。
92.如过去以来已知的那样，在给出了某点群的位置以及摄像图像7中的位置的情况下，通过pnp定位处理来求取摄像部2的位置以及姿态等。在根据6点进行定位的情况下，求取摄像部2的位置以及摄像方向(面内方位、仰角)。即使是点数比6点少的情况，例如在摄像部2位于与设有标志5以及辅助标志6的天花板4平行的平面上的情况下，凭借仅基于2点的定位，虽然没有高的精度，但也能求取摄像部2的位置以及仰角。
93.由于移动体3在与天花板4平行的地面移动，因此，通过一次定位部104，经过p2p法来求取作为摄像部2的一次的位置以及仰角的一次世界摄像位置23。使用以图11所示的识别编号m1、m2表征的图像内标志位置51和以识别编号5a、5b表征的世界已知标志位置52，通过p2p法，一次定位部104对作为摄像部2的一次的位置的一次世界摄像位置23进行定位。
94.在不能用标志5进行定位的情况下(步骤s104“否”)，一次定位部104进行位置推定处理(步骤s106)。作为位置推定处理，例如一次定位部104基于前次的确定世界摄像部位置24和移动向量历史记录来推定摄像部2的位置，将其设为一次定位结果。
95.接下来，算出部105进行辅助标志认识处理(步骤s107)。作为辅助标志认识处理，例如算出部105判定在摄像图像7中是否存在辅助标志6。
96.在摄像图像7中不存在辅助标志6的情况下(步骤s107“否”)，一次定位部104进行一次定位结果运用处理(步骤s111)。一次定位结果运用处理中，例如一次定位部104将一次定位结果作为确定定位结果来运用。
97.在摄像图像7中存在辅助标志6的情况下(步骤s107“是”)，算出部105进行辅助标志6的位置算出处理(以下称作辅助标志位置算出处理)(步骤s108)。作为辅助标志位置算出处理，在从基于一次定位结果求得的一次世界摄像位置23对世界已知辅助标志位置62摄像的情况下，算出部105算出世界已知辅助标志位置62在摄像图像7中被摄像的位置，换言之，算出表示投影位置的辅助标志6的位置63(以下称作算出辅助标志位置63)。
98.该计算是从摄像部2的位置/姿态来倒算所指定的任意的三维点如何描画在图像上的公知的处理。另外，计算自身是单纯的矩阵计算。为此，成为无限视野中的投影，世界摄
像部位置的背侧也会被平面投影。并且，若要就这样执行pnp定位处理，就会计算不成立，或产生大的误差。为此，在从通过一次定位求得的一次世界摄像位置23进行了摄像的情况下，在仅拣选位于大致进入摄像视角的世界已知辅助标志位置62的辅助标志6后，进行计算。
99.图12表征位置已知的世界已知辅助标志位置62以及其摄像图像7上的描画位置即算出辅助标志位置63。针对世界已知辅助标志位置62的识别编号6a算出的算出辅助标志位置63的识别编号记载为6a-c。
100.确定定位部107进行关联处理(步骤s109)。作为关联处理，确定定位部107根据相同摄像图像上的位置关系将图像内辅助标志位置61和算出辅助标志位置63建立对应，将辅助标志6与作为算出辅助标志位置63的算出源的世界已知辅助标志位置62关联。
101.图13a、图13b、图13c表示算出辅助标志位置63与图像内辅助标志位置61的关系。如图13a所示那样，包括世界已知标志位置52在内，世界已知辅助标志位置62的在摄像图像7上的算出辅助标志位置63被绘制在图像坐标系71。另一方面，如图13b所示那样，包括图像内标志位置51在内，辅助标志6的图像内辅助标志位置61被绘制在图像坐标系71。图13c是将这些重叠的情况的图像坐标系71的右上的放大图。算出辅助标志位置63与图像内辅助标志位置61相似，但有定位误差的量的些许的偏离。将是最靠近或周围的点且处于不破坏相互位置关系的位置关系的点彼此关联。在图13c中，将识别编号6p-c的算出辅助标志位置63和识别编号l13的图像内辅助标志位置61邻近地绘制，此外，将识别编号6o-c的算出辅助标志位置63和识别编号l14的图像内辅助标志位置61邻近地绘制。将这些分别作为对应的坐标点，进行关联或建立对应处理。
102.图14表示同样地通过确定定位部107关联的算出辅助标志位置63和图像内辅助标志位置61的一览。还一并显示成为算出辅助标志位置63的算出的根据的世界已知辅助标志位置62。图像内辅助标志位置61被与世界已知辅助标志位置62关联。在该时间点虽然被摄像部2摄像但并未被识别出的辅助标志6，被识别为位置已知的辅助标志6。该识别出的辅助标志6，由于被识别出且位置已知，因此与标志5同样。
103.一次定位部104根据2个标志5来求取摄像部2的一次世界摄像位置23。与此相对，通过如图14那样，将辅助标志6与世界已知辅助标志位置62关联，相当于标志5从2个成为包含从6a到6p的16个被识别的辅助标志618个。
104.进而，确定定位部107进行pnp定位处理(步骤s110)。关于pnp定位处理，确定定位部107基于世界已知标志位置52以及世界已知辅助标志位置62、和图像内标志位置51以及图像内辅助标志位置61，来进行pnp定位处理。
105.虽然在一次定位中是p2p的定位计算，但由于能做出根据18点的三维已知点的摄像结果进行定位的p18p问题，因此成为高精度。
106.然后，输出部108输出pnp定位处理的结果作为确定定位结果。
107.处理部100进行定位结束判定处理(步骤s112)。
108.作为定位结束判定处理，处理部100在定位结束的情况下(步骤s112“是”)，结束定位处理。在定位未结束的情况下(步骤s112“否”)，处理部100将定位处理返回流程图的a。
109.第1实施方式在一次定位中采用p2p定位处理，将2个标志5作为一次定位的最低数。标志5的最低数可以是将6个即p6p作为最低的形式。这是因为，通过p6p，能导出摄像部2的位置和摄像方向。此外，本实施方式并不限于上述的2点或6点，对于全部pnp定位处理都
是有效的。
110.《实施方式的效果》
111.在第1实施方式中，作为一次定位的方法，由摄像部2来识别确定标志5，因此，不需要对信息处理装置10输入以摄像部2的位置以及摄像方向为例的初始状态，能在能对标志5摄像的任意的点进行摄像部2的确定定位。标志5的识别功能即使是图像上的接近于极小的点的成像也能接收。因而，通过用于在实用上使一次定位成立的最小限的标志5的追加设置，定位系统1成立。结果，能低成本且在短期内进行定位系统1的构建。
112.信息处理装置10具备处理部100，其执行如下处理：从由设置在移动体3一侧的摄像部2摄像的包含设于空间内的标志5以及辅助标志6的摄像图像7通过图像处理来取得表示图像坐标系71中的标志5的位置的图像内标志位置51和表示辅助标志6的位置的图像内辅助标志位置61，基于图像内标志位置51和表示世界坐标系70中的标志5的已知的三维位置的世界已知标志位置52，来取得表示世界坐标系70中的摄像部2的三维位置的一次世界摄像位置23，基于一次世界摄像位置23和表示世界坐标系70中的辅助标志6的已知的三维位置的世界已知辅助标志位置62，来将图像内辅助标志位置61和世界已知辅助标志位置62建立对应，基于图像内辅助标志位置61和世界已知辅助标志位置62，来决定摄像部2的位置。
113.提供抑制了标志5的数量且导出位置精度高的定位结果的信息处理装置10。
114.不会产生电波利用导致的高精度追查的困难性。此外，不会像visual-slam、lidar-slam那样，产生难以保证确定定位的问题，不会引起闭环问题。能构建实用的定位系统。
115.信息处理装置10所具备的处理部100将基于发光形态识别的可见光的识别光源设为标志5，来从摄像图像7进行识别，取得图像内标志位置51。
116.能根据所摄像的标志5的个别的发光形态确实地识别各标志5。
117.信息处理装置10所具备的处理部100从摄像图像7识别2个以上的标志5，取得多个图像内标志位置51，基于多个图像内标志位置51和与标志5分别对应的世界已知标志位置52，来取得一次世界摄像位置23。
118.即使是少量的标志5，也足以取得一次世界摄像位置23。只要准备少量的标志5即足够，能将成本、启动工时等抑制得较低。
119.信息处理装置10所具备的处理部100基于一次世界摄像位置23来确定摄像图像7的摄像位置以及摄像方向，通过进行将世界已知辅助标志位置62投影到该摄像图像7的情况的投影算出处理来将算出辅助标志位置63算出，通过将图像内辅助标志位置61和算出辅助标志位置63建立对应，来将图像内辅助标志位置61和世界已知辅助标志位置62建立对应。
120.将成为图像内辅助标志位置61的来源的辅助标志6的位置识别为世界已知辅助标志位置62。辅助标志6能与标志5同样地用在pnp定位处理中。
121.信息处理装置10所具备的处理部100通过将投影算出处理的结果、位于图像内辅助标志位置61的位置或位于图像内辅助标志位置61的周围的算出辅助标志位置63的算出源的世界已知辅助标志位置62与该图像内辅助标志位置61建立对应，来执行建立对应处理。
122.仅通过取得图像坐标系71中位于周围的图像内辅助标志位置61这样的单纯的手法，就确实地执行建立对应。
123.程序使计算机执行：标志5以及辅助标志位置取得功能，从由设置在移动体3一侧的摄像部2摄像的包含设于空间内的标志5以及辅助标志6的摄像图像7通过图像处理来取得表示图像坐标系71中的标志5的位置的图像内标志位置51和表示辅助标志6的位置的图像内辅助标志位置61；一次定位功能，基于图像内标志位置51和表示世界坐标系70中的标志5的已知的三维位置的世界已知标志位置52，来取得表示世界坐标系70中的摄像部2的三维位置的一次世界摄像位置23；决定定位功能，基于一次世界摄像位置23和表示世界坐标系70中的辅助标志6的已知的三维位置的世界已知辅助标志位置62，来将图像内辅助标志位置61和世界已知辅助标志位置62建立对应，基于图像内辅助标志位置61和世界已知辅助标志位置62，来决定摄像部2的位置。
124.提供抑制了标志5的数量且导出位置精度高的定位结果的定位程序。
125.计算机所执行的位置定位方法使计算机执行：标志5以及辅助标志位置取得步骤，从由设置在移动体3一侧的摄像部2摄像的包含设于空间内的标志5以及辅助标志6的摄像图像7通过图像处理取得表示图像坐标系71中的标志5的位置的图像内标志位置51和表示辅助标志6的位置的图像内辅助标志位置61；一次定位步骤，基于图像内标志位置51和表示世界坐标系70中的标志5的已知的三维位置的世界已知标志位置52，来取得表示世界坐标系70中的摄像部2的三维位置的一次世界摄像位置23；和决定定位步骤，基于一次世界摄像位置23和表示世界坐标系70中的辅助标志6的已知的三维位置的世界已知辅助标志位置62，来将图像内辅助标志位置61和世界已知辅助标志位置62建立对应，基于图像内辅助标志位置61和世界已知辅助标志位置62，来决定摄像部2的位置。
126.提供抑制了标志5的数量且导出位置精度高的定位结果的定位方法。
127.接下来，说明与第1实施方式不同的形态。另外，在以下的说明中，对于与在第1实施方式说明的结构共通或同样的结构，标注相同附图标记，有时省略说明。
128.(第2实施方式)
129.在第1实施方式中，说明了基于区域的中心来设定圆形的辅助标志6的位置的示例。在以下说明的第2实施方式中，确定辅助标志6的位置的方法不同。
130.图15是表示第2实施方式所涉及的辅助标志6为四边形的情况的示例的示意图。对各辅助标志6赋予识别编号100到130。图中，为了表示识别编号而使用箭头。以下同样。图16a、图16b是表示针对第2实施方式所涉及的四边形的辅助标志6对顶点分配辅助标志位置的示例的示意图。如图15所示那样，俯视观察下，长方形的照明也作为辅助标志6利用。在第2实施方式中，如图16a所示那样，执行在世界已知辅助标志位置62附加顶点部分附图标记111～114的处理。在图16a中，对于附图标记，使用箭头。以下同样。由此，在四边形的辅助标志6的情况下，能以世界坐标系70中的三维位置取得该辅助标志6的中心位置和4角的合计5处的世界已知辅助标志位置62。在以下的说明中，顶点部分的位置被称作世界已知外形位置65。此外，辅助标志6的摄像图像7上的图像坐标系71中的位置被称作图像外形位置64。
131.针对图16b所示那样的并非长方形的梯形那样的多边形的辅助标志6，也能对其顶点部分分配世界已知辅助标志位置62。如图16b所示那样，例如对辅助标志6的中心分配世界坐标系70中的已知的标志位置62(以下称作世界已知辅助标志位置62)，对顶点部分的位
置分配世界已知外形位置65，分别赋予200到204的识别编号。在图16a、图16b的示例中，均是四边形的一个方式，但并不限定于该形状。例如，在三角形、五边形以上中，也能将各个顶点作为世界已知外形位置65添加，分别取得顶点的图像外形位置64，进行二次定位。
132.《世界已知辅助标志位置提取处理》
133.图17是说明第2实施方式所涉及的辅助标志6为多边形的情况的处理的流程的流程图。通过处理部100所执行的处理，来提取世界已知辅助标志位置62以及世界已知外形位置65。
134.若图像内辅助标志位置61的表格作成开始，则首先图像处理部101进行辅助标志认识处理(步骤s201)。在辅助标志认识处理中，例如图像处理部101提取摄像图像7中的亮度饱和的区域，对所提取的区域赋予一次识别编号。
135.进而，图像处理部101进行辅助标志选择处理(步骤s202)。作为辅助标志选择处理，例如图像处理部101对所得到的区域进行基于形状的拣选。图像处理部101例如提取椭圆形以及四边形，将叠在图像端的区域除外。
136.接着，图像处理部101进行表作成处理(步骤s203)。表作成处理例如是将图像处理部101所提取的候补区域登记在一次的表中的处理。
137.辅助标志识别部106进行选择处理(步骤s204)。提取处理例如是辅助标志识别部106选择区域之一。
138.辅助标志识别部106进行尺寸判定处理。作为尺寸判定处理，例如辅助标志识别部106判定辅助标志6的摄像图像7中的大小是否是给定的大小以上。所谓给定的大小，例如作为摄像图像7的像素是7
×
7的大小。
139.参考图18a、图18b来说明尺寸判定处理。在成为远处拍得小的成像这样的情况下，若使用四角的图像上的点，则反而有时会产生误差。为此，在尺寸判定处理中，为了避免产生误差的可能性高的判定，判定成为辅助标志6的候补的区域是否是给定的大小。
140.在所取出的区域为规定尺寸以上的情况下(步骤s205“是”)，辅助标志识别部106进行顶点登记处理(步骤s206)。作为顶点登记处理，例如，辅助标志识别部106将设为四边形的形状的辅助标志6的4个顶点登记为图像外形位置64。如图18a所示那样，在作为辅助标志6之一有得到图像内辅助标志位置61的候补的情况下，也可以仅使用位于该区域611的中心的局部区域612。此外，还有图18b所示那样虽然能看出是多边形、但边界模糊从而顶点不鲜明的情况。在这样的情况下，也可以使用位于该区域611的中心的局部区域612。
141.接着，辅助标志识别部106进行中心登记处理(步骤s207)。作为中心登记处理，辅助标志识别部10不依赖于取出的区域的尺寸地将取出的区域的中心登记为图像内辅助标志位置61。
142.处理部100进行结束判定处理(步骤s208)。
143.在不结束的情况下(步骤s208“否”)，处理部100将定位工序返回步骤s204。在结束的情况下(步骤s208“是”)，处理部100结束图像内辅助标志位置61的表格作成。
144.图19表示在这样的多边形的辅助标志6的顶点的位置识别登记世界已知外形位置65作为世界已知辅助标志位置62的示例。对中心位置采用10位以上的位，对作为顶点的世界已知外形位置65采用1位数的位。
145.在本实施方式中，将环境中设置的照明或光源设为辅助标志6，能利用该辅助标志
6，作为标志5少的情况的补足用。若通常对室内的照明摄像作为辅助标志6，则亮度作为饱和区域映出，作为最初的辅助标志区域候补的取出，仅是根据饱和值进行二值化即可，作为图像信号非常稳定。此外，照明一般设置于环境开阔的地方，形状也多是圆形、四边形的单纯形状，适于作为本实施方式中的辅助标志6。辅助标志6并不限于照明，只要是利用场景中易于稳定地以简易的方法检测的标志，则也可以是其他方法。例如，位于低彩度环境中的由于是高彩度的物体而一眼能看到的标志等，由于能根据特定的高的彩度阈值进行二值化，因此，考虑作为其他方法。
146.如此地，在第2实施方式中，使用具有多边形状的辅助标志6，作为世界已知辅助标志位置62的一形态，增加世界已知外形位置65。能用1个辅助标志或照明提供大量世界已知辅助标志位置62。
147.信息处理装置10所具备的处理部100基于摄像图像7中的辅助标志6的多边形状的顶点部分的位置，来取得该辅助标志6的图像内辅助标志位置61。
148.能不增加辅助标志6的数量地增加世界已知辅助标志位置62，能提高pnp定位处理的精度。
149.在摄像图像7中的辅助标志6的大小比给定小的情况下，信息处理装置10所具备的处理部100取得辅助标志6的中心位置，基于该中心位置来取得图像内辅助标志位置61。
150.将pnp定位处理中所用的世界已知辅助标志位置62最优化，能得到更高的定位精度。
151.(标志的变形例)
152.在上述的定位处理中，作为一次定位的方法之一，使用具有识别功能的标志5。进行一次定位的方法也可以是其他方法。以下列举示例。
153.在初始状态下不能进行、但直到刚刚才完成了确定定位部107的pnp定位处理的情况下，由于能通过差分并根据过去的位置和最后的向量来推定当前位置，因此可以将其设为一次世界摄像位置23。
154.能用摄像部2对二维码摄像，根据该码和摄像部2的摄像角度来对摄像部2的位置进行一次设定。另外，在认识二维码等的定位的情况下，优选在摄像画面上比较大的面积地显示二维码。
155.作为特定点，例如准备红外线传感器，能基于特定点的通过的探测来对摄像部2的位置进行一次设定。在摄像部2设置于移动体3的情况下，在保证移动体3的出发点是特定点的情况下，能基于特定点的位置来对摄像部2的位置进行一次设定。该特定点的信息可以作为图1所示的摄像部设置参数26存储于数据库19。例如，若是从充电站的出发，则只要获知该充电站的识别编号，就能对摄像部2的位置进行一次设定。此外，摄像部2的仰角、焦距、自动聚焦功能的有无等可以作为图1所示的摄像部内部参数25存储在数据库19。此外，也可以组合这些种种方法。但使用具有识别功能的标志5、特别是使用通过发光体的色变化信号来识别的标志5的方式适于比较高精度地对大的区域进行一次定位。
156.如以上说明的那样，并不限定于上述实施方式的标志5那样使发光形态变化来进行光通信，能如变形例所示那样，还利用其他方式的标志5。
157.接下来，说明在摄像图像7上认识到世界已知辅助标志位置62后的处理的一例。
158.图20a、图20b、图20c、图20d、图20e表示利用设置有标志5以及辅助标志6的天花板
4的更具体的定位过程。认识出的辅助标志6与标志5同样地被识别。在以下的说明中，一次定位部104将识别出的世界已知辅助标志位置62和标志5同样地用在一次定位中。
159.另外，在图20a、图20b、图20c、图20d、图20e中，为了说明的方便而整齐地设置了标志5以及辅助标志6，设想摄像部2与这些设置垂直而设的结构。图中，四角的区域表示摄像图像7的摄像范围。图20a表示初始状态。对标志5摄像来认识图像内标志位置51。然后，得到图像内辅助标志位置61。标志5在被识别的意义上，在图20a中被涂黑。
160.与第1实施方式中说明的同样地，基于图像内标志位置51和世界已知标志位置52来计算摄像部2的一次世界摄像位置23。然后，计算从一次世界摄像位置23对位于世界已知辅助标志位置62的辅助标志6摄像的情况的算出辅助标志位置63。即，进行投影算出处理。然后，通过将邻近点建立对应，生出图像内辅助标志位置61的辅助标志6被与算出源的世界已知辅助标志位置62关联。由此，将拍进摄像图像7中的辅助标志6认识为位置已知的被识别的辅助标志6。在此，辅助标志6成为与标志5同样的被识别的指标。作为示出该状况的示意，图20a中用白圈标注的辅助标志6在图20b中被涂黑。
161.在从此移动体3连续移动的情况下，由摄像部2摄像的摄像图像7如图20c所示那样变化。在此，通过图像处理，来维持摄像图像7中的图像内辅助标志位置61与世界已知辅助标志位置62关联。在图20c中，意味着识别的涂黑的标志5以及辅助标志6的图像内标志位置51以及图像内辅助标志位置61被维持。该图20c的摄像图像7中的被涂黑的4个点由于被识别，因此，与图20a中的图像内标志位置51同样地，能用在摄像部2的一次定位中。然后，经过与算出辅助标志位置63的对比，图20c的摄像图像7中的图像内辅助标志位置61被新与世界已知辅助标志位置62关联，成为与标志5同样的被识别的指标。作为示出该状况的示意，将图20c中用白圈标注的辅助标志6在图20d中涂黑。
162.重复该工序。图20e紧接图20c进一步示出移动体3移动时的摄像图像7。在该时间点，起因于标志5的图像内标志位置51不在摄像图像7中。一次定位部104基于被识别的辅助标志6来对摄像部2的位置进行一次定位，进而，确定定位部107对摄像部2的位置进行确定定位。
163.由此，仅在动作初始位置附近设置标志5，以后，通过连续地对辅助标志6进行定位、识别，能在是大的区域的同时，实现设置标志5的仅是初始位置这样的标志5的设置。即，关于利用了标志5的处理移转，即使标志5未含在摄像图像7中，只要包含辅助标志6，就能导出摄像部2的确定世界摄像部位置24。
164.以上说明了利用标志5的定位处理。另外，本发明并不限定于上述的实施方式以及变形例，能达成本发明的目的的范围内的变形、改良等含在本发明内。
165.此外，在上述的实施方式中，运用本发明的信息处理装置10作为移动体3以叉车为例进行了说明，但并不特别限定于此。例如，本发明一般能运用在具有图像处理功能的电子设备中。具体地，例如，能运用在笔记本型的个人计算机、便携型导航装置、便携电话机、智能手机、掌上游戏机等中。
166.上述的一系列处理既能通过硬件执行，也能通过软件执行。换言之，图4的功能结构只是例示，并没有特别限定。即，在信息处理装置10中具备能将上述的一系列处理作为整体执行的功能即足够，为了实现该功能而使用怎样的功能块则并不特别限定于图4的示例。
167.此外，1个功能块可以由硬件单体构成，可以由软件单体构成，也可以由它们的组
合构成。本实施方式中的功能结构通过执行运算处理的处理器实现，能用在本实施方式中的处理器除了包含由单处理器、多处理器以及多核处理器等各种处理装置单体构成的处理器以外，还包含组合这些各种处理装置和asic(application specific integrated circuit，特定用途集成电路)、fpga(field-programmable gate array，现场可编程门阵列)等处理电路而得到方案。
168.在通过软件执行一系列处理的情况下，构成该软件的程序从网络、记录介质安装到计算机等上。计算机可以是装入到专用的硬件中的计算机。此外，计算机可以是通过安装各种程序而能执行各种功能的计算机、例如通用的个人计算机。
169.包含这样的程序的记录介质不仅为了对用户提供程序而与装置主体分开地分发，还由以预先装入装置主体的状态提供给用户的记录介质等构成。可移动介质例如由磁盘(包含软盘)、光盘或光磁盘等构成。光盘例如由cd-rom(compact disk-read only memory)、dvd(digital versatile disk，数字多功能盘)、blu-ray(注册商标)disc(蓝光盘)等构成。光磁盘由md(mini-disk)等构成。此外，以预先装入装置主体的状态提供给用户的记录介质例如由记录程序的rom12、未图示的硬盘等构成。
170.另外，在本说明书中，记述了记录于记录介质的程序的步骤当然包含沿着其顺序时间序列地进行的处理，但不一定时间序列地进行处理，还包含并列或个别地执行的处理。此外，在本说明书中，系统的用语意味着由多个装置、多个手段等构成的整体的装置。
171.以上说明了本发明的几个实施方式，但这些实施方式只是例示，并不限定本发明的技术的范围。本发明能采取其他种种实施方式，进而，能在不脱离本发明的要旨的范围内进行省略、置换等种种变更。这些实施方式、其变形包含在本说明书等记载的发明的范围、要旨中，并且包含在权利要求书记载的发明和其等同的范围内。