图像处理装置、图像处理方法和程序与流程

1.本公开内容涉及图像处理装置、图像处理方法和程序。更具体地，本公开内容涉及能够例如在实际捕获的图像上准确地显示诸如无人机的移动装置的移动轨迹的图像处理装置、图像处理方法和程序。


背景技术：

2.近年来，作为小型飞行器的无人机的使用迅速增加。例如，无人机设置有摄像装置并且用于从上面捕获地面上的风景的图像的处理或其他类型的处理。此外，还计划了使用无人机的包裹的递送，并且为此已经进行了各种实验。
3.目前，在许多国家，需要通过在人类监视下、即在人类视野内操作控制器来执行无人机的飞行控制。但是，在将来，将使用不需要人类监视的许多自主飞行无人机，即从出发点自主飞往目的地的许多无人机。
4.这样的自主飞行无人机例如通过使用与控制中心的通信信息或gps位置信息，从出发点飞往目的地。
5.自主飞行无人机的一种具体使用形式是无人机递送包裹。在包裹由无人机递送的情况下，预期当携带寻址到请求了包裹递送的用户的包裹的无人机的估计到达时间接近时，用户想要仰望天空以检查携带寻址到该用户的包裹的无人机，并且还检查其飞行路径或预定飞行路径。
6.此外，还预期，即使在无人机不是用于递送包裹的无人机的情况下，仍存在检查在天空中飞行的无人机的飞行路径以用于例如安全确认的需求。
7.用于满足这样的用户要求的处理例如是如下处理：通过使用诸如智能手机的带摄像装置的用户终端的摄像装置来捕获空中的无人机的图像，并且在无人机的实际捕获图像上叠加并显示无人机的飞行路径和预定飞行路径的同时，在显示单元上显示所捕获的图像。
8.即，生成并显示增强现实(augmented reality，ar)图像，在该ar图像中，指示飞行路径的线被叠加在无人机的真实图像上。
9.关于无人机的飞行路径和预定飞行路径的信息可以通过经由通信网络的通信从无人机或管理无人机的飞行的控制中心传输到诸如智能手机的用户终端。
10.无人机或控制中心保存关于无人机的飞行路径和预定飞行路径的信息，即飞行路径信息，并且可以为诸如智能手机的用户终端提供飞行路径信息。
11.然而，许多无人机使用gps卫星的通信信息来执行位置控制。从gps卫星获得的位置信息包括纬度信息、经度信息和高度信息。许多无人机通过使用以上信息飞行，并且因此根据ned坐标系执行位置确认和飞行控制。
12.ned坐标系是其中将北、东以及下设置为三个轴的坐标系。
13.无人机或控制中心将作为关于无人机的飞行路径和预定飞行路径的信息的飞行路径信息保存为应用了ned坐标的路径信息(n，e，d)，并且将根据ned坐标系的路径信息提
供给诸如智能手机的用户终端。
14.同时，在诸如智能手机的用户终端上显示的摄像装置捕获图像是基于根据摄像装置的成像方向设置的摄像装置坐标系的图像数据。
15.由诸如智能手机的用户终端的摄像装置捕获的无人机的真实图像的图像位置，能够被确定为摄像装置坐标上的图像位置。然而，难以计算无人机的真实图像位置对应于ned坐标上的哪个位置。
16.如上所述，用作显示在诸如智能手机的用户终端上的真实图像的无人机的位置可以在摄像装置坐标系中指定，但是从无人机或控制中心接收的无人机的飞行路径信息是在ned坐标系中指定的路径位置信息。因此，存在难以确认该路径位置对应于摄像装置坐标上的哪个位置的问题。
17.结果，在诸如智能手机的用户终端试图从无人机或控制中心接收无人机的飞行路径信息并且基于所接收的信息在显示单元上显示飞行路径的情况下，出现不能显示准确路径的问题。
18.注意，例如，专利文献1(日本专利第5192598号)是公开了如下配置的相关技术：其中，自主机器人的位置和轨迹被ar显示在由诸如监视摄像装置的定点摄像装置捕获的图像上。
19.公开的配置是这样的：将ar标签附接至自主机器人或自主机器人的作业区域，从摄像装置捕获图像识别ar标签以生成一条参考坐标信息，并且使用生成的参考坐标信息来识别自主机器人的位置和路径。
20.但是，该配置需要在工作区域中附接ar标签，并且另外仅可应用在有限的工作区域内。在像无人机那样在空中飞行的配置中，ar标签不能被附接在天空中。
21.引文列表
22.专利文献
23.专利文献1：日本专利第5192598号


技术实现要素：

24.本发明要解决的问题
25.本公开内容是鉴于以上问题而做出的，例如，本公开内容的目的是提供能够在诸如智能手机的用户终端上显示用作摄像装置捕获图像的无人机的真实图像，并且在真实图像上准确地叠加和显示无人机的飞行路径和预定飞行路径的图像处理装置、图像处理方法和程序。
26.问题的解决方案
27.本公开内容的第一方面是
28.一种图像处理装置，包括
29.数据处理单元，该数据处理单元在显示单元上显示移动装置的移动路径，该显示单元显示该移动装置的摄像装置捕获图像，其中
30.该数据处理单元
31.执行坐标转换处理，该坐标转换处理将指示该移动装置的移动路径的根据第一坐标系的位置信息转换到能够指定显示单元上的显示图像的像素位置的第二坐标系中，以及
32.将具有通过坐标转换处理生成的根据第二坐标系的位置信息的移动路径输出到显示单元。
33.此外，本公开内容的第二方面是
34.一种在图像处理装置中执行的图像处理方法，其中：
35.该图像处理装置包括数据处理单元，该数据处理单元在显示单元上显示移动装置的移动路径，该显示单元显示该移动装置的摄像装置捕获图像；以及
36.该数据处理单元
37.执行坐标转换处理，该坐标转换处理将指示该移动装置的移动路径的根据第一坐标系的位置信息转换到能够指定显示单元上的显示图像的像素位置的第二坐标系中，以及
38.将具有通过坐标转换处理生成的根据第二坐标系的位置信息的移动路径输出到显示单元。
39.此外，本公开内容的第三方面是
40.一种用于使图像处理装置执行图像处理的程序，其中：
41.该图像处理装置包括数据处理单元，该数据处理单元在显示单元上显示移动装置的移动路径，该显示单元显示该移动装置的摄像装置捕获图像；以及
42.该程序使该数据处理单元执行
43.坐标转换处理，该坐标转换处理将指示该移动装置的移动路径的根据第一坐标系的位置信息转换到能够指定显示单元上的显示图像的像素位置的第二坐标系中，以及
44.将具有通过坐标转换处理生成的根据第二坐标系的位置信息的移动路径输出到显示单元的处理。
45.注意，本公开内容的程序是例如可以由用于可以执行各种程序代码的信息处理装置或计算机系统的存储介质或通信介质以计算机可读格式提供的程序。通过以计算机可读格式提供这样的程序，在信息处理装置或计算机系统中实现了根据程序的处理。
46.基于稍后描述的本公开内容的实施方式和附图，从更详细的描述中，本公开内容的其他目的、特征和优点将是明显的。注意，在本说明书中，系统是多个装置的逻辑集合配置，并且不限于其中具有各个配置的装置在同一壳体中的系统。
47.本公开内容的实施方式实现了能够在无人机的实际捕获图像上准确地显示无人机的飞行路径的配置。
48.具体地，例如，该配置包括数据处理单元，该数据处理单元在显示单元上显示诸如无人机的移动装置的移动路径，该显示单元显示移动装置的摄像装置捕获图像。该数据处理单元：生成用于执行坐标转换处理的坐标转换矩阵，该坐标转换处理将指示该移动装置的移动路径的根据第一坐标系的位置信息转换到第二坐标系中，该第一坐标系例如是ned坐标系，该第二坐标系例如是能够指定显示单元上的显示图像的像素位置的摄像装置坐标系；将移动路径输出到显示单元，该移动路径具有根据通过应用了所生成的坐标转换矩阵的坐标转换处理而生成的摄像装置坐标系的位置信息。
49.该配置可以在无人机的实际捕获图像上准确地显示无人机的飞行路径。
50.注意，本说明书中描述的效果仅仅是示例，而不是限制性的，并且可以具有其他附加效果。
附图说明
51.图1示出了使用用户终端捕获无人机的图像的处理和在捕获的图像上显示路径信息的处理的示例。
52.图2示出了在用户终端的显示单元上显示无人机的路径信息的处理的具体示例。
53.图3示出了发送和接收飞行路径信息的示例，该飞行路径信息是关于无人机的飞行路径和预定飞行路径的信息。
54.图4示出了显示无人机的路径信息的处理中的问题。
55.图5示出了为什么无人机的路径信息被不准确地显示的原因。
56.图6示出了为什么无人机的路径信息被不准确地显示的原因。
57.图7示出在由本公开内容的图像处理装置执行的处理中使用的多个坐标系。
58.图8示出了将某一坐标系中的位置信息转换为另一不同坐标系中的位置信息的处理的示例。
59.图9示出三个坐标转换矩阵的示例。
60.图10示出了由用作本公开内容的图像处理装置的用户终端执行的计算坐标转换矩阵(ct
ned
)的处理的具体示例。
61.图11示出了由用作本公开内容的图像处理装置的用户终端执行的计算坐标转换矩阵(ct
ned
)的处理的具体示例。
62.图12示出针孔摄像装置模型。
63.图13示出针孔摄像装置模型。
64.图14示出了由用作本公开内容的图像处理装置的用户终端执行的计算坐标转换矩阵(ct
ned
)的处理的具体示例。
65.图15示出了由用作本公开内容的图像处理装置的用户终端执行的计算坐标转换矩阵(ct
ned
)的处理的具体示例。
66.图16示出了由用作本公开内容的图像处理装置的用户终端执行的ar图像显示示例，其是无人机的飞行路径(飞行路径或预定飞行路径)被输出并且相对于用作实际捕获图像的无人机图像没有偏差地显示的示例。
67.图17示出了其中考虑无人机在三个不同位置处的成像时段期间摄像装置的位置和姿态的改变的处理。
68.图18示出了其中考虑无人机在三个不同位置处的成像时段期间摄像装置的位置和姿态的改变的处理。
69.图19是示出由本公开内容的图像处理装置执行的处理的序列的流程图。
70.图20示出了记录在本公开内容的图像处理装置的存储单元(存储器)上的数据的示例。
71.图21是示出由本公开内容的图像处理装置执行的处理的序列的流程图。
72.图22示出了记录在本公开内容的图像处理装置的存储单元(存储器)上的数据的示例。
73.图23是示出由本公开内容的图像处理装置执行的处理的序列的流程图。
74.图24示出了用作本公开内容的图像处理装置的用户终端和无人机的配置示例。
具体实施方式
75.在下文中，将参照附图描述本公开内容的图像处理装置、图像处理方法和程序的细节。注意，将根据下面的项目进行描述。
76.1.显示无人机的路径信息的处理中的问题
77.2.由本公开内容的图像处理装置执行的处理
78.3.由本公开内容的图像处理装置执行的处理的序列
79.4.本公开内容的图像处理装置和无人机的配置示例
80.5.本公开内容的配置的概述
81.[1.显示无人机的路径信息的处理中的问题]
[0082]
首先，将参照图1和随后的附图描述显示无人机的路径信息的处理中的问题。
[0083]
如上所述，目前，在许多国家，需要通过在人类监视下、即在人类视线内操作控制器，来执行无人机的飞行控制。但是，在将来，将使用不需要人类监视的自主飞行无人机，即，从出发点自主飞往目的地的无人机。这样的自主飞行无人机例如通过使用与控制中心的通信信息或gps位置信息，从出发点飞往目的地。
[0084]
自主飞行无人机的一种具体使用形式是无人机递送包裹。在包裹由无人机递送的情况下，预期当携带寻址到请求了递送包裹的用户的包裹的无人机的估计到达时间接近时，用户想要仰望天空以检查携带寻址到用户的包裹的无人机，并且还检查其飞行路径或预定飞行路径。
[0085]
用于满足这样的用户要求的处理例如是如下处理：其中，用户通过使用诸如智能手机的带摄像装置的用户终端的摄像装置来捕获空中的无人机的图像，并且在该图像上叠加并显示无人机的飞行路径和预定飞行路径的同时，在显示单元上显示所捕获的图像。
[0086]
将参照图1和随后的附图描述该处理的具体示例。
[0087]
图1示出了在空中飞行的无人机20和持有作为带摄像装置的智能手机的用户终端10的用户1。
[0088]
用户1将用户终端10的摄像装置指向在天空中的无人机20，并且捕获无人机20的图像。
[0089]
图2示出了用户终端10上的显示图像的示例。
[0090]
图2中示出的图像是由用户终端10的摄像装置捕获的图像，并且无人机20被显示在其中。无人机20的图像是实际上在天空中飞行的真实对象。
[0091]
指示无人机20的飞行路径和预定飞行路径的线被显示在该真实图像上，作为由用户终端10的数据处理单元生成的虚拟图像。
[0092]
即，生成并显示增强现实(ar)图像，在该ar图像中，指示飞行路径的虚拟线被叠加在无人机的真实图像上。
[0093]
图2中的“飞行路径”是无人机20飞到当前位置所沿的飞行路径。此外，图2中的“预定飞行路径”是无人机20从当前位置开始的预定飞行路径。
[0094]
图2示出了如下示例：其中“飞行路径”的结束对应于无人机20的当前位置，“预订飞行路径”的起始点也对应于无人机20的当前位置，并且那些条路径信息被准确地显示。
[0095]
可以看出，无人机20计划从当前位置开始沿着“预定飞行路径”飞行，着陆在房子前面，并且递送寻址到用户的包裹。
[0096]
用户终端可以从无人机或控制中心接收关于无人机的飞行路径和预定飞行路径的信息。
[0097]
如图3所示，用户终端10可以从无人机20或作为控制中心的无人机管理服务器30接收飞行路径信息，该飞行路径信息是关于无人机的飞行路径和预定飞行路径的信息。
[0098]
然而，如上所述，许多无人机使用gps卫星的通信信息来执行位置控制。从gps卫星获得的位置信息包括纬度信息、经度信息和高度信息。许多无人机通过使用以上信息飞行，并且因此在许多情况下通过使用ned坐标系来执行位置确认和飞行路线的控制。
[0099]
ned坐标是其中将北、东以及下设置为三个轴的坐标。
[0100]
图3中所示的无人机20或作为控制中心的无人机管理服务器30保存飞行路径信息作为应用了ned坐标系的路径信息(n，e，d)，该飞行路径信息是关于无人机的飞行路径和预定飞行路径的信息，并且将根据ned坐标系的路径信息提供给诸如智能手机的用户终端10。
[0101]
同时，在诸如智能手机的用户终端10上显示的摄像装置捕获图像是基于根据摄像装置的成像方向设置的摄像装置坐标系的图像数据。
[0102]
诸如智能手机的用户终端10的数据处理单元可以将由摄像装置捕获的无人机20的真实图像的图像位置指定为摄像装置坐标上的图像位置。然而，不可能计算无人机20的真实图像位置对应于ned坐标上的哪个位置。
[0103]
如上所述，用作显示在诸如智能手机的用户终端10上的真实图像的无人机20的位置可以在摄像装置坐标系中指定，但是从无人机20或无人机管理服务器30接收的无人机20的飞行路径信息是ned坐标系中指定的路径位置信息。因此，不可能准确地分析该路径位置对应于摄像装置坐标上的哪个位置。
[0104]
结果，在诸如智能手机的用户终端10试图从无人机20或无人机管理服务器30接收无人机20的飞行路径信息，并且基于该接收的信息在显示单元上显示该飞行路径的情况下，不能显示准确的路径。
[0105]
例如，如图4所示，出现了“飞行路径”和“预定飞行路径”被显示为偏离无人机20的当前位置的路径的问题。
[0106]
这是因为，如图5所示，在诸如智能手机的用户终端10上显示的摄像装置捕获图像是基于根据摄像装置的成像方向设置的摄像装置坐标系的图像数据，而从无人机20或无人机管理服务器30接收的无人机20的飞行路径信息是ned坐标系中的位置信息。
[0107]
结果，如图6所示，在试图在根据摄像装置坐标系(xc，yc，zc)的摄像装置捕获图像上显示根据ned坐标系(n，e，d)的路径信息的情况下，因为摄像装置坐标系与ned坐标系之间的对应关系是未知的，因此不能显示准确的路径位置。
[0108]
[2.由本公开内容的图像处理装置执行的处理]
[0109]
接着，将描述由本公开内容的图像处理装置执行的处理。
[0110]
本公开内容的图像处理装置例如是用户所拥有的诸如智能手机的用户终端10，并且执行在诸如无人机的捕获图像的根据摄像装置坐标系(xc，yc，zc)的摄像装置捕获图像上准确地显示根据ned坐标系(n，e，d)的无人机的路径信息的处理。
[0111]
用作本公开内容的图像处理装置的用户终端10将从无人机20或无人机管理服务器30接收的无人机20的飞行路径信息、即ned坐标系中的飞行路径位置，转换为摄像装置坐标系中的位置信息，摄像装置坐标系是摄像装置捕获图像的坐标系。此后，用户终端在摄像
装置捕获图像上显示指示被转换为摄像装置坐标系中的位置信息的飞行路径的线。
[0112]
通过执行以上处理，能够在无人机的捕获图像上准确地显示无人机的路径信息。
[0113]
首先，将参照图7描述在由本公开内容的图像处理装置执行的处理中使用的多个坐标系。
[0114]
图7示出了下面的三个坐标系。
[0115]
(1)摄像装置坐标系
[0116]
(2)ned坐标系
[0117]
(3)世界坐标系(slam坐标系)
[0118]
(1)摄像装置坐标系是能够定义用户终端10的摄像装置拍摄图像的图像位置(像素位置)的坐标系。摄像装置坐标系是其中摄像装置的焦点用作原点c，图像平面是xc和yc的二维平面，并且光轴方向(深度)是zc的坐标系。原点c随着摄像装置的移动而移动。例如，摄像装置坐标系是其中诸如c-mos的成像元件的水平轴是xc轴，诸如c-mos的成像元件的垂直轴是yc轴，并且光轴方向是zc轴的坐标系。显示单元的二维平面(uv平面)对应于摄像装置坐标的xcyc平面。
[0119]
(2)ned坐标系指示无人机20的位置和飞行路径上的位置，并且是用于无人机20的飞行控制的坐标系。
[0120]
许多无人机20使用gps卫星的通信信息来执行位置控制。从gps卫星获得的位置信息是纬度信息、经度信息和高度信息，并且许多无人机通过使用这些信息来飞行，并且因此使用ned坐标系。
[0121]
ned坐标系是其中将北、东以及下设置为三个轴的坐标。
[0122]
无人机20或无人机管理服务器30(例如控制中心)将飞行路径信息保存为ned坐标系中的路径信息(n，e，d)，该飞行路径信息是关于无人机20的飞行路径和预定飞行路径的信息，并且根据ned坐标的路径信息被提供给诸如智能手机的用户终端10。
[0123]
(3)世界坐标系(slam坐标系)主要用作定义用于三维图形的整个空间的坐标系。
[0124]
在本公开内容的处理中，世界坐标系是应用于由用户终端10执行的slam处理——即，其中并行执行摄像装置位置的定位和环境地图的创建(地图绘制)的同时定位和地图绘制(slam)处理——的坐标系(slam坐标系)。
[0125]
如图7的下中心部分所述，显示图像上的每个像素位置(u，v)与摄像装置坐标系中的xy坐标(xc，yc)一一对应。
[0126]
因此，如果能够将ned坐标系中指示的飞行路径上的位置转换为摄像装置坐标系中指示的位置，则能够将该路径准确地输出到摄像装置坐标系中示出的显示图像。
[0127]
图8示出了将某一坐标系中的位置信息转换为另一不同坐标系中的位置信息的处理的示例。
[0128]
图8的示例示出了坐标转换矩阵
[0129]ct
ws
[0130]
这对于将世界坐标系中的特定位置信息(xw，yw，zw)转换为摄像装置坐标系中的位置信息(xc，yc，zc)是必要的。
[0131]
对于图8的上中心的三维空间中的一个点(x)，该点在世界坐标系(slam坐标系)中的位置和该点在摄像装置坐标系中的位置表示如下。
[0132]
世界坐标系(slam坐标系)中的位置：
ws
p
x
[0133]
摄像装置坐标系中的位置：cp
x
[0134]
这里，将用于将三维空间中的一个点(x)在世界坐标系(slam坐标系)中的位置(
ws
p
x
)转换为摄像装置坐标系中的位置(cp
x
)的坐标转换矩阵定义为
[0135]ct
ws
。
[0136]
如图8的下部分所示，将三维空间中的一个点(x)在世界坐标系(slam坐标系)中的位置(
ws
p
x
)转换为摄像装置坐标系中的位置(cp
x
)的表达式可以由以下(表达式1)示出。
[0137]
cp
x
＝ct
ws
×
ws
p
x
ꢀꢀꢀ
(表达式1)
[0138]
这里，用于将世界坐标系(slam坐标系)中的位置(
ws
p
x
)转换为摄像装置坐标系中的位置(cp
x
)的坐标转换矩阵，即
[0139]ct
ws
[0140]
可以由下面的行列式(表达式2)表达。
[0141]
[数学式1]
[0142][0143]
注意，在以上(表达式2)中，
[0144]cr
ws
表示用于将世界坐标系(slam坐标系)中定义的姿态转换为摄像装置坐标系中定义的姿态的旋转矩阵，以及
[0145]
ws
pc表示世界坐标系(slam坐标系)中的摄像装置位置。
[0146]
注意，在该实施方式中，摄像装置位置对应于用户终端10的摄像装置的位置。
[0147]
这里，以上(表达式2)中的坐标转换矩阵ct
ws
是用于将世界坐标系(slam坐标系)中的位置(
ws
p
x
)转换为摄像装置坐标系中的位置(cp
x
)的坐标转换矩阵。
[0148]
如以上参照图7所述，在本公开内容的处理中，执行使用下面的三个不同坐标系的处理：
[0149]
(1)摄像装置坐标系
[0150]
(2)ned坐标系
[0151]
(3)世界坐标系(slam坐标系)。
[0152]
图9示出了这三个坐标系的坐标转换矩阵的示例。
[0153]
图9示出了下面的三个坐标转换矩阵：
[0154]ct
ws
：用于将世界坐标系(slam坐标系)中的位置(
ws
p
x
)转换为摄像装置坐标系中的位置(cp
x
)的坐标转换矩阵，
[0155]ct
ned
：用于将ned坐标系中的位置(
ned
p
x
)转换为摄像装置坐标系中的位置(cp
x
)的坐标转换矩阵，以及
[0156]
ws
t
ned
：用于将ned坐标系中的位置(
ned
p
x
)转换为世界坐标系(slam坐标系)中的位置(
ws
p
x
)的坐标转换矩阵。
[0157]
注意，可以根据另外两个坐标转换矩阵来计算三个坐标转换矩阵中的每一个。例如，
[0158]
可以通过使用另外两个坐标转换矩阵(ct
ws
，ct
ned
)根据下面的表达式计算用于将ned坐标系中的位置(
ned
p
x
)转换为世界坐标系(slam坐标系)中的位置(
ws
p
x
)的坐标转换矩
阵
ws
t
ned
。
[0159]
ws
t
ned
＝ct
ws-1
×ct
ned
[0160]
注意，ct
ws-1
表示ct
ws
的逆矩阵，并且可以从ct
ws
计算。
[0161]
与以上情况类似地，
[0162]
可以通过使用另外两个坐标转换矩阵(
ws
t
ned
、ct
ned
)根据下面的表达式计算用于将世界坐标系(slam坐标系)中的位置(
ws
p
x
)转换为摄像装置坐标系中的位置(cp
x
)的坐标转换矩阵ct
ws
。
[0163]ct
ws
＝ct
ned
×
ws
t
ned-1
[0164]
此外，可以通过使用另外两个坐标转换矩阵(
ws
t
ned
、ct
ws
)根据下面的表达式计算用于将ned坐标系中的位置(
ned
p
x
)转换为摄像装置坐标系中的位置(cp
x
)的坐标转换矩阵ct
ned
。
[0165]ct
ned
＝ct
ws
×
ws
t
ned
[0166]
如以上参照图7所述，在用户终端10的显示单元上显示的显示图像的每个像素位置(u，v)与摄像装置坐标系中的xy坐标(xc，yc)一一对应，并且如果ned坐标系中指示的飞行路径上的位置可以被转换为摄像装置坐标系中的位置，则该路径可以被准确地输出到摄像装置坐标系中示出的显示图像。
[0167]
即，如果用于将ned坐标系中的位置(
ned
p
x
)转换为摄像装置坐标系中的位置(cp
x
)的坐标转换矩阵，即，
[0168]ct
ned
[0169]
可以被计算，则ned坐标系中指示的飞行路径位置可以被转换为摄像装置坐标系中的位置。这使得能够将无人机的飞行路径准确地输出到在摄像装置坐标系中示出的显示图像。
[0170]
用作本公开内容的图像处理装置的用户终端10计算坐标转换矩阵：ct
ned
。
[0171]
计算坐标转换矩阵的处理的具体示例：将参照图10描述由用作本公开内容的图像处理装置的用户终端10执行的ct
ned
。
[0172]
如图10所示，用户通过使用用户终端10来在预定时间内捕获在空中飞行的无人机20的图像。无人机20可以不是携带要递送到用户的包裹的无人机。然而，无人机需要是能够获取无人机的飞行路径位置信息(ned坐标上的位置信息)的无人机。
[0173]
在图10的示例中，随着时间从时间(t1)经过时间(t2)到时间(t3)，无人机20从右向左飞行。
[0174]
用户终端10的数据处理单元将无人机在至少三个不同位置处的捕获图像位置记录在存储器上。
[0175]
如图11所示，数据处理单元在存储器上记录例如诸如c-mos的摄像装置成像表面51上的三个不同位置处的与无人机相对应的无人机成像位置52-1至52-3。
[0176]
注意，无人机成像位置对应于显示单元上显示的显示图像位置，并且，这里，示出了使用显示图像上的坐标位置(u1，v1)至(u3，v3)的处理示例。
[0177]
通过使用这三个不同的无人机位置和关于与三个无人机位置相对应的三个无人机成像位置的信息，可以计算坐标转换矩阵：ct
ned
。
[0178]
在具体描述计算坐标转换矩阵(ct
ned
)的处理之前，将参照图12和图13描述针孔摄
像装置模型。该针孔摄像装置模型是定义在由一般摄像装置(针孔摄像装置)对三维空间中的对象进行成像的情况下获得的对象的三维位置m与该对象在摄像装置的成像表面上的成像位置(成像像素位置)m之间的关系的关系表达式。
[0179]
在针孔摄像装置模型中，用作成像被摄体的对象的三维位置m与摄像装置对对象的成像位置(成像像素位置)m之间的关系表达式由以下(表达式3)示出。
[0180]
[数学式2]
[0181][0182]
将参照图12和图13描述以上(表达式3)的含义。
[0183]
如图12所示，在用作成像被摄体的对象61由摄像装置成像的情况下，对象图像62在摄像装置的摄像装置成像表面(c-mos等)51上被捕获。
[0184]
以上(表达式3)示出了在由摄像装置捕获的图像中包括的对象图像62的点(m)的摄像装置捕获图像平面中的像素位置(即，在摄像装置坐标系中表示的位置)与对象61在世界坐标系中的三维位置(m)之间的对应关系。
[0185]
在摄像装置坐标系中表示摄像装置捕获图像中所包括的对象图像62的点(m)的位置(像素位置)。摄像装置坐标系是其中摄像装置的焦点用作原点c，图像平面是xc和yc的二维平面，并且光轴方向(深度)是zc的坐标系。原点c随着摄像装置的移动而移动。
[0186]
同时，在具有三个轴xw、yw和zw并且具有即使摄像装置移动也不移动的原点o的世界坐标系中指示用作成像被摄体的对象61的三维位置(m)。将示出对象在不同坐标系中的位置之间的对应关系的表达式定义为以上(表达式3)中的针孔摄像装置模型。
[0187]
如图13所示，(表达式3)包括下面的参数作为值：
[0188]
λ：归一化参数，
[0189]
a：摄像装置固有参数，
[0190]
cw：摄像装置位置，以及
[0191]
rw：摄像装置旋转矩阵。
[0192]
此外，
[0193]
[数学式3]
[0194][0195]
指示在齐次坐标系中表示的摄像装置的成像平面上的位置。
[0196]
参数λ是归一化参数，以及
[0197]
是满足[数学式4]中的第三项的值，
[0198]
并且可以通过求解方程获得。
[0199]
注意，如图13所示，摄像装置固有参数a是下面的行列式。
[0200]
[数学式5]
[0201][0202]
摄像装置固有参数a包括下面的值。
[0203]
f：焦距
[0204]
θ：图像轴的正交性(理想值是90
°
)
[0205]ku
：垂直轴的刻度(从三维位置的刻度到二维图像的刻度的转换)
[0206]kv
：水平轴的刻度(从三维位置的刻度到二维图像的刻度的转换)
[0207]
(u0，v0)：图像中心位置
[0208]
下面的参数：
[0209]
cw：摄像装置位置，以及
[0210]
rw：摄像装置旋转矩阵，
[0211]
其包括在以上(表达式3)中，即(表达式3)是用作成像被摄体的对象的三维位置m与摄像装置对对象的成像位置(成像像素位置)m之间的关系表达式，
[0212]
可以在由用户终端10执行的slam处理中——即，在其中并行执行摄像装置位置的定位和环境地图的创建(地图绘制)的同时定位和地图绘制(slam)处理中——获取。
[0213]
slam处理是通过使用摄像装置来捕获图像(运动图像)并分析包括在多个捕获图像中的特征点的轨迹，从而估计特征点的三维位置并且还估计(定位)摄像装置(自身)的位置和姿态的处理，并且slam处理可以通过使用特征点的三维位置信息来创建周围地图(环境地图)(地图绘制)。如上所述并行地执行摄像装置(自身)的位置的定位和周围地图(环境地图)的创建(地图绘制)的处理被称为slam。
[0214]
注意，slam方法之一是使用扩展卡尔曼滤波器(ekf)的基于ekf的slam。
[0215]
基于ekf的slam是例如在移动摄像装置的同时连续捕获图像、获得每个图像中包括的特征点的轨迹(跟踪信息)、以及通过移动立体方法同时估计摄像装置的移动量和特征点的三维位置的方法。
[0216]
基于ekf的slam处理使用例如“状态数据”，其包括多维正态分布数据作为概率分布模型，该模型包括下面的信息：
[0217]
该摄像装置的位置、姿态、速度以及角速度；以及
[0218]
每个特征点的位置信息。通过使用卡尔曼滤波器或扩展卡尔曼滤波器来执行“状态数据”的更新处理，以估计特征点的位置、摄像装置的位置等。
[0219]“状态数据”包括多维正态分布数据，该多维正态分布数据包括指示摄像装置的位置、姿态、速度和角速度的均值向量和方差-协方差矩阵以及每个特征点的位置信息。方差-协方差矩阵包括摄像装置的位置、姿态、速度和角速度的[方差]、每个特征点的位置信息及其本征状态值，以及与关于每个以上状态值的不同状态值的组合的相关信息对应的[协方差]。
[0220]
在包括在以上(表达式3)中的下面的参数中，即，
[0221]
λ：归一化参数
[0222]
a：摄像装置固有参数，
[0223]
cw：摄像装置位置，以及
[0224]
rw：摄像装置旋转矩阵，
[0225]
λ和a是已知的，并且cw和rw可以由slam计算。
[0226]
通过使用这些参数，可以生成用作成像被摄体的对象的三维位置m与摄像装置对对象的成像位置(成像像素位置)m之间的关系表达式，即，以上(表达式3)。因此，可以分析用作世界坐标系中指示的成像被摄体的对象的三维位置m与摄像装置坐标系中指示的对象成像位置之间的对应关系。
[0227]
以上(表达式3)示出以下之间的位置关系
[0228]
(1)世界坐标系中指示的对象位置(m)，以及
[0229]
(2)摄像装置坐标系中指示的对象成像位置(m)，
[0230]
即，世界坐标系和摄像装置坐标系的两个不同坐标系中的点(m.m)。表达式(3)中的关系表达式不限于世界坐标系和摄像装置坐标系的组合，并且还可以被开发为示出两个不同坐标系的其他组合的两点(m.m)之间的位置关系的关系表达式。
[0231]
具体地，例如，关系表达式还可以被开发为示出了以下之间的位置关系的表达式
[0232]
(1)ned坐标系中指示的对象位置(m)，以及
[0233]
(2)摄像装置坐标系中指示的对象成像位置(m)，
[0234]
即，ned坐标系和摄像装置坐标系的两个不同坐标系中的点(m.m)。
[0235]
在这种情况下的关系表达式，即，示出以下之间的位置关系的关系表达式
[0236]
(1)ned坐标系中指示的对象位置(m)，以及
[0237]
(2)摄像装置坐标系中指示的对象成像位置(m)，
[0238]
即，ned坐标系和摄像装置坐标系的两个不同坐标系中的点(m.m)可以由以下(表达式4)示出。
[0239]
[数学式6]
[0240][0241]
以上(表达式4)对应于其中用于以上(表达式3)中的世界坐标系的下面的参数被改变为用于ned坐标系的参数的表达式，
[0242]
rw：摄像装置旋转矩阵，
[0243]
m：对象位置，以及
[0244]
cw：摄像装置位置。
[0245]
即，通过将以上参数改变为用于ned坐标系的下面的参数来获得该表达式：
[0246]rned
：摄像装置旋转矩阵，
[0247]mned
：对象位置，以及
[0248]cned
：摄像装置位置。
[0249]
(表达式4)中的关系表达式是定义ned坐标系中的对象位置与摄像装置坐标系中的对象成像位置之间的对应关系的表达式，摄像装置坐标系中的对象成像位置是当摄像装置对对象成像时成像元件中的对象成像位置。
[0250]
通过使用该关系表达式，可以计算坐标转换矩阵
[0251]ct
ned
[0252]
用于将ned坐标系中的位置(
ned
p
x
)转换为摄像装置坐标系中的位置(cp
x
)。
[0253]
如以上参照图7所述，在用户终端10的显示单元上显示的显示图像的每个像素位置(u，v)与摄像装置坐标系中的xy坐标(xc，yc)一一对应，并且如果ned坐标系中指示的飞行路径上的位置可以被转换为摄像装置坐标系中的位置，则该路径可以被准确地输出到摄像装置坐标系中示出的显示图像。
[0254]
将描述计算坐标转换矩阵ct
ned
的处理的具体示例，该坐标转换矩阵ct
ned
用于将ned坐标系中的位置(
ned
p
x
)转换为摄像装置坐标系中的位置(cp
x
)。
[0255]
图14(1)与上述图10和图11类似。用户通过使用用户终端10来在预定时间内捕获在天空中飞行的无人机20的图像。无人机20可能不是携带将被递送到用户的包裹的无人机。然而，无人机需要是能够获取无人机的飞行路径位置信息(ned坐标上的位置信息)的无人机。
[0256]
在图14(1)的示例中，随着时间从时间(t1)经过时间(t2)到时间(t3)，无人机20从右向左飞行。
[0257]
用户终端10的数据处理单元将无人机在至少三个不同位置处的捕获图像位置记录在存储器上。
[0258]
如图14所示，数据处理单元在存储器上记录例如在诸如c-mos的摄像装置成像表面51上的与三个不同位置处的无人机相对应的无人机成像位置52-1至52-3。
[0259]
在时间(t1)、(t2)和(t3)处的ned坐标系中的无人机位置被指示如下：
[0260]
在时间(t1)处的无人机位置＝
ned
p
dronet1
，
[0261]
在时间(t2)处的无人机位置＝
ned
p
dronet2
，以及
[0262]
在时间(t3)处的无人机位置＝
ned
p
dronet3
。
[0263]
此外，在时间(t1)、(t2)和(t3)处的摄像装置坐标系中的成像位置被指示如下：
[0264]
在时间(t1)处的无人机成像位置＝m
dronet1
，
[0265]
在时间(t2)处的无人机成像位置＝m
dronet2
，以及
[0266]
在时间(t3)处的无人机成像位置＝m
dronet3
。
[0267]
注意，在以上描述中省略了m上的(～)。这些无人机成像位置是三维齐次坐标系中指示的摄像装置坐标系中的位置信息。
[0268]
当通过使用下面的参数示出以上(表达式4)——即，定义ned坐标系中的对象位置与摄像装置坐标系中的对象成像位置之间的对应关系的(表达式4)——时，其中，摄像装置坐标系中的对象成像位置是当摄像装置对对象成像时成像元件中的对象成像位置：
[0269]
ned坐标系中的无人机位置
ned
p
drone
，
[0270]
ned坐标系中的摄像装置位置
ned
pc，以及
[0271]
摄像装置坐标系中的无人机成像位置＝m
drone
，
[0272]
(表达式4)可以由以下(表达式5)表示。
[0273]
[数学式7]
[0274][0275]
此外，基于以上(表达式5)导出以下(表达式6)。
[0276]
[数学式8]
[0277][0278]
注意，
[0279]cr
tned
表示旋转矩阵cr
ned
的转置矩阵，cr
ned
用于将ned坐标系转换为摄像装置坐标系。
[0280]
a-1
表示以上参照图13描述的摄像装置固有参数a的逆矩阵。
[0281]
当图14中的时间(t1)至(t3)处的ned坐标系中的三个不同的无人机位置和与这些无人机位置相对应的摄像装置坐标系中的无人机成像位置被代入以上(表达式6)中时，获得包括以下(表达式7)中的三个表达式的联立方程。
[0282]
[数学式9]
[0283][0284][0285][0286]
在以上(表达式7)的联立方程中，以下的每个参数是已知的。
[0287]
ned坐标系中的无人机位置：
ned
p
drone
可以从无人机或无人机管理服务器获取。
[0288]
摄像装置固有参数a的逆矩阵a-1
是已知的。
[0289]
在时间(t1)至(t3)处的无人机成像位置＝m
dronet1
至m
dronet3
是摄像装置成像系统的坐标位置信息，并且可以通过分析摄像装置捕获的图像来获取。
[0290]
因此，以上(表达式7)中的联立方程中的未知参数是下面的参数：
[0291]
ned坐标系中的摄像装置位置：
ned
pc，
[0292]
旋转矩阵：cr
ned
的转置矩阵：cr
tned
，cr
ned
用于将ned坐标系转换为摄像装置坐标系，以及
[0293]
归一化系数：λt1、λ
t2
、λ
t3
。
[0294]
这里，以上(表达式7)中的联立方程中的未知参数是下面的九个参数(三个位置元素、三个姿态元素和三个归一化系数)：
[0295]
ned坐标系中的摄像装置位置：
ned
pc，
[0296]
旋转矩阵：cr
ned
的转置矩阵：cr
tned
，cr
ned
用于将ned坐标系转换为摄像装置坐标系，以及
[0297]
归一化系数：λt1、λ
t2
、λ
t3
。
[0298]
可以通过求解包括三个表达式(信息量为九)的联立方程来计算这些参数的值。
[0299]
通过使用所计算的参数值，如图15所示，可以计算用于将ned坐标系中的位置(
ned
p
x
)转换为摄像装置坐标系中的位置(cp
x
)的坐标转换矩阵(ct
ned
)。
[0300]
图15(3)的坐标转换矩阵(ct
ned
)，即，用于将ned坐标系中的位置(
ned
p
x
)转换为摄像装置坐标系中的位置(cp
x
)的坐标转换矩阵(ct
ned
)，是如下矩阵：其中，将上述参照图8描述的用于将ned坐标系中的位置(
ned
p
x
)转换为摄像装置坐标系中的位置(cp
x
)的坐标转换矩阵(ct
ned
)的矩阵元素之中的世界坐标系的元素替换为ned坐标系的元素。
[0301]
即，用于将ned坐标系中的位置(
ned
p
x
)转换为摄像装置坐标系中的位置(cp
x
)的坐
标转换矩阵(ct
ned
)可以由以下(表达式8)示出。
[0302]
[数学式10]
[0303][0304]
以上(表达式8)中的坐标转换矩阵(ct
ned
)的矩阵元素由通过求解以上(表达式7)中的联立方程而获得的参数形成。
[0305]
因此，通过求解以上(表达式7)的联立方程，能够计算用于将ned坐标系中的位置(
ned
p
x
)转换为摄像装置坐标系中的位置(cp
x
)的坐标转换矩阵(ct
ned
)。
[0306]
如上所述，用作本公开内容的图像处理装置的用户终端10首先在图14(1)和图15(1)中的时间(t1)至(t3)处获取ned坐标系中的三个不同的无人机位置，并且获取摄像装置坐标系中与这些无人机位置相对应的无人机成像位置。
[0307]
接着，通过求解以上(表达式7)中的联立方程来获取下面的未知参数：
[0308]
ned坐标系中的摄像装置位置：
ned
pc，以及
[0309]
旋转矩阵：cr
ned
的转置矩阵：cr
tned
，cr
ned
用于将ned坐标系转换为摄像装置坐标系。
[0310]
接着，使用所计算的参数生成坐标转换矩阵(ct
ned
)，即，用于将ned坐标系中的位置(
ned
p
x
)转换为摄像装置坐标系中的位置(cp
x
)的坐标转换矩阵(ct
ned
)。
[0311]
通过使用坐标转换矩阵(ct
ned
)，可以将ned坐标系中指示的飞行路径上的位置转换为摄像装置坐标系中指示的位置。
[0312]
如上参照图3和图5所述，用作本公开内容的图像处理装置的用户终端10可以从无人机20或用作执行无人机20的控制等的控制中心的无人机管理服务器30获取ned坐标系中指示的飞行路径信息。
[0313]
用户终端10能够对ned坐标系中指示的获取的飞行路径信息应用以上(表达式8)中的坐标转换矩阵ct
ned
，从而获取摄像装置坐标系中指示的飞行路径位置，并且将获取的摄像装置坐标系中指示的飞行路径位置(飞行路径或预定飞行路径)输出到实际捕获的图像、即包括无人机的实际图像的图像。
[0314]
结果，如图16所示，可以输出并显示无人机的飞行路径(飞行路径或预定飞行路径)，而相对于用作实际捕获图像的无人机图像没有偏差。
[0315]
图16的图像显示示例是由用作本公开内容的图像处理装置的用户终端10执行的ar图像显示示例，其是无人机的飞行路径(飞行路径或预定飞行路径)被输出并且相对于用作实际捕获图像的无人机图像没有偏差地显示的示例。
[0316]
注意，上述处理基于以下假设：在三个不同位置处对无人机进行成像的时段期间，即在图14(1)和图15(1)中从时间(t1)至(t3)的无人机成像时间期间，摄像装置的位置和姿态不变。
[0317]
在三个不同的位置处对无人机进行成像的时段期间，在摄像装置的位置和姿态改变的情况下，需要考虑摄像装置的位置和姿态的改变来执行处理。
[0318]
在下文中，将参照图17描述该处理示例。
[0319]
同样在该处理示例中，也获取ned坐标系中的三个不同的无人机位置和与无人机位置对应的摄像装置坐标系中的无人机成像位置，基于以上获取的信息，生成用于将ned坐
标系中的位置(
ned
p
x
)转换为摄像装置坐标系中的位置(cp
x
)的坐标转换矩阵(ct
ned
)。
[0320]
在对无人机进行成像的时段期间，在摄像装置的位置和姿态变化的情况下，如图17(1)所示，在不同位置对无人机20进行成像的摄像装置的位置和姿态不同。
[0321]
在图17(1)的示例中，在时间(t1)处对无人机成像的摄像装置的成像表面是摄像装置成像表面51(t1)，并且在时间(t2)处对无人机成像的摄像装置的成像表面是摄像装置成像表面51(t2)。那些摄像装置成像表面处于不同的位置和姿态。
[0322]
这里，将用于在时间(t1)处将世界坐标系(slam坐标系)转换为摄像装置坐标系的坐标转换矩阵定义为(c
t1
t
ws
)。
[0323]
此外，将用于在时间(t2)处将世界坐标系(slam坐标系)转换为摄像装置坐标系的坐标转换矩阵定义为(c
t2
t
ws
)。
[0324]
注意，用于在时间(tn)处将世界坐标系(slam坐标系)转换为摄像装置坐标系的坐标转换矩阵(c
tn
t
ws
)是在时间(n)上对应于坐标转换矩阵(c
t
t
ws
)的矩阵，该坐标转换矩阵用于以上参照图8描述的将三维空间中的一个点(x)的世界坐标系(slam坐标系)中的位置(
ws
p
x
)转换为摄像装置坐标系中的位置(cp
x
)。
[0325]
在由用户终端10执行的slam处理中，即，在其中并行执行摄像装置位置的定位和环境地图的创建(地图绘制)的同时定位和地图绘制(slam)处理中，可以获取包括在用于在时间(tn)处将世界坐标系转换为摄像装置坐标系的坐标转换矩阵(
ctn
t
ws
)中的矩阵元素。
[0326]
因此，在时间(tn)处的坐标转换矩阵(
ctn
t
ws
)例如
[0327]
图17所示的用于在时间(t1)处将世界坐标系(slam坐标系)转换为摄像装置坐标系的坐标转换矩阵(
ct1
t
ws
)，以及
[0328]
用于在时间(t2)处将世界坐标系(slam坐标系)转换为摄像装置坐标系的坐标转换矩阵(
ct2
t
ws
)
[0329]
可以由slam处理来计算。
[0330]
此外，用于将时间(t1)处的摄像装置坐标系转换为时间(t2)处的摄像装置坐标系的坐标转换矩阵是(
ct2
t
ct1
)，并且可以根据下面的表达式来计算。
[0331]
ct2
t
ct1
＝
ct2
t
ws
×
ct1
t
ws-1
[0332]
用作本公开内容的图像处理装置的用户终端10执行坐标转换，其中以上坐标转换矩阵：
ct2
t
ct1
在对时间(t1)处的无人机进行成像的时间(t1)处，被应用于摄像装置的成像平面上的无人机成像位置。通过该坐标转换，将时间(t1)处的摄像装置坐标系中的无人机成像位置转换为时间(t2)处的摄像装置坐标系中的无人机成像位置。
[0333]
此外，在时间(t1)处要被转换到摄像装置的成像表面内的无人机的位置，
[0334]
ned
p'
dronet1
[0335]
可以由下面的表达式表示。
[0336]
ned
p
′
dronet1
＝
ned
p
dronet1
+(
ct2rtned
)
·
(
ct2rct1
)
·
(
ct1
p
ct2
)
[0337]
结果，可以将两个不同摄像装置坐标系上的无人机成像位置转换为根据一个公共摄像装置坐标系的无人机成像位置。
[0338]
关于与三个不同的无人机位置相对应的无人机成像位置，通过执行以上处理，能够在一个共同的摄像装置坐标系上设定与三个不同的无人机位置相对应的无人机成像位置。
[0339]
图18(1)示出了在三个不同位置处对无人机成像的摄像装置处于不同位置和姿态的示例。
[0340]
如图18(1)所示，摄像装置(用户终端10)在时间(t1)、(t2)和(t3)处处于不同位置和姿态，并且处于不同位置和姿态的摄像装置分别在时间(t1)、(t2)和(t3)处对无人机20进行成像。
[0341]
无人机20的飞行路径和预定飞行路径在最迟的时间(t3)处被输出。在这种情况下，用户终端10的数据处理单元执行下面的处理：
[0342]
(1)建立用于执行其中将坐标转换矩阵(
ct3
t
ct1
)应用于在时间(t1)处的无人机成像位置的坐标转换的方程；以及
[0343]
(2)建立用于执行其中将坐标转换矩阵(
ct3
t
ct2
)应用于在时间(t2)处的无人机成像位置的坐标转换的方程。
[0344]
通过以上坐标转换处理，将在时间(t1)和(t2)处的摄像装置坐标系中的无人机成像位置转换为时间(t3)处的摄像装置坐标系中的无人机成像位置。
[0345]
通过建立这些方程，可以建立联立方程，用于在一个公共摄像装置坐标系(在时间(t3)处的摄像装置坐标系)上设置与三个不同的无人机位置相对应的无人机成像位置。
[0346]
即，可以建立联立方程，用于在一个公共摄像装置坐标系(在时间(t3)处的摄像装置坐标系)上设置下面的三个无人机成像位置：
[0347]
在时间(t1)处的无人机成像位置＝m
dronet1
时，
[0348]
在时间(t2)处的无人机成像位置＝m
dronet2
，以及
[0349]
在时间(t3)处的无人机成像位置＝m
dronet3
。
[0350]
注意，在以上描述中省略了m上的(～)。这些无人机成像位置是三维齐次坐标系中指示的摄像装置坐标系中的位置信息。
[0351]
此后，执行与以上参照图14和图15描述的处理类似的处理。
[0352]
首先，如图18(2)所示，生成联立方程，其包括在时间(t1)至(t3)处的以上无人机成像位置＝m
dronet1
至m
dronet3
与ned坐标系中的无人机位置之间的对应关系方程，即，以上(表达式7)中的联立方程。
[0353]
接着，使用通过求解联立方程获得的参数，计算图18(3)中的坐标转换矩阵(ct
ned
)，即，用于将ned坐标系中的位置(
ned
p
x
)转换为摄像装置坐标系中的位置(cp
x
)的坐标转换矩阵(ct
ned
)。
[0354]
通过使用坐标转换矩阵(ct
ned
)，将ned坐标系中指示的飞行路径上的位置转换为摄像装置坐标系中指示的位置，并且将摄像装置坐标系中指示的获取的飞行路径位置(飞行路径或预定飞行路径)输出到实际拍摄的图像，即，包括无人机的真实图像的图像。
[0355]
注意，在图18的示例中，在时间(t3)处将飞行路径位置(飞行路径或预定飞行路径)输出到摄像装置捕获图像。
[0356]
注意，之后，在时间(t4)、(t5)
……
处连续输出了飞行路径位置(飞行路径或预定飞行路径)的情况下，只要连续执行上述处理即可。
[0357]
在时间(t4)处将飞行路径位置(飞行路径或预定飞行路径)输出到摄像装置捕获图像的情况下，生成联立方程，即，以上(表达式7)的联立方程，该联立方程包括在时间(t2)、时间(t3)以及时间(t4)处的无人机成像位置＝m
dronet2
至m
dronet4
与ned坐标系中的无人
机位置之间的对应关系方程。
[0358]
在时间(t5)处将飞行路径位置(飞行路径或预定飞行路径)输出到摄像装置捕获图像的情况下，生成联立方程，即，以上(表达式7)的联立方程，该联立方程包括在时间(t3)、时间(t4)以及时间(t5)处的无人机成像位置＝m
dronet3
至m
dronet5
与ned坐标系中的无人机位置之间的对应关系方程。
[0359]
在下文中，如果继续执行类似的处理，则随着摄像装置的移动，摄像装置拍摄图像上的飞行路径位置(飞行路径或预定飞行路径)也移动。因此，连续输出准确的飞行路径。
[0360]
[3.由本公开内容的图像处理装置执行的处理的序列]
[0361]
接着，将描述由本公开内容的图像处理装置执行的处理的序列。
[0362]
图19和随后附图中的流程图示出了由本公开内容的图像处理装置，例如，诸如智能手机的用户终端10执行的处理序列。
[0363]
根据图19和随后附图中所示的流程的处理可以在包括具有图像处理装置的程序执行功能的cpu等的控制单元(数据处理单元)的控制下，根据存储在图像处理装置内部的存储器中的程序来执行。
[0364]
在下文中，将依次描述图19和随后附图中所示的流程中的各个步骤中的处理。
[0365]
注意，可以并行执行图19中的步骤s111至s114中的处理和步骤s121至s123中的处理。
[0366]
首先，将描述步骤s111至s114中的处理。
[0367]
(步骤s111)
[0368]
步骤s111中的处理是通过使用用户终端10捕获天空中的无人机的图像的处理。
[0369]
在时间t(n)处，通过例如使用诸如智能手机的用户终端10的摄像装置来捕获飞行无人机20的图像。
[0370]
即，如以上参照图10和图11所描述的，捕获飞行的无人机20的图像。
[0371]
如图10所示，用户通过使用用户终端10来在预定时间内捕获在空中飞行的无人机20的图像。无人机20可以不是携带要递送到用户的包裹的无人机。然而，无人机需要是能够获取无人机的飞行路径位置信息(ned坐标上的位置信息)的无人机。
[0372]
(步骤s112)
[0373]
接着，在步骤s112中，用户终端10获取在时间t(n)处的捕获图像中的无人机成像位置信息(摄像装置坐标系中的成像位置信息(m
dronet(n)
)。注意，在说明书中省略了m上的(～)。
[0374]
无人机成像位置是在时间t(n)处在摄像装置坐标系(齐次坐标系)中指示的成像位置。
[0375]
(步骤s113)
[0376]
接着，在步骤s113中，用户终端10获取在时间t(n)处的无人机的位置信息(ned坐标系中的位置信息(
ned
p
dronet(n)
)。
[0377]
如以上参照图3和图5所述，用作本公开内容的图像处理装置的用户终端10可以从无人机20或执行无人机20的控制等的诸如控制中心的无人机管理服务器30获取ned坐标系中指示的飞行路径信息。
[0378]
(步骤s114)
[0379]
接着，在步骤s114中，用户终端10将时间t(n)处的无人机的成像位置信息(摄像装置坐标系中的成像位置信息(m
dronet(n)
)和位置信息(ned坐标系中的位置信息(
ned
p
dronet(n)
))与时间t(n)相关联地记录在存储器中。
[0380]
接着，将描述与步骤s111至s114中的处理并行执行的步骤s121至s123中的处理。
[0381]
(步骤s121)
[0382]
用户终端10在步骤s121中执行下面的处理。
[0383]
用户终端在时间t(n)处，即在步骤s111中捕获无人机的图像的定时处执行slam处理。
[0384]
如上所述，slam处理是其中并行执行摄像装置位置的定位和环境地图的创建(地图绘制)的处理。
[0385]
(步骤s122)
[0386]
接着，在步骤s122中，用户终端10在成像时间t(n)处基于步骤s121中的slam处理结果计算用于将世界坐标系(slam坐标系)转换为摄像装置坐标系的坐标转换矩阵(
ct(n)
t
ws
)。
[0387]
步骤s122中的处理对应于以上参照图17(1)所述的处理。
[0388]
(步骤s123)
[0389]
接着，在步骤s123中，用户终端10在存储器上记录在步骤s122中计算的坐标转换矩阵(
ct(n)
t
ws
)，即，在成像时间t(n)处用于将世界坐标系(slam坐标系)转换为摄像装置坐标系的坐标转换矩阵(
ct(n)
t
ws
)。
[0390]
当完成步骤s111至s114中的处理和步骤s121至s123中的处理时，执行步骤s124中的处理。
[0391]
(步骤s124)
[0392]
在步骤s124中，用户终端10确定存储器上是否记录有三个或更多个条目。
[0393]
即，确定基于在三个不同无人机位置处捕获的图像的数据是否被记录在存储器上。
[0394]
将参照图20描述记录在存储器上的特定记录数据的示例。
[0395]
图20示出了记录基于在三个不同无人机位置处的捕获图像的数据的示例。
[0396]
如图20所示，与天空中的无人机的成像时间(例如，t(n))相对应的条目被记录在存储器上。在每个条目中，下面的数据被记录为与无人机成像时间相对应的数据。
[0397]
(1)时间(t)(＝无人机成像时间)
[0398]
(2)摄像装置坐标系中的无人机成像位置
[0399]
(3)ned坐标系中的无人机位置
[0400]
(4)用于将世界坐标系(slam坐标系)转换为摄像装置坐标系的坐标转换矩阵
[0401]“(2)摄像装置坐标系中的无人机成像位置”是在图19的流程中的步骤s112中获取的捕获图像中的无人机成像位置信息(例如，摄像装置坐标系中的成像位置信息(m
dronet(n)
)。
[0402]“(3)ned坐标系中的无人机位置”是在图19的流程中的步骤s113中获取的图像捕获定时处在天空中的无人机的位置信息(ned坐标系中的位置信息(例如，
ned
p
dronet(n)
)。
[0403]“(4)用于将世界坐标系(slam坐标系)转换为摄像装置坐标系的坐标转换矩阵”是
在图19的流程中的步骤s122中计算的在成像时间处的用于将世界坐标系(slam坐标系)转换为摄像装置坐标系的坐标转换矩阵(例如，
ct(n)
t
ws
)。
[0404]
在存储器中的与成像时间相对应的每个条目中，记录有与无人机成像时间相对应的以上数据。
[0405]
在图19的流程图中的步骤s124中，确定是否存在记录在存储器上的三个或更多条目。
[0406]
即，确定基于在三个不同无人机位置处的捕获的图像的数据是否被记录在存储器上。
[0407]
在基于三个不同无人机位置处的捕获图像的数据被记录在存储器上的情况下，如图20所示，处理进行到下一步骤s131。
[0408]
同时，在基于三个不同无人机位置处的捕获图像的数据没有被记录在存储器上的情况下，步骤s124中的确定为否，并且处理进行到步骤s125。
[0409]
(步骤s125)
[0410]
在步骤s125中，将时间设置参数n设置为下一时间n+1，并且在下一时间(n+1)处执行步骤s111至s114的处理和步骤s121至s123的处理。
[0411]
即，在时间(n+1)处对位于与时间(n)处的位置不同的位置处的无人机进行成像，并且执行处理。
[0412]
(步骤s131)
[0413]
在步骤s124中，在确定基于在三个不同无人机位置处的捕获图像的数据被记录在存储器上的情况下，如图20所示，处理进行到步骤s131。
[0414]
如图21所示，用户终端10在步骤s131中执行下面的处理。
[0415]
计算用于将无人机成像时的摄像装置坐标系转换为无人机飞行路径被输出处的时间t(out)时的摄像装置坐标系的坐标转换矩阵(例如，
ct(out)
t
ct(n)
)，并且将其记录在存储器上。
[0416]
该处理对应于以上参照图17描述的处理。
[0417]
将参照图22描述记录在存储器上的坐标转换矩阵(例如，
ct(out)
t
ct(n))
的示例。
[0418]
在步骤s131中记录在存储器上的数据是图22中所示的(5)的数据，即，
[0419]
(5)用于将对无人机进行成像时的摄像装置坐标系转换为输出飞行路径时的摄像装置坐标系的坐标转换矩阵
[0420]
的数据。
[0421]
注意，在图22的示例中，在与图22中的三个成像时间相对应的条目中，时间＝t(n+2)被设置为无人机飞行路径输出时间t(out)。
[0422]
即，满足
[0423]
t(n+2)＝t(out)。
[0424]
在这种情况下，如图22所示，另外记录为“(5)用于将对无人机进行成像时的摄像装置坐标系转换为输出飞行路径时的摄像装置坐标系的坐标转换矩阵”的坐标转换矩阵仅为
[0425]
在成像时间＝t(n)和成像时间＝t(n+1)时的坐标转换矩阵。
[0426]
关于成像时间＝t(n+2)处的数据，不需要另外记录坐标转换矩阵，因为对无人机
进行成像时的摄像装置坐标系与输出飞行路径时的摄像装置坐标系匹配。
[0427]
对于在成像时间＝t(n)处的条目，
[0428]
用于将对无人机进行成像时(t＝(n))的摄像装置坐标系(ct(n))转换为输出飞行路径时的摄像装置坐标系(ct(out))的坐标转换矩阵，即
[0429]
ct(out)
t
ct(n)
[0430]
被加入。
[0431]
此外，对于在成像时间＝t(n+1)处的条目，
[0432]
用于将对无人机进行成像时(t＝(n+1))的摄像装置坐标系ct(n+1)转换为输出飞行路径时的摄像装置坐标系ct(out)的坐标转换矩阵，即，
ct(out)
t
ct(n+1)
[0433]
被加入。
[0434]
(步骤s132)
[0435]
如图21的流程所示，接着，用户终端10在步骤s132中执行下面的处理。
[0436]
用户终端执行在无人机成像时对摄像装置坐标系中的无人机成像位置应用了坐标转换矩阵(
ctc
t
ctn
)的坐标转换处理，计算无人机飞行路径输出时间t(out)处的与摄像装置坐标系相对应的无人机成像位置，并且将无人机成像位置记录在存储器中。
[0437]
该处理对应于以上参照图17和图18(1)所述的处理。
[0438]
将参照图22描述记录在存储器上的在无人机飞行路径输出时间t(out)处的与摄像装置坐标系相对应的无人机成像位置的示例。
[0439]
在步骤s132中记录在存储器上的数据是图22中所示的(6)的数据，即，
[0440]
(6)无人机飞行路径输出时间t(out)处的与摄像装置坐标系相对应的无人机成像位置
[0441]
的数据。
[0442]
注意，在图22的示例中，时间＝t(n+2)被设置为与图22中的三个成像时间相对应的条目中的无人机飞行路径被输出的时间t(out)。
[0443]
即，满足
[0444]
t(n+2)＝t(out)。
[0445]
在这种情况下，在步骤s132中，用户终端10计算下面的数据并且将该数据记录在存储器上。
[0446]
在无人机成像时间＝t(n)处对数据执行的处理如下。
[0447]
在无人机成像时间＝t(n)处，对摄像装置坐标系(c
t(n)
)中的无人机成像位置(m
dront(n)
)执行应用了坐标转换矩阵(
ct(out)
t
ct(n)
)的坐标转换处理。即，执行以下坐标转换处理。
[0448]
λ(m
dronetn
)＝a
·
(c
tout
t
ned
)
·
(
ned
p
dronetn
)λ
[0449]
从以上方程获取的坐标指示在无人机飞行路径输出时间t(out)处与摄像装置坐标系相对应的无人机成像位置。该坐标位置被记录在存储器上。
[0450]
此外，在无人机成像时间＝t(n+1)处对数据执行的处理如下。
[0451]
在无人机成像时间＝t(n+1)处，对摄像装置坐标系(c
t(n+1)
)中的无人机成像位置(m
dront(n+1)
)执行应用了坐标转换矩阵(
ct(out)
t
ct(n+1)
)的坐标转换处理。即，执行下面的坐标转换处理。
[0452]
λ(m
dronetn+1
)＝a
·
(
ctout
t
ned
)
·
(
ned
p
dronetn+1
)
[0453]
从以上方程获取的坐标指示在无人机飞行路径输出时间t(out)处与摄像装置坐标系相对应的无人机成像位置。该坐标位置被记录在存储器上。
[0454]
此外，在无人机成像时间＝t(n+2)处对数据执行的处理如下。
[0455]
在无人机成像时间＝t(n+2)处的摄像装置坐标系(c
t(n+2)
)与在无人机飞行路径输出时间t(out)处的摄像装置坐标系(c
t(out)
)匹配。
[0456]
因此，不需要坐标转换，并且将无人机成像时间＝t(n+2)处的摄像装置坐标系(c
t(n+2)
)中的无人机成像位置(m
dront(n+2)
)原样记录在存储器中。
[0457]
以上记录的数据是记录在图22的项(6)中的数据。
[0458]
接着，将描述图23的流程中的步骤s133和随后的步骤中的处理。
[0459]
(步骤s133)
[0460]
用户终端10在步骤s133中执行下面的处理。
[0461]
用户终端生成联立方程(表达式7)，该联立方程包括记录在存储器中的ned坐标系中的三个不同位置处的无人机位置与和各无人机位置相对应的无人机成像位置(时间t(out)处的摄像装置坐标系上的成像位置)之间的对应关系方程。
[0462]
所生成的联立方程是以上参照图14(2)、图15(2)和图18(2)所述的联立方程，并且是以上(表达式7)所述的联立方程。
[0463]
注意，作为形成(表达式7)中的联立方程的三个方程中包括的无人机成像位置(m
dronetn
)，使用在步骤s132中计算的位置，即，与无人机飞行路径输出时间t(out)处的摄像装置坐标系相对应的无人机成像位置。
[0464]
即，使用参照图22描述的存储器记录数据的项(6)中记录的转换后的坐标位置。
[0465]
(步骤s134)
[0466]
接着，在步骤s134中，用户终端10计算其中通过求解在步骤s133中生成的联立方程(表达式7)而获取的参数用作矩阵元素的坐标转换矩阵(
ct(out)
t
ned
)，即，用于将ned坐标系中的位置(
ned
p
x
)转换为摄像装置坐标系中的位置(
ct(out)
p
x
)的坐标转换矩阵(
ct(out)
t
ned
)(表达式8)。
[0467]
该坐标转换矩阵(
ct(out)
t
ned
)对应于以上参照图15(3)和图18(3)所述的坐标转换矩阵(ct
ned
)，并且还对应于以上作为(表达式8)所述的坐标转换矩阵(ct
ned
)。
[0468]
(步骤s135)
[0469]
接着，在步骤s135中，用户终端10应用步骤s134中生成的坐标转换矩阵(
ct(out)
t
ned
)，并且将ned坐标系中的无人飞行路径位置转换为摄像装置坐标系中的位置。
[0470]
注意，从无人机20或无人机管理服务器30获取ned坐标系中的无人机飞行路径(飞行路径或预定飞行路径)。
[0471]
(步骤s136)
[0472]
接着，在步骤s136中，用户终端10将通过步骤s135中的坐标转换获得的、被转换为摄像装置坐标系中的位置信息的飞行路径输出到用户终端的显示单元。
[0473]
通过执行以上处理，能够在无人机的捕获图像上准确地显示无人机的路径信息。
[0474]
即，如上所述的图16所示，可以输出并显示无人机的飞行路径(飞行路径或预定飞行路径)，而相对于用作实际捕获图像的无人机图像没有偏差。
[0475]
[4.本公开内容的图像处理装置和无人机的配置示例]
[0476]
接着，将描述本公开内容的图像处理装置和无人机的配置示例。
[0477]
图24示出了用作本公开内容的图像处理装置的用户终端100和无人机200的配置示例。
[0478]
用作本公开内容的图像处理装置的用户终端100例如是诸如智能电话的带摄像装置的通信终端。用户终端不限于智能电话，并且可以是诸如pc或摄像装置装置的装置。
[0479]
用户终端100具有能够与无人机200和无人机管理服务器300通信的配置。
[0480]
无人机200通过使用例如与无人机管理服务器300的通信信息或与gps卫星400的通信信息来根据预定义的飞行路径飞行。
[0481]
如图24所示，用户终端100包括摄像装置101、数据处理单元102、存储单元(存储器)103、通信单元104、显示单元105、输入单元106和输出单元107。
[0482]
摄像装置101例如用于在slam处理时对无人机进行成像或捕获图像的处理。
[0483]
数据处理单元102执行上述无人机的飞行路径的输出控制。即，数据处理单元执行例如生成其中飞行路径被叠加在无人机等的真实图像上的ar图像并且在显示单元105上显示该ar图像的处理。
[0484]
此外，数据处理单元控制在用户终端100中执行的处理，例如slam处理和图像捕获控制。
[0485]
数据处理单元102包括例如诸如具有程序执行功能的cpu的处理器，并且根据存储在存储单元103中的程序执行处理。
[0486]
存储单元(存储器)103用作由数据处理单元102执行的程序的存储区域和工作区域。存储单元(存储器)还用作用于应用于处理的各种参数的存储区域。存储单元(存储器)103包括ram、rom等。
[0487]
通信单元104与无人机200和无人机管理服务器300通信。例如，通信单元执行例如从无人机200或无人机管理服务器300接收无人机200的飞行路径信息的处理。
[0488]
显示单元105显示摄像装置捕获图像，并且还输出由数据处理单元102生成的无人机的飞行路径信息。即，显示单元显示其中在无人机等的真实图像上叠加了飞行路径的ar图像。
[0489]
输入单元106是由用户执行的操作单元，并且用于各种类型的处理，例如，用户请求的诸如图像捕获、路径显示的开始和结束等的输入处理。
[0490]
输出单元107包括声音输出单元、图像输出单元等。
[0491]
接着，将描述无人机200的配置。
[0492]
无人机200包括路径规划单元201、路径控制单元202、定位传感器(gps信息接收分析单元)203以及通信单元204。
[0493]
路径规划单元201规划并确定无人机200的飞行路径。例如，路径规划单元基于从无人机管理服务器300接收的信息来规划并确定特定飞行路径。
[0494]
路径控制单元202执行飞行控制，以使无人机200根据由路径规划单元201确定的飞行路径飞行。
[0495]
定位传感器(gps信息接收分析单元)203与gps卫星400通信，基于与gps卫星400的通信信息来分析无人机200的当前位置(纬度、经度和高度)，并且将分析信息输出到路径控
制单元202。
[0496]
路径控制单元202参照来自定位传感器(gps信息接收分析单元)203的输入信息并且执行使无人机200根据由路径规划单元201确定的飞行路径飞行的飞行控制。
[0497]
通信单元204与无人机管理服务器300和用户终端100通信。
[0498]
注意，在上述实施方式中已经描述了显示无人机的飞行路径的处理示例。但是，本公开内容的处理不限于无人机的飞行路径的显示，并且例如，也能够应用于显示诸如机器人和自主车辆的其他移动对象的路径信息的处理。
[0499]
通过将上述实施方式中的无人机替换为机器人或自主车辆，能够执行类似的处理。
[0500]
[5.本公开内容的配置的概要]
[0501]
在上文中，已经通过参照具体实施方式详细描述了本公开内容的实施方式。然而，明显的是，本领域技术人员可以在不背离本公开内容的范围的情况下对实施方式进行修改和替换。即，本发明已经以示例的形式进行了描述，并且不应该以限制的方式进行解释。为了确定本公开内容的要旨，应当考虑权利要求。
[0502]
注意，本说明书中公开的技术可以如下配置。
[0503]
(1)一种图像处理装置，包括：
[0504]
数据处理单元，所述数据处理单元在显示单元上显示移动装置的移动路径，所述显示单元显示所述移动装置的摄像装置捕获图像，其中，
[0505]
所述数据处理单元
[0506]
执行坐标转换处理，所述坐标转换处理将指示所述移动装置的移动路径的、根据第一坐标系的位置信息转换到能够指定所述显示单元上的显示图像的像素位置的第二坐标系中，以及
[0507]
将具有通过所述坐标转换处理生成的根据所述第二坐标系的位置信息的移动路径输出到所述显示单元。
[0508]
(2)一种在图像处理装置中执行的图像处理方法，其中：
[0509]
所述图像处理装置包括数据处理单元，所述数据处理单元在显示单元上显示移动装置的移动路径，所述显示单元显示所述移动装置的摄像装置捕获图像；以及
[0510]
所述数据处理单元
[0511]
执行坐标转换处理，所述坐标转换处理将指示所述移动装置的移动路径的、根据第一坐标系的位置信息转换到能够指定所述显示单元上的显示图像的像素位置的第二坐标系中，以及
[0512]
将具有通过所述坐标转换处理生成的根据所述第二坐标系的位置信息的移动路径输出到所述显示单元。
[0513]
(3)根据(2)所述的图像处理方法，其中：
[0514]
所述移动装置是无人机；
[0515]
所述第一坐标系是ned坐标系；以及
[0516]
所述第二坐标系是与已经捕获所述移动装置的图像的摄像装置相对应的摄像装置坐标系。
[0517]
(4)根据(2)或(3)所述的图像处理方法，其中
[0518]
所述数据处理单元
[0519]
生成示出所述移动装置的和所述第一坐标系相对应的位置与捕获图像中的所述移动装置的成像位置之间的对应关系的关系表达式，以及
[0520]
通过使用从所生成的关系表达式计算的参数来生成要应用于所述坐标转换处理的坐标转换矩阵。
[0521]
(5)根据(2)至(4)中的任何一项所述的图像处理方法，其中
[0522]
所述数据处理单元
[0523]
生成联立方程，所述联立方程包括示出所述移动装置的和所述第一坐标系相对应的位置与捕获图像中的所述移动装置的成像位置之间的对应关系的关系表达式，以及
[0524]
通过使用从所生成的联立方程计算出的参数来生成要应用于所述坐标转换处理的坐标转换矩阵。
[0525]
(6)根据(5)所述的图像处理方法，其中
[0526]
所述数据处理单元
[0527]
通过使用所述移动装置在多个不同位置处的摄像装置捕获图像来生成所述联立方程。
[0528]
(7)根据(5)或(6)所述的图像处理方法，其中
[0529]
所述数据处理单元
[0530]
生成其中将从所述联立方程获得的参数设置为坐标转换矩阵的矩阵元素的坐标转换矩阵。
[0531]
(8)根据(5)至(7)中的任一项所述的图像处理方法，其中
[0532]
所述数据处理单元
[0533]
通过使用所述移动装置在三个不同位置处的摄像装置捕获图像生成包括三个关系表达式的所述联立方程。
[0534]
(9)根据(6)至(8)中的任一项所述的图像处理方法，其中
[0535]
在所述摄像装置以不同的位置或姿态在所述多个不同的位置处捕获所述移动装置的摄像装置捕获图像的情况下，
[0536]
所述数据处理单元执行如下处理：计算用于将在捕获图像时的多个不同的摄像装置坐标转换为一个摄像装置坐标的坐标转换矩阵，应用所计算的摄像装置坐标转换矩阵，以及将所述移动装置在所述多个不同的位置处的成像位置设置在一个摄像装置坐标上。
[0537]
(10)根据(9)所述的图像处理方法，其中
[0538]
所述数据处理单元
[0539]
执行同时定位和映射(slam)处理，并且通过使用所述slam处理的结果来计算所述摄像装置坐标转换矩阵，所述slam处理计算捕获所述移动装置的图像的摄像装置的位置和姿态。
[0540]
(11)根据(10)所述的图像处理方法，其中
[0541]
所述数据处理单元
[0542]
基于所述slam处理的结果，计算用于在作为应用于所述slam处理的坐标系的世界坐标系与和所述摄像装置相对应的摄像装置坐标系之间执行坐标转换的世界坐标摄像装置坐标转换矩阵，以及
[0543]
应用所计算的世界坐标摄像装置坐标转换矩阵，并且计算用于将在捕获图像时的多个不同的摄像装置坐标转换为一个摄像装置坐标的所述摄像装置坐标转换矩阵。
[0544]
(12)根据(2)至(11)中的任一项所述的图像处理方法，其中
[0545]
所述数据处理单元
[0546]
从用作所述移动装置的无人机或管理所述无人机的无人机管理服务器获取根据用作所述第一坐标系的ned坐标系的飞行路径信息，以及
[0547]
将所获取的飞行路径信息转换到用作所述第二坐标系的摄像装置坐标系中。
[0548]
(13)根据(2)至(12)中的任一项所述的图像处理方法，其中
[0549]
所述数据处理单元
[0550]
在显示所述移动装置的所述摄像装置捕获图像的所述显示单元上显示所述移动装置的已移动路径和预定移动路径。
[0551]
(14)一种用于使图像处理装置执行图像处理的程序，其中：
[0552]
所述图像处理装置包括数据处理单元，所述数据处理单元在显示单元上显示移动装置的移动路径，所述显示单元显示所述移动装置的摄像装置捕获图像；以及
[0553]
所述程序使所述数据处理单元执行
[0554]
坐标转换处理，所述坐标转换处理将指示所述移动装置的移动路径的、根据第一坐标系的位置信息转换到能够指定所述显示单元上的显示图像的像素位置的第二坐标系中，以及
[0555]
将具有通过所述坐标转换处理生成的根据所述第二坐标系的位置信息的移动路径输出到所述显示单元的处理。
[0556]
此外，说明书中描述的一系列处理可以由硬件、软件或两者的组合配置来执行。在通过软件执行处理的情况下，可以通过将其中处理序列被记录在存储器中的程序安装到并入专用硬件中的计算机内并执行该程序，或者通过将程序安装到可以执行各种处理的通用计算机中并执行该程序，来执行处理。例如，可以预先将程序记录在记录介质上。程序可以从记录介质安装在计算机中，或者也可以经由诸如局域网(lan)或因特网的网络接收，并且安装在诸如内置硬盘的记录介质中。
[0557]
注意，说明书中描述的各种处理不仅根据说明书按时间序列执行，而且根据执行处理的装置的处理能力或根据需要并行或单独执行。此外，在本说明书中，系统是多个装置的逻辑集合配置，并且不限于其中具有各个配置的装置在同一壳体中的系统。
[0558]
工业适用性
[0559]
如上所述，本公开内容的实施方式实现了能够在无人机的实际捕获图像上准确地显示无人机的飞行路径的配置。
[0560]
具体地，例如，该配置包括数据处理单元，该数据处理单元在显示单元上显示诸如无人机的移动装置的移动路径，该显示单元显示移动装置的摄像装置捕获图像。该数据处理单元生成用于执行坐标转换处理的坐标转换矩阵，该坐标转换处理将根据第一坐标系的位置信息转换到第二坐标系中，第一坐标系例如是指示移动装置的移动路径的ned坐标系，第二坐标系例如是能够指定显示单元上的显示图像的像素位置的摄像装置坐标系，该移动路径具有根据通过应用了所生成的坐标转换矩阵的坐标转换处理而生成的摄像装置坐标系的位置信息。
[0561]
该配置可以在无人机的实际捕获图像上准确地显示无人机的飞行路径。
[0562]
参考符号列表
[0563]
10 用户终端
[0564]
20 无人机
[0565]
30 无人机管理服务器
[0566]
40 gps卫星
[0567]
51 摄像装置成像表面
[0568]
61 对象
[0569]
62 对象图像
[0570]
100 用户终端
[0571]
101 摄像装置
[0572]
102 数据处理单元
[0573]
103 储存单元(存储器)
[0574]
104 通信单元
[0575]
105 显示单元
[0576]
106 输入单元
[0577]
107 输出单元
[0578]
200 无人机
[0579]
201 路径规划单元
[0580]
202 路径控制单元
[0581]
203 定位传感器(gps信息接收分析单元)
[0582]
204 通信单元
[0583]
300 无人机管理服务器
[0584]
400 gps卫星