图像处理装置、图像处理方法和图像处理系统与流程

本技术涉及用于通过使用两种类型的感测数据执行与增强现实空间相关联的图像处理的图像处理装置、图像处理方法和图像处理系统的。

背景技术：

1、与通过将虚拟对象布置在真实空间中而产生的增强现实空间相关联的技术是已知的。

2、例如，在以下ptl 1中公开了向佩戴头戴式显示器的用户呈现增强现实空间的技术。

3、[引用列表]

4、[专利文献]

5、[ptl 1]

6、pct专利公开号wo2018/179644。

技术实现思路

1、[技术问题]

2、例如，在ptl 1中描述了通过重叠显示指示等待时间的信息而实现的用户友好性的改进。还公开了基于针对各应用变化的所需的精度来控制传感器的技术。

3、同时，当用户体验增强现实空间时，提供给用户的该增强现实空间需要是以适当的模式呈现适合于用户的信息的这样的空间。

4、考虑到上述情况，开发了本技术。本技术的目的是提供实现高用户友好性的增强现实空间或实现高可见度的增强现实空间。

5、[问题的解决方案]

6、根据本技术的图像处理装置包括：数据获取单元，获取作为图像感测数据的第一感测数据和作为与第一感测数据不同类型的感测数据的第二感测数据；以及显示处理单元，执行用于显示通过使用第一感测数据和第二感测数据增强真实空间而形成的增强现实空间的显示处理。通过使用第二感测数据来执行用于将虚拟对象叠加在被识别为存在于真实空间中的对象的真实对象上的显示处理。

7、虚拟对象在真实对象上的叠加显示实现了虚拟对象被布置的增强现实空间的显示，而没有给出不协调感。

8、上述图像处理装置的第二感测数据可以是可提取与真实对象相关联的距离信息的感测数据。

9、根据该配置，虚拟对象的显示模式可根据距离信息而改变。

10、上述图像处理装置可包括切换处理单元，该切换处理单元在用于接受针对虚拟对象的第一操作的第一模式与用于接受针对虚拟对象的第二操作的第二模式之间切换。在通过使用第一感测数据或第二感测数据在增强现实空间内识别用户的预定部位的情况下，切换处理单元可切换到第一模式。

11、例如，在基于可从中提取距离信息的第二感测数据识别用户的手指的情况下，执行第一处理。

12、在上述图像处理装置中，第一模式可以是用于接受根据预定部位在增强现实空间中的移动对虚拟对象执行的操作的模式，第二模式可以是用于接受用户对虚拟对象在显示单元上的显示区域执行的触摸操作的模式。

13、例如，在通过测距传感器等检测由用户的手指在增强现实空间中对虚拟对象执行的虚拟触摸操作的情况下，实现向第一模式的转换。在检测到对显示单元上显示的虚拟对象的图像区域的触摸操作的情况下，实现向第二模式的转换。

14、上述图像处理装置的显示处理单元可以在第一模式和第二模式之间使显示对象的显示模式不同。

15、显示对象是显示在显示单元上的对象。例如，显示对象不仅包括布置在增强现实空间中的虚拟对象，还包括未布置在增强现实空间中的操作图标图像等。改变显示对象的显示模式的示例包括改变显示尺寸的示例、在每个显示对象的显示与非显示之间切换的示例以及其他示例。

16、上述图像处理装置的显示处理单元可以执行用于在第一模式和第二模式之间改变虚拟对象的尺寸的显示处理。

17、例如，用于第一模式的最佳ui(用户界面)可以不同于用于第二模式的最佳ui。在这种情况下，为第一模式和第二模式改变虚拟对象的尺寸。具体地，在对虚拟对象的操作在增强现实空间中被检测到的情况下，虚拟对象被以大尺寸显示以改善对于用户的被显示为虚拟对象的字母信息等的可见性。同时，例如，在检测到对显示单元的触摸操作等的情况下，该操作被识别为用于选择虚拟对象的选择操作，并且执行用于显示与作为广告对象等提供的虚拟对象相关联的网页的过程。

18、上述图像处理装置的显示处理单元可以基于与预定部位部分相关联的距离信息对虚拟对象执行遮挡处理。

19、例如，在预定部位是用户的手指并且位于短距离处的情况下，执行遮挡处理以隐藏用户的手指后面的虚拟对象。

20、上述图像处理装置可包括操作目标确定单元，在识别到预定部位的情况下，该操作目标确定单元利用第一感测数据来确定被指定为预定部位所执行的操作的目标的虚拟对象。

21、用户可以在观看虚拟对象的同时操作虚拟对象，并且在显示单元上显示他或她的手指的图像。在这种情况下，根据手指的图像与虚拟对象在显示单元上的位置关系，识别对应于操作目标的虚拟对象。

22、在基于通过在与获得第一感测数据的成像单元的成像方向相反的方向上成像而获得的感测数据来检测预定部位的情况下，上述图像处理装置的切换处理单元可切换至第二模式。

23、在这种情况下，假定在第一感测数据中不可能检测到用户的预定部位。因而，认为切换为用于接受第二操作的第二模式是最合适的。

24、上述图像处理装置的显示处理单元可以执行用于发出关于利用距离信息检测的台阶的警报的显示处理。

25、以这种方式，能够发出与未被用户识别的台阶等相关联的信息的通知，作为虚拟对象。

26、上述图像处理装置的显示处理单元可根据距真实对象的距离确定将被叠加在真实对象上的虚拟对象的尺寸。

27、以这种方式，根据距用户的距离确定虚拟对象的尺寸。

28、上述图像处理装置的第二感测数据可以是基于其可识别真实对象的材质的感测数据。显示处理单元可以执行用于将虚拟对象叠加在其材质被识别的真实对象上的显示处理。

29、例如，用于输出第二感测数据的传感器是偏振传感器、多谱传感器等。

30、上述图像处理装置可包括估计自身位置的自身位置估计单元。所述自身位置估计单元可基于与所述真实对象相关联的材质信息校正所述自身位置。

31、根据该配置，能够得到高精度的自身位置信息。

32、上述图像处理装置的显示处理单元可以根据使用第二感测数据而确定的材质是否为透明材质，执行不同的模式显示要叠加的虚拟对象的显示处理。

33、例如，在应用作为图像感测数据的第一感测数据的情况下，存在诸如包括玻璃的门和窗户的真实对象难以被用户识别的可能性。在这种情况下，可使用偏振传感器、多谱传感器等，基于作为玻璃构件的真实对象的识别，将虚拟对象叠加并显示在玻璃构件上。

34、上述图像处理装置的第二感测数据可以是基于其可识别从真实对象反射的光的偏振状态的感测数据。

35、具体地，第二感测数据是从偏振传感器输出的感测数据。

36、上述图像处理装置的显示处理单元可执行显示处理，该显示处理用于使用第二感测数据将虚拟对象叠加在被识别为人体的一部分的真实对象上。

37、例如，一些人不希望出现在图像或视频中。具体地，考虑到隐私的问题，不优选存储或流传输在可识别人的状态下捕获的图像。根据该配置，识别人体的一部分(诸如面部)，并且可将虚拟对象叠加并显示在所识别的人体的一部分上。

38、可基于从同一传感器输出的信号来产生上述图像处理装置的第一感测数据和第二感测数据。

39、例如，在一些情况下，不仅可从cmos传感器的数据输出中获取图像感测数据，还可从cmos传感器的数据输出中获取距离数据。

40、根据本技术的图像处理方法使计算机设备执行以下处理：获取作为图像感测数据的第一感测数据和作为与第一感测数据不同类型的感测数据的第二感测数据的处理；以及显示处理，用于显示通过使用第一感测数据和第二感测数据增强真实空间而形成的增强现实空间。

41、根据本技术的图像处理系统包括：显示单元，能够显示图像；第一感测单元，获取作为图像感测数据的第一感测数据；第二感测单元，获取作为与第一感测数据不同类型的感测数据的第二感测数据；以及显示处理单元，执行用于使显示单元显示通过使用第一感测数据和第二感测数据增强真实空间而形成的增强现实空间的显示处理。

42、可以通过如上配置的图像处理方法和图像处理系统类似地实现上述各种效果。