相机辅助投影仪自动避障方法、装置、设备和介质与流程

本技术涉及投影仪，例如涉及一种相机辅助投影仪自动避障方法、装置、设备和介质。

背景技术：

1、在使用投影仪进行显示时，使用环境和使用方式对显示效果具有显著影响，例如若投影仪光轴未能正对屏幕，根据透视变换可知，屏幕上的显示内容将表现为梯形畸变。在屏幕显示区域存在较明显的脏污，投影与屏幕之间存在遮挡物，或作为投影目标的墙面存在海报或电器开关时，会导致显示不完整或显示质量下降。

2、现有技术例如cn105791784a公开了使用投影仪获取投影仪与屏幕之间的障碍物和投影仪屏幕上的阴影图像，将阴影图像发送至图像处理模块，图像处理模块计算障碍物和屏幕阴影的面积。计算障碍物与投影仪的距离，计算障碍物与屏幕的距离，得到被遮挡的像素位置，控制被遮挡的像素的光线输出，得到修正画面。该现有技术能检测出障碍物并防止障碍物被投影仪发出的光线直射，无法实现投影仪的避障显示。现有技术例如cn115150595a公开了通过摄像头采集的投影画面中的多个角点坐标，依据第一坐标和第二坐标对第一显示区域进行变换，得到第二显示区域，解决了传统的梯形校正技术带来的分辨率损失的技术问题。但是，该现有技术不能直接在幕布或墙面上提取无障碍区域，不能实现投影仪的自动避障。

3、综上所述，现有技术存在无法实现投影仪的避障显示，和/或不能直接在幕布或墙面上提取无障碍区域的问题。

技术实现思路

1、本技术目的在于：提供一种相机辅助投影仪自动避障方法、装置、设备和介质，其能够解决现有技术存在无法实现投影仪的避障显示，和/或不能直接在幕布或墙面上提取无障碍区域的问题。为达到上述目的，本技术提供了一种相机辅助投影仪自动避障方法，包括：

2、选取投影仪和相机的多个相对安装位置；每个所述相对安装位置满足所述相机的视场覆盖所述投影仪的视场；

3、根据每个所述相对安装位置对投影仪参数和相机参数进行离线初始标定，根据离线初始标定结果确定目标相对安装位置；

4、根据所述目标相对安装位置进行在线参数校正；

5、获取相机图像，提取所述相机图像中的障碍物信息；

6、对屏幕进行平面拟合，得到屏幕平面；将所述障碍物信息反向投影至所述屏幕平面，得到障碍物坐标；

7、根据所述障碍物坐标对虚拟图像进行划分，得到无障碍投影显示区域；

8、将所述无障碍投影显示区域投影至相机图像平面，得到相机投影区域；

9、将所述相机投影区域投影至投影仪图像平面，得到避障投影区域。

10、优选地，所述根据每个所述相对安装位置对投影仪参数和相机参数进行离线初始标定，根据离线初始标定结果确定目标相对安装位置，包括：

11、固定所述投影仪的对焦距离；

12、根据所述对焦距离标定出每个所述相对安装位置下的所述离线初始标定结果，所述离线初始标定结果包括相机离线内参数、投影仪离线内参数、离线畸变参数和相机与投影仪的离线外参数；

13、根据所述离线初始标定结果确定所述目标相对安装位置。

14、优选地，所述根据所述目标相对安装位置进行在线参数校正，包括：

15、当触发智能避障功能时，获取所述投影仪投射出的预设图像；

16、获取相机图像，提取所述相机图像的图像特征；所述相机图像由所述相机对所述预设图像拍摄得到；

17、将所述离线初始标定结果作为初始值对所述图像特征进行三角化，得到目标图像特征和对应的目标参数；所述目标参数包括相机目标内参数、投影仪目标内参数、目标畸变参数和目标外参数。

18、优选地，所述将所述离线初始标定结果作为初始值对所述图像特征进行三角化，得到目标图像特征和对应的目标参数，包括：

19、将所述离线初始标定结果作为初始值构建光束平差误差函数；

20、使用最小二乘法对所述光束平差误差函数进行最小化，得到所述目标图像特征和对应的所述目标参数。

21、优选地，所述提取所述相机图像中的障碍物信息，包括：

22、将所述相机图像转换为灰度图像；

23、对所述灰度图像进行图像分割，得到二值图像；

24、对所述二值图像进行障碍物检测，得到所述障碍物信息。

25、优选地，所述对屏幕进行平面拟合，得到屏幕平面，包括：

26、获取所述目标图像特征对应的三维坐标集；

27、根据所述三维坐标集对所述屏幕进行平面拟合，得到平面参数方程和平面法线方向；

28、根据所述平面参数方程和所述平面法线方向确定所述屏幕平面。

29、优选地，所述根据所述平面参数方程和所述平面法线方向确定所述屏幕平面之后，还包括：

30、计算所述屏幕平面与所述相机之间的距离，得到第一距离。

31、优选地，所述将所述障碍物信息反向投影至所述屏幕平面，得到障碍物坐标，包括：

32、根据所述目标图像特征计算所述相机图像平面和投影仪图像平面之间的单应性矩阵；

33、根据所述单应性矩阵计算所述相机图像中与所述预设图像中第一顶点坐标集合对应的第二顶点坐标集合；

34、根据所述目标参数、所述平面法线方向和所述第一距离将所述第二顶点坐标集合的顶点反向投影至所述屏幕平面，得到第三顶点坐标集合；

35、根据所述第三顶点坐标集合构造反向投影区域，对所述反向投影区域的外接矩形区域进行离散化，得到虚拟图像；

36、根据所述目标参数、所述平面法线方向和所述第一距离，将所述障碍物信息反投影至所述虚拟图像，得到虚拟图像坐标；

37、对所述虚拟图像坐标进行后处理，得到所述障碍物坐标。

38、本技术提供了一种相机辅助投影仪自动避障装置，包括：

39、相对安装位置选取模块，用于选取投影仪和相机的多个相对安装位置；每个所述相对安装位置满足所述相机的视场覆盖所述投影仪的视场；

40、离线初始标定模块，用于根据每个所述相对安装位置对投影仪参数和相机参数进行离线初始标定，根据离线初始标定结果确定目标相对安装位置；

41、在线参数校正模块，用于根据所述目标相对安装位置进行在线参数校正；

42、障碍物信息提取模块，用于获取相机图像，提取所述相机图像中的障碍物信息；

43、反向投影模块，用于对屏幕进行平面拟合，得到屏幕平面；将所述障碍物信息反向投影至所述屏幕平面，得到障碍物坐标；

44、屏幕平面划分模块，用于根据所述障碍物坐标对虚拟图像进行划分，得到无障碍投影显示区域；

45、第一投影模块，用于将所述无障碍投影显示区域投影至相机图像平面，得到相机投影区域；

46、第二投影模块，用于将所述相机投影区域投影至投影仪图像平面，得到避障投影区域。

47、本技术还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的一种相机辅助投影仪自动避障方法和/或上述任一项所述的相机辅助投影仪自动避障方法的步骤。

48、本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的一种相机辅助投影仪自动避障方法和/或上述任一项所述的相机辅助投影仪自动避障方法的步骤。

49、本技术的一种相机辅助投影仪自动避障方法，包括选取投影仪和相机的多个相对安装位置；每个相对安装位置满足相机的视场覆盖投影仪的视场。投影仪可以是lcd投影仪或dmd投影仪，应用范围较为广泛。根据每个相对安装位置对投影仪参数和相机参数进行离线初始标定，根据离线初始标定结果确定目标相对安装位置。根据目标相对安装位置进行在线参数校正。获取相机图像，提取相机图像中的障碍物信息。对屏幕进行平面拟合，得到屏幕平面；将障碍物信息反向投影至屏幕平面，得到障碍物坐标。根据障碍物坐标对屏幕平面进行划分，得到无障碍投影显示区域。直接在屏幕平面上提取无障碍区域，相比于其他类型的方法更加简单直观。另外，直接在屏幕平面上提取无障碍区域，具备较高的灵活性，能够融合梯形校正等其他功能。将无障碍投影显示区域投影至相机图像平面，得到相机投影区域。将相机投影区域投影至投影仪图像平面，得到避障投影区域。上述方法能够自动定位出无障碍区域，投影仪避障显示的精度较高，从而有利于最大化显示画面。