一种AR设备的显示修正方法和装置与流程

本发明涉及移动通信技术，特别是涉及一种增强现实(ar)设备的显示修正方法和装置。

背景技术：

现有的ar技术中，屏幕显示的图像和使用者眼睛观察到的实际图像，有着相当的畸变。如图1所示，通常ar设备使用时，显示的图像内容边界和人眼观察到的实际图像不一致。同时，ar设备显示的图像不能随着设备的晃动，视角的转变，以及使用者的眼睛的位置变化而变化，使得使用者观察到的ar图像无法同实际看到的景象完美过渡，让ar的体验不完美。

目前针对上述图像畸变的问题，已提出的解决方案通常需要添加额外的图像采用部件(如两个摄像机或相机)，从而导致实现成本较高。

技术实现要素：

有鉴于此，本发明的主要目的在于提供一种ar设备的显示修正方法和装置，能够修正图像畸变的问题，且实现成本低。

为了达到上述目的，本发明提出的技术方案为：

一种ar设备显示修正方法，包括：

ar设备启动时根据当前的人眼位置，生成当前的用户视角矩阵；

所述ar设备根据本设备的图像采集部件与本设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数和所述用户视角矩阵，生成当前的用户视角渲染upr投影矩阵；

所述ar设备根据所述upr投影矩阵，进行用户视角渲染，并显示相应的用户视角渲染场景。

较佳地，所述方法进一步包括：

所述ar设备对人眼位置进行实时跟踪，根据当前的人眼位置，生成用户视角矩阵；

判断当前是否达到预设的upr投影矩阵更新条件，如果是，则利用当前的用户视角矩阵，对当前的所述upr投影矩阵进行更新。

较佳地，所述upr投影矩阵更新条件包括当前的用户视角变化量达到预设的视角变化阈值和/或所述upr投影矩阵的使用时间达到预设时间阈值。

较佳地，按照生成当前的用户视角矩阵，其中，pe为所述用户视角矩阵，所述人眼位置的坐标为[ex,ey,ez]。

较佳地，按照pupr＝pemr→smr，计算当前的用户视角渲染upr投影矩阵；其中，mr→s为根据所述图像采集部件与所述屏幕之间的相对位置构建的相对位置向量，所述mr为根据所述图像采集部件的拍摄配置参数构建的拍摄参数向量。

本发明实施例还提供了一种ar设备显示修正装置，设于ar设备中，包括：

视角矩阵生成单元，用于根据当前的人眼位置，生成当前的用户视角矩阵；

upr投影矩阵生成单元，用于根据ar设备的图像采集部件与ar设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数和所述用户视角矩阵，计算当前的用户视角渲染upr投影矩阵；

场景渲染单元，用于根据所述upr投影矩阵，进行用户视角渲染，并显示相应的用户视角渲染场景。

较佳地，所述视角矩阵生成单元，进一步用于对人眼位置进行实时跟踪，根据当前的人眼位置，生成用户视角矩阵；判断当前是否达到预设的upr投影矩阵更新条件，如果是，则触发upr投影矩阵生成单元利用当前的用户视角矩阵，对当前的所述upr投影矩阵进行更新。

较佳地，所述upr投影矩阵更新条件包括当前的用户视角变化量达到预设的视角变化阈值和/或所述upr投影矩阵的使用时间达到预设时间阈值。

较佳地，所述视角矩阵生成单元，用于按照生成当前的用户视角矩阵，其中，pe为所述用户视角矩阵，所述人眼位置的坐标为[ex,ey,ez]。

较佳地，所述视角矩阵生成单元，用于按照pupr＝pemr→smr，生成当前的用户视角渲染upr投影矩阵；其中，mr→s为根据所述图像采集部件与所述屏幕之间的相对位置构建的相对位置向量，所述mr为根据所述图像采集部件的拍摄配置参数构建的拍摄参数向量。

本发明实施例还提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如上述的ar设备显示修正方法的步骤。

本发明实施例还提供了一种电子设备，包括如上述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。

综上所述，本发明实施例提出的ar设备显示修正方案中，ar设备根据人眼位置，生成用户视角矩阵；然后根据本设备的图像采集部件与本设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数以及当前得到的所述用户视角矩阵，生成当前的upr投影矩阵；最后，基于该upr投影矩阵，进行用户视角渲染。如此，通过利用ar设备的图像采集装置和相关传感器，将ar设备拍摄到的图像结合人眼的位置、ar设备的位置、拍摄配置参数等，进行修正，可以达到与人眼实际观察的图像相统一，能够有效修正图像畸变的问题，且不需要额外增加图像采集设备，从而使得应用成本较低。

附图说明

图1为现有的ar设备显示图像畸变示意图；

图2为本发明实施例的方法流程示意图；

图3为本发明实施例实现的图像畸变修正示意图；

图4-6为本发明实施例的应用场景示例图；

图7-10为本发明实施例的应用领域示例效果图；

图11为本发明实施例的装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。

本发明的主要设计思想是：通过设备的摄像头和相关传感器，结合人眼的位置、ar设备的位置、角度等参数，对ar设备拍摄到的图像进行修正，以达到与人眼实际观察的图像相统一，并且由于不需要额外添加图像采集设备，从而可以有效降低实现成本。

图2为本发明实施例的方法流程示意图，如图2所示，该实施例实现的ar设备显示修正方法主要包括：

步骤201、ar设备启动时根据当前的人眼位置，生成当前的用户视角矩阵。

较佳地，可以按照生成当前的用户视角矩阵，其中，pe为所述用户视角矩阵，所述人眼位置的坐标为[ex,ey,ez]。

步骤202、所述ar设备根据本设备的图像采集部件与本设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数和所述用户视角矩阵，生成当前的用户视角渲染upr投影矩阵。

较佳地，可以按照pupr＝pemr→smr，计算当前的用户视角渲染upr投影矩阵。

其中，mr→s为根据所述图像采集部件与所述屏幕之间的相对位置构建的相对位置向量。该相对位置即两者分别在预设坐标系上的x轴、y轴和z轴上的坐标差值，即(dx,dy,dz)。考虑到upr投影矩阵的运算需要，可以按照构建mr→s。

所述mr为根据所述图像采集部件的拍摄配置参数构建的拍摄参数向量。

在实际应用中，所述拍摄配置参数可由本领域技术人员根据实际需要选择合适的参数，例如，可以包括分辨率、帧率、焦距和/或光圈等参数，但不限于此。

在实际应用中，在构建所述mr时，为便于计算，可以先对所述拍摄配置参数进行归一化处理，然后再利用归一化处理后的参数生成相应的拍摄参数向量。

步骤203、所述ar设备根据所述upr投影矩阵，进行用户视角渲染，并显示相应的用户视角渲染场景。

进一步地，ar设备启动后可以采用下述方法实时地根据当前的人眼位置，对upr投影矩阵进行更新，以实时修正屏幕显示的图像，时刻保持显示图像与实际观察图像无缝对过渡。

所述ar设备对人眼位置进行实时跟踪，根据当前的人眼位置，生成用户视角矩阵；判断当前是否达到预设的upr投影矩阵更新条件，如果是，则利用当前的用户视角矩阵，对当前的所述upr投影矩阵进行更新。

这里，具体可以使用2d面部识别技术并结合3d模型，实现人眼位置的追踪，其方法已为本领域技术人员所掌握，在此不再赘述。

较佳地，所述upr投影矩阵更新条件可以包括当前的用户视角变化量达到预设的视角变化阈值和/或所述upr投影矩阵的使用时间达到预设时间阈值，但不限于此。

在上述实施例提出的ar设备显示修正方法中，ar设备根据当前的人眼位置，生成用户视角矩阵；然后根据本设备的图像采集部件与本设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数以及当前得到的所述用户视角矩阵，生成当前的upr投影矩阵；最后，基于该upr投影矩阵，进行用户视角渲染。如此，能够有效修正图像畸变的问题，使得为用户呈现的修正后的图像可以与人眼实际观察的图像相统一(如图3所示)，且不需要额外增加图像采集设备，从而具有较低的实现成本。

具体利用上述方法实施例可以实现如图4-6所示的几种情景优化：

1，ar设备移动时，ar设备可以检测到ar设备与人眼的位移和视角变化，自动修正显示图像，如图4所示。

2，人眼位置发生移动时，ar设备可以检测到ar设备与人眼的位移和视角变化，自动修正显示图像，如图5所示。

3，ar设备发生转动的时候，ar设备可以检测到ar设备与人眼的位移和视角变化，自动修正显示图像，如图6所示。

本发明实施例提供的ar设备显示图像修正方案，具体应用的领域可以包括：无畸变导航、无畸变ar游戏、医疗美容中的妆容对比、身体造影以及设计效果的展示等等(如图7-图10所示)，不限于此。

与上述方法实施例相对应，本发明实施例还提供了一种ar设备显示修正装置，设于ar设备中，如图11所示，该装置包括：

视角矩阵生成单元，用于根据当前的人眼位置，生成当前的用户视角矩阵；

upr投影矩阵生成单元，用于根据ar设备的图像采集部件与ar设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数和所述用户视角矩阵，计算当前的用户视角渲染upr投影矩阵；

场景渲染单元，用于根据所述upr投影矩阵，进行用户视角渲染，并显示相应的用户视角渲染场景。

较佳地，所述视角矩阵生成单元，进一步用于对人眼位置进行实时跟踪，根据当前的人眼位置，生成用户视角矩阵；判断当前是否达到预设的upr投影矩阵更新条件，如果是，则触发upr投影矩阵生成单元利用当前的用户视角矩阵，对当前的所述upr投影矩阵进行更新。

较佳地，所述upr投影矩阵更新条件包括当前的用户视角变化量达到预设的视角变化阈值和/或所述upr投影矩阵的使用时间达到预设时间阈值。

较佳地，所述视角矩阵生成单元，用于按照生成当前的用户视角矩阵，其中，pe为所述用户视角矩阵，所述人眼位置的坐标为[ex,ey,ez]。

较佳地，所述视角矩阵生成单元，用于按照pupr＝pemr→smr，生成当前的用户视角渲染upr投影矩阵；其中，mr→s为根据所述图像采集部件与所述屏幕之间的相对位置构建的相对位置向量，所述mr为根据所述图像采集部件的拍摄配置参数构建的拍摄参数向量。

本发明实施例还提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如上述的ar设备显示修正方法的步骤。

本发明实施例还提供了一种电子设备，包括如上述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。

另外，本发明的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如cd-rom等)、磁光存储介质(如mo等)等。

因此本发明还公开了一种存储介质，其中存储有数据处理程序，该数据处理程序用于执行本发明上述方法的任何一种实施例。

另外，本发明所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(asic)、可编程逻辑控制器和嵌入微控制器等来实现。因此这种可以实现本发明所述方法的硬件也可以构成本发明。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。