不透明度控制方法、装置以及AR/MR设备、控制器和介质与流程

本发明涉及ar/mr技术领域，尤其涉及一种不透明度控制方法、装置以及ar/mr设备、控制器和介质。

背景技术：

近年来，增强现实(ar)和混合现实(mr)是新兴作为技术，成为多个行业的发展重点。这类技术以用户可佩戴为特点，并且以一副眼镜或帽子等类似的形势呈现。ar或mr设备能够在用户的视力范围内覆盖数字图像，提供一定程度的实用性或娱乐性。

当外部存在视觉干扰或者用户处于明亮的环境中，ar或mr设备看到的外部视觉噪声会降低用户体验或阻碍一些操作。若通过向ar或mr设备添加不透明度控制，可以在不同的外部环境中提高设备显示的信息的可见性和可辨别性。但是现有的技术方案中并没有基于用户的使用状态来自动的调整系统的不透明度，而是仅仅允许系统直接来调节不透明度，但这种调节的方式和用户当前的状态并无直接的关系，这会极大的影响用户的体验。

技术实现要素：

本发明目的在于，提供一种不透明度控制方法、装置以及ar/mr设备、控制器和介质，根据用户眼睛最自然的状态和反应，基于不透明度回归模型来自适应调整ar/mr设备的不透明度，提升了用户体验。

为了解决上述技术问题，根据本发明一方面，提供了一种不透明度控制方法，用于ar/mr设备，包括:

获取当前光强度和佩戴者的眼睛状态特征参数；

将所述当前光强度和佩戴者的眼睛状态特征参数输入预先训练的不透明度回归模型中，输出设备参数目标值；

基于所述设备参数目标值调整对应的设备参数，以调整ar/mr设备的不透明度。

进一步的，还包括，训练所述不透明度回归模型，具体包括：

获取实验佩戴者的眼睛参考状态；

以不同的光强度作为测试环境，获取每一光强度下，使得实验佩戴者处于最舒适状态下对应的设备参数以及实验佩戴者的眼睛状态特征参数；

基于所述实验佩戴者的眼睛参考状态将实验佩戴者的眼睛状态特征参数标准化；

将光强度、对应的标准化后的眼睛状态参数作为输入、将对应的设备参数作为输出进行回归模型训练，得到所述不透明度回归模型。

进一步的，所述眼睛状态特征参数包括眼镜开合度和瞳孔大小。

进一步的，所述设备参数包括电致变色薄膜变色程度、液晶薄膜光学漫射程度和光机光学功率水平中的一种或多种，其中，所述电致变色薄膜和液晶薄膜安装在ar/mr设备的前保护盖内。

根据本发明另一方面，提供了一种的不透明度控制装置，用于ar/mr设备，包括:

参数获取模块，配置为获取当前光强度和佩戴者的眼睛状态特征参数；

目标值输出模块，配置为将所述当前光强度和佩戴者的眼睛状态特征参数输入预先训练的不透明度回归模型中，输出设备参数目标值；

不透明度调整模块，配置为基于所述设备参数目标值调整对应的设备参数，以调整ar/mr设备的不透明度。

进一步的，还包括不透明度回归模型训练模块，具体包括：

眼睛状态校准单元，配置为获取实验佩戴者的眼睛参考状态；

训练参数获取单元，配置为以不同的光强度作为测试环境，获取每一光强度下，使得实验佩戴者处于最舒适状态下对应的设备参数以及实验佩戴者的眼睛状态特征参数；

眼睛特征参数标准化单元，配置为基于所述实验佩戴者的眼睛参考状态将实验佩戴者的眼睛状态特征参数标准化；

回归模型训练单元，配置为将光强度、对应的标准化后的眼睛状态参数作为输入、将对应的设备参数作为输出进行回归模型训练，得到所述不透明度回归模型。

进一步的，所述参数获取模块包括：

眼部追踪传感器，用于获取眼睛状态特征参数，所述眼睛状态特征参数包括眼镜开合度和瞳孔大小；

光强传感器，用于获取当前光强度。

进一步的，所述设备参数包括电致变色薄膜变色程度、液晶薄膜光学漫射程度和光机光学功率水平中的一种或多种，其中，所述电致变色薄膜和液晶薄膜安装在ar/mr设备的前保护盖内。

根据本发明又一方面，提供一种ar/mr设备，包括所述用于ar/mr设备的不透明度控制装置。

根据本发明又一方面，提供一种控制器，其包括存储器与处理器，所述存储器存储有计算机程序，所述程序在被所述处理器执行时能够实现所述方法的步骤。

根据本发明又一方面，提供一种计算机可读存储介质，用于存储计算机程序，所述程序在由一计算机或处理器执行时实现所述方法的步骤。

本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明一种不透明度控制方法、装置以及ar/mr设备、控制器和介质可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有下列优点：

本发明通过对用户眼睛状态的识别和判断，并调用不透明度回归模型来根据当前环境自适应的决定ar/mr设备的不透明程度，具体可通过电致变色薄膜变色程度，液晶薄膜光学漫射程度和光学功率水平等来控制ar/mr设备的不透明度。通过基于眼睛状态的不透明度控制系统省去了佩戴用户人为的操作，根据佩戴者的眼睛状态来动态调整ar/mr设备的不透明程度，以让外界环境的视觉噪声对用户的影响水平降到最低，在不同的外部环境中提高ar/mr设备显示的信息的可见性和可辨别性，提升了用户体验。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。

附图说明

图1为本发明一实施例提供不透明度控制方法示意图；

图2(a)为透过电致变色薄膜薄膜的效果图；

图2(b)为透过光慢射液晶薄膜的效果图；

图3为本发明一实施例提供的电致变色薄膜和液晶薄膜安装在ar/mr设备示意图；

图4为本发明一实施例提供的不透明度控制装置示意图；

图5为本发明另一实施例提供的不透明度控制装置示意图。

【符号说明】

1：参数获取模块2：目标值输出模块

3：透明度调整模块4：不透明度回归模型训练模块

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种不透明度控制方法、装置以及ar/mr设备、控制器和介质的具体实施方式及其功效，详细说明如后。

本发明实施例提供了一种不透明度控制方法，用于ar/mr设备，如图1所示，包括以下步骤:

步骤s1、获取当前光强度和佩戴者的眼睛状态特征参数；

步骤s2、将所述当前光强度和佩戴者的眼睛状态特征参数输入预先训练的不透明度回归模型中，输出设备参数目标值；

步骤s3、基于所述设备参数目标值调整对应的设备参数，以调整ar/mr设备的不透明度。

本发明实施例所述方法通过对用户眼睛状态的识别和判断，并调用不透明度回归模型来根据当前环境自适应的决定ar/mr设备的不透明程度，省去了佩戴用户人为的操作，根据佩戴者的眼睛状态来动态调整ar/mr设备的不透明程度，以让外界环境的视觉噪声对用户的影响水平降到最低，在不同的外部环境中提高ar/mr设备显示的信息的可见性和可辨别性，提升了用户体验。

ar设备包括ar眼镜等设备，mr设备包括mr眼镜等设备。

作为一种示例，步骤s1中，可采用眼部追踪传感器获取眼睛状态特征参数，所述眼睛状态特征参数可包括眼镜开合度和瞳孔大小。具体可采用haar-like特征定位眼睛，然后应用霍夫变换来检测瞳孔大小。眼睛开合度用来表示眼睛张开的程度，瞳孔大小通过瞳孔的直径来表征。需要说明的是，上述获取眼睛状态特征参数的方法仅为一种示例，还有其他可用于定位眼睛、测量瞳孔大小、并量化眼睛开合度的方法也可用于此。可采用光强传感器获取当前光强度。

电致变色薄膜和光慢射液晶薄膜允许光在其表面进行衰减和慢射，透过电致变色薄膜薄膜的效果如图2(a)所示，透过光慢射液晶薄膜的效果图如图2(b)所示。通过对光的衰减和漫射将佩戴者与其外部环境隔离开来，这将提升在ar/mr设备上的用户体验。这些薄膜体积小可以安装在ar或mr设备内，使得用户透过它们观察外部环境。如图3所示示例，可将所述电致变色薄膜和液晶薄膜安装在ar/mr设备的前保护盖内，对应的，所述设备参数包括电致变色薄膜变色程度、液晶薄膜光学漫射程度和光机光学功率水平中的一种或多种。在图3中，可通过控制连接到每层的电极对控制薄膜状态。现有技术中ar/mr设备的不透明度控制还都是手动方式，这种手动控制的方式对用户来说是十分麻烦的。本发明实施例的方案根据用户眼睛的状态来自动调整ar/mr设备的不透明度，对用户来说是十分方便的，提升了户用体验。

作为一种示例，所述方法还包括步骤s4、训练所述不透明度回归模型，具体包括：

步骤s41、获取实验佩戴者的眼睛参考状态；

可以理解的是，实验佩戴者即用于获取训练数据的参与者，可以为特定的一个，也可为多个，若为特定的一个，可得到与该特定用户匹配的不透明度回归模型。若实验佩戴者为多个，可得到适用于大众的不透明度回归模型。

步骤s42、以不同的光强度作为测试环境，获取每一光强度下，使得实验佩戴者处于最舒适状态下对应的设备参数以及实验佩戴者的眼睛状态特征参数；

其中，可控制不同的照明条件，调节光强度，从而设置对应的测试环境。

步骤s43、基于所述实验佩戴者的眼睛参考状态将实验佩戴者的眼睛状态特征参数标准化；

其中，实验佩戴者的眼睛参考状态，即用户的最自然状态时对应的眼睛的开合度和瞳孔尺寸，基于此进行标准化，提升了型准确度。

步骤s44、将光强度、对应的标准化后的眼睛状态参数作为输入、将对应的设备参数作为输出进行回归模型训练，得到所述不透明度回归模型。

以所述眼睛状态特征参数可包括眼镜开合度和瞳孔大小，所述设备参数包括电致变色薄膜变色程度、液晶薄膜光学漫射程度和光机光学功率水平为例，执行所述步骤s4过程中，在不同的照明条件下，用户将设备的电致变色薄膜变色程度，液晶薄膜光学漫射程度和光学功率水平调节到该用户的最舒适状态。然后，检测眼睛开合度和瞳孔大小，并且光强度传感器测量光强度。将光强度，眼睛开合度(标准化后)，瞳孔大小(标准化后)和电致变色薄膜变色程度，液晶薄膜光学慢射程度和光学功率水平的当前状态作为单个数据点记录到内部存储器。对收集到的不同用户的数据进行回归模型训练。这种模型将每个数据点的光强度，眼睛开合度(标准化后)和瞳孔大小(标准化后)作为输入，并且将每个数据点的电致变色薄膜变色程度，液晶薄膜光学漫射程度和光学功率水平作为输出，得到不透明度回归模型。

本发明实施例还提供了一种的不透明度控制装置，用于ar/mr设备，如图4所示，包括参数获取模块1、目标值输出模块2和不透明度调整模块3，其中，参数获取模块1配置为获取当前光强度和佩戴者的眼睛状态特征参数；目标值输出模块2配置为将所述当前光强度和佩戴者的眼睛状态特征参数输入预先训练的不透明度回归模型中，输出设备参数目标值；不透明度调整模块3配置为基于所述设备参数目标值调整对应的设备参数，以调整ar/mr设备的不透明度。本发明实施例所述装置通过对用户眼睛状态的识别和判断，并调用不透明度回归模型来根据当前环境自适应的决定ar/mr设备的不透明程度，省去了佩戴用户人为的操作，根据佩戴者的眼睛状态来动态调整ar/mr设备的不透明程度，以让外界环境的视觉噪声对用户的影响水平降到最低，在不同的外部环境中提高ar/mr设备显示的信息的可见性和可辨别性，提升了用户体验。

作为一种示例，所述参数获取模块1包括眼部追踪传感器和光强传感器，其中，眼部追踪传感器用于获取眼睛状态特征参数，所述眼睛状态特征参数包括眼镜开合度和瞳孔大小；光强传感器用于获取当前光强度。

电致变色薄膜和光慢射液晶薄膜允许光在其表面进行衰减和慢射，透过电致变色薄膜薄膜的效果如图2(a)所示，透过光慢射液晶薄膜的效果图如图2(b)所示。通过对光的衰减和漫射将佩戴者与其外部环境隔离开来，这将提升在ar/mr设备上的用户体验。这些薄膜体积小可以安装在ar或mr设备内，使得用户透过它们观察外部环境。如图3所示示例，可将所述电致变色薄膜和液晶薄膜安装在ar/mr设备的前保护盖内，对应的，所述设备参数包括电致变色薄膜变色程度、液晶薄膜光学漫射程度和光机光学功率水平中的一种或多种。在图3中，可通过控制连接到每层的电极对控制薄膜状态。现有技术中ar/mr设备的不透明度控制还都是手动方式，这种手动控制的方式对用户来说是十分麻烦的。本发明实施例的方案根据用户眼睛的状态来自动调整ar/mr设备的不透明度，对用户来说是十分方便的，提升了户用体验。

作为一种示例，如图5所示，所述装置还包括不透明度回归模型训练模块4，回归模型训练模块4可为离线模块，具体包括眼睛状态校准单元、训练参数获取单元、眼睛特征参数标准化单元和回归模型训练单元，其中，眼睛状态校准单元配置为获取实验佩戴者的眼睛参考状态，可以理解的是，实验佩戴者即用于获取训练数据的参与者，可以为特定的一个，也可为多个，若为特定的一个，可得到与该特定用户匹配的不透明度回归模型。若实验佩戴者为多个，可得到适用于大众的不透明度回归模型。训练参数获取单元配置为以不同的光强度作为测试环境，获取每一光强度下，使得实验佩戴者处于最舒适状态下对应的设备参数以及实验佩戴者的眼睛状态特征参数，其中，可控制不同的照明条件，调节光强度，从而设置对应的测试环境。眼睛特征参数标准化单元，配置为基于所述实验佩戴者的眼睛参考状态将实验佩戴者的眼睛状态特征参数标准化，其中，实验佩戴者的眼睛参考状态，即用户的最自然状态时对应的眼睛的开合度和瞳孔尺寸，基于此进行标准化，提升了型准确度。回归模型训练单元，配置为将光强度、对应的标准化后的眼睛状态参数作为输入、将对应的设备参数作为输出进行回归模型训练，得到所述不透明度回归模型。

以所述眼睛状态特征参数可包括眼镜开合度和瞳孔大小，所述设备参数包括电致变色薄膜变色程度、液晶薄膜光学漫射程度和光机光学功率水平为例，回归模型训练模块4在进行模型训练过程中，在不同的照明条件下，用户将设备的电致变色薄膜变色程度，液晶薄膜光学漫射程度和光学功率水平调节到该用户的最舒适状态。然后，检测眼睛开合度和瞳孔大小，并且光强度传感器测量光强度。将光强度，眼睛开合度(标准化后)，瞳孔大小(标准化后)和电致变色薄膜变色程度，液晶薄膜光学慢射程度和光学功率水平的当前状态作为单个数据点记录到内部存储器。对收集到的不同用户的数据进行回归模型训练。这种模型将每个数据点的光强度，眼睛开合度(标准化后)和瞳孔大小(标准化后)作为输入，并且将每个数据点的电致变色薄膜变色程度，液晶薄膜光学漫射程度和光学功率水平作为输出，得到不透明度回归模型。

不透明度调整模块3基于所述设备参数目标值调整对应的ar/mr的硬件设备参数，以调整ar/mr设备的不透明度。硬件设置可定期更新，可以通过公开的api进行覆盖。作为一种示例，不透明度调整模块3从目标值输出模块2获取到电致变色薄膜变色程度，液晶薄膜光学漫射程度和光学功率水平等三个指标。然后将对应的信号施加到每个膜层以同时驱动电致变色薄膜和液晶薄膜和光机光学功率到期望的状态。更新硬件设置的时间间隔是可配置的。提供给开发人员的api访问允许定时更新，允许锁定或调整不透明状态。api级别控制可以通过应用程序以编程方式访问，包括但不限于视频游戏，网络应用程序和实用程序，或者由用户通过诸如控制面板的应用程序直接访问。

本发明实施例还包括一种ar/mr设备，包括本发明实施例所述的用于ar/mr设备的不透明度控制装置。

本发明实施例还提供一种控制器，其包括存储器与处理器，所述存储器存储有计算机程序，所述程序在被所述处理器执行时能够实现所述不透明度控制方法的步骤。

本发明实施例还提供一种计算机可读存储介质，用于存储计算机程序，所述程序在由一计算机或处理器执行时实现所述不透明度控制方法的步骤。

本发明实施例通过对用户眼睛状态的识别和判断，并调用不透明度回归模型来根据当前环境自适应的决定ar/mr设备的不透明程度，具体可通过电致变色薄膜变色程度，液晶薄膜光学漫射程度和光学功率水平等来控制ar/mr设备的不透明度。通过基于眼睛状态的不透明度控制系统省去了佩戴用户人为的操作，根据佩戴者的眼睛状态来动态调整ar/mr设备的不透明程度，以让外界环境的视觉噪声对用户的影响水平降到最低，在不同的外部环境中提高ar/mr设备显示的信息的可见性和可辨别性，提升了用户体验。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。