一种消除屏下杂散光的方法、装置、屏下系统和存储介质与流程

本申请属于光学及图像处理领域，尤其涉及一种消除屏下杂散光的方法、装置、屏下系统和存储介质。

背景技术：

目前，为了提升屏幕完整性和产品外观美观度，技术人员不断尝试将2d摄像头和3d摄像头放置于显示屏下。但是，在将间接测量飞行时间(indirecttof，itof)、直接测量飞行时间(directtof，dtof)、结构光等3d技术应用于屏下成像时，位于显示屏内侧的信号接收端往往会接收到杂散光信号，导致深度测量值出现异常。

因此，需要一种消除屏下杂散光的方法，提高3d技术等应用中深度信息的准确性。

技术实现要素：

本申请实施例提供一种消除屏下杂散光的方法、装置、屏下系统和存储介质，可以消除屏下杂散光，以提高深度测量值的准确性。

本申请实施例第一方面提供一种消除屏下杂散光的方法，包括：

获取位于显示屏内侧的信号接收端接收到的回波信号；所述回波信号为位于所述显示屏内侧的信号发射端向所述显示屏外侧的目标区域发射第一光信号后，所述信号接收端接收到的光信号；

获取所述第一光信号经所述显示屏反射和/或散射后所述信号接收端接收到的杂散光信号；

基于所述回波信号和所述杂散光信号，计算所述目标区域对所述第一光信号进行反射的目标光信号。

本申请实施例第二方面提供的一种消除屏下杂散光的装置，包括：

回波信号获取单元，用于获取位于显示屏内侧的信号接收端接收到的回波信号；所述回波信号为位于所述显示屏内侧的信号发射端向所述显示屏外侧的目标区域发射第一光信号后，所述信号接收端接收到的光信号；

杂散光信号获取单元，用于获取所述第一光信号经所述显示屏反射和/或散射后所述信号接收端接收到的杂散光信号；

目标光信号计算单元，用于基于所述回波信号和所述杂散光信号，计算所述目标区域对所述第一光信号进行反射的目标光信号。

本申请实施例第三方面提供一种屏下系统，其特征在于，包括投影模块、采集模块、处理模块、存储模块及显示屏，其中：

所述投影模块，用于透过所述显示屏向目标区域投射第一光信号；

所述采集模块，用于接收所述目标区域反射后透过所述显示屏的回波光信号；

所述处理模块，用于根据接收的所述回波光信号与预存于所述存储模块的所述杂散光信号计算目标光信号；

所述存储模块，用于存储基于上述消除屏下杂散光方法获取的所述杂散光信号。

本申请实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

本申请实施例第五方面提供了一种计算机程序产品，当计算机程序产品在屏下系统上运行时，使得屏下系统执行时实现方法的步骤。

本申请的实施方式中，通过分别获取位于显示屏内侧的信号接收端接收到的回波信号和其中由显示屏反射和/或散射后信号接收端接收到的杂散光信号，能够基于回波信号和杂散光信号，滤除杂散光信号，得到信号发射端向显示屏外侧的目标区域发射第一光信号后，目标区域实际对第一光信号进行反射得到的目标光信号，使得可以消除经过显示屏传播到接收端的杂散光信号对深度测量的影响，提高屏下系统深度测量精度，加快3d技术应用于屏下测量。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的形成杂散光信号的示意图；

图2是本申请实施例提供的一种消除屏下杂散光的方法的实现流程示意图；

图3是本申请实施例提供的在显示屏外侧设置有遮光元件的示意图；

图4是本申请实施例提供的在距离显示屏预设距离范围内不存在能对第二光信号进行反射的物体的示意图；

图5是本申请实施例提供的在信号发射端和目标区域之间设置有低反射率物体的示意图；

图6是本申请实施例提供的一种消除屏下杂散光的装置的结构示意图；

图7是本申请实施例提供的屏下系统的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前，为了提升屏幕完整性和产品外观美观度，技术人员不断尝试将2d摄像头和3d摄像头放置于显示屏下。

研究发现，用于屏下成像的显示屏通常采用透光度较高的有机发光半导体(organiclight-emittingdiode，oled)屏幕，显示屏中不可避免地存在一些高反射率结构如金属阴极，这会导致入射到显示屏内侧的光经过多次反射或散射。

如图1所示，在将飞行时间、结构光等3d技术应用于屏下成像时，由于这些3d技术采用的信号发射端和信号接收端间距较小，位于显示屏内侧的信号发射端发出的光很容易通过屏幕的散射和/或反射进入信号接收端，形成干扰成像的杂散光信号，导致深度测量值异常。

因此，需要一种消除屏下杂散光的方法，提高3d技术等应用中深度信息的准确性。

为了说明本申请的技术方案，下面通过具体实施例来进行说明。

图2示出了本申请实施例提供的一种消除屏下杂散光的方法的实现流程示意图，该方法可以应用于终端，可适用于需消除屏下杂散光，以提高深度测量值的准确性的情形。

其中，上述终端可以为上述终端可以携带有屏下摄像头的手机、平板电脑等屏下系统，以消除自身的屏下杂散光；也可以是电脑、服务器等终端，以帮助携带有屏下摄像头的其他终端提高深度测量值的准确性。

具体的，上述消除屏下杂散光的方法可以包括以下步骤s201至步骤s203。

步骤s201，获取位于显示屏内侧的信号接收端接收到的回波信号。

其中，上述回波信号为位于显示屏内侧的信号发射端向显示屏外侧的目标区域发射第一光信号后，信号接收端接收到的光信号。第一光信号是信号发射端经过特定频率的波形调制后发射的脉冲光束，例如可以是经特定频率的正弦波或矩形波调制后发射的脉冲光束。

如图1所示，当位于显示屏内侧的信号发射端向显示屏外侧的目标区域发射第一光信号之后，目标区域会对第一光信号进行反射，同时显示屏自身也会对第一光信号进行反射和/或散射，位于显示屏内侧的信号接收端可以接收到由目标区域对第一光信号进行反射得到的信号，同时也会接收到显示屏自身对第一光信号进行反射和/或散射得到的信号。

也就是说，信号接收端接收到的回波信号中既包含目标区域对第一光信号进行反射得到的目标光信号，也包含显示屏反射和/或散射后得到的杂散光信号。

步骤s202，获取第一光信号经显示屏反射和/或散射后信号接收端接收到的杂散光信号。

在本申请的实施方式中，上述终端可以通过滤除目标区域对第一光信号进行反射的目标光信号，以使信号接收端接收到第一光信号经显示屏反射和/或散射后得到的杂散光信号。

具体的，在本申请的一些实施方式中，上述终端可以在显示屏外侧设置有遮光元件时，将信号接收端接收到的光信号作为杂散光信号。

其中，上述遮光元件用于避免目标区域对第一光信号反射的目标光信号透过显示屏。

为了方便说明，如图3示出了显示屏外侧设置有遮光元件的示意图，信号发射端发射的第一光信号(即脉冲光束)被分为第一脉冲光束和第二脉冲光束，第一脉冲光束在显示屏内侧经显示屏反射和/或散射并进入信号接收端；第二脉冲光束透过显示屏向外发射并经目标区域反射至信号接收端，由于显示屏外侧设置有不透光的遮光元件，阻挡了第二脉冲光束经目标区域反射回的脉冲光束进入信号接收端，使得信号接收端仅产生杂散光信号。因此，终端可以在显示屏外侧设置有遮光元件时，将信号接收端接收到的光信号作为杂散光信号。

在本申请的另一些实施方式中，上述终端还可以在距离显示屏预设距离范围内不存在能对第二光信号进行反射的物体时，将信号接收端接收到的光信号作为杂散光信号。

其中，第二光信号为信号发射端发射的第一光信号透过显示屏后得到的光信号。

为了方便说明，如图4示出了距离显示屏预设距离范围内不存在能对第二光信号进行反射的物体的示意图，信号发射端发射的第一光信号(即脉冲光束)被分为第一脉冲光束和第二脉冲光束(即第二光信号)，第一脉冲光束在显示屏内侧经显示屏反射和/或散射并进入信号接收端；第二脉冲光束透过显示屏向外发射，但由于在距离显示屏预设距离范围内不存在能对第二脉冲光束进行反射的物体，第二脉冲光束经过远距离传播后到达信号接收端时能量得到足够的衰减，无法引起信号接收端的响应，使得信号接收端仅接收到杂散光信号。因此，终端可以在距离显示屏预设距离范围内不存在能对第二光信号进行反射的物体时，将信号接收端接收到的光信号作为杂散光信号。

在本申请的另一些实施方式中，上述终端还可以在信号发射端和目标区域之间设置有低反射率物体时，将信号接收端接收到的光信号作为杂散光信号。

其中，上述低反射率物体用于吸收信号发射端发射的第一光信号透过显示屏后得到的第二光信号。例如，低反射率物体可以是低反射率幕布或者低反射率标定板等能够使第二光信号吸收的物体。

为了方便说明，如图5示出了在信号发射端和目标区域之间设置有低反射率物体的示意图，信号发射端发射的第一光信号(即脉冲光束)被分为第一脉冲光束和第二脉冲光束(即第二光信号)，第一脉冲光束在显示屏内侧经显示屏反射和/或散射并进入信号接收端；第二脉冲光束透过显示屏向外发射，但由于信号发射端和目标区域之间设置有低反射率物体，低反射率物体能够吸收第二脉冲光束进而防止第二脉冲光束再次透过显示屏进入信号接收端，使得信号接收端仅接收到杂散光信号。因此，终端可以在信号发射端和目标区域之间设置有低反射率物体时，将信号接收端接收到的光信号作为杂散光信号。

在本申请的另一些实施方式中，还可以通过其他方式使第二光信号被吸收或者使第二光信号被衰减直至不能被信号接收端接收，从而获取到杂散光信号。

需要说明的是，上述杂散光信号可以是提前对杂散光信号进行标定并存储在终端的存储器中的信号。例如，可以提前将携带有屏下摄像头的终端放置于空旷场景(如空旷长廊)中，以通过图4所示方式进行标定，得到杂散光信号，并在需要计算深度信息时获取已存储的杂散光信号，从而消除屏下杂散光。并且在提前标定杂散光时，可以在室内或黑暗环境中进行，避免环境光的干扰。

上述杂散光信号也可以是在需要计算深度信息时，通过一定方式标定得到的杂散光信号。例如，在获取回波信号之后，在显示屏外侧设置有遮光元件，以通过图3所示方式得到杂散光信号，从而消除屏下杂散光以计算准确地深度信息。

步骤s203，基于回波信号和杂散光信号，计算目标区域对第一光信号进行反射的目标光信号。

在本申请的实施方式中，在获取到回波信号和杂散光信号之后，可以基于回波信号和杂散光信号，从回波信号中去除杂散光信号，得到目标区域对第一光信号进行反射的目标光信号。

具体的，上述步骤s203可以包括：计算曝光时间t内信号接收端累计的回波信号的信号强度pa和曝光时间t内信号接收端累计的杂散光信号的信号强度pb，并根据公式p＝pa-pb计算曝光时间t内信号接收端累计的目标光信号的信号强度p。

具体的，上述曝光时间t内信号接收端累计的回波信号的信号强度pa的计算，可以包括：根据公式计算曝光时间t内信号接收端累计的目标光信号的强度pa，其中，s’(t)表示t时刻根据信号接收端接收到的回波信号得到的电荷量；q(t)表示t时刻的解调波形信号，解调波形信号是信号发射端使用的调制波形信号对应的解调波形信号。

同样的，上述曝光时间t内信号接收端累计的回波信号的信号强度pb的计算，可以包括：根据公式计算曝光时间t内信号接收端累计的杂散光信号的强度pb，其中，n(t)表示t时刻根据信号接收端接收到的杂散光信号得到的电荷量；q(t)表示t时刻的解调波形信号，解调波形信号是信号发射端使用的调制波形信号对应的解调波形信号。

其中，当解调波形信号q(t)为高电平(即1)时，表示需对信号进行采样，当解调波形信号q(t)为低电平(即0)时，则表示不对信号进行采样。

由于信号接收端在整个曝光时间内累积的回波信号的信号强度pa为有效的目标光信号和杂散光信号的叠加，且进入信号接收端的杂散光信号强度与分布于显示屏的材质和结构有关，当屏下系统组装完成后，杂散光信号的强度与分布随即被固定下来。因此，可以通过p＝pa-pb即可得到目标光信号。

为了使得到的目标光信号更加准确，在本申请的一些实施方式中，获取的杂散光信号可以为多组，例如可以分别通过图3、图4和图5的方式分别获取到一组杂散光信号，此时可以通过对多组杂散光信号求均值，并基于回波信号和多组杂散光信号的均值，计算目标区域对第一光信号进行反射的目标光信号。

本申请的实施方式中，通过分别获取位于显示屏内侧的信号接收端接收到的回波信号和其中由显示屏反射和/或散射后信号接收端接收到的杂散光信号，能够基于回波信号和杂散光信号，滤除杂散光信号，得到信号发射端向显示屏外侧的目标区域发射第一光信号后，目标区域实际对第一光信号进行反射得到的目标光信号，使得可以消除经过显示屏传播到接收端的杂散光信号对深度测量的影响，提高屏下系统深度测量精度，加快3d技术应用于屏下测量。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为根据本申请，某些步骤可以采用其它顺序进行。

如图6所示为本申请实施例提供的一种消除屏下杂散光的装置600的结构示意图，所述消除屏下杂散光的装置600配置于终端上。

其中，所述消除屏下杂散光的装置600可以包括：回波信号获取单元601、杂散光信号获取单元602和目标光信号计算单元603。

回波信号获取单元601，用于获取位于显示屏内侧的信号接收端接收到的回波信号；所述回波信号为位于所述显示屏内侧的信号发射端向所述显示屏外侧的目标区域发射第一光信号后，所述信号接收端接收到的光信号；

杂散光信号获取单元602，用于获取所述第一光信号经所述显示屏反射和/或散射后所述信号接收端接收到的杂散光信号；

目标光信号计算单元603，用于基于所述回波信号和所述杂散光信号，计算所述目标区域对所述第一光信号进行反射的目标光信号。

在本申请的一些实施方式中，上述杂散光信号获取单元602，可以具体用于：在所述显示屏外侧设置有遮光元件时，将所述信号接收端接收到的光信号作为所述杂散光信号，所述遮光元件用于避免所述目标区域对所述第一光信号反射的目标光信号透过所述显示屏。

在本申请的一些实施方式中，上述杂散光信号获取单元602，还可以具体用于：在距离所述显示屏预设距离范围内不存在能对第二光信号进行反射的物体时，将所述信号接收端接收到的光信号作为所述杂散光信号；所述第二光信号为所述信号发射端发射的第一光信号透过所述显示屏后得到的光信号。

在本申请的一些实施方式中，上述杂散光信号获取单元602，还可以具体用于：在所述信号发射端和所述目标区域之间设置有低反射率物体时，将所述信号接收端接收到的光信号作为所述杂散光信号，所述低反射率物体用于吸收信号发射端发射的第一光信号透过所述显示屏后得到的第二光信号。

在本申请的一些实施方式中，上述目标光信号计算单元603，还可以具体用于：计算曝光时间t内所述信号接收端累计的所述回波信号的信号强度pa和曝光时间t内所述信号接收端累计的所述杂散光信号的信号强度pb；根据公式p＝pa-pb计算曝光时间t内所述信号接收端累计的所述目标光信号的信号强度p。

在本申请的一些实施方式中，上述目标光信号计算单元603，还可以具体用于：根据公式计算所述曝光时间t内所述信号接收端累计的所述目标光信号的强度pa，其中，s’(t)表示t时刻根据所述信号接收端接收到的回波信号得到的电荷量；q(t)表示t时刻的解调波形信号，所述解调波形信号是所述信号发射端使用的调制波形信号对应的解调波形信号。

在本申请的一些实施方式中，上述目标光信号计算单元603，还可以具体用于：根据公式计算所述曝光时间t内所述信号接收端累计的所述杂散光信号的强度pb，其中，n(t)表示t时刻根据所述信号接收端接收到的杂散光信号得到的电荷量；q(t)表示t时刻的解调波形信号，所述解调波形信号是所述信号发射端使用的调制波形信号对应的解调波形信号。

需要说明的是，为描述的方便和简洁，上述消除屏下杂散光的装置600的具体工作过程，可以参考图2至图5所述方法的对应过程，在此不再赘述。

如图7所示，为本申请实施例提供的一种终端为屏下系统的结构示意图。该屏下系统屏下系统可以包括：投影模块70、采集模块71、处理模块72、存储模块73及显示屏74，其中：

投影模块70，用于透过显示屏74向目标区域投射第一光信号；

采集模块71，用于接收目标区域反射后透过显示屏74的回波光信号；

处理模块72，用于根据接收的回波光信号与预存于存储模块73的杂散光信号计算目标光信号；

存储模块73，用于存储基于上述消除屏下杂散光的方法获取的杂散光信号。

在一个实施例中，投影模块70可为边发射激光器(eel)、垂直腔面发射激光器(vcsel)等光源，也可以是多个光源组成的光源阵列，光源所发射的光束可以是可见光、红外光或紫外光等。光源所发射的光束可以在参考平面上形成均匀、随机或者特殊设计的强度分布投影图案。采集模块71中包括图像传感器以及透镜单元等模块，透镜单元接收由物体反射回的部分光束并成像在图像传感器上。图像传感器可以是电荷耦合元件(chargecoupleddevice，ccd)、互补金属氧化物半导体(complementarymetal-oxide-semiconductortransistor，cmos)、雪崩二极管(avalanchediode，ad)或单光子雪崩二极管(singlephotonavalanchediode，spad)等组成的图像传感器。

在一个实施例中，所述处理模块72执行消除屏下杂散光的方法实施例中的步骤，更具体地，该步骤可由处理模块72中一个或多个单元执行，以完成本申请，可被分割的单元(请参见图6，图6示出了本申请提供的一种处理器功能架构示意图)的具体执行功能如下：

回波信号获取单元，用于获取位于显示屏内侧的信号接收端接收到的回波信号；所述回波信号为位于所述显示屏内侧的信号发射端向所述显示屏外侧的目标区域发射第一光信号后，所述信号接收端接收到的光信号；杂散光信号获取单元，用于获取所述第一光信号经所述显示屏反射和/或散射后所述信号接收端接收到的杂散光信号，并将杂散光信号传输至存储模块73进行存储，便于计算目标光信号；目标光信号计算单元，用于基于所述回波信号和存储模块73中的所述杂散光信号，计算所述目标区域对所述第一光信号进行反射的目标光信号。所称处理模块72可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储模块73可以是所述屏下系统的内部存储单元，例如屏下系统的硬盘或内存。所述存储器71也可以是所述屏下系统的外部存储设备，例如所述屏下系统上配备的插接式硬盘，智能存储卡(smartmediacard，smc)，安全数字(securedigital，sd)卡，闪存卡(flashcard)等。进一步地，所述存储模块73还可以既包括所述屏下系统的内部存储单元也包括外部存储设备。所述存储模块73用于存储所述计算机程序以及所述屏下系统所需的其他程序和数据。所述存储模块73还可以用于暂时地存储已经输出或者将要输出的数据。

所述屏下系统可包括，但不仅限于上述模块。本领域技术人员可以理解，图7仅仅是屏下系统的示例，并不构成对屏下系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述屏下系统还可以包括输入输出设备、网络接入设备、总线等。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。