屏下摄像头模组、图像处理方法及终端与流程

本发明涉及通信技术领域，尤其涉及一种屏下摄像头模组、图像处理方法及终端。

背景技术：

手机终端朝着全面屏，屏占比尽量大的趋势发展，而摄像头、光线传感器和近距离传感器等成为设计的瓶颈。为了应对目前趋势的发展，相关技术中有以下几种方式：前摄下部放置方案、机械式马达隐藏前置摄像头方案、侧面上面弹出式摄像头方案、水滴屏、刘海屏方案等，但每种方案均有其明显的缺点和劣势，前摄下部放置方案增加手机“下巴”的宽度，自拍时需要手机倒置，操作不便；机械式马达前摄和侧面上面弹出式前摄方案均提升了工业设计难度，可靠性降低，成本提高，整体造型美感破坏等问题；水滴屏、刘海屏造成整体显示区域破坏，显示不全等问题。因此，屏下摄像技术应运而生。

目前，屏下摄像主要方案是几种：led屏的摄像头通光孔部分的不透明散光片，增加去黑点算法与去色彩算法，去除显示屏上摄像头通光孔部分的blackmatrix；oled也是去除部分像素点并进行色偏调整以实现尽量对屏幕显示影响较小的方案等。这些方案都是牺牲摄像头区域显示屏的部分显示性能，使摄像头开启时这部分屏呈现部分通光状态，但即使这样处理，摄像头成像性能仍有一定的衰减，屏幕显示和摄像头成像都将受到影响。

技术实现要素：

本发明提供一种屏下摄像头模组、图像处理方法及终端，解决了屏下摄像技术中，成像性能差且影响屏幕正常显示的问题。

本发明的实施例提供一种屏下摄像头模组，包括：

显示屏，所述显示屏包括：红外光透明阴极，位于所述红外光透明阴极下方的发光层、位于所述发光层下方的红外光透明阳极；

位于所述红外光透明阳极下方的普通摄像头和红外摄像头，所述红外摄像头设置于所述普通摄像头的外围。

本发明的实施例提供了一种图像处理方法，应用于包含上述屏下摄像头模组的终端，包括：

获取所述普通摄像头采集到的第一图像数据以及所述红外摄像头采集到的第二图像数据；

根据所述第二图像数据，校正所述第一图像数据，得到最终成像数据。

本发明的实施例提供了一种终端，包括：上述屏下摄像头模组；还包括：

获取模块，用于获取所述普通摄像头采集到的第一图像数据以及所述红外摄像头采集到的第二图像数据；

校正模块，用于根据所述第二图像数据，校正所述第一图像数据，得到最终成像数据。

本发明的实施例提供了一种终端，包括：处理器；与所述处理器相连接的存储器，以及与处理器相连接的收发机、天线、图像处理芯片，与图像处理芯片连接的普通摄像头和红外摄像头，与所述普通摄像头和所述红外摄像头连接的感光传感器；其中，所述处理器用于调用并执行所述存储器中所存储的程序和数据，实现上述的图像处理方法的步骤。

本发明的实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像处理方法的步骤。

本发明实施例的上述技术方案的有益效果是：利用显示屏的红外光透视效果，在显示屏下设置红外摄像头以辅助普通摄像头，利用红外摄像头采集的图像校正普通摄像头采集的图像，以提高屏下摄像头的成像效果。

附图说明

图1表示本发明实施例的显示屏的结构示意图；

图2表示本发明实施例的图像处理方法的流程示意图之一；

图3表示本发明实施例的图像处理方法的流程示意图之二；

图4表示本发明实施例的终端的模块结构示意图；

图5表示本发明实施例的终端框图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。

在本发明实施例的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或可以互相通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

本发明实施例提供了一种屏下摄像头模块，包括：显示屏，位于显示屏下的普通摄像头和红外摄像头。

其中，如图1所示，显示屏包括：红外光透明阴极101，位于红外光透明阴极101下方的发光层102、位于发光层102下方的红外光透明阳极103。普通摄像头和红外摄像头设置于红外光透明阳极103下方，红外摄像头设置于普通摄像头的外围，即红外摄像头围绕普通摄像头设置。可选地，红外摄像头的数目可以设置为多个，这多个红外摄像头可均匀的分布在普通摄像头的外围设置。本发明实施例提出的红外摄像头辅助成像，屏下红外摄像头对应的显示屏(如oled屏、amoled屏等)的屏幕显示区域，oled屏的内部阴极、阳极透红外光性能较好，大部分红外光可以透射整个显示区，从而是红外摄像头获得较好的红外成像效果。

这样，本发明实施例为了改善屏下摄像头的成像性能，同时不增加屏幕透明区域的面积，利用amoled屏幕的红外光透光性能，在屏下增加一个或多个红外摄像头，利用红外摄像头的红外成像，并将红外成像的成像结果通过软件与普通摄像头的成像结果进行对比合成，综合成像后增加照片或视频的元素，从而提升了照片或视频的成像效果。

另外，在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在本申请所提供的实施例中，应理解，“与a相应的b”表示b与a相关联，根据a可以确定b。但还应理解，根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其它信息确定b。

如图2所示，本发明的实施例提供了一种图像处理方法，具体包括以下步骤：

步骤21：获取普通摄像头采集到的第一图像数据以及红外摄像头采集到的第二图像数据。

其中，普通摄像头为普通摄像头，作为主摄像头，采集到的第一图像数据为彩色图像，第一图像数据包括但不限于照片或视频。红外摄像头作为辅摄像头，采集到的第二图像数据为红外图像，第二图像数据包括但不限于照片或视频。

在发明的一些实施例中，步骤21之前还包括：接收用户输入的拍摄指令；根据拍摄指令，启动普通摄像头和红外摄像头。在接收到用户输入的拍摄指令，例如自拍指令，启动自拍模式，启动前置摄像头，即启动普通摄像头和红外摄像头。

步骤22：根据第二图像数据，校正第一图像数据，得到最终成像数据。

第二图像数据为光损失较小的红外图像，细节丰富；第一图像为光损失较大的彩色图像。根据细节丰富的第二图像数据来校正第一图像数据，得到最终成像数据。

可选地，步骤22可以包括：将第一图像数据和第二图像数据进行对比计算，得到修正参数，该修正参数包括：普通摄像头和红外摄像头的成像位移、图像畸变、大小调整参数、焦距成像调整参数中的至少一项；根据修正参数，确定第二图像数据的有效部分；根据第二图像数据的有效部分，对第一图像数据进行叠加修正。

在本发明实施例中，第一图像数据为正常的彩色图像，第二图像数据为红外图像。普通摄像头拍摄正常照片或视频，红外摄像头拍摄红外成像照片或视频，数据通过处理后传输到基带处理芯片，基带芯片将正常照片或视频每一帧图像和对应同时间点的红外照片或视频每一帧图像对比，计算不同角度差距造成的成像位移和畸形矫正，将原始数据可用部分合成并处理，形成最终图像。

如图3所示，本发明实施例的图像处理方法包括以下步骤：

步骤31：打开自拍模式。

步骤32：普通摄像头开启，红外摄像头开启。

步骤33：普通摄像头拍摄彩色图像，红外摄像头拍摄红外图像。

步骤34：数据处理，对比彩色图像和红外图像，修正叠加可用成像部分。

步骤35：形成最终图像。

当用户操作手机打开照相机，启动自拍模式，软件同时调用前置普通摄像头，和一个或多个前置红外摄像头启动，前置普通摄像头拍摄正常彩色照片或视频，红外摄像头拍摄红外成像照片或视频，数据通过处理后传输到基带处理芯片，基带芯片将正常彩色照片或视频每一帧图像和对应同时间点的红外照片或视频每一帧图像对比，计算不同角度差距造成的成像位移和畸形矫正，将原始数据可用部分合成并处理，形成最终图像。此时的图像综合了可见光成像的图像和红外光成像的图像有效部分，成像效果远远优于屏下普通摄像效果，接近普通前摄拍照效果。

本发明实施例在不影响oled屏显示的情况下，在屏下增加一个或多个红外摄像头，利用显示屏的红外光透视效果，在显示屏下设置红外摄像头以辅助普通摄像头，利用红外摄像头采集的图像校正普通摄像头采集的图像，将成像数据进行二次处理后与屏下普通摄像头所拍摄图像合成形成最终图像，大幅提升目前屏下摄像的效果，提高屏下摄像头的成像效果。

以上实施例分别就本发明的图像处理方法做出介绍，下面本实施例将结合附图对其对应的终端做进一步说明。

本发明实施例的终端包括上述实施例中的屏下摄像头模组，如图4所示，该终端400还包括：

获取模块410，用于获取普通摄像头采集到的第一图像数据以及红外摄像头采集到的第二图像数据；

校正模块420，用于根据第二图像数据，校正第一图像数据，得到最终成像数据。

可选地，校正模块420包括：

计算子模块，用于将第一图像数据和第二图像数据进行对比计算，得到修正参数，该修正参数包括：普通摄像头和红外摄像头的成像位移、图像畸变、大小调整参数、焦距成像调整参数中的至少一项；

确定子模块，用于根据成像位移，确定第二图像数据的有效部分；

修正子模块，用于根据第二图像数据的有效部分，对第一图像数据进行叠加修正。

可选地，该终端400还包括：

接收模块，用于接收用户输入的拍摄指令；

启动模块，用于根据拍摄指令，启动普通摄像头和红外摄像头。

本发明的终端实施例是与上述方法的实施例对应的，上述方法实施例中的所有实现手段均适用于该终端的实施例中，也能达到相同的技术效果。该终端利用显示屏的红外光透视效果，在显示屏下设置红外摄像头以辅助普通摄像头，利用红外摄像头采集的图像校正普通摄像头采集的图像，以提高屏下摄像头的成像效果。

如图5所示，本实施例提供一种终端，包括：

处理器51；以及通过总线接口52与所述处理器51相连接的存储器53，所述存储器53用于存储所述处理器41在执行操作时所使用的程序和数据，当处理器51调用并执行所述存储器53中所存储的程序和数据时，执行下列过程。

其中，收发机54与总线接口52连接，用于在处理器51的控制下接收和发送数据。以及，

与处理器51连接的天线、图像处理芯片，与图像处理芯片连接的普通摄像头和红外摄像头，与所述普通摄像头和所述红外摄像头连接的感光传感器；

处理器51用于：获取普通摄像头采集到的第一图像数据以及红外摄像头采集到的第二图像数据；根据第二图像数据，校正第一图像数据，得到最终成像数据。

需要说明的是，在图5中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器51代表的一个或多个处理器和存储器53代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机54可以是多个元件，即包括发送机和收发机，提供用于在传输介质上与各种其他装置通信的单元。针对不同的终端，用户接口55还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。处理器51负责管理总线架构和通常的处理，存储器53可以存储处理器51在执行操作时所使用的数据。

本领域技术人员可以理解，实现上述实施例的全部或者部分步骤可以通过硬件来完成，也可以通过计算机程序来指示相关的硬件来完成，所述计算机程序包括执行上述方法的部分或者全部步骤的指令；且该计算机程序可以存储于一可读存储介质中，存储介质可以是任何形式的存储介质。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read-onlymemory，简称rom)、随机存取存储器(randomaccessmemory，简称ram)、磁碟或者光盘等。

此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。