光照模式识别方法、装置、计算机设备及存储介质与流程

本申请涉及摄影技术领域，尤其涉及一种光照模式识别方法、装置及存储介质。

背景技术：

目前，带有摄像功能的智能家居设备已经逐渐普及，这些设备使用现场的光照模式往往千差万别。比如，可视门铃可以安装在建筑内的楼道等封闭环境，也可以安装在别墅/庭院等开放式环境中，这些环境中光照条件大相径庭，有的拍摄现场的光照模式可能是顺光模式，有的可能是逆光模式，在这些光照模式下，顺光程度或逆光程度也有所不同。在逆光模式下，由于sensor自身的动态范围有限(人眼约120db，普通图像传感器约70db)，难以同时保留高光、阴影的图像细节。有一些可视门铃的曝光策略是人脸优先策略，优势是在大部分场景里可以保证人脸清晰，但是在逆光模式下会出现背景过曝光的现象；另一种现有的曝光策略是背景优先策略，优势是整体画面清晰，但是存在逆光模式下人脸无法看清的弊端。因此有必要准确识别拍摄现场的光照模式，从而可以根据光照模式选择对应的曝光策略以便改善成像质量。

技术实现要素：

本申请实施例的目的在于提出一种光照模式识别方法、装置及存储介质，能够精准识别拍摄现场的光照模式，以便根据光照模式选择对应的曝光策略，从而提高成像质量。

根据本申请实施例的一个方面，提供了一种光照模式识别方法，包括如下步骤：

获取至少一幅关于拍摄现场的场景预览图像；

将该场景预览图像划分为n个区块，其中，n为正整数；

根据所述区块提取所述场景预览图像的场景图像特征，所述场景图像特征包括每个所述区块的平均亮度值；

利用光照识别模型根据所述场景图像特征识别所述拍摄现场的光照模式。

优选地，所述光照识别模型是根据训练样本预先训练得到的机器学习模型

优选地，所述机器学习模型是支持向量机模型。

可选的，所述方法还包括获取所述训练样本的步骤：获取若干样本图像；提取每个所述样本图像的样本图像特征作为样本数据；利用所述样本图像的光照模式对所述样本数据进行标记以获取训练样本。

可选的，所述利用光照识别模型根据所述场景图像特征识别所述拍摄现场的光照模式，包括：

将所述场景图像特征输入所述光照识别模型，获得所述场景预览图像属于所述光照模式的概率；

根据所述场景预览图像属于所述光照模式的概率，确定拍摄现场的光照模式。

根据本申请实施例的另一个方面，提供了一种光照模式识别装置，包括：获取模块，用于获取至少一幅关于拍摄现场的场景预览图像；划分模块，用于将该场景预览图像划分为n个区块，其中，n为正整数；计算模块，用于根据所述区块提取所述场景预览图像的场景图像特征，所述场景图像特征包括每个所述区块的平均亮度值；及处理模块，用于利用光照识别模型根据所述场景图像特征识别所述拍摄现场的光照模式。

可选的，所述光照识别模型是根据训练样本预先训练得到的机器学习模型。

优选地，所述机器学习模型是支持向量机模型。

可选的，所述处理模块包括：人工智能单元，将所述场景图像特征输入所述光照识别模型，获得所述场景预览图像属于所述光照模式的概率；逻辑单元，根据所述场景预览图像属于所述光照模式的概率，确定拍摄现场的光照模式。

本发明实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任意一种光照模式识别方法的步骤。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种光照模式识别方法的步骤。

与现有技术相比，本申请实施例主要有以下有益效果：本申请实施例通过获取至少一幅关于拍摄现场的场景预览图像，将场景预览图像划分为n个区块，根据所述区块提取所述场景预览图像的场景图像特征，利用光照识别模型根据所述场景图像特征识别所述拍摄现场的光照模式，从而能够准确地识别拍摄现场的光照模式，有利于提高成像质量。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2根据本申请的光照模式识别方法的一个实施例的流程图；

图3是图2中步骤s204的一种具体实施方式的流程图；

图4是根据本申请的光照模式识别装置的一个实施例的结构示意图；

图5是图4所示处理模块一种具体实施方式的结构示意图；

图6是根据本申请的计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

图1是本申请可以应用于其中的示例性系统架构图。如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

终端设备101、102、103可以通过网络104与服务器105交互，以接收或发送消息、图片等数据。终端设备101、102、103上可以安装有各种客户端应用，例如视频监控应用、相机应用、网络传输应用、图片分享应用等。

终端设备101、102、103可以是具有摄像模组的各种电子设备，包括但不限于智能可视门铃、网络摄像头、智能手机、平板电脑、电子书阅读器、mp3播放器(movingpictureexpertsgroupaudiolayeriii，动态影像专家压缩标准音频层面3)、mp4(movingpictureexpertsgroupaudiolayeriv，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种图像处理服务的服务器，例如对终端设备101、102、103提供光照模式识别服务的后台服务器。

需要说明的是，本申请实施例所提供的光照模式识别方法一般由终端设备执行，相应地，光照模式识别装置一般设置于终端设备中。在一些实施例中，光照模式识别方法也可以由服务器执行，相应地，光照模式识别装置可以设置于服务器中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。应理解的是，并不要求实施所有示出的终端或服务器。例如，在一些实施例中，光照模式识别方法由终端设备执行，不需要实施服务器。

继续参考图2，图2示出了根据本申请的光照模式识别的方法的一个实施例的流程图。如图所示，所述光照模式识别方法包括以下步骤：

步骤s201，获取至少一幅关于拍摄现场的场景预览图像。

在本实施例中，光照模式识别方法运行于其上的电子设备(例如图1所示的服务器/终端设备)可以通过有线连接方式或者无线连接方式从终端设备获取关于拍摄现场的场景预览图像。需要指出的是，上述无线连接方式可以包括但不限于3g/4g连接、wifi连接、蓝牙连接、wimax连接、zigbee连接、uwb(ultrawideband)连接以及其他现在已知或将来开发的无线连接方式。

在另一个实施例中，光照模式识别方法运行于其上的电子设备(例如图1所示的终端设备)可以利用内置的摄像模组获取关于拍摄现场的场景预览图像。

步骤s202，将该场景预览图像划分为n个区块，其中，n为正整数。

在本实施例中，每个区块中最好具有相同数量的像素点。并且区块数量越大，则光照模式识别结果越准确。当区块的数量n的大小不小于64时，可以保证光照模式识别的正确率达到可以接受的水平。优选地，区块的数量n可以为255，以提高光照模式识别的精准度。

步骤s203，根据所述区块提取所述场景预览图像的场景图像特征，所述场景图像特征包括每个所述区块的平均亮度值。

在本实施例中，具体来说，首先获取区块内的所有像素的亮度值，然后对像素的亮度值取平均值作为区块的平均亮度值。例如，对于第i个区块，其平均亮度值为xi，计算所有区块的平均亮度值，可以得到场景图像特征{x0,x1,…,xn}。

步骤s204，利用光照识别模型根据所述场景图像特征识别所述拍摄现场的光照模式。

在本实施例中，所述光照识别模型是根据训练样本预先训练得到的机器学习模型，例如为反向反馈神经网络模型、支持向量机模型或随机森林模型等等。优选地，光照识别模型是支持向量机模型。该支持向量机模型可以具有若干个输入端和多个输出端。输入端的数量可以等于n，即区块的数量。输出端的数量可以与光照模式的数量相同。光照模式可以有多种，例如视野内无人的逆光模式、视野内无人的顺光模式、视野内有人的顺光模式、视野内有人的逆光模式，则输出端的数量相应地设置为四个，相应地，输出端的输出值可以为包含四个概率值的向量，每个概率值对应于一种光照模式。可以对光照识别模型输出的概率值进行比较，以概率值最高的光照模式作为识别到的拍摄现场的光照模式。

在本实施例的一些可选的实现方式中，所述方法还包括获取所述训练样本的步骤：获取若干样本图像；提取每个所述样本图像的样本图像特征作为样本数据；利用所述样本图像的光照模式对所述样本数据进行标记以获取训练样本。具体来说，所述训练样本包括多个样本数据，每个样本数据的样本标签为对应的样本图像的光照模式；样本图像特征包括n个数值，每个数值是对应的样本图像划分的n个区块中的一个对应区块的平均亮度值。可以针对不同的光照模式分别采集100组图像，然后对每个图像进行特征提取，获取样本图像特征。特征提取的方式与对场景预览图像提取场景图像特征的方式相同，首先将图像处理为同样的尺寸，然后将图像划分为n个区块，其中n为大于或等于64的整数，然后计算每个区块的平均亮度值，从而获得样本图像特征，然后根据图像所属的光照模式对样本图像特征进行标记，从而获得训练样本。值得注意的是，当区块的数量n不小于64时，可以保证光照模式识别的正确率达到可以接受的水平。优选地，区块的数量n为255，这样可以提高根据训练样本训练得到的光照模式识别模型的精准度。

本申请实施例通过获取至少一幅关于拍摄现场的场景预览图像，将场景预览图像划分为n个区块，计算每个区块的平均亮度值以获取场景图像特征，利用光照识别模型对场景图像特征进行处理，从而能够准确地识别拍摄现场的光照模式，以便针对拍摄现场的光照模式选择对应的曝光设置，例如，针对一些室内光照模式，曝光设置可以使用低光优先模式，提高暗部的曝光量，同时调整gamma曲线，尽可能的还原高光以及暗部的图像细节，从而有利于提高成像质量。

如图3所示，在一些可选的实现方式中，上述步骤s204可以包括以下步骤：

步骤s2041、将所述场景图像特征输入所述光照识别模型，获得所述场景预览图像属于所述光照模式的概率；

在本实施例中，可以将场景图像特征输入到所述光照识别模型中，以获得输出向量，即包含所述场景预览图像属于各光照模式的概率值。

步骤s2042、根据所述场景预览图像属于所述光照模式的概率，确定拍摄现场的光照模式。

在本实施例中，可以选择光照识别模型输出向量中概率最大的光照模式作为场景预览图像的光照模式。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)等非易失性存储介质，或随机存储记忆体(randomaccessmemory，ram)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

进一步参考图4，作为对上述图2所示方法的实现，本申请提供了一种光照模式识别装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图4所示，本实施例所述的光照模式识别装置400包括：获取模块401、划分模块402、计算模块403以及处理模块404。其中：

获取模块401用于获取至少一幅关于拍摄现场的场景预览图像。

在本实施例中，获取模块401可以从摄像模组获取关于拍摄现场的场景预览图像，也可以从一个外部摄像终端或服务器获取场景预览图像。

划分模块402用于将该场景预览图像划分为n个区块，其中，n为正整数。

在本实施例中，每个区块中最好具有相同数量的像素点。并且区块数量越大，光照模式识别结果越准确。

计算模块403用于根据所述区块提取所述场景预览图像的场景图像特征，所述场景图像特征包括每个所述区块的平均亮度值。

在本实施例中，可以首先获取区块内的所有像素的亮度值，然后对像素的亮度值取平均值作为区块的平均亮度值。对于第i个区块，其平均亮度值为xi，计算所有区块的平均亮度值，可以得到场景图像特征{x0,x1,…,xn}。

处理模块404用于利用光照识别模型根据所述场景图像特征识别所述拍摄现场的光照模式。

在本实施例中，光照识别模型可以是根据训练样本预先训练得到的机器学习模型，例如为反向反馈神经网络模型、支持向量机模型或随机森林模型等等。优选地，光照识别模型是支持向量机模型。该支持向量机模型可以具有n个输入端和多个输出端。输出端的数量可以与光照模式的数量相同。例如光照模式有两种，逆光模式和顺光模式，则输出端的数量相应地设置为两个，相应地，输出端的输出值可以为包含两个概率的向量，每个概率对应于一种光照模式。

在本实施例的一些可选的实现方式中，所述训练样本包括多个样本数据，每个样本数据的样本标签为对应的样本图像的光照模式；每个样本数据的样本特征包括n个数值，每个数值是对应的样本图像划分的n个区块中的一个相应区块的平均亮度值。可以针对不同的光照模式分别采集100组图像，然后对每个图像进行特征提取，特征提取的方式与对场景预览图像提取场景图像特征的方式相同，首先将图像处理为同样的尺寸，然后将图像划分为n个区块，其中n可以为大于或等于64的整数，然后计算每个区块的平均亮度值，从而获得样本图像特征，然后根据图像所属的光照模式对样本图像特征进行标记，从而获得训练样本。值得注意的是，当区块的数量n不小于64时，可以保证光照模式识别的正确率达到可以接受的水平。优选地，区块的数量n为255，这样可以提高根据训练样本训练得到的光照模式识别模型的精准度

本申请实施例通过获取至少一幅关于拍摄现场的场景预览图像，将场景预览图像划分为n个区块，计算每个区块的平均亮度值以获取场景图像特征，利用光照识别模型对场景图像特征进行处理，从而能够准确地识别拍摄现场的光照模式，进而针对拍摄现场的光照模式选择对应的曝光设置，例如，针对一些室内光照模式，曝光设置可以使用低光优先模式，提高暗部的曝光量，同时调整gamma曲线，尽可能的还原高光以及暗部的图像细节，这样有利于提高成像质量。

参阅图5，为处理模块一种具体实施方式的结构示意图,处理模块404包括人工智能单元4041以及逻辑单元4042。其中，人工智能单元4041用于通过所述光照识别模型对所述场景图像特征进行处理，获得所述场景预览图像属于所述光照模式的概率。逻辑单元4042用于根据所述场景预览图像属于所述光照模式的概率，识别拍摄现场的光照模式。

在本实施例中，可以将场景图像特征输入到所述光照识别模型中，以获得输出值，例如包含所述场景预览图像属于各光照模式的概率值。选择光照识别模型输出向量中概率最大的光照模式作为场景预览图像的光照模式。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图6，图6为本实施例计算机设备基本结构框图。

所述计算机设备6包括通过系统总线相互通信连接存储器61、处理器62、网络接口63和摄像模组64。需要指出的是，图中仅示出了具有组件61-64的计算机设备6，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(applicationspecificintegratedcircuit，asic)、可编程门阵列(field－programmablegatearray，fpga)、数字处理器(digitalsignalprocessor，dsp)、嵌入式设备等。

所述计算机设备可以是智能门铃、网络摄像头、智能手机、平板电脑、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器61至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器61可以是所述计算机设备6的内部存储单元，例如该计算机设备6的硬盘或内存。在另一些实施例中，所述存储器61也可以是所述计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。当然，所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中，所述存储器61通常用于存储安装于所述计算机设备6的操作系统和各类应用软件，例如光照模式识别方法的程序代码等。此外，所述存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器62在一些实施例中可以是中央处理器(centralprocessingunit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制所述计算机设备6的总体操作。本实施例中，所述处理器62用于运行所述存储器61中存储的程序代码或者处理数据，以实现一种光照模式识别方法，所述方法包括如下步骤：

获取至少一幅关于拍摄现场的场景预览图像；

将该场景预览图像划分为n个区块，其中，n为正整数；

根据所述区块提取所述场景预览图像的场景图像特征，所述场景图像特征包括每个所述区块的平均亮度值；

利用光照识别模型根据所述场景图像特征识别所述拍摄现场的光照模式。

在本实施例中，所述光照识别模型是根据训练样本预先训练得到的机器学习模型。优选地，所述机器学习模型是支持向量机模型。

在本实施例中，所述方法还包括获取所述训练样本的步骤：

获取若干样本图像；

提取每个所述样本图像的样本图像特征作为样本数据；

利用所述样本图像的光照模式对所述样本数据进行标记以获取训练样本。

在一些实施例中，所述利用光照识别模型根据所述场景图像特征识别所述拍摄现场的光照模式，包括：

将所述场景图像特征输入所述光照识别模型，获得所述场景预览图像属于所述光照模式的概率；

根据所述场景预览图像属于所述光照模式的概率，确定拍摄现场的光照模式。

所述网络接口63可包括无线网络接口或有线网络接口，该网络接口63通常用于在所述计算机设备6与其他电子设备之间建立通信连接，例如从服务器或摄像装置获取场景预览图像，或向服务器或摄像装置发送识别到的光照模型，以供摄像装置根据识别到的光照模型选择合适的曝光配置。

所述摄像模组64可以包括一个或多个成像单元和配套的光学组件。摄像模组64可以用于在曝光前拍摄场景预览图像。还可以根据识别到的光照模型选择合适的曝光配置对一个或多个成像单元进行配置，从而提高成像单元的曝光质量。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有光照模式识别程序，所述光照模式识别程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的光照模式识别方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。