一种拍照方法、系统、设备及介质与流程

[0001]
本发明涉及图像拍摄技术领域，特别是涉及一种拍照方法、系统、设备及介质。


背景技术：

[0002]
传统拍照系统使用“延时拍照”功能以完成自动拍照的效果，一般的相机都会有此功能，启用此功能后，快门将延时数秒后自动开启。
[0003]
近些年来也出现了其他的方式，比如通过“语音快门”功能来达到自动拍照的目的。现在大多数手机，拍照设备都支持语音拍照，例如直接说“拍照”或“茄子”等指令后，快门可以自动开启。
[0004]
随着社会的发展，生活节奏的加快，用户可能没有那么多精力去研究和学习拍照技术，但用户又对拍照的品质效果要求更高。因此，本发明提出一种新的拍摄方式，既能轻松拍出好的照片，又对拍照技术要求不高。


技术实现要素：

[0005]
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种拍照方法、系统、设备及介质，用于解决现有技术中存在的问题。
[0006]
为实现上述目的及其他相关目的，本发明提供一种拍照方法，包括以下步骤：
[0007]
获取照片数据流；
[0008]
识别所述照片数据流中一个或多个目标对象的状态，获取对应的识别结果；并根据所述识别结果和预先选择的拍摄风格计算所述照片数据流中一个或多个目标对象的拍摄分数；
[0009]
若所述一个或多个目标对象的拍摄分数超过预设分数阈值且图像拍摄装置处于拍照模式时，输出拍照信号，触发所述图像拍摄装置对所述一个或多个目标对象进行自动拍照。
[0010]
可选地，所述一个或多个目标对象的状态至少包括行为动作、手势、表情以及背景环境；所述背景环境包括以下至少之一：角度、光照、清晰度；
[0011]
根据所述识别结果和预先选择的拍摄风格计算所述照片数据流中一个或多个目标对象的拍摄分数包括：
[0012]
计算所述照片数据流中的一个或多个目标对象的行为动作评分、手势评分和/或表情评分；
[0013]
和/或，计算所述照片数据流中的一个或多个目标对象的角度评分、光照评分和/或清晰度评分；
[0014]
综合所述行为动作评分、手势评分和/或表情评分以及所述角度评分、光照评分和/或清晰度评分，计算得到所述照片数据流中一个或多个目标对象的拍摄分数。
[0015]
可选地，还包括通过以下公式计算照片所述数据流中一个或多个目标对象的拍摄分数：pscore(x,y)＝a*b(x,y)+b*g(x,y)+c*e(x,y)+d*a(y)+e*l(y)+f*c(y)；
[0016]
其中，pscore(x,y)是根据照片数据流识别结果y和预先选择的拍摄风格x确定出的所述照片数据流中一个或多个目标对象的拍摄分数；
[0017]
b(x,y)是根据照片数据流识别结果y和预先选择的拍摄风格x确定出的所述照片数据流中一个或多个目标对象的行为动作评分；
[0018]
g(x,y)是根据照片数据流识别结果y和预先选择的拍摄风格x确定出的所述照片数据流中一个或多个目标对象的手势评分；
[0019]
e(x,y)是根据照片数据流识别结果y和预先选择的拍摄风格x确定出的所述照片数据流中一个或多个目标对象的表情评分；
[0020]
a(y)是根据照片数据流识别结果y确定出的所述照片数据流中一个或多个目标对象的角度评分；
[0021]
l(y)是根据照片数据流识别结果y确定出的所述照片数据流中一个或多个目标对象的光照评分；
[0022]
c(y)是根据照片数据流识别结果y确定出的所述照片数据流中一个或多个目标对象的清晰度评分；
[0023]
a、b、c、d、e、f分别是各个评分对应的权重值；且a+b+c+d+e+f＝1。
[0024]
可选地，若所述拍摄分数超过预设分数阈值且所述图像拍摄装置未处于拍照模式时，输出拍照已结束的提醒信号；
[0025]
若所述拍摄分数未超过预设分数阈值时，输出需要进行调整的提醒信号；所述调整包括调整表情、调整手势或调整行为动作。
[0026]
可选地，所述拍摄模式包括以下至少之一：最快拍照、最佳拍照、间隔拍照；其中，
[0027]
最快拍照是指在所述拍摄分数超过预设分数阈值时就进行拍照；
[0028]
最佳拍照是指某段时间内，所述拍摄分数超过预设分数阈值且对应的拍摄分数达到最高时就进行拍照；
[0029]
间隔拍照是指在所述拍摄分数超过预设分数阈值后，进行定时拍照。
[0030]
可选地，若预先选择的拍摄风格中的手势、行为动作和表情之间不匹配或不协调；则以三者中置信度最高的一个为主，通过语音来配置修正其他两者。
[0031]
本发明还提供一种拍照系统，包括有：
[0032]
采集模块，用于获取照片数据流；
[0033]
识别模块，用于识别所述照片数据流中一个或多个目标对象的状态，获取对应的识别结果；
[0034]
分数计算模块，用于根据所述识别结果和预先选择的拍摄风格计算所述照片数据流中一个或多个目标对象的拍摄分数；
[0035]
拍照模块，用于在所述一个或多个目标对象的拍摄分数超过预设分数阈值且图像拍摄装置处于拍照模式时，输出拍照信号，触发所述图像拍摄装置对所述一个或多个目标对象进行自动拍照。
[0036]
可选地，所述一个或多个目标对象的状态至少包括行为动作、手势、表情以及背景环境；所述背景环境包括以下至少之一：角度、光照、清晰度；
[0037]
所述分数计算模块根据所述识别结果和预先选择的拍摄风格计算所述照片数据流中一个或多个目标对象的拍摄分数包括：
[0038]
计算所述照片数据流中的一个或多个目标对象的行为动作评分、手势评分和/或表情评分；
[0039]
和/或，计算所述照片数据流中的一个或多个目标对象的角度评分、光照评分和/或清晰度评分；
[0040]
综合所述行为动作评分、手势评分和/或表情评分以及所述角度评分、光照评分和/或清晰度评分，计算得到所述照片数据流中一个或多个目标对象的拍摄分数。
[0041]
可选地，所述分数计算模块还包括通过以下公式计算照片所述数据流中一个或多个目标对象的拍摄分数：
[0042]
pscore(x,y)＝a*b(x,y)+b*g(x,y)+c*e(x,y)+d*a(y)+e*l(y)+f*c(y)；
[0043]
其中，pscore(x,y)是根据照片数据流识别结果y和预先选择的拍摄风格x确定出的所述照片数据流中一个或多个目标对象的拍摄分数；
[0044]
b(x,y)是根据照片数据流识别结果y和预先选择的拍摄风格x确定出的所述照片数据流中一个或多个目标对象的行为动作评分；
[0045]
g(x,y)是根据照片数据流识别结果y和预先选择的拍摄风格x确定出的所述照片数据流中一个或多个目标对象的手势评分；
[0046]
e(x,y)是根据照片数据流识别结果y和预先选择的拍摄风格x确定出的所述照片数据流中一个或多个目标对象的表情评分；
[0047]
a(y)是根据照片数据流识别结果y确定出的所述照片数据流中一个或多个目标对象的角度评分；
[0048]
l(y)是根据照片数据流识别结果y确定出的所述照片数据流中一个或多个目标对象的光照评分；
[0049]
c(y)是根据照片数据流识别结果y确定出的所述照片数据流中一个或多个目标对象的清晰度评分；
[0050]
a、b、c、d、e、f分别是各个评分对应的权重值；且a+b+c+d+e+f＝1。
[0051]
可选地，还包括有信号提醒模块，用于在所述拍摄分数超过预设分数阈值且图像拍摄装置不处于拍照模式时，输出拍照已结束的提醒信号；和/或在所述拍摄分数未超过预设分数阈值时，输出需要进行调整的提醒信号；所述调整包括调整表情、调整手势或调整行为动作。
[0052]
可选地，所述拍摄模式包括以下至少之一：最快拍照、最佳拍照、间隔拍照；其中，
[0053]
最快拍照是指在所述拍摄分数超过预设分数阈值时就进行拍照；
[0054]
最佳拍照是指某段时间内，所述拍摄分数超过预设分数阈值且对应的拍摄分数达到最高时就进行拍照；
[0055]
间隔拍照是指在所述拍摄分数超过预设分数阈值后，进行定时拍照。
[0056]
可选地，还包括有配置模块，与所述采集模块连接；用于在预先选择的拍摄风格中的手势、行为动作和表情之间不匹配或不协调时；以三者中置信度最高的一个为主，通过语音来配置修正其他两者。
[0057]
本发明还提供一种拍照设备，包括：
[0058]
获取照片数据流；
[0059]
识别所述照片数据流中一个或多个目标对象的状态，获取对应的识别结果；并根
据所述识别结果和预先选择的拍摄风格计算所述照片数据流中一个或多个目标对象的拍摄分数；
[0060]
若所述一个或多个目标对象的拍摄分数超过预设分数阈值且图像拍摄装置处于拍照模式时，输出拍照信号，触发所述图像拍摄装置对所述一个或多个目标对象进行自动拍照。
[0061]
本发明还提供一种设备，包括：
[0062]
一个或多个处理器；和
[0063]
存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行所述指令时，使得所述设备执行如上述中任意一项所述的方法。
[0064]
本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行所述指令时，使得设备执行如上述中任意一项所述的方法。
[0065]
如上所述，本发明提供一种拍照方法、系统、设备及介质，具有以下有益效果：通过获取照片数据流；识别照片数据流中一个或多个目标对象的状态，获取对应的识别结果；再根据识别结果和预先选择的拍摄风格计算照片数据流中一个或多个目标对象的拍摄分数；若一个或多个目标对象的拍摄分数超过预设分数阈值且图像拍摄装置处于拍照模式时，输出拍照信号，触发图像拍摄装置对一个或多个目标对象进行自动拍照。一个或多个目标对象的状态至少包括行为动作、手势、表情以及背景环境；背景环境包括以下至少之一：角度、光照、清晰度。本发明通过预先选择拍摄风格类型和设置拍摄分数阈值，在图像拍摄装置进入拍照模式后，能够智能快速分析出当前最符合大数据训练的审美要求且达到设定阈值的场景照，及时自动触发图像拍摄装置的拍照开关，使图像拍摄装置自动完成拍照。本发明通过让用户自己预先选择拍摄风格和设置拍摄分数阈值，可以定制拍摄出用户个人喜爱和满意的照片。同时，本发明提供了一种能够简单、轻松、自动拍照的技术手段，不仅可以满足拍照小白的需求，还可以无时延准确的拍出最符合要求的照片，即能够让不是专业拍照的人员也能拍出专业的照片。
附图说明
[0066]
图1为一实施例提供的拍照方法的流程示意图；
[0067]
图2为另一实施例提供的拍照方法的流程示意图；
[0068]
图3为一实施例提供的拍照系统的硬件结构示意图；
[0069]
图4为一实施例提供的终端设备的硬件结构示意图；
[0070]
图5为另一实施例提供的终端设备的硬件结构示意图。
[0071]
元件标号说明
[0072]
m10
ꢀꢀꢀꢀꢀꢀ
采集模块
[0073]
m20
ꢀꢀꢀꢀꢀꢀ
识别模块
[0074]
m30
ꢀꢀꢀꢀꢀꢀ
分数计算模块
[0075]
m40
ꢀꢀꢀꢀꢀꢀ
拍照模块
[0076]
m50
ꢀꢀꢀꢀꢀꢀ
信号提醒模块
[0077]
m60
ꢀꢀꢀꢀꢀꢀ
配置模块
[0078]
1100
ꢀꢀꢀꢀꢀ
输入设备
[0079]
1101
ꢀꢀꢀꢀꢀ
第一处理器
[0080]
1102
ꢀꢀꢀꢀꢀ
输出设备
[0081]
1103
ꢀꢀꢀꢀꢀ
第一存储器
[0082]
1104
ꢀꢀꢀꢀꢀ
通信总线
[0083]
1200
ꢀꢀꢀꢀꢀ
处理组件
[0084]
1201
ꢀꢀꢀꢀꢀ
第二处理器
[0085]
1202
ꢀꢀꢀꢀꢀ
第二存储器
[0086]
1203
ꢀꢀꢀꢀꢀ
通信组件
[0087]
1204
ꢀꢀꢀꢀꢀ
电源组件
[0088]
1205
ꢀꢀꢀꢀꢀ
多媒体组件
[0089]
1206
ꢀꢀꢀꢀꢀ
音频组件
[0090]
1207
ꢀꢀꢀꢀꢀ
输入/输出接口
[0091]
1208
ꢀꢀꢀꢀꢀ
传感器组件
具体实施方式
[0092]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0093]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0094]
请参阅图1，本发明提供一种拍照方法，包括以下步骤：
[0095]
s100，获取照片数据流；
[0096]
s200，识别照片数据流中一个或多个目标对象的状态，获取对应的识别结果；其中，一个或多个目标对象的状态至少包括行为动作、手势、表情以及背景环境；背景环境包括以下至少之一：角度、光照、清晰度；
[0097]
s300，根据识别结果和预先选择的拍摄风格计算照片数据流中一个或多个目标对象的拍摄分数；
[0098]
s400，若一个或多个目标对象的拍摄分数超过预设分数阈值且图像拍摄装置处于拍照模式时，输出拍照信号，触发图像拍摄装置对一个或多个目标对象进行自动拍照。
[0099]
本方法可以让用户在拍照前预先选择拍摄风格，以及设置对应的拍摄分数阈值；帮助用户定制拍摄出个人喜爱和满意的照片。本方法通过预先选择拍摄风格类型和设置拍摄分数阈值，在图像拍摄装置进入拍照模式后，能够智能快速分析出当前最符合大数据训练的审美要求且达到设定阈值的场景照，及时自动触发图像拍摄装置的拍照开关，使图像拍摄装置自动完成拍照。本方法提供了一种能够简单、轻松、自动拍照的技术手段，不仅可以满足拍照小白的需求，还可以无时延准确的拍出最符合要求的照片，即能够让不是专业
拍照的人员也能拍出专业的照片。
[0100]
在一示例性实施例中，当一个或多个目标对象位于图像拍摄装置的拍摄区域时，获取照片数据流的具体过程包括：通过图像拍摄装置的镜头生成目标对象的光学图像；将生成的光学图像投射至图像拍摄装置中的传感器表面，形成电信号；对电信号进行模数转换(或a/d转换)，获取对应的数字图像信号；通过数字信号处理芯片对获取的数字图像信号进行加工处理，获取照片数据流。
[0101]
在一示例性实施例中，在获取照片数据流前，还包括预先选择拍摄风格和设置拍摄分数阈值。本申请实施例中，用户在拍照前可以根据自身拍摄需求从拍摄风格选项中选择对应的拍摄风格和自定义拍摄分数阈值；从而帮助用户定制拍摄出个人喜爱和满意的照片。作为示例，本申请实施例中的拍摄风格包括但不限于：沉思、庄重、踌躇、惊讶、羞涩、恐慌、祥和等。在拍摄风格的影响下，行为动作评分、手势评分、表情评分会强相关；也就是在拍照前，用户可以根据自己的意愿选择想要拍摄的风格，因此不同拍摄风格下的行为动作、手势、表情三者要求的组合不一样。同一套行为动作、手势、表情因拍摄风格的不同，对应的评分也会不同。如果用户选择的拍摄风格中的手势、行为动作、表情之间不匹配或不协调；则以三者中置信度最高的一个为主，通过语音或其他方式来配置修正其他两者；以提高综合评分，达到符合拍照的目的。
[0102]
在一示例性实施例中，根据识别结果和预先选择的拍摄风格计算照片数据流中一个或多个目标对象的拍摄分数时，包括：计算照片数据流中的一个或多个目标对象的行为动作评分、手势评分和/或表情评分；和/或，计算照片数据流中的一个或多个目标对象的角度评分、光照评分和/或清晰度评分；综合行为动作评分、手势评分和/或表情评分以及角度评分、光照评分和/或清晰度评分，计算得到照片数据流中一个或多个目标对象的拍摄分数。在本方法中，背景环境(角度、光照、清晰度等)因素的整体比重比风格评分(人体行为、手势识别、表情)低，从而保证拍照的主体或目标对象还是人。作为示例，在本申请实施例中，将照片数据流输入至现有的神经网络模型中，通过现有的神经网络模型可以得到照片数据流中的一个或多个目标对象的行为动作评分、手势评分和/或表情评分，以及照片数据流中的一个或多个目标对象的角度评分、光照评分和/或清晰度评分。
[0103]
根据上述记载，在一些示例性实施例中，可以通过以下公式计算照片数据流中一个或多个目标对象的拍摄分数：
[0104]
pscore(x,y)＝a*b(x,y)+b*g(x,y)+c*e(x,y)+d*a(y)+e*l(y)+f*c(y)；
[0105]
其中，pscore(x,y)是根据照片数据流识别结果y和预先选择的拍摄风格x确定出的照片数据流中一个或多个目标对象的拍摄分数；
[0106]
b(x,y)是根据照片数据流识别结果y和预先选择的拍摄风格x确定出的照片数据流中一个或多个目标对象的行为动作评分；
[0107]
g(x,y)是根据照片数据流识别结果y和预先选择的拍摄风格x确定出的照片数据流中一个或多个目标对象的手势评分；
[0108]
e(x,y)是根据照片数据流识别结果y和预先选择的拍摄风格x确定出的照片数据流中一个或多个目标对象的表情评分；
[0109]
a(y)是根据照片数据流识别结果y确定出的照片数据流中一个或多个目标对象的角度评分；
[0110]
l(y)是根据照片数据流识别结果y确定出的照片数据流中一个或多个目标对象的光照评分；
[0111]
c(y)是根据照片数据流识别结果y确定出的照片数据流中一个或多个目标对象的清晰度评分；
[0112]
a、b、c、d、e、f分别是各个评分对应的权重值；且a+b+c+d+e+f＝1。
[0113]
作为示例，在本申请实施例中，b(x,y)、g(x,y)、e(x,y)、a(y)、l(y)和c(y)可以通过现有的神经网络模型得到。根据上述记载，如果照片数据流中一个或多个目标对象的拍摄分数超过预设分数阈值且图像拍摄装置处于拍照模式时，则输出拍照信号，触发图像拍摄装置对一个或多个目标对象进行自动拍照。如果拍摄分数超过预设分数阈值且图像拍摄装置未处于拍照模式时，则输出拍照已结束的提醒信号；提醒用户拍照已结束。如果拍摄分数未超过预设分数阈值时，则输出需要进行调整的提醒信号；提醒用户继续调整表情或手势或人体行为。其中，本方法中的用户可以是目标对象，也可以是管理图像拍摄装置的人员、也可以是管理目标对象的人员。图像拍摄装置可以是监控摄像机、也可以是终端设备上的相机。终端设备可以包括：智能手机、平板电脑、电子书阅读器、mp3(动态影像专家压缩标准语音层面3，moving picture experts group audio layer iii)播放器、mp4(动态影像专家压缩标准语音层面4，moving picture experts group audio layer iv)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等。
[0114]
根据上述记载，本方法中的拍摄模式包括但不限于：最快拍照、最佳拍照、间隔拍照。其中，最快拍照是指在拍摄分数超过预设分数阈值时就进行拍照。最佳拍照是指某段时间内，拍摄分数超过预设分数阈值且对应的拍摄分数达到最高时就进行拍照。间隔拍照是指在拍摄分数超过预设分数阈值后，进行定时拍照。
[0115]
具体地，本方法提供一拍照实例，如图2所示。设置图像拍摄装置的配置。用户在拍照之前可以对设置一些图像拍摄装置的配置项，例如可以进行拍摄风格设置，用于识别行为、手势和表情等一起反映出的拍照风格。还可以进行拍摄分数阈值设置，用于设定拍摄风格下的容忍度；即设置的越高，容忍度越低，抓拍的效果越高。还可以进行拍摄模式设置，即设置图像拍摄装置进行最快拍照、最佳拍照或间隔拍照。还可以进行基础设置，即设置亮度、光照、黑白、滤镜等拍摄设备具有的设置。
[0116]
照片数据流获取过程。通过镜头(lens)生成光学图像；将生成的光学图像投射至图像拍摄装置中的传感器表面，形成电信号。对电信号进行模数转换(或a/d转换)，获取对应的数字图像信号。通过数字信号处理芯片对获取的数字图像信号进行加工处理，获取对应的照片数据流。
[0117]
将获取的照片数据流作为输入，对照片数据流进行人脸检测，确定照片数据流中是否存在一个或多个人脸。若照片数据流中存在一个或多个人脸，则对照片数据流进行关键点跟踪对齐，并对获得的照片数据流进行人体行为动作识别、手势识别、表情识别，以及综合考虑角度、光照、清晰度等背景环境，动态计算拍摄分数。若照片数据流中不存在人脸，则结束拍照。如果基于照片数据流中一个或多个人脸计算出的拍摄分数超过预设阈值，且图像拍摄装置处于拍照模式条件，则通过算法分析单元输出拍照信号，触发图像拍摄装置中的拍照模块硬件开关完成自动拍照，并保存照片。如果基于照片数据流中一个或多个人脸计算出的拍摄分数超过阈值，但图像拍摄装置不在拍照模式条件下，则提醒用户拍照已
结束。如果基于照片数据流中一个或多个人脸计算出的拍摄分数未超过预设分数阈值，则提醒用户继续调整表情或手势或人体行为。其中，本方法中的用户可以是目标对象，也可以是管理图像拍摄装置的人员、也可以是管理目标对象的人员。图像拍摄装置可以是监控摄像机、也可以是终端设备上的相机。终端设备可以包括：智能手机、平板电脑、电子书阅读器、mp3(动态影像专家压缩标准语音层面3，moving picture experts group audio layer iii)播放器、mp4(动态影像专家压缩标准语音层面4，moving picture experts group audio layer iv)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等。
[0118]
综上所述，本发明提出一种基于深度学习算法的自动拍照方法，当图像拍摄装置进入自动拍照模式后，通过预先配置好参数，将采集的照片数据流输入至图像拍摄装置中的算法分析单元，其中深度学习算法位于算法分析单元中。算法分析单元通过内部的处理逻辑分析判断是否输出触发图像拍摄装置中拍照模块执行拍照的拍照信号，并打出一个综合分数，这个综合分数可以用于后续参数调整；当拍照信号传输到拍照模块时，立即触发拍照。本方法可以让用户在拍照前预先选择拍摄风格，以及设置对应的拍摄分数阈值；帮助用户定制拍摄出个人喜爱和满意的照片。本方法通过预先选择拍摄风格类型和设置拍摄分数阈值，在图像拍摄装置进入拍照模式后，能够智能快速分析出当前最符合大数据训练的审美要求且达到设定阈值的场景照，及时自动触发图像拍摄装置的拍照开关，使图像拍摄装置自动完成拍照。由此可知，本方法提供了一种能够简单、轻松、自动拍照的技术手段，不仅可以满足拍照小白的需求，还可以无时延准确的拍出最符合要求的照片，即能够让不是专业拍照的人员也能拍出专业的照片。
[0119]
如图3所示，本发明还提供一种拍照系统，包括有：
[0120]
采集模块m10，用于获取照片数据流；
[0121]
识别模块m20，用于识别所述照片数据流中一个或多个目标对象的状态，获取对应的识别结果；其中，一个或多个目标对象的状态至少包括行为动作、手势、表情以及背景环境；背景环境包括以下至少之一：角度、光照、清晰度；
[0122]
分数计算模块m30，用于根据识别结果和预先选择的拍摄风格计算照片数据流中一个或多个目标对象的拍摄分数；
[0123]
拍照模块m40，用于在一个或多个目标对象的拍摄分数超过预设分数阈值且图像拍摄装置处于拍照模式时，输出拍照信号，触发图像拍摄装置对一个或多个目标对象进行自动拍照。
[0124]
本系统可以让用户在拍照前预先选择拍摄风格，以及设置对应的拍摄分数阈值；帮助用户定制拍摄出个人喜爱和满意的照片。本系统通过预先选择拍摄风格类型和设置拍摄分数阈值，在图像拍摄装置进入拍照模式后，能够智能快速分析出当前最符合大数据训练的审美要求且达到设定阈值的场景照，及时自动触发图像拍摄装置的拍照开关，使图像拍摄装置自动完成拍照。本系统提供了一种能够简单、轻松、自动拍照的技术手段，不仅可以满足拍照小白的需求，还可以无时延准确的拍出最符合要求的照片，即能够让不是专业拍照的人员也能拍出专业的照片。
[0125]
在一示例性实施例中，当一个或多个目标对象位于图像拍摄装置的拍摄区域时，采集模块m10获取照片数据流的具体过程包括：通过图像拍摄装置的镜头生成目标对象的
光学图像；将生成的光学图像投射至图像拍摄装置中的传感器表面，形成电信号；对电信号进行模数转换(或a/d转换)，获取对应的数字图像信号；通过数字信号处理芯片对获取的数字图像信号进行加工处理，获取照片数据流。
[0126]
在一示例性实施例中，在采集模块m10获取照片数据流前，还包括预先选择拍摄风格和设置拍摄分数阈值。本申请实施例中，用户在拍照前可以根据自身拍摄需求从拍摄风格选项中选择对应的拍摄风格和自定义拍摄分数阈值；从而帮助用户定制拍摄出个人喜爱和满意的照片。作为示例，本申请实施例中的拍摄风格包括但不限于：沉思、庄重、踌躇、惊讶、羞涩、恐慌、祥和等。在拍摄风格的影响下，行为动作评分、手势评分、表情评分会强相关；也就是在拍照前，用户可以根据自己的意愿选择想要拍摄的风格，因此不同拍摄风格下的行为动作、手势、表情三者要求的组合不一样。同一套行为动作、手势、表情因拍摄风格的不同，对应的评分也会不同。作为示例，还包括有配置模块m60；配置模块m60与采集模块m10连接；用于在预先选择的拍摄风格中的手势、行为动作和表情之间不匹配或不协调时；以三者中置信度最高的一个为主，通过语音或其他方式来配置修正其他两者；以提高综合评分，达到符合拍照的目的。
[0127]
在一示例性实施例中，分数计算模块m30根据识别结果和预先选择的拍摄风格计算照片数据流中一个或多个目标对象的拍摄分数时，包括：计算照片数据流中的一个或多个目标对象的行为动作评分、手势评分和/或表情评分；和/或，计算照片数据流中的一个或多个目标对象的角度评分、光照评分和/或清晰度评分；综合行为动作评分、手势评分和/或表情评分以及角度评分、光照评分和/或清晰度评分，计算得到照片数据流中一个或多个目标对象的拍摄分数。在本系统中，背景环境(角度、光照、清晰度等)因素的整体比重比风格评分(人体行为、手势识别、表情)低，从而保证拍照的主体或目标对象还是人。作为示例，在本申请实施例中，将照片数据流输入至现有的神经网络模型中，通过现有的神经网络模型可以得到照片数据流中的一个或多个目标对象的行为动作评分、手势评分和/或表情评分，以及照片数据流中的一个或多个目标对象的角度评分、光照评分和/或清晰度评分。
[0128]
根据上述记载，在一些示例性实施例中，分数计算模块m30可以通过以下公式计算照片数据流中一个或多个目标对象的拍摄分数：
[0129]
pscore(x,y)＝a*b(x,y)+b*g(x,y)+c*e(x,y)+d*a(y)+e*l(y)+f*c(y)；
[0130]
其中，pscore(x,y)是根据照片数据流识别结果y和预先选择的拍摄风格x确定出的照片数据流中一个或多个目标对象的拍摄分数；
[0131]
b(x,y)是根据照片数据流识别结果y和预先选择的拍摄风格x确定出的照片数据流中一个或多个目标对象的行为动作评分；
[0132]
g(x,y)是根据照片数据流识别结果y和预先选择的拍摄风格x确定出的照片数据流中一个或多个目标对象的手势评分；
[0133]
e(x,y)是根据照片数据流识别结果y和预先选择的拍摄风格x确定出的照片数据流中一个或多个目标对象的表情评分；
[0134]
a(y)是根据照片数据流识别结果y确定出的照片数据流中一个或多个目标对象的角度评分；
[0135]
l(y)是根据照片数据流识别结果y确定出的照片数据流中一个或多个目标对象的光照评分；
[0136]
c(y)是根据照片数据流识别结果y确定出的照片数据流中一个或多个目标对象的清晰度评分；
[0137]
a、b、c、d、e、f分别是各个评分对应的权重值；且a+b+c+d+e+f＝1。
[0138]
作为示例，在本申请实施例中，b(x,y)、g(x,y)、e(x,y)、a(y)、l(y)和c(y)可以通过现有的神经网络模型得到。根据上述记载，如果照片数据流中一个或多个目标对象的拍摄分数超过预设分数阈值且图像拍摄装置处于拍照模式时，则输出拍照信号，触发图像拍摄装置对一个或多个目标对象进行自动拍照。作为示例，本申请实施例还包括有与分数计算模块m30连接的信号提醒模块m50，用于在拍摄分数超过预设分数阈值且图像拍摄装置不处于拍照模式时，输出拍照已结束的提醒信号；提醒用户拍照已结束。和/或在拍摄分数未超过预设分数阈值时，则输出需要进行调整的提醒信号；提醒用户继续调整表情或手势或人体行为。其中，本系统中的用户可以是目标对象，也可以是管理图像拍摄装置的人员、也可以是管理目标对象的人员。图像拍摄装置可以是监控摄像机、也可以是终端设备上的相机。终端设备可以包括：智能手机、平板电脑、电子书阅读器、mp3(动态影像专家压缩标准语音层面3，moving picture experts group audio layer iii)播放器、mp4(动态影像专家压缩标准语音层面4，moving picture experts group audio layer iv)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等。
[0139]
根据上述记载，本系统中的拍摄模式包括但不限于：最快拍照、最佳拍照、间隔拍照。其中，最快拍照是指在拍摄分数超过预设分数阈值时就进行拍照。最佳拍照是指某段时间内，拍摄分数超过预设分数阈值且对应的拍摄分数达到最高时就进行拍照。间隔拍照是指在拍摄分数超过预设分数阈值后，进行定时拍照。
[0140]
在某一具体实施例中，用户在拍照之前可以对设置一些图像拍摄装置的配置项。例如可以进行拍摄风格设置，用于识别行为、手势和表情等一起反映出的拍照风格。还可以进行拍摄分数阈值设置，用于设定拍摄风格下的容忍度；即设置的越高，容忍度越低，抓拍的效果越高。还可以进行拍摄模式设置，即设置图像拍摄装置进行最快拍照、最佳拍照或间隔拍照。还可以进行基础设置，即设置亮度、光照、黑白、滤镜等拍摄设备具有的设置。
[0141]
通过镜头(lens)生成光学图像；将生成的光学图像投射至图像拍摄装置中的传感器表面，形成电信号。对电信号进行模数转换(或a/d转换)，获取对应的数字图像信号。通过数字信号处理芯片对获取的数字图像信号进行加工处理，获取对应的照片数据流。
[0142]
将获取的照片数据流作为输入，对照片数据流进行人脸检测，确定照片数据流中是否存在一个或多个人脸。若照片数据流中存在一个或多个人脸，则对照片数据流进行关键点跟踪对齐，并对获得的照片数据流进行人体行为动作识别、手势识别、表情识别，以及综合考虑角度、光照、清晰度等背景环境，动态计算拍摄分数。若照片数据流中不存在人脸，则结束拍照。如果基于照片数据流中一个或多个人脸计算出的拍摄分数超过预设阈值，且图像拍摄装置处于拍照模式条件，则通过算法分析单元输出拍照信号，触发图像拍摄装置中的拍照模块硬件开关完成自动拍照，并保存照片。如果基于照片数据流中一个或多个人脸计算出的拍摄分数超过阈值，但图像拍摄装置不在拍照模式条件下，则提醒用户拍照已结束。如果基于照片数据流中一个或多个人脸计算出的拍摄分数未超过预设分数阈值，则提醒用户继续调整表情或手势或人体行为。其中，本系统中的用户可以是目标对象，也可以是管理图像拍摄装置的人员、也可以是管理目标对象的人员。图像拍摄装置可以是监控摄
像机、也可以是终端设备上的相机。终端设备可以包括：智能手机、平板电脑、电子书阅读器、mp3(动态影像专家压缩标准语音层面3，moving picture experts group audio layer iii)播放器、mp4(动态影像专家压缩标准语音层面4，moving picture experts group audio layer iv)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等。
[0143]
综上所述，本发明提出一种基于深度学习算法的自动拍照系统，当图像拍摄装置进入自动拍照模式后，通过预先配置好参数，将采集的照片数据流输入至图像拍摄装置中的算法分析单元，其中深度学习算法位于算法分析单元中。算法分析单元通过内部的处理逻辑分析判断是否输出触发图像拍摄装置中拍照模块执行拍照的拍照信号，并打出一个综合分数，这个综合分数可以用于后续参数调整；当拍照信号传输到拍照模块时，立即触发拍照。本系统可以让用户在拍照前预先选择拍摄风格，以及设置对应的拍摄分数阈值；帮助用户定制拍摄出个人喜爱和满意的照片。本系统通过预先选择拍摄风格类型和设置拍摄分数阈值，在图像拍摄装置进入拍照模式后，能够智能快速分析出当前最符合大数据训练的审美要求且达到设定阈值的场景照，及时自动触发图像拍摄装置的拍照开关，使图像拍摄装置自动完成拍照。由此可知，本系统提供了一种能够简单、轻松、自动拍照的技术手段，不仅可以满足拍照小白的需求，还可以无时延准确的拍出最符合要求的照片，即能够让不是专业拍照的人员也能拍出专业的照片。
[0144]
本申请实施例还提供了一种拍照设备，包括有：
[0145]
获取照片数据流；
[0146]
识别所述照片数据流中一个或多个目标对象的状态，获取对应的识别结果；并根据所述识别结果和预先选择的拍摄风格计算所述照片数据流中一个或多个目标对象的拍摄分数；其中，一个或多个目标对象的状态至少包括行为动作、手势、表情以及背景环境；背景环境包括以下至少之一：角度、光照、清晰度；
[0147]
若所述一个或多个目标对象的拍摄分数超过预设分数阈值且图像拍摄装置处于拍照模式时，输出拍照信号，触发所述图像拍摄装置对所述一个或多个目标对象进行自动拍照。
[0148]
在本实施例中，该拍照设备执行上述系统或方法，具体功能和技术效果参照上述实施例即可，此处不再赘述。
[0149]
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、mp3(动态影像专家压缩标准语音层面3，moving picture experts group audio layer iii)播放器、mp4(动态影像专家压缩标准语音层面4，moving picture experts group audio layer iv)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
[0150]
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中数据处理方法所包含步骤的指令(instructions)。
[0151]
图4为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
[0152]
可选的，上述第一处理器1101例如可以为中央处理器(central processing unit，简称cpu)、应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，该处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
[0153]
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如usb接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
[0154]
在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
[0155]
图5为本申请的另一个实施例提供的终端设备的硬件结构示意图。图5是对图4在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
[0156]
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。
[0157]
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0158]
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，音频组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
[0159]
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述图1所示方法的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
[0160]
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
[0161]
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一
些实施例中，显示屏可以包括液晶显示器(lcd)和触摸面板(tp)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
[0162]
音频组件1206被配置为输出和/或输入语音信号。例如，音频组件1206包括一个麦克风(mic)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，音频组件1206还包括一个扬声器，用于输出语音信号。
[0163]
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
[0164]
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
[0165]
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个实施例中，该终端设备中可以包括sim卡插槽，该sim卡插槽用于插入sim卡，使得终端设备可以登录gprs网络，通过互联网与服务器建立通信。
[0166]
由上可知，在图5实施例中所涉及的通信组件1203、音频组件1206以及输入/输出接口1207、传感器组件1208均可以作为图4实施例中的输入设备的实现方式。
[0167]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。