图像生成方法和装置、图像分发方法和装置、设备、介质与流程

文档序号:31185045发布日期:2022-08-19 21:07阅读:98来源:国知局
图像生成方法和装置、图像分发方法和装置、设备、介质与流程

1.本技术涉及人工智能技术领域,尤其涉及一种图像生成方法和装置、图像分发方法和装置、设备、介质。


背景技术:

2.当今,用户常用手机、摄像机等摄像设备进行拍照,例如为便于家长了解学生在学校的成长情况,学校会给学生进行拍照。并且,用户会将照片制作成相册。相关技术中,由于照片数量较大,处理起来容易出现遗漏的情况。因此,如何准确的生成相册成为本领域技术人员基于解决的技术问题。


技术实现要素:

3.本技术实施例的主要目的在于提出一种图像生成方法和装置、图像分发方法和装置、设备、介质,旨在准确的生成图像数据集。
4.为实现上述目的,本技术实施例的第一方面提出了一种图像生成方法,所述图像生成方法包括:
5.获取原始数据;其中,所述原始数据包括原始视频数据和原始图像数据,所述原始视频数据包括拍摄预设目标得到的多个视频帧;
6.根据所述原始视频数据对所述预设目标进行预测处理,得到目标轨迹数据;
7.对每一所述视频帧进行表情识别处理,得到目标表情数据;
8.根据所述目标轨迹数据和所述目标表情数据对所述原始视频数据进行截取处理,得到初步图像数据;其中,所述原始图像数据和所述初步图像数据构成图像集,所述图像集包括多个用户图像,每一所述用户图像至少包括一个所述预设目标;
9.将多个所述用户图像与预设人脸库进行人脸比对处理,得到每一所述预设目标的目标图像;其中,所述目标图像为包含预设目标本人的图像;
10.对所述目标图像进行信息提取处理,得到关键点数据;
11.根据所述关键点数据计算得到目标姿态角度;
12.根据目标姿态角度和所述目标图像进行特征提取,得到所述预设目标的图像数据集。
13.在一些实施例中,所述根据所述目标轨迹数据和所述目标表情数据对所述原始视频数据进行截取处理,得到初步图像数据,包括:
14.获取预设的精彩表情集;
15.若所述目标表情数据属于所述精彩表情集中的一种,则获取所述目标表情数据对应的位置,得到精彩表情位置;
16.根据所述精彩表情位置和所述目标轨迹数据对所述原始视频数据进行逐帧抽取,得到所述初步图像数据。
17.在一些实施例中,所述关键点数据包括二维关键点数据和三维关键点数据,所述
根据所述关键点数据计算得到目标姿态角度,包括:
18.获取预设的二维权重系数,获取预设的三维权重系数;
19.根据所述二维关键点数据和预设的二维角度计算函数,计算得到第一姿态角度;
20.根据所述三维关键点数据和预设的三维角度计算函数,计算得到第二姿态角度;
21.根据所述第一姿态角度和所述二维权重系数,计算得到二维权重角度;
22.根据所述第二姿态角度和所述三维权重系数,计算得到三维权重角度;
23.根据所述二维权重角度和所述三维权重角度,计算得到所述目标姿态角度。
24.在一些实施例中,所述根据目标姿态角度和所述目标图像进行特征提取,得到所述预设目标的图像数据集,包括:
25.获取预设的姿态阈值;
26.若所述目标姿态角度大于或等于所述姿态阈值,对所述目标图像进行提取处理,得到所述预设目标的所述图像数据集;
27.若所述目标姿态角度小于所述姿态阈值,对所述目标图像进行仿真变化,得到初步仿真图像;
28.对所述初步仿真图像进行计算处理,得到仿真姿态角度;
29.若所述仿真姿态角度大于或等于所述姿态阈值,对所述初步仿真图像进行提取处理,得到所述预设目标的所述图像数据集。
30.为实现上述目的,本技术实施例的第二方面还提出了一种图像分发方法,所述图像分发方法包括:
31.获取图像数据集;其中,所述图像数据集为根据第一方面实施例中任意一项所述的图像生成方法生成得到;
32.对所述图像数据集进行识别处理,得到人脸图像数据;其中,所述人脸图像数据包括人脸数量数据;
33.根据所述人脸数量数据和预设的人脸数量阈值对所述图像数据集进行分类处理,得到初步分类图像;
34.根据所述初步分类图像和预设的人脸数据库进行匹配处理,得到目标分类图像;
35.对所述目标分类图像进行压缩处理,得到目标压缩图像;
36.根据所述人脸数据库发送所述目标压缩图像。
37.在一些实施例中,所述初步分类图像包括:个人图像和群体图像;
38.所述根据所述人脸数量数据和预设的人脸数量阈值对所述图像数据集进行分类处理,得到初步分类图像,包括:
39.若所述人脸数量数据大于或等于所述人脸数量阈值,则所述图像数据集为所述群体图像;
40.若所述人脸数量数据小于所述人脸数量阈值,则所述图像数据集为所述个人图像。
41.为实现上述目的,本技术实施例还提出了一种图像生成装置,所述图像生成装置包括:
42.数据获取模块,用于获取原始数据;其中,所述原始数据包括原始视频数据和原始图像数据,所述原始视频数据包括拍摄预设目标得到的多个视频帧;
43.预测处理模块,用于根据所述原始视频数据对所述预设目标进行预测处理,得到目标轨迹数据;
44.表情识别模块,用于对每一所述视频帧进行表情识别处理,得到目标表情数据;
45.截取处理模块,用于根据所述目标轨迹数据和所述目标表情数据对所述原始视频数据进行截取处理,得到初步图像数据;其中,所述原始图像数据和所述初步图像数据构成图像集,所述图像集包括多个用户图像,每一所述用户图像至少包括一个所述预设目标;
46.人脸比对模块,用于将多个所述用户图像与预设人脸库进行人脸比对处理,得到每一所述预设目标的目标图像;其中,所述目标图像为包含预设目标本人的图像;
47.数据提取模块,用于对所述初步图像数据进行信息提取处理,得到关键点数据;
48.计算处理模块,用于根据所述关键点数据计算得到目标姿态角度;
49.特征提取模块,用于根据目标姿态角度和所述目标图像进行特征提取,得到所述预设目标的图像数据集。
50.为实现上述目的,本技术实施例的第四方面还提出了一种图像分发装置,所述图像分发装置包括:
51.图像获取模块,用于获取图像数据集;其中,所述图像数据集为根据第一方面实施例任意一项所述的图像生成方法生成得到;
52.人脸识别模块,用于对所述图像数据集进行识别处理,得到人脸图像数据;其中,所述人脸图像数据包括人脸数量数据;
53.分类处理模块,用于根据所述人脸数量数据和预设的人脸数量阈值对所述图像数据集进行分类处理,得到初步分类图像;
54.匹配处理模块,用于根据所述初步分类图像和预设的人脸数据库进行匹配处理,得到目标分类图像;
55.压缩处理模块,用于对所述目标分类图像进行压缩处理,得到目标压缩图像;
56.发送模块,用于根据所述人脸数据库发送所述目标压缩图像。
57.为实现上述目的,本技术实施例的第五方面提出了一种电子设备,所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线,所述程序被所述处理器执行时实现上述第一方面所述的方法;或者,
58.如第二方面所述的方法。
59.为实现上述目的,本技术实施例的第六方面提出了一种存储介质,所述存储介质为计算机可读存储介质,用于计算机可读存储,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述第一方面所述的方法;或者,
60.如第二方面所述的方法。
61.本技术提出的图像生成方法和装置、图像分发方法和装置、设备、介质,其通过获取原始数据,该原始数据包括原始视频数据和原始图像数据,所述原始视频数据包括拍摄预设目标得到的多个视频帧,然后,根据原始视频数据对预设目标进行预测处理,得到目标轨迹数据,然后对每一视频帧进行表情识别处理,得到目标表情数据,在根据目标轨迹数据和目标表情数据对原始视频数据进行截取处理,得到初步图像数据,其中,原始图像数据和
初步图像数据构成图像集,该图像集包括多个用户图像,每一用户图像至少包括一个预设目标;将多个用户图像和预设人脸库进行人脸对比,得到每一预设目标的目标图像,再对目标图像进行信息提取,得到关键点数据,然后,根据关键点数据计算得到目标姿态角度,最后再根据目标姿态角度和目标图像进行特征提取,得到预设目标的图像数据集。通过这样设置,不需要教师时刻对学生进行拍摄,就能够自动生成图像数据集,并且,本技术实施例的初步图像数据是从原始视频数据中截取的,因此,得到的图像数据集更加准确。
附图说明
62.图1是本技术实施例提供的图像生成方法的流程图;
63.图2是图1中步骤s400的具体方法的流程图;
64.图3是图1中的步骤s700的具体方法的流程图;
65.图4是图1中的步骤s800的具体方法的流程图;
66.图5是本技术实施例提供的图像分发方法的流程图;
67.图6是图5中的步骤s1100的具体方法的流程图;
68.图7是本技术实施例提供的图像生成装置的结构示意图;
69.图8是本技术实施例提供的图像分发装置的结构示意图;
70.图9是本技术实施例提供的电子设备的硬件结构示意图。
具体实施方式
71.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本技术,并不用于限定本技术。
72.需要说明的是,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
73.除非另有定义,本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的,不是旨在限制本技术。
74.首先,对本技术中涉及的若干名词进行解析:
75.人工智能(artificial intelligence,ai):是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学;人工智能是计算机科学的一个分支,人工智能企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
76.自然语言处理(natural language processing,nlp):nlp用计算机来处理、理解以及运用人类语言(如中文、英文等),nlp属于人工智能的一个分支,是计算机科学与语言
学的交叉学科,又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息意图识别、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域,它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。
77.当今,用户常用手机、摄像机等摄像设备进行拍照,例如为便于家长了解学生在学校的成长情况,学校会给学生进行拍照。并且,用户会将照片制作成相册。相关技术中,由于照片数量较大,处理起来容易出现遗漏的情况。因此,如何准确的生成相册成为本领域技术人员基于解决的技术问题。
78.基于此,本技术实施例提供了一种图像生成方法和装置、图像分发方法和装置、设备、介质,旨在准确的生成图像数据集。
79.本技术实施例提供的图像生成方法和装置、图像分发方法和装置、设备、介质,具体通过如下实施例进行说明,首先描述本技术实施例中的图像生成方法。
80.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
81.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
82.本技术实施例提供的图像生成方法,涉及人工智能技术领域。本技术实施例提供的图像生成方法可应用于终端中,也可应用于服务器端中,还可以是运行于终端或服务器端中的软件。在一些实施例中,终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等;服务器端可以配置成独立的物理服务器,也可以配置成多个物理服务器构成的服务器集群或者分布式系统,还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn以及大数据和人工智能平台等基础云计算服务的云服务器;软件可以是实现图像生成方法的应用等,但并不局限于以上形式。
83.本技术可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
84.需要说明的是,在本技术的各个具体实施方式中,当涉及到需要根据用户信息、用户行为数据,用户历史数据以及用户位置信息等与用户身份或特性相关的数据进行相关处理时,都会先获得用户的许可或者同意,而且,对这些数据的收集、使用和处理等,都会遵守
相关国家和地区的相关法律法规和标准。此外,当本技术实施例需要获取用户的敏感个人信息时,会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意,在明确获得用户的单独许可或者单独同意之后,再获取用于使本技术实施例能够正常运行的必要的用户相关数据。
85.下面结合附图对本技术实施例的技术方案作进一步阐述。
86.图1是本技术实施例提供的图像生成方法的一个可选的流程图,图1中的方法可以包括步骤s100至步骤s800,应理解,本技术实施例的图像生成方法包括但不限于步骤s100至步骤s800,下面结合图1对这8个步骤进行详细介绍。
87.步骤s100,获取原始数据;其中,原始数据包括原始视频数据和原始图像数据,原始视频数据包括拍摄预设目标得到的多个视频帧;
88.步骤s200,根据原始视频数据对预设目标进行预测处理,得到目标轨迹数据;
89.步骤s300,对每一视频帧进行表情识别处理,得到目标表情数据;
90.步骤s400,根据目标轨迹数据和目标表情数据对原始视频数据进行截取处理,得到初步图像数据;其中,原始图像数据和初步图像数据构成图像集,图像集包括多个用户图像,每一用户图像至少包括一个预设目标;
91.步骤s500,将多个用户图像与预设人脸库进行人脸比对处理,得到每一预设目标的目标图像;其中,目标图像为包含预设目标本人的图像;
92.步骤s600,对目标图像进行信息提取处理,得到关键点数据;
93.步骤s700,根据关键点数据计算得到目标姿态角度;
94.步骤s800,根据目标姿态角度和目标图像进行特征提取,得到预设目标的图像数据集。
95.本技术实施例的图像生成方法,其通过获取原始数据,该原始数据包括原始视频数据和原始图像数据,原始视频数据包括拍摄预设目标得到的多个视频帧,然后,根据原始视频数据对预设目标进行预测处理,得到目标轨迹数据,然后对每一视频帧进行表情识别处理,得到目标表情数据,在根据目标轨迹数据和目标表情数据对原始视频数据进行截取处理,得到初步图像数据,其中,原始图像数据和初步图像数据构成图像集,该图像集包括多个用户图像,每一用户图像至少包括一个预设目标;将多个用户图像和预设人脸库进行人脸对比,得到每一预设目标的目标图像,再对目标图像进行信息提取,得到关键点数据,然后,根据关键点数据计算得到目标姿态角度,最后再根据目标姿态角度和目标图像进行特征提取,得到预设目标的图像数据集。通过这样设置,不需要教师时刻对学生进行拍摄,就能够自动生成图像数据集,并且,本技术实施例的初步图像数据是从原始视频数据中截取的,因此,得到的图像数据集更加准确。
96.需要说明的是,本技术实施例的技术方案适用于各种图像生成的场景,在本实施例中,仅以校园中生成学生的精彩图像为例进行说明,校园中生成教师或者其他人的精彩图像、或者其他领域中生成图像与校园中生成学生的精彩图像类似,在本实施例中不再赘述。
97.在一些实施例的步骤s100中,通过安装在校园内的摄像头对学生进行拍摄,得到原始视频数据,该原始视频数据由多个视频帧组成。原始图像数据可以是通过安装在校园内的摄像头拍摄学生的精彩瞬间得到,也可以是教师手动对学生的精彩瞬间拍摄得到,对
于此,本技术不作具体限制。
98.在一些实施例的步骤s200中,采取卡尔曼滤波对预设目标进行预测处理,得到目标轨迹数据。卡尔曼滤波器是一种利用线性系统状态方程,通过系统输入输出观测数据,对系统状态进行最优估计的算法。而且由于观测包含系统的噪声和干扰的影响,所以最优估计也可看做是滤波过程。其过程由以下公式描述:
99.x(k)=a*x(k-1)+b*u(k)+w(k)(1)
100.z(k)=h*x(k)+v(k)(2)
101.x(k|k-1)=a*x(k-1|k-1)+b*u(k)(3)
102.p(k|k-1)=a*p(k|k-1)*a
t
+q(4)
103.x(k|k)=a*p(k|k-1)+k(k)*z(k)-h*x(k|k-1)(5)
104.kg(k)=p*(k|k-1)*h
t
/(h*p*(k|k-1)*h
t
+r)(6)
105.p(k|k)=(i-kg(k)*h)*p(k|k-1)(7)
106.如果把原始视频数据看做一个离散的系统,那么在公式(1)至公式(7)中,x(k)表示k时刻的系统的状态,u(k)是k时刻对系统的控制量。a和b是系统参数,z(k)是k时刻的测量值,h是测量系统的参数。在公式(3)中,x(k|k-1)是利用上一状态预测的结果,x(k-1|k-1)是上一状态最优的结果,u(k)为现在状态的控制量,如果没有控制量,它可以为0。在公式(2)中,p(k|k-1)是x(k|k-1)对应的协方差,p(k-1|k-1)是x(k-1|k-1)对应的协方差,a
t
表示a的转置矩阵,q是系统过程的协方差,公式(4)相当于对原始视频数据中预设目标的预测。在公式(6)中,kg为卡尔曼增益,在公式(7)中,i为1的矩阵。
107.通过公式(2)至公式(7)对原始视频数据中的预设目标进行轨迹预测处理,得到目标轨迹数据。
108.在一些实施例的步骤s300中,通过机器视觉对每一视频帧进行表情识别处理,以得到每一预设目标的每一视频帧的目标表情数据。
109.请参照图2,在本技术的一些实施例中,步骤s400包括但不限于步骤s410至步骤s430,下面结合图2对这两个步骤进行详细介绍。
110.步骤s410,获取预设的精彩表情集;
111.步骤s420,若目标表情数据属于精彩表情集中的一种,则获取目标表情数据对应的位置,得到精彩表情位置;
112.步骤s430,根据精彩表情位置和目标轨迹数据对原始视频数据进行逐帧抽取,得到初步图像数据。
113.具体地,在本实施例中,精彩表情集包括但不限于高兴、愤怒、悲伤、激动、感动等等。如果前述步骤s300识别到的目标表情数据属于上述精彩表情集中的一种,则获取该目标表情数据对应的位置,得到精彩表情位置,然后再根据该精彩表情位置和目标轨迹数据对原始视频数据进行逐帧抽取,得到初步图像数据。例如,预设目标为学生a,原始视频数据为拍摄该学生a得到的多个视频帧,然后通过卡尔曼滤波对学生a在原始视频数据中的轨迹进行预测处理,得到目标轨迹数据,并对视频帧进行表情识别处理,得到目标表情数据,如果该目标表情数据为精彩表情集中的一种,则获取该目标表情数据在原始视频数据中的位置,并根据学生a的目标轨迹数据对原始视频数据进行逐帧抽取处理,得到初步图像数据。如果该目标表情数据不属于上述精彩表情集中的一种,则不对该学生a的原始视频数据进
行截取处理,并寻找与学生a相关的其他原始视频数据进行表情识别处理,以得到学生a的初步图像数据。
114.类似的,对于多个预设目标都是采取上述方法进行处理,得到多个预设目标的初步图像数据,并将前述的原始图像数据和初步凸显数据,构造得到图像集,该图像集包括多个用户图像,每一个用户图像至少包括一个预设目标。
115.在一些实施例的步骤s500中,预设人脸库为预先建立设置的,里面存储着预设目标的多个人脸,而如果出现了没有在预设人脸库中的预设目标的人脸,则将该预设目标的人脸加入到预设人脸库中。通过将多个用户图像和预设人脸库进行人脸比对,得到目标图像,能够对每个学生(预设目标)进行身份比对,以便于后续的分类和分发。
116.在一些实施例的步骤s600中,对目标图像进行信息提取,以得到关键点数据。
117.请参照图3,在本技术的一些实施例中,关键点数据包括二维关键点数据和范围关键点数据,步骤s700包括但不限于步骤s710至步骤s760,下面结合图3对这六个步骤进行详细介绍。
118.步骤s710,获取预设的二维权重系数,获取预设的三维权重系数;
119.步骤s720,根据二维关键点数据和预设的二维角度计算函数,计算得到第一姿态角度;
120.步骤s730,根据三维关键点数据和预设的三维角度计算函数,计算得到第二姿态角度;
121.步骤s740,根据第一姿态角度和二维权重系数,计算得到二维权重角度;
122.步骤s750,根据第二姿态角度和三维权重系数,计算得到三维权重角度;
123.步骤s760,根据二维权重角度和三维权重角度,计算得到目标姿态角度。
124.具体地,在本实施例中,采取公式(8)对目标姿态角度进行计算,公式(8)具体为:
125.θ=f2(dlibn)*α+f3(danm)*β(8)
126.在公式(8)中,θ表示目标姿态角度dlibn表示n个二维人脸关键点数据的坐标值的集合,f2表示二维人脸计算函数,danm表示m个三维人脸关键点数据的坐标值的集合,f3表示三维角度计算函数,α为二维权重系数,β为三维权重系数。通过公式(8)能够计算得到目标姿态角度,以便于判断在初步图像数据中人脸的姿态角度,便于后续对初步图像数据的选择。
127.请参照图4,在本技术的一些实施例中,步骤s800包括但不限于步骤s810至步骤s850,下面结合图4对这五个步骤进行详细介绍。
128.步骤s810,获取预设的姿态阈值;
129.步骤s820,若目标姿态角度大于或等于姿态阈值,对目标图像进行提取处理,得到预设目标的图像数据集;
130.步骤s830,若目标姿态角度小于姿态阈值,对目标图像进行仿真变化,得到初步仿真图像;
131.步骤s840,对初步仿真图像进行计算处理,得到仿真姿态角度;
132.步骤s850,若仿真姿态角度大于或等于姿态阈值,对初步仿真图像进行提取处理,得到预设目标的图像数据集。
133.具体地,在本实施例中,姿态阈值用于表征人脸的姿态角度表现出来的程度,姿态
阈值为预先设置的,可以根据具体情况进行调整,小于姿态阈值的目标图像被认为是不能判断出人脸、或者即使能够判断出人脸,对应的目标图像也不够完美,不适合作为精彩图像。如果目标姿态角度大于或等于姿态阈值,则提取每一个预设目标的目标图像中人脸图像区域,得到图像数据集;而如果目标姿态角度小于姿态阈值,则对目标图像进行仿真变化,得到初步仿真图像,以模拟出为表现出来的部分姿态,并对初步仿真图像再次进行计算,得到仿真姿态角度,如果仿真姿态角度大于或等于姿态阈值,则对初步仿真图像中人脸图像区域进行提取处理,得到预设目标的图像数据集。而如果进行多次仿真变化以后,仿真姿态角度仍然小于姿态阈值,则将对应的目标图像丢弃,根据前述步骤重新选取目标图像。
134.请参照图5,第二方面,本技术实施例还提出了一种图像分发方法,包括但不限于步骤s900至步骤s1400,下面结合图5对这六个步骤进行详细介绍。
135.步骤s900,获取图像数据集;其中,图像数据集为根据第一方面实施例的图像生成方法生成得到;
136.步骤s1000,对图像数据集进行识别处理,得到人脸图像数据;其中,人脸图像数据包括人脸数量数据;
137.步骤s1100,根据人脸数量数据和预设的人脸数量阈值对图像数据集进行分类处理,得到初步分类图像;
138.步骤s1200,根据初步分类图像和预设的人脸数据库进行匹配处理,得到目标分类图像;
139.步骤s1300,对目标分类图像进行压缩处理,得到目标压缩图像;
140.步骤s1400,根据人脸数据库发送目标压缩图像。
141.本技术实施例的照片分发方法,通过获取前述的图像数据集,并对图像数据集进行识别处理,得到人脸图像数据,该人脸图像数据包括人脸数量数据,再根据人脸数量数据和预设的人脸数量阈值对图像数据集进行分类处理,得到初步分类图像,然后,对人脸图像数据、初步分类图像和预设的人脸数据库进行匹配处理,得到目标分类图像,再对目标分类图像进行压缩处理,得到目标压缩图像,然后再根据人脸数据库发送该目标压缩图像。通过这样设置,能够实现图像数据集的自动分类和分发,从而降低了人工成本和人工的工作量,同时也提高了图像数据集分类和分发的准确性。
142.在一些实施例的步骤s1000中,通过人脸识别技术对图像数据集中的每一图像进行识别处理,得到人脸图像数据,该人脸图像数据至少包括人脸数量数据,还可以包括性别数据等等。
143.请参照图6,在本技术的一些实施例中,初步分类图像包括个人图像和群体图像,步骤s1100包括步骤s1110和步骤s1120,应理解,步骤s1100包括但不限于步骤s1110和步骤s1120,下面结合图6对这两个步骤进行详细介绍。
144.步骤s1110,若人脸数量数据大于或等于人脸数量阈值,则图像数据集为群体图像;
145.步骤s1120,若人脸数量数据小于人脸数量阈值,则图像数据集为个人图像。
146.具体地,在本实施例中,如果图像数据集中图像的人脸数量数据大于或等于人脸数量阈值,则判断该图像为群体图像,如果图像数据集中图像的人脸数量数据小于人脸数量阈值,则该图像为个人图像。例如,人脸数量阈值设置为2(人脸数量阈值为预先设置,可
以根据实际情况进行更改),当图像数据集中图像的人脸数量数据小于2时,则判断为个人图像,相反,则判断为群体图像。
147.在一些实施例的步骤s1200中,人脸数据库中包含了每一个预设目标对应的关联人或者关联集体。以预设目标为学生为例进行说明,则人脸数据库中报刊了该学生对应的班级、班主任、父母或者其他监护人等等。如果该初步分类图像为个人图像,则将该个人图像匹配至班主任、父母处,得到目标分类图像,而如果该初步分类图像为群体图像,则将该群体图像匹配至班主任、班级、父母处。当然,也可以是其他的匹配分类方式,在此不再一一赘述。
148.在一些实施例的步骤s1300中,在保证目标分类图像不失真、保证图像质量的情况下,对目标分类图像进行压缩处理,得到目标压缩图像,以减少目标分类图像的大小,便于后续实现目标压缩图像的分发。
149.在一些实施例的步骤s1400中,人脸数据库中还预存了关联人、关联集体的联系方式和手段。如存储了家长的手机号码、微信等等,通过人脸数据库将目标压缩图像自动发送至家长的手机上。通过这样设置,家长能够实时掌握孩子的学习情况以及在学校的发展情况等等。
150.下面以在学校中的应用作为一个具体的实施例对本方案的技术方案进行详细说明。
151.第一步:首先建立校园人脸身份库,该校园人脸身份库包括预设人脸库和人脸数据库,该校园人脸身份库用于对初步分类图像进行匹配处理,用于对初步图像数据进行识别处理。
152.第二步:通过安装在校园内的视频采集系统(安装于校园内的摄像头)对学生进行拍摄处理,得到原始视频数据。通过教师的手机或者相机等,手动拍摄学生的精彩瞬间,得到原始图像数据。
153.第三步:利用卡尔曼滤波对原始视频数据中的学生的轨迹进行预测处理,得到目标轨迹数据。
154.第四步:利用计算机视觉识别技术对原始视频数据中的学生的表情进行识别,得到目标表情数据,并判断该目标表情数据是否属于精彩表情集中的表情,该精彩表情集包括感动、高兴、悲伤、激动、愤怒等等。如果该目标表情数据属于精彩表情集中的一种,则获取目标表情数据对应的位置,得到精彩表情位置,并根据精彩表情位置和目标轨迹数据对原始视频数据进行逐帧抽取,得到初步图像数据。根据初步图像数据和原始图像数据构造得到图像集,该图像集包括多个用户图像。
155.第五步:将多个用户图像与预设人脸库进行人脸比对处理,得到每一位学生的目标图像,该目标图像包含学生本人的图像。
156.第六步:对目标图像进行信息提取处理,得到关键点数据,该关键点数据包括二维关键点数据和三维关键点数据,并根据公式(8)计算得到目标姿态角度,如果目标姿态角度大于或等于预设的姿态阈值,则对该目标图像中的人脸区域进行特征提取,得到学生的图像数据集。如果目标姿态角度小于姿态阈值,则对目标图像进行仿真变化,得到初步仿真图像,并对初步图像数据进行计算处理,得到仿真姿态角度。如果,仿真姿态角度小于姿态阈值,则重新进行仿真处理,重复一定次数后,如果仿真姿态角度仍然小于姿态阈值,则丢弃
该初步分类图像。如果仿真姿态角度大于或等于姿态阈值,则提取初步图像数据中的人脸区域,得到图像数据集。
157.第八步:对图像数据集中的人脸数量数据进行分类,得到初步分类图像,该初步分类图像包括个人图像和群体图像。
158.第九步:根据人脸数据库和初步分类图像进行匹配处理,得到目标分类图像,对目标分类图像进行压缩处理,得到目标压缩图像,根据人脸数据库发送目标压缩图像,以将个人图像对应的目标压缩图像发送给家长和班主任等,将群体图像发送给家长、班主任和班级等等。
159.请参照图7,本技术的一些实施例还提出了一种图像生成装置,该图像生成装置包括数据获取模块1500、预测处理模块1600、表情识别模块1700、截取处理模块1800、人脸比对模块1900、数据提取模块2000、计算处理模块2100、特征提取模块2200。
160.数据获取模块1500,用于获取原始数据;其中,原始数据包括原始视频数据和原始图像数据,原始视频数据包括拍摄预设目标得到的多个视频帧。
161.预测处理模块1600,用于根据原始视频数据对预设目标进行预测处理,得到目标轨迹数据。
162.表情识别模块1700,用于对每一视频帧进行表情识别处理,得到目标表情数据。
163.截取处理模块1800,用于根据目标轨迹数据和目标表情数据对原始视频数据进行截取处理,得到初步图像数据;其中,原始图像数据和初步图像数据构成图像集,图像集包括多个用户图像,每一用户图像至少包括一个预设目标。
164.人脸比对模块1900,用于将多个用户图像与预设人脸库进行人脸比对处理,得到每一预设目标的目标图像;其中,目标图像为包含预设目标本人的图像。
165.数据提取模块2000,用于对初步图像数据进行信息提取处理,得到关键点数据。
166.计算处理模块2100,用于根据关键点数据计算得到目标姿态角度。
167.特征提取模块2200,用于根据目标姿态角度和目标图像进行特征提取,得到预设目标的图像数据集。
168.本技术实施例的图像生成装置,其通过获取原始数据,该原始数据包括原始视频数据和原始图像数据,原始视频数据包括拍摄预设目标得到的多个视频帧,然后,根据原始视频数据对预设目标进行预测处理,得到目标轨迹数据,然后对每一视频帧进行表情识别处理,得到目标表情数据,在根据目标轨迹数据和目标表情数据对原始视频数据进行截取处理,得到初步图像数据,其中,原始图像数据和初步图像数据构成图像集,该图像集包括多个用户图像,每一用户图像至少包括一个预设目标;将多个用户图像和预设人脸库进行人脸对比,得到每一预设目标的目标图像,再对目标图像进行信息提取,得到关键点数据,然后,根据关键点数据计算得到目标姿态角度,最后再根据目标姿态角度和目标图像进行特征提取,得到预设目标的图像数据集。通过这样设置,不需要教师时刻对学生进行拍摄,就能够自动生成图像数据集,并且,本技术实施例的初步图像数据是从原始视频数据中截取的,因此,得到的图像数据集更加准确。
169.需要说明的是,本技术实施例的图像生成装置与前述的图像生成方法相对应,具体的处理流程请参照前述的图像生成方法,在此不再赘述。
170.请参照图8,本技术的一些实施例还提出了一种图像分发装置,该图像分发装置包
括图像获取模块2300、人脸识别模块2400、分类处理模块2500、匹配处理模块2600、压缩处理模块2700和发送模块2800。
171.图像获取模块2300,用于获取图像数据集;其中,图像数据集为根据第一方面实施例任意一项的图像生成方法生成得到。
172.人脸识别模块2400,用于对图像数据集进行识别处理,得到人脸图像数据;其中,人脸图像数据包括人脸数量数据。
173.分类处理模块2500,用于根据人脸数量数据和预设的人脸数量阈值对图像数据集进行分类处理,得到初步分类图像。
174.匹配处理模块2600,用于根据初步分类图像和预设的人脸数据库进行匹配处理,得到目标分类图像。
175.压缩处理模块2700,用于对目标分类图像进行压缩处理,得到目标压缩图像。
176.发送模块2800,用于根据人脸数据库发送目标压缩图像。
177.本技术实施例的图像分发装置,其通过获取前述的图像数据集,并对图像数据集进行识别处理,得到人脸图像数据,该人脸图像数据包括人脸数量数据,再根据人脸数量数据和预设的人脸数量阈值对图像数据集进行分类处理,得到初步分类图像,然后,对人脸图像数据、初步分类图像和预设的人脸数据库进行匹配处理,得到目标分类图像,再对目标分类图像进行压缩处理,得到目标压缩图像,然后再根据人脸数据库发送该目标压缩图像。通过这样设置,能够实现图像数据集的自动分类和分发,从而降低了人工成本和人工的工作量,同时也提高了图像数据集分类和分发的准确性。
178.需要说明的是,本技术实施例的图像分发装置与前述的图像分发方法相对应,具体的处理流程请参照前述的图像分发方法,在此不再赘述。
179.本技术实施例还提供了一种电子设备,电子设备包括:存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线,程序被处理器执行时实现上述图像生成方法或者图像分发方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
180.请参阅图9,图9示意了另一实施例的电子设备的硬件结构,电子设备包括:
181.处理器2900,可以采用通用的cpu(central processing unit,中央处理器)、微处理器、应用专用集成电路(application specific integrated circuit,asic)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本技术实施例所提供的技术方案;
182.存储器3000,可以采用只读存储器(read only memory,rom)、静态存储设备、动态存储设备或者随机存取存储器(random access memory,ram)等形式实现。存储器3000可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器3000中,并由处理器2900来调用执行本技术实施例的图像生成方法;
183.输入/输出接口3100,用于实现信息输入及输出;
184.通信接口3200,用于实现本设备与其他设备的通信交互,可以通过有线方式(例如usb、网线等)实现通信,也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信;
185.总线330000,在设备的各个组件(例如处理器2900、存储器3000、输入/输出接口3100和通信接口3200)之间传输信息;
186.其中处理器2900、存储器3000、输入/输出接口3100和通信接口3200通过总线3300实现彼此之间在设备内部的通信连接。
187.本技术实施例还提供了一种存储介质,存储介质为计算机可读存储介质,用于计算机可读存储,存储介质存储有一个或者多个程序,一个或者多个程序可被一个或者多个处理器执行,以实现上述图像生成方法或者图像分发方法。
188.存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
189.本技术实施例描述的实施例是为了更加清楚的说明本技术实施例的技术方案,并不构成对于本技术实施例提供的技术方案的限定,本领域技术人员可知,随着技术的演变和新应用场景的出现,本技术实施例提供的技术方案对于类似的技术问题,同样适用。
190.本领域技术人员可以理解的是,图1-6中示出的技术方案并不构成对本技术实施例的限定,可以包括比图示更多或更少的步骤,或者组合某些步骤,或者不同的步骤。
191.以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
192.本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
193.本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
194.应当理解,在本技术中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“a和/或b”可以表示:只存在a,只存在b以及同时存在a和b三种情况,其中a,b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
195.在本技术所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的
相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
196.上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
197.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
198.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括多指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施例的方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,简称rom)、随机存取存储器(random access memory,简称ram)、磁碟或者光盘等各种可以存储程序的介质。
199.以上参照附图说明了本技术实施例的优选实施例,并非因此局限本技术实施例的权利范围。本领域技术人员不脱离本技术实施例的范围和实质内所作的任何修改、等同替换和改进,均应在本技术实施例的权利范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1