儿童情绪识别模型训练方法和儿童情绪识别方法与流程

1.本技术的实施例涉及图像处理技术领域，尤其涉及一种儿童情绪识别模型训练方法和儿童情绪识别方法。


背景技术：

2.自闭症是一种表现为社会交流障碍以及感官运动重复的疾病。当前自闭症发病率在全球范围内持续上升，自闭症儿童的数量也在不断增加，有资料表明，其确诊的时间越早，干预治疗的效果就越好。国内自闭征的治疗以干预为主，但存在缺乏足够的有经验的自闭症指导教师，因此，需要一种能够辅助指导教师对自闭症儿童情绪进行识别的方案。


技术实现要素：

3.未解决上述背景技术中的问题，本技术的实施例提供了一种儿童情绪识别模型训练方法、儿童情绪识别方法、装置、电子设备和计算机可读存储介质。
4.在本技术的第一方面，提供了一种儿童情绪识别模型训练方法，包括：
5.采集包含有被试儿童面部表情的视频数据，所述视频数据是基于情绪诱导材料进行采集或基于教学视频进行采集；
6.对所述视频数据进行过滤，并对过滤后的视频数据进行打标；
7.提取过滤后的视频数据中被试儿童的面部特征；
8.根据所述面部特征和打标结果训练支持向量机以获得儿童情绪识别模型。
9.在一种可能的实现方式中，所述对所述视频数据进行过滤，并对过滤后的视频数据进行打标包括：
10.通过多名研究人员对所述视频数据进行打标；
11.若至少两名研究人员对同一视频数据的打标结果相同，则保留该视频数据；反之，去除该视频数据；
12.其中，打标结果包括开心、恐惧、伤心、平静、生气以及恶心。
13.在一种可能的实现方式中，所述提取过滤后的视频数据中被试儿童的面部特征包括：
14.选定过滤后的视频数据中的每个视频帧的中心，分别计算第一预设平面的lbp值、第二预设平面的lbp值和第三预设平面的lbp值，并用直方图表示；
15.级联第一预设平面的直方图、第二预设平面的直方图以及第三预设平面的直方图，得到所述面部特征。
16.在本技术的第二方面，提供了一种儿童情绪识别方法，包括：
17.获取待处理视频图像，所述待处理视频图像中包含被试儿童的面部表情；
18.根据所述待处理视频图像，通过权利要求1所述的训练方法训练得到的儿童情绪识别模型，确定被试儿童的情绪。
19.在本技术的第三方面，提供了一种儿童情绪识别模型训练装置，包括：
20.采集模块，用于采集包含有被试儿童面部表情的视频数据，所述视频数据是基于情绪诱导材料进行采集或基于教学视频进行采集；
21.标记模块，用于对所述视频数据进行过滤，并对过滤后的视频数据进行打标；
22.提取模块，用于提取过滤后的视频数据中被试儿童的面部特征；
23.训练模块，用于根据所述面部特征和打标结果训练支持向量机以获得儿童情绪识别模型。
24.在一种可能的实现方式中，所述标记模块具体用于：
25.通过多名研究人员对所述视频数据进行打标；
26.若至少两名研究人员对同一视频数据的打标结果相同，则保留该视频数据；反之，去除该视频数据；
27.其中，打标结果包括开心、恐惧、伤心、平静、生气以及恶心。
28.在一种可能的实现方式中，所述提取模块具体用于：
29.选定过滤后的视频数据中的每个视频帧的中心，分别计算第一预设平面的lbp值、第二预设平面的lbp值和第三预设平面的lbp值，并用直方图表示；
30.级联第一预设平面的直方图、第二预设平面的直方图以及第三预设平面的直方图，得到所述面部特征。
31.在本技术的第四方面，提供了一种儿童情绪识别装置，包括：
32.获取模块，用于获取待处理视频图像，所述待处理视频图像中包含被试儿童的面部表情；
33.确定模块，用于根据所述待处理视频图像，通过权利要求1所述的训练方法训练得到的儿童情绪识别模型，确定被试儿童的情绪。
34.在本技术的第五方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如第一方面中任一项所述的方法或如第二方面所述的方法。
35.在本技术的第六方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面中任一项所述的方法或如第二方面所述的方法。
36.在本技术实施例提供的儿童情绪识别模型训练方法和儿童情绪识别方法中，采集包含有被试儿童面部表情的视频数据；对视频数据进行过滤，并对过滤后的视频数据进行打标；提取过滤后的视频数据中被试儿童的面部特征；根据面部特征和打标结果训练支持向量机以获得儿童情绪识别模型，本技术能够通过训练得到儿童情绪识别模型，并通过该儿童情绪识别模型来辅助知道教师对自闭症儿童情绪进行识别，从而有利于指导教师及早地对自闭症儿童进行干预治疗。
37.应当理解，发明内容部分中所描述的内容并非旨在限定本技术的实施例的关键或重要特征，亦非用于限制本技术的范围。本技术的其它特征将通过以下的描述变得容易理解。
附图说明
38.结合附图并参考以下详细说明，本技术各实施例的上述和其他特征、优点及方面
将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
39.图1示出了本技术的实施例提供的儿童情绪识别模型训练方法的流程图。
40.图2示出了本技术的实施例提供的儿童情绪识别方法的流程图。
41.图3示出了本技术的实施例提供的儿童情绪识别模型训练装置的方框图。
42.图4示出了本技术的实施例提供的儿童情绪识别装置的方框图。
43.图5示出了适于用来实现本技术实施例的电子设备的结构示意图。
具体实施方式
44.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。
45.图1示出了本技术的实施例提供的儿童情绪识别模型训练方法的流程图。参见图1，该方法包括以下步骤：
46.步骤101，采集包含有被试儿童面部表情的视频数据，视频数据是基于情绪诱导材料进行采集或基于教学视频进行采集。
47.被试儿童可以为经过筛选后确定的儿童。其中，筛选的条件可以为：经过权威医院确诊为孤独症谱系障碍患者；视力或矫正视力正常，视觉正常；年龄在3至7岁；被试儿童家长同意试验数据用于科学研究。
48.在采集被试儿童面部表情的视频数据时，可以采用以下两种方式进行采集：
49.(1)基于情绪诱导材料
50.情绪诱导材料可以选用孤独症儿童的常用学习资料，能有效引起孤独症儿童的情绪变化，有研究人员朗读上述的学习资料，通过摄像设备采集被试儿童在聆听研究人员诵读上述的学习资料的面部表情视屏数据。
51.(2)基于教学视频
52.由研究人员向被试儿童播放教学视频，通过摄像设备采集被试儿童在聆听研究人员诵读上述的学习资料的面部表情视屏数据。
53.步骤102，对视频数据进行过滤，并对过滤后的视频数据进行打标。
54.对视频数据进行过滤之前，需要对视频数据进行筛查，去除视频数据中面部被遮挡、面部图像不全、正脸偏离等类型的视频数据。
55.在一种可能的实施方式，对视频数据进行过滤可以采用以下的方式：
56.通过多名研究人员对视频数据进行打标，若至少两名研究人员对同一视频数据的打标结果相同，则保留该视频数据；反之，去除该视频数据。打标结果可以包括开心、恐惧、伤心、平静、生气以及恶心。
57.步骤103，提取过滤后的视频数据中被试儿童的面部特征。
58.在本技术实施例中，选用lbp来提取被试儿童的面部特征，选定过滤后的视频数据中的每个视频帧的中心，分别计算第一预设平面的lbp值、第二预设平面的lbp值和第三预设平面的lbp值，并用直方图表示；级联第一预设平面的直方图、第二预设平面的直方图以及第三预设平面的直方图，得到所述面部特征。
59.其中，第一预设平面为xy平面，第二预设平面为xt平面，第三预设平面为yt平面。那么，被试儿童的面部特征可以表示如下：
[0060][0061]
i＝0,1,
…nj-1；j＝0,1,2
[0062][0063]
其中，j为平面编号，j＝0,1,2分别为xy平面、xt平面和yt平面，nj表示在j平面上二值模式的数量。
[0064]
步骤104，根据所述面部特征和打标结果训练支持向量机以获得儿童情绪识别模型。
[0065]
在训练支持向量机时，给定包含n个样本的训练集
[0066]
x＝{(x1,y1),
…
,(xn,yn)}
[0067]
其中，k维特征向量类标签yn∈{1,2,
…
,m},n＝1,2,
…
,n。
[0068]
在本技术实施例中，将面部特征和打标结果(即标签)作为训练集来训练支持向量机，能够获得儿童情绪识别模型。
[0069]
图2示出了本技术的实施例提供的儿童情绪识别方法的流程图。参见图2，该方法包括以下步骤：
[0070]
步骤201，获取待处理视频图像，待处理视频图像中包含被试儿童的面部表情。
[0071]
需要说明的是，获取待处理视频图像时，不需要基于情绪诱导材料或教学视频，直接采用视频拍摄设备来采集被试儿童的图像即可。
[0072]
步骤202，根据待处理视频图像，通过上述训练方法训练得到的儿童情绪识别模型，确定被试儿童的情绪。
[0073]
在本技术实施例中，通过训练得到儿童情绪识别模型，并通过该儿童情绪识别模型来辅助知道教师对自闭症儿童情绪进行识别，从而有利于指导教师及早地对自闭症儿童进行干预治疗。
[0074]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本技术所必须的。
[0075]
以上是关于方法实施例的介绍，以下通过装置实施例，对本技术所述方案进行进一步说明。
[0076]
图3示出了本技术的实施例提供的儿童情绪识别模型训练装置的方框图。参见图3，该装置包括：
[0077]
采集模块301，用于采集包含有被试儿童面部表情的视频数据，所述视频数据是基于情绪诱导材料进行采集或基于教学视频进行采集。
[0078]
标记模块302，用于对所述视频数据进行过滤，并对过滤后的视频数据进行打标。
[0079]
提取模块303，用于提取过滤后的视频数据中被试儿童的面部特征。
[0080]
训练模块304，用于根据所述面部特征和打标结果训练支持向量机以获得儿童情
programmable read only memory，电可擦可编程只读存储器)、cd-rom(compact disc read only memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
[0097]
存储器503用于存储执行本技术方案的应用程序代码，并由处理器501来控制执行。处理器501用于执行存储器503中存储的应用程序代码，以实现前述方法实施例所示的内容。
[0098]
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
[0099]
本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与现有技术相比，本技术实施例中，通过训练得到儿童情绪识别模型，并通过该儿童情绪识别模型来辅助知道教师对自闭症儿童情绪进行识别，从而有利于指导教师及早地对自闭症儿童进行干预治疗。
[0100]
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0101]
以上所述仅是本技术的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。