一种视频标注方法、装置、电子设备及存储介质与流程

本技术涉及数据标注领域，特别涉及一种视频标注方法、装置、电子设备及存储介质。

背景技术：

1、情绪计算正受到人们越来越多的关注，它能够帮助计算机识别分析人的情绪，从而建立良好的人机交互关系。情绪计算关联到人类情绪的情绪分析、情绪识别等，其中情绪分析是重要的一环。目前对情绪的分析研究一般采用对情绪进行建模的方法，其中被广泛认可的是情绪的维度理论，情绪维度模型使用最多的是效价和唤醒度两个维度，即效价-唤醒度模型。效价表示情绪是积极和消极状态，而唤醒度表示情绪刺激的激活程度。

2、情绪数据库的有效性与合理性是情绪计算研究中的关键问题，数据库的优劣直接影响情绪识别及分析。因此，构建性能良好的情绪数据库是情绪识别的重要部分。情绪模型分为离散型模型和连续型模型，效价-唤醒度模型为连续型模型，在构建效价-唤醒度模型的数据库时，需要对原始视频文件逐帧标注情绪的效价及唤醒度数值。

3、现有的标注方法是按照原始视频文件的播放顺序对原始视频文件逐帧标注。这种标注方法需要标注人员注意力高度集中且无快进的情况下，对原始视频逐帧标注，而原始视频文件采集时间通常比较长，这种标注方法效率低。

技术实现思路

1、为了解决现有技术的问题，本技术实施例提供了一种视频标注方法、装置、电子设备及存储介质。所述技术方案如下：

2、一方面，提供了一种视频标注方法，所述方法包括：

3、获取待标注视频；所述待标注视频中的每个视频帧对应有特征标签值；所述特征标签值表征相应视频帧中待标注对象的脸部情绪强烈程度；

4、基于所述待标注视频中每个视频帧对应的特征标签值，显示起始标注帧；所述起始标注帧的特征标签值大于剩余视频帧的特征标签值；所述剩余视频帧为所述待标注视频中除所述起始标注帧之外的视频帧；

5、响应于情绪标注请求，以所述起始标注帧为标注起点，对所述待标注视频中的视频帧标注情绪信息；所述情绪信息表征相应视频帧中待标注对象的情绪属性和情绪激活程度。

6、另一方面，提供了一种视频标注装置，所述装置包括：

7、视频获取模块，用于获取待标注视频；所述待标注视频中的每个视频帧对应有特征标签值；所述特征标签值表征相应视频帧中待标注对象的脸部情绪特征值；

8、起始显示模块，用于基于所述待标注视频中每个视频帧对应的特征标签值，显示起始标注帧；所述起始标注帧的特征标签值大于剩余视频帧的特征标签值；所述剩余视频帧为所述待标注视频中除所述起始标注帧之外的视频帧；

9、情绪标注模块，用于响应于情绪标注请求，以所述起始标注帧为标注起点，对所述待标注视频中的视频帧标注情绪信息；所述情绪信息表征相应视频帧中待标注对象的情绪属性和情绪激活程度。

10、在一个示例性的实施方式中，所述起始标注帧为多个时，所述起始显示模块，包括：

11、当前确定模块，用于按照所述待标注视频的播放顺序，将多个所述起始标注帧中首个播放的所述起始标注帧确定为当前起始标注帧；

12、当前显示模块，用于显示所述当前起始标注帧。

13、在一个示例性的实施方式中，所述情绪标注模块，包括：

14、周期标注模块，用于响应于情绪标注请求，对所述当前起始标注帧所对应情绪周期的视频帧标注情绪信息；

15、剩余周期标注模块，用于将剩余起始标注帧中首个播放的所述起始标注帧更新为当前起始标注帧，显示所述当前起始标注帧，并执行所述响应于情绪标注请求，对所述当前起始标注帧所对应情绪周期的视频帧标注情绪信息的步骤，直至不存在所述剩余起始标注帧；所述剩余起始标注帧为多个所述起始标注帧中未被标注的视频帧。

16、在一个示例性的实施方式中，在不存在所述剩余起始标注帧的情况下，所述装置还包括用于对待标注视频中未被标注的视频帧标注情绪信息的剩余标注模块，所述剩余标注模块，包括：

17、起始更新模块，用于若所述待标注视频中存在未被标注的视频帧，则基于所述待标注视频中未被标注的视频帧对应的特征标签值，更新所述起始标注帧，显示所述更新后的起始标注帧；所述更新后的起始标注帧的特征标签值大于剩余未标注帧的特征标签值；所述剩余未标注帧为所述待标注视频中除所述起始标注帧之外未被标注的视频帧；

18、视频帧标注模块，用于响应于针对所述更新后的起始标注帧的情绪标注请求，以所述更新后的起始标注帧为标注起点，对所述待标注视频中未被标注的视频帧标注情绪信息。

19、在一个示例性的实施方式中，所述周期标注模块，包括：

20、当前起始标注模块，用于响应于所述情绪标注请求，对所述当前起始标注帧标注情绪信息；

21、下一帧标注模块，用于显示下一标注帧，响应于针对所述下一标注帧的情绪标注请求，对所述下一标注帧标注情绪信息；所述下一标注帧与所述当前起始标注帧的时间间隔小于除所述下一标注帧之外任一未被标注的视频帧与所述当前起始标注帧的时间间隔；

22、周期剩余标注模块，用于若当前显示的视频帧对应的特征标签值表征的脸部情绪强烈程度不在预设范围内，则重复执行显示所述下一标注帧，响应于针对所述下一标注帧的情绪标注请求，对所述下一标注帧标注情绪信息，直至当前显示的视频帧对应的特征标签值为表征的脸部情绪强烈程度在预设范围内时，结束显示下一标注帧。

23、在一个示例性的实施方式中，所述起始显示模块，包括：

24、目标特征选取模块，用于从所述待标注视频中的每个视频帧对应的特征标签值中，选取目标特征标签值；所述目标特征标签值大于未被选取的特征标签值；

25、起始确定模块，用于在所述待标注视频中，确定特征标签值为所述目标特征标签值的视频帧为所述起始标注帧；

26、起始帧显示模块，用于显示所述起始标注帧。

27、在一个示例性的实施方式中，所述起始显示模块，包括：

28、标签值显示模块，用于在第一显示区域显示所述待标注视频中每个视频帧对应的特征标签值；

29、标注帧显示模块，用于基于所述第一显示区域中显示的各特征标签值，在第二显示区域中显示所述起始标注帧；

30、候选情绪显示模块，用于在第三显示区域显示多个候选情绪信息；所述多个候选情绪信息用于以所述起始标注帧为标注起点，对所述待标注视频中的视频帧标注所述情绪信息。

31、在一个示例性的实施方式中，所述第三显示区域包括情绪直角坐标系，所述情绪坐标系中的横轴表征情绪属性，所述情绪坐标系中的纵轴表征情绪激活程度，所述情绪坐标系中的每个坐标点指示所述多个候选情绪信息中的一个候选情绪信息。

32、另一方面，提供了一种电子设备，包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现上述任一方面的视频标注方法。

33、另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由处理器加载并执行以实现如上述任一方面的视频标注方法。

34、另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述任一方面的视频标注方法。

35、本技术实施例根据待标注视频中的每个视频帧对应的人脸特征标签值，结合人脸特征标签的传播特性，特征标签值最大的视频帧中待标注对象处于情绪高点，筛选出待标注对象处于情绪高点的视频帧作为起始标注帧，根据情绪传播特性，以起始标注帧作为标注起点，对待标注视频中的视频帧标注情绪信息，提高视频中情绪的识别率，增强自动标注能力，提高标注的效率及准确性。