一种家庭同胞互动过程中的协作状态分析方法及其系统

本发明属于计算机科学的人机互动多模态智能领域，具体涉及一种家庭同胞互动过程中的协作状态分析方法及其系统。

背景技术：

1、同胞关系是儿童发展的一个重要背景，同胞互动的特点是交互性，如在游戏或学习活动中。随着两个孩子家庭数量的增多，在这种背景下，两个孩子家庭中的同胞协作行为变得尤为重要。

2、在两个孩子多孩家庭中，家庭同胞间拥有大量的一起互动的时间，尤其在孩童阶段，兄弟姐妹之间的协作行为对于家庭和谐、个人成长和社会发展具有重要意义。协作过程中的互动行为和双方的专注可以帮助兄弟姐妹建立良好的沟通和解决问题的能力，培养团队精神和责任感，提高家庭成员之间的互助和支持。然而，由于年龄、性格、兴趣等方面的差异，两个孩子家庭中的兄弟姐妹协作过程中可能会出现矛盾和冲突，影响家庭关系和个人成长。因此，家长有必要观察两个孩子同胞在日常生活中的协作行为模式是否正常合理。

3、然而，现有的家庭教育或儿童行为检测技术以单人作为分析单元，主要关注单个儿童的行为，而忽略了家庭环境中多个同胞之间的协作行为。因此，有必要开发一种能够有效监测和分析家庭环境中同胞之间的协作行为的系统及方法。

4、专利文献cn113434719a公开了一种面向学前教育的互动学习系统。其通过数据收集单元收集学习对象的互动信息，然后经过数据挑选单元进行初步筛选，得到潜在学习对象组。调取单元将潜在学习对象组传输到处理器，再通过显示单元进行显示。管理单元可录入预设参数。还设置了行为监控单元、特征分析单元等单元，可以监控儿童的互动反应，分析不同学习对象的互动特征，确定儿童的偏好目标。该系统考虑了针对学前儿童的互动学习需求，设计了可以智能检测儿童学习偏好的系统。

5、但上述专利局限在针对单个儿童的个体化学习推荐上，而未考虑不同儿童之间的互动关系，也未设计协同互动的监控机制。

技术实现思路

1、本发明提供了一种家庭同胞互动过程中的协作状态分析方法，该方法能够实时、准确、高效的识别两个孩子的互动信息，并且能够基于获得的两个孩子的互动信息得到较为准确的协作状态分析结果。

2、本发明提供了一种家庭同胞互动过程中的协作状态分析方法，包括：

3、获得家庭同胞互动视频，将家庭同胞互动视频分成多个视频片段，获得每个视频片段的每个帧的关键点特征，将在视频片段内的不同帧的同一关键点特征进行结合得到视频片段的所述关键点特征的位置变化信息、位置变化速度信息和位置变化加速度信息，将关键点特征的位置变化信息、位置变化速度信息和位置变化加速度信息进行拼接得到所述关键点特征的总体特征，基于视频片段内的多个关键点特征的总体特征构建视频片段的总体特征；

4、基于标注标签的每个同胞互动视频片段的总体特征构建训练集，通过训练集采用交叉损失函数训练xgboost分类模型得到同胞协作状态分类模型，依次将每个视频片段的总体特征输入同胞协作状态分类模型得到多维度视频片段类别编码序列；

5、基于多维度视频片段类别编码序列构建提示词，将提示词输入大语言模型得到家庭同胞互动过程中的协作状态分析结果。

6、进一步的，基于openface框架和openpose框架提取每个视频片段的关键点特征，所述关键点特征包括单人特征和双人特征，其中：

7、所述单人特征包括头部位置坐标、头部朝向角度、二维注视角度、面部动作单元强度、躯干关键点二维坐标、肩距和质心；

8、所述双人特征包括两人对视的角度、整体的同步率、两人质心的距离和两人的重叠率。

9、进一步的，所述整体的同步率为两人在每一帧中的同一关键特征的差值的绝对值的集合；

10、所述两人的重叠率为两人的躯干中非肢体的关键点的边界框的重叠率。

11、进一步的，将在视频片段内的不同帧的同一关键点特征进行结合得到视频片段的所述关键点特征的位置变化信息、位置变化速度信息和位置变化加速度信息，包括：

12、将在视频片段内的不同帧的同一关键点特征进行均值和方差得到所述关键点特征的位置变化信息；

13、将在视频片段内的不同帧的同一关键点特征进行一阶导均值和一阶导方差得到所述关键点特征的位置变化速度信息；

14、将在视频片段内的不同帧的同一关键点特征进行二阶导均值和二阶导方差得到所述关键点特征的位置变化加速度信息。

15、进一步的，基于openface框架和openpose框架提取每个视频片段的关键点特征过程中，如果仅在一帧中检测到一个人的特征则过滤掉该特征；如果在一帧中检测到多个人的特征，则保留置信度最大的两个人的特征来提取关键点特征。

16、进一步的，基于标注标签的每个同胞互动视频片段的总体特征构建训练集，包括：

17、收集真实两个孩子家庭的两个孩子互动视频片段，并进行多维度标签标注，同时获得各个两个孩子互动视频片段的总体特征，将各个两个孩子互动视频片段的总体特征作为训练集；

18、多维度标签包括任务专注维度、即使回应情况维度和交互氛围维度，其中：

19、所述任务专注维度包括主导、支持、旁观、独立尝试和分心标签；

20、所述即使回应情况维度包括有回应和无回应标签；

21、所述交互氛围维度包括积极、中性和消极标签。

22、进一步的，依次将每个视频片段的总体特征输入同胞协作状态分类模型得到多维度视频片段类别编码序列，包括：

23、将每个视频片段的总体特征输入同胞协作状态分类模型得到每个视频片段的多维度的分类结果；

24、基于每个维度按照视频片段的顺序将每个视频片段的每个维度的分类结果进行排序得到每个维度的分类结果序列；

25、基于设定的各维度的各类别结果的编码将每个维度的分类结果序列进行编码得到多维度视频片段类别编码序列。

26、进一步的，基于多维度视频片段类别编码序列构建提示词，所述提示词的信息包括视频片段数量，每个维度的类别和对应的编码，各个维度的视频片段类别编码序列，每个维度名称和具体问题。

27、本发明具体实施例还提供了一种家庭同胞互动过程中的协作状态分析系统，包括：

28、特征提取单元，用于获得家庭同胞互动视频，将家庭同胞互动视频分成多个视频片段，获得每个视频片段的每个帧的关键点特征，将在一个视频片段内的不同帧的关键点特征进行结合得到视频片段的关键点特征的位置变化信息、位置变化速度信息和位置变化加速度信息，将关键点特征的位置变化信息、位置变化速度信息和位置变化加速度信息进行拼接得到视频片段的总体特征；

29、数据处理单元，用于将基于标注标签的每个同胞互动视频片段的总体特征构建训练集，通过训练集采用交叉损失函数训练xgboost分类模型得到同胞协作状态分类模型，依次将每个视频片段的总体特征输入同胞协作状态分类模型得到多维度视频片段类别编码序列；

30、输出单元，用于基于多维度视频片段类别编码序列构建提示词，将提示词输入大语言模型得到家庭同胞互动过程中的协作状态分析报告。

31、与现有技术相比，本发明的有益效果为：

32、本发明通过基于关键点特征的位置变化信息、位置变化速度信息和位置变化加速度信息将视频片段内的每个帧的关键点特征进行降维结合得到关键点特征在视频片段内的位置变化，位置变化的速度和加速度信息，从而能够实时识别两个孩子的互动协作状态。

33、本发明将视频片段的总体特征输入训练好的xgboost分类模型中能够快速、准确的获得所需维度的类别结果，将各个维度的类别结果进行序列排布得到多维度视频片段类别编码序列，基于多维度视频片段类别编码序列构建的提示词能够使得大语言模型能够得出较为准确的、易于理解的、可读性更强的家庭同胞互动过程中的协作状态分析结果。