行为分析方法、装置、电子设备及存储介质

本申请涉及行为分析，具体而言，本申请涉及一种行为分析方法、装置、电子设备及存储介质。

背景技术：

1、近年来，基于机器学习的动物行为量化分析方法快速发展，通过获取动物视频对动物进行精细化行为分析，产生一系列科研和产业化成果。

2、然而，现有的动物行为分析方法主要从动物视频提取感兴趣的身体点特征，通过包括数值计算，行为机器学习分类、聚类等方法进行行为分析，其中，现有方法通过行为机器学习分类还是聚类进行行为分析，分析准确率有限。同时，现有方法关注单个小规模数据，无法提取通用的行为学特征，实验存在复现的难度，其通过多阶段处理，耗时较长，从而导致分析效率较低。

3、由上可知，现有技术中行为分析的效率低的问题仍有待解决。

技术实现思路

1、本申请各提供了一种行为分析方法、装置、电子设备及存储介质，可以解决相关技术中存在的行为分析的准确率不高的问题。所述技术方案如下：

2、根据本申请的一个方面，一种行为分析方法，包括：

3、获得针对待检测目标采集的多模态数据，并基于所述多模态数据对预训练模型进行行为分析训练，获得多模态大模型；

4、基于多模态大模型对所述多模态数据进行行为分析，获得针对所述待检测目标的行为文本描述；

5、基于大语言模型对所述行为文本描述进行统计分析，获得针对待检测目标的行为分析结果。

6、根据本申请的一个方面，一种行为分析装置，包括：

7、数据获取模块，用于获得针对待检测目标采集的多模态数据，并基于所述多模态数据对预训练模型进行行为分析训练，获得多模态大模型；

8、行为分析模块，用于基于多模态大模型对所述多模态数据进行行为分析，获得针对所述待检测目标的行为文本描述；

9、统计分析模块，用于基于大语言模型对所述行为文本描述进行统计分析，获得针对待检测目标的行为分析结果。

10、在一示例性实施例中，所述数据获取模块，包括：

11、数据集单元，用于基于所述多模态数据构建行为语义数据集；

12、训练单元，用于基于所述行为语义数据集对预训练模型进行行为分析训练，获得多模态大模型。

13、在一示例性实施例中，所述数据集单元，包括：

14、聚类子单元，用于对所述多模态数据进行聚类分析，以将所述多模态数据划分为至少两个短时数据片段；

15、行为语义子单元，用于对所述短时数据片段设置对应的行为语义，生成行为语义数据集。

16、在一示例性实施例中，所述训练单元，包括：

17、行为分析子单元，用于将所述行为语义数据集输入所述预训练模型进行行为分析，获得针对所述行为语义数据集中各短时数据片段的行为文本描述；

18、评估子单元，用于基于语义数据集中的行为语义对所述行为文本描述进行准确率评估，获得指示所述预训练模型对短时数据片段的行为语义的行为描述准确率的评估结果；

19、调参子单元，用于基于所述评估结果对对所述预训练模型进行调参并重复训练，直至所述预训练模型行为分析的行为描述准确率达到预设阈值，获得多模态大模型。

20、在一示例性实施例中，所述行为分析模块，包括：

21、问题信息单元，用于基于所述多模态数据生成对应的问题信息；

22、行为文本描述单元，用于基于所述问题信息生成对应所述多模态数据的预设格式的行为文本描述。

23、在一示例性实施例中，所述行为文本描述单元包括：

24、第一文本描述子单元，用于针对所述多模态数据中各短时数据片段生成对应的行为文本描述；

25、第二文本描述子单元，用于针对各所述短时数据片段的行为序列生成对应所述多模态数据行为文本描述。

26、在一示例性实施例中，所述行为文本描述包括行为语义文本和运动参数文本；

27、所述第一文本描述子单元，包括：

28、身体点子单元，用于确定所述短时数据片段中对应待检测目标的三维身体点数据；

29、运动参数子单元，用于基于所述三维身体点数据进行运动参数预测，生成运动参数文本；

30、语义预测子单元，用于对所述短时数据片段进行行为语义预测，生成行为语义文本。

31、根据本申请的一个方面，一种电子设备，包括至少一个处理器以及至少一个存储器，其中，所述存储器上存储有计算机可读指令；所述计算机可读指令被一个或多个所述处理器执行，使得电子设备实现如上所述的行为分析方法。

32、根据本申请的一个方面，一种存储介质，其上存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行，以实现如上所述的行为分析方法。

33、本申请提供的技术方案带来的有益效果是：

34、在上述技术方案中，本申请通过多模态数据训练多模态大模型，通过多模态大模型生成行为文本描述，再通过大语言模型生成分析结果，其中实现通过多模态数据微调预训练模型，可以对大规模多模态数据进行学习，并允许多模态大模型更好地利用大规模数据，从而实现提取通用行为学特征和分析，提高行为分类、识别、描述的准确率，获得可以具有高行为描述准确率的多模态大模型，可以有效提高行为分析效率。通过多模态大模型和大语言模型的共同，以端到端的方式对多模态数据进行行为分析，提高行为分析效率，从而能够有效地解决相关技术中存在的行为分析的能力不高的问题。

技术特征：

1.一种行为分析方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述基于所述多模态数据对预训练模型进行行为分析训练，获得多模态大模型，包括：

3.如权利要求2所述的方法，其特征在于，所述基于所述多模态数据构建行为语义数据集，包括：

4.如权利要求2所述的方法，其特征在于，所述基于所述行为语义数据集对预训练模型进行行为分析训练，获得多模态大模型，包括：

5.如权利要求1所述的方法，其特征在于，所述基于多模态大模型对所述多模态数据进行行为分析，获得针对所述待检测目标的行为文本描述，包括：

6.如权利要求5所述的方法，其特征在于，所述基于所述问题信息生成对应所述多模态数据的行为文本描述，包括：

7.如权利要求6所述的方法，其特征在于，所述行为文本描述包括行为语义文本和运动参数文本；

8.一种行为分析装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：至少一个处理器以及至少一个存储器，其中，

10.一种存储介质，其上存储有计算机可读指令，其特征在于，所述计算机可读指令被一个或多个处理器执行，以实现如权利要求1至7中任一项所述的行为分析方法。

技术总结
本申请提供了一种行为分析方法、装置、电子设备及存储介质，涉及行为分析技术领域。其中，该方法包括：获得针对待检测目标采集的多模态数据，并基于所述多模态数据对预训练模型进行行为分析训练，获得多模态大模型；基于多模态大模型对所述多模态数据进行行为分析，获得针对所述待检测目标的行为文本描述；基于大语言模型对所述行为文本描述进行统计分析，获得针对待检测目标的行为分析结果。本申请解决了相关技术中行为分析的效率低的问题。

技术研发人员：唐国令,孙星,刘雍,张文康,蔚鹏飞
受保护的技术使用者：中国科学院深圳先进技术研究院
技术研发日：
技术公布日：2025/4/7