一种用于虚拟现实技术的用户行为预测方法及系统

本发明涉及计算机视觉，尤其涉及一种用于虚拟现实技术的用户行为预测方法及系统。

背景技术：

1、虚拟现实技术在近年来得到了极大的发展，它使用户能够在一个模拟的三维环境中进行交互。然而，为了提供一个真实的交互体验，需要能够准确地预测用户的行为。

2、通过预测用户的行为，可以提前生成和渲染用户可能会看到的场景，从而减少延迟并提高用户体验；此外，还可以通过预测用户的行为来提供个性化的内容和服务。现有的用户行为预测方法主要是通过分析用户的历史行为数据来预测用户的未来行为，但数据量太小，无法包含所有用户行为的可能，如果用户开始展示出与历史数据不符的新行为，这种方法可能无法准确预测，预测用户的行为应该能够综合利用大数据分析，特别是动态视频数据中蕴含的丰富信息，利用深度学习技术来构建一个能够捕捉用户行为普遍特征和模式的初始模型以进行用户行为预测。

3、所以，我们亟需提供一种基于深度学习且多源特征融合的用于虚拟现实技术的用户行为预测方法及系统。

技术实现思路

1、本发明旨在提供一种用于虚拟现实技术的用户行为预测方法及系统，提升对用户行为预测的准确性。

2、一种用于虚拟现实技术的用户行为预测方法，包括以下步骤：

3、s1.收集n个预设虚拟现实场景下目标用户的动态视频，得到目标用户动态视频vn，n=1，2，…，n；每个目标用户动态视频vn中包含有k个预设帧，将目标用户动态视频vn中的第k个预设帧图像记为目标用户动态图像pnk，k=1，2，…，k；将目标用户动态图像pnk输入至用户行为分解模型中进行信息提取，得到目标用户行为向量ank，将基于目标用户动态视频vn生成的所有目标用户行为向量ank记为一组训练样本，得到目标用户行为预测训练样本yn；将所有目标用户行为预测训练样本yn进行组合，得到目标用户行为预测训练集；基于大数据用户动态视频构建用户行为预测模型，得到用户行为预测初始模型；基于目标用户行为预测训练集对用户行为预测初始模型进行更新，得到目标用户行为预测模型；

4、s2.根据预设帧实时获取目标用户在虚拟现实场景下的动态图像，得到待预测动态图像；当获取k张待预测动态图像时，将k张待预测动态图像输入至目标用户行为预测模型中进行预测，得到预测目标用户行为；基于预测目标用户行为进行预加载虚拟现实场景；

5、s3.实时获取下一帧目标用户在虚拟现实场景下的动态图像，得到待评估动态图像；每收集m张待评估动态图像时，将m张待评估动态图像划分为γ个待评估动态图像集oθ；θ=1，2，…，γ；待评估动态图像集oθ中包含有k张连续的待评估动态图像，记录待评估动态图像集oθ中最后一张待评估动态图像对应的实际目标用户行为，得到实际目标用户行为fθ，将待评估动态图像集oθ和实际目标用户行为fθ组合得到用户行为预测反馈集；基于用户行为预测反馈集对目标用户行为预测模型进行参数更新。

6、作为本发明的一种优选技术方案，用户行为分解模型包括有图像处理层、位置信息提取层、环境信息提取层、身体信息提取层、动作信息提取层、情绪信息提取层和结果输出层；

7、图像处理层用于将目标用户动态图像pnk进行预处理，得到预处理目标用户动态图像cnk；

8、位置信息提取层用于根据预处理目标用户动态图像cnk进行位置跟踪，得到位置信息向量lnk；

9、环境信息提取层用于根据预处理目标用户动态图像cnk进行环境信息提取，得到环境信息向量hnk；

10、身体信息提取层用于根据预处理目标用户动态图像cnk进行目标用户骨架拟合，得到身体信息向量snk，snk={（αnk1，βnk1），…，（αnkz，βnkz），…，（αnkz，βnkz）}t，z为目标用户头部及肢体的关键点的数量；（αnkz，βnkz）表示目标用户的第z个关键点在第k帧被拟合的横纵坐标；

11、动作信息提取层用于根据预处理目标用户动态图像cnk利用基于骨架的动作识别算法进行动作识别，得到动作信息向量dnk；

12、情绪信息提取层用于根据预处理目标用户动态图像cnk进行情绪识别，得到情绪信息向量enk；

13、结果输出层用于将位置信息向量lnk、环境信息向量hnk、身体信息向量snk、动作信息向量dnk和情绪信息向量enk进行组合，得到目标用户行为向量ank，ank=（lnk，hnk，snk，dnk，enk）。

14、作为本发明的一种优选技术方案，目标用户行为预测模型包括有数据预处理层、特征选择层、行为预测层和结果输出层；

15、数据预处理层用于将k张待预测动态图像输入至用户行为分解模型中进行信息提取，得到k个待预测目标用户行为向量xk；

16、特征选择层用于对所有待预测目标用户行为向量xk利用决策树进行特征选择，得到预测选择特征分量集；

17、行为预测层用于基于预测选择特征分量集进行特征融合，得到预测目标用户行为；

18、结果输出层用于输出预测目标用户行为。

19、作为本发明的一种优选技术方案，步骤s1中基于大数据用户动态视频构建用户行为预测模型，得到用户行为预测初始模型的具体步骤，包括：

20、收集若干大数据用户在预设虚拟现实场景下的动态视频，得到大数据动态视频集；将大数据动态视频集中的每个动态视频按预设帧分割为k帧图像，组合得到若干动态图像集；将若干动态图像集逐个送入用户行为分解模型中进行信息提取，得到若干个大数据用户训练样本，对若干个大数据用户训练样本进行特征融合处理，得到若干个预设用户行为；将若干个大数据用户训练样本和对应的预设用户行为进行组合，得到用户行为预测初始训练集，将大数据用户训练样本对应的预设用户行为作为一组大数据用户训练样本的目标值；

21、将cnn模型作为用户行为预测初始模型的基础模型，将用户行为预测初始训练集输入至cnn模型中以目标值为目标进行模型训练，得到用户行为预测初始模型；对用户行为预测初始模型进行模型评估，得到初始模型评估结果；若初始模型评估结果为通过，则输出训练好的用户行为预测初始模型；否则，利用用户行为预测初始训练集继续进行模型训练。

22、作为本发明的一种优选技术方案，基于目标用户行为预测训练集对用户行为预测初始模型进行更新，得到目标用户行为预测模型的具体步骤，包括：

23、对目标用户行为预测训练集中的目标用户行为预测训练样本yn进行特征融合，得到预设用户行为rn；将目标用户行为预测训练样本yn和对应的预设用户行为rn组合得到更新目标用户行为预测训练集；将预设用户行为rn作为更新目标用户行为预测训练集中目标用户行为预测训练样本yn的训练目标值；

24、将更新目标用户行为预测训练集输入至用户行为预测初始模型中以训练目标值为目标进行模型参数更新，得到新的用户行为预测初始模型；对新的用户行为预测初始模型进行模型评估，得到更新评估结果；若更新评估结果为通过，则输出训练好的新的用户行为预测初始模型，将新的用户行为预测初始模型作为目标用户行为预测模型；否则，利用目标用户行为预测训练集继续对用户行为预测初始模型进行更新。

25、作为本发明的一种优选技术方案，步骤s3中基于用户行为预测反馈集对目标用户行为预测模型进行参数更新的具体步骤，包括：

26、s31.将用户行为预测反馈集中的待评估动态图像集oθ输入至目标用户行为预测模型中进行行为预测，得到待评估目标用户行为uθ；

27、s32.计算待评估目标用户行为uθ和实际目标用户行为fθ的欧氏距离，得到评估相似度jθ；

28、s33.计算所有评估相似度jθ的均值，得到平均评估相似度；若平均评估相似度在预设相似度阈值范围内，则继续使用目标用户行为预测模型进行行为预测；否则，将利用用户行为预测反馈集对目标用户行为预测模型进行参数更新。

29、作为本发明的一种优选技术方案，步骤s33中利用用户行为预测反馈集对目标用户行为预测模型进行参数更新的具体步骤，包括：

30、构建i个行为预测超参数个体qi，i=1，2，…，i；每个行为预测超参数个体qi中包含有一组用于用户行为预测模型的调整超参数；将i个行为预测超参数个体qi组合，得到行为预测超参数迭代种群；设置最大迭代次数；

31、根据行为预测超参数迭代种群中的行为预测超参数个体qi和用户行为预测反馈集进行模拟计算，根据行为预测超参数个体qi中的调整超参数对目标用户行为预测模型进行调整，得到模拟目标用户行为预测模型；

32、将用户行为预测反馈集中的所有待评估动态图像集oθ输入至模拟目标用户行为预测模型中进行行为预测，得到γ个模拟目标用户预测行为；将γ个模拟目标用户预测行为和对应的实际目标用户行为fθ进行相似度计算，得到γ个模拟评估相似度；将γ个模拟评估相似度进行均值计算，得到模拟平均预测准确率；将模拟平均预测准确率作为行为预测超参数个体qi的适应度wi；

33、当到达最大迭代次数时，输出适应度最大对应的行为预测超参数个体qi，即为最优行为预测超参数个体，根据最优行为预测超参数个体中的调整超参数对目标用户行为预测模型进行更新，得到新的目标用户行为预测模型。

34、一种用于虚拟现实技术的用户行为预测系统，包括：

35、预测模型构建模块，用于收集n个预设虚拟现实场景下目标用户的动态视频，得到目标用户动态视频vn，n=1，2，…，n；每个目标用户动态视频vn中包含有k个预设帧，将目标用户动态视频vn中的第k个预设帧图像记为目标用户动态图像pnk，k=1，2，…，k；将目标用户动态图像pnk输入至用户行为分解模型中进行信息提取，得到目标用户行为向量ank，将基于目标用户动态视频vn生成的所有目标用户行为向量ank记为一组训练样本，得到目标用户行为预测训练样本yn；将所有目标用户行为预测训练样本yn进行组合，得到目标用户行为预测训练集；基于大数据用户动态视频构建用户行为预测模型，得到用户行为预测初始模型；基于目标用户行为预测训练集对用户行为预测初始模型进行更新，得到目标用户行为预测模型；

36、用户行为预测模块，用于根据预设帧实时获取目标用户在虚拟现实场景下的动态图像，得到待预测动态图像；当获取k张待预测动态图像时，将k张待预测动态图像输入至目标用户行为预测模型中进行预测，得到预测目标用户行为；基于预测目标用户行为进行预加载虚拟现实场景；

37、用户行为预测反馈模块，用于实时获取下一帧目标用户在虚拟现实场景下的动态图像，得到待评估动态图像；每收集m张待评估动态图像时，将m张待评估动态图像划分为γ个待评估动态图像集oθ；θ=1，2，…，γ；待评估动态图像集oθ中包含有k张连续的待评估动态图像，记录待评估动态图像集oθ中最后一张待评估动态图像对应的实际目标用户行为，得到实际目标用户行为fθ，将待评估动态图像集oθ和实际目标用户行为fθ组合得到用户行为预测反馈集；基于用户行为预测反馈集对目标用户行为预测模型进行参数更新。

38、本发明具有以下优点：

39、1、本发明通过构建基于大数据用户动态视频的用户行为预测初始模型，能有效捕捉用户行为的普遍特征和模式，进一步通过目标用户的行为数据对用户行为预测初始模型进行优化，可以使模型更加贴近目标用户的行为特征，从而提高用户行为预测的准确性；通过收集目标用户在预设虚拟现实场景下的动态视频并提取用户行为向量，构建的目标用户行为预测模型能够针对个体用户的特定行为模式进行训练和预测，从而实现个性化的服务；目标用户行为预测模型能够根据实时获取的动态图像进行即时预测，这为虚拟现实场景下的用户体验提供了流畅和无缝的交互，减少了等待和加载时间；通过实时收集待评估动态图像并形成反馈集，目标用户行为预测模型能够定期进行参数更新，这样可以不断优化预测准确性，适应用户行为的变化。

40、2、本发明通过图像处理、位置跟踪、环境分析、身体动作和情绪识别等多个层次进行用户行为分解，结合多维度信息融合能够提供更为全面和深入的用户行为理解；通过将不同层次的信息整合，用户行为预测模型能够更准确地预测用户的行为和可能的下一步动作；提取的身体信息向量和动作信息向量可以用来识别目标用户的个人习惯和行为模式，从而提供更加个性化的预测操作；环境信息提取层和位置信息提取层使得模型能够理解用户所处的物理环境和上下文，有助于在特定情境下做出更加合适的预测；情绪信息提取层的加入，使得用户行为预测模型不仅仅是理解用户的物理动作，还能够捕捉到用户的情绪状态，这对于利用情感信息辅助进行行为预测尤为重要。