一种多人协同设计交互主体切换方法及设备

本技术涉及多人协同设计交互，特别是涉及一种多人协同设计交互主体切换方法及设备。

背景技术：

1、随着机械工业的不断发展，机械产品复杂程度的迅速提高给工程设计问题带来了新的挑战。复杂产品设计通常是一个具有多层次结构且包含众多系统目标和非线性约束的过程，呈现出多学科、多变量、多耦合、多主体和高阶的特点。然而，现有的设计方法是离散且跨学科孤立的，没有集成的设计环境，没有实时数据的互操作性，导致设计过程效率低下，设计周期长、成本高、质量低，不符合复杂产品的设计要求。

2、近年来，随着人机交互技术的发展，结合手势、眼动等多模态自然交互的多人协同设计环境已成为未来的重要发展趋势。多人协同设计环境的特点是多用户参与、多学科交叉和可视化。这种先进的设计环境使产品设计效果更加直观，设计师之间的交流更加顺畅。良好的多人协同设计环境可以满足复杂产品设计的高度集成、高效沟通和快速迭代的要求，从而提高设计团队的沟通效率和设计效率。多人协同设计环境实现了设计师在集成产品开发中的协同工作，在复杂产品的设计过程中发挥了重要的辅助作用。然而，多人协同设计环境中用户交互强度难以体现，主体切换不准确，严重影响了多人协同设计环境中设计师的协同工作。

技术实现思路

1、本技术的目的是提供一种多人协同设计交互主体切换方法及设备，可提高人机交互系统在多人协同设计场景下交互主体自动切换的合理性。

2、为实现上述目的，本技术提供了如下方案：

3、第一方面，本技术提供了一种多人协同设计交互主体切换方法，所述多人协同设计交互主体切换方法应用于一种支持多人协同设计场景的人机交互系统，所述支持多人协同设计场景的人机交互系统包括深度相机；

4、所述深度相机用于按照预设频率获取多人协同设计场景图像序列；

5、所述多人协同设计交互主体切换方法包括：

6、获取当前时刻多人协同设计场景图像为当前图像；

7、基于所述当前图像确定当前时刻参与多人协同设计场景的所有用户，以及每个用户在当前时刻的姿态等级、位移和速度；

8、基于同一用户在当前时刻的姿态等级、位移和速度，确定对应用户当前时刻的交互强度；

9、基于当前时刻参与多人协同设计场景的所有用户的交互强度，确定当前时刻的交互主体；

10、在当前时刻的交互主体与上一时刻的交互主体不同时，切换交互主体。

11、可选地，基于所述当前图像确定当前时刻参与多人协同设计场景的所有用户，以及每个用户在当前时刻的姿态等级、位移和速度，包括：

12、利用openpose工具提取当前图像中的每个用户的第一体态数据；所述第一体态数据包括同一用户的多个关键点在相机坐标系下的坐标；

13、将所有用户的第一体态数据均转换到世界坐标系下，得到每个用户对应的第二体态数据；

14、确定任一第二体态数据为当前体态数据；

15、确定当前体态数据对应用户为当前用户；

16、基于所述当前体态数据，确定当前用户在当前时刻的位移和速度；

17、根据当前体态数据中关键点数量所在区间确定当前用户的遮挡程度；所述区间与所述遮挡程度一一对应；所述遮挡程度包括不可识别遮挡程度和多个可识别遮挡程度；

18、在当前用户的遮挡程度为不可识别遮挡程度时，更新当前体态数据并返回步骤“确定当前体态数据对应用户为当前用户”；

19、在当前用户的遮挡程度为可识别遮挡程度时，确定当前用户的遮挡程度对应的个体姿态等级识别模型为当前个体姿态等级识别模型；所述可识别遮挡程度与所述个体姿态等级识别模型一一对应；所述个体姿态等级识别模型是利用对应可识别遮挡程度的多个第二体态数据对卷积神经网络进行训练后得到的；

20、将所述当前体态数据输入到当前个体姿态等级识别模型中，得到当前用户在当前时刻的姿态等级；

21、更新当前体态数据并返回步骤“确定当前体态数据对应用户为当前用户”直至遍历当前图像对应的所有第二体态数据，得到每个用户在当前时刻的姿态等级。

22、可选地，在确定当前体态数据对应用户为当前用户之后，还包括：

23、利用连续性检测算法，判断当前用户是否存在于上一时刻多人协同设计场景图像中，得到第一判断结果；

24、若所述第一判断结果为否，则判定当前用户为新用户，并确定当前用户的用户编号为上一时刻最大用户编号加1；

25、若所述第一判断结果为是，则判定当前用户为已存在用户，并沿用当前用户在上一时刻的用户编号。

26、可选地，在获取当前时刻多人协同设计场景图像为当前图像之前，还包括：

27、构建多个卷积神经网络；所述卷积神经网络的数量与所述可识别遮挡程度的数量相等；

28、确定任一可识别遮挡程度为当前可识别遮挡程度；

29、获取当前可识别遮挡程度的多个第二体态数据；

30、对当前可识别遮挡程度的多个第二体态数据对应的姿态等级进行标注；

31、以当前可识别遮挡程度的多个第二体态数据为输入，以姿态等级为输出对卷积神经网络进行训练，得到当前可识别遮挡程度对应的个体姿态等级识别模型；

32、更新当前可识别遮挡程度，并返回步骤“获取当前可识别遮挡程度的多个第二体态数据”直至遍历所有可识别遮挡程度，得到每个可识别遮挡程度对应的个体姿态等级识别模型。

33、可选地，所述卷积神经网络包括依次连接的卷积层、最大池化层、扁平层、第一全连接层和第二全连接层。

34、可选地，基于所述当前体态数据，确定当前用户在当前时刻的位移和速度，包括：

35、在当前用户为新用户时，更新当前体态数据并返回步骤“确定当前体态数据对应用户为当前用户”；

36、在当前用户为已存在用户时，获取当前时刻前第一时间间隔时多人协同设计场景图像中当前用户的第二体态数据为历史第二体态数据；

37、确定历史第二体态数据中所有关键点在世界坐标系下的坐标均值为当前用户的历史位置；

38、确定当前体态数据中所有关键点在世界坐标系下的坐标均值为当前用户历史的当前位置；

39、根据当前用户的历史位置和当前位置，确定当前用户在当前时刻的位移；

40、确定当前用户在当前时刻的位移与第一时间间隔的比值，为当前用户在当前时刻的速度。

41、可选地，所述交互强度为：

42、

43、其中，li，t表示t时刻参与多人协同设计场景的第i个用户的交互强度；gi表示t时刻参与多人协同设计场景的第i个用户的姿态等级；*表示乘运算；e表示自然常数；δpi表示t时刻参与多人协同设计场景的第i个用户的位移；vi表示t时刻参与多人协同设计场景的第i个用户的速度。

44、可选地，基于当前时刻参与多人协同设计场景的所有用户的交互强度，确定当前时刻的交互主体，包括：

45、确定任一用户为当前用户；

46、在当前用户为新用户时，将当前用户当前时刻的交互强度作为元素，构建当前用户当前时刻的交互强度序列；

47、在当前用户为已存在用户时，获取当前用户上一时刻的交互强度序列；

48、将当前用户当前时刻的交互强度作为末位元素添加到当前用户上一时刻的交互强度序列中，得到当前用户当前时刻的交互强度序列；

49、判断当前用户当前时刻的交互强度序列的元素数量是否达到预设数量，得到第二判断结果；

50、若第二判断结果为否，则更新当前用户，并返回步骤“在当前用户为新用户时，将当前用户当前时刻的交互强度作为元素，构建当前用户当前时刻的交互强度序列”；

51、若第二判断结果为是，则获取当前用户当前时刻的交互强度序列中后预设数量个元素为当前用户的强度栈，确定当前用户为待定交互主体，更新当前用户，并返回步骤“在当前用户为新用户时，将当前用户当前时刻的交互强度作为元素，构建当前用户当前时刻的交互强度序列”直至遍历当前时刻参与多人协同设计场景的所有用户，得到每个待定交互主体的强度栈；

52、基于所有待定交互主体的强度栈，确定当前时刻的交互主体。

53、可选地，基于所有待定交互主体的强度栈，确定当前时刻的交互主体，包括：

54、将当前时刻作为变量t，代入公式dec(t)＝βt-1中得到当前时刻的衰减因子；变量t表示时刻，dec(t)为t时刻的衰减因子，β为介于0和1之间的常数；

55、将当前待定交互主体的强度栈内的每个元素分别乘以当前时刻的衰减因子，得到更新强度栈；

56、确定任一待定交互主体为当前待定交互主体；

57、确定更新强度栈内所有元素的均值为当前待定交互主体的待定力量；

58、判断当前待定交互主体在上一时刻是否为交互主体，得到第三判断结果；

59、若第三判断结果为否，则确定待定力量为当前待定交互主体的更新力量；

60、若第三判断结果为是，则确定黏滞系数与待定力量之积为中间量；

61、确定待定力量与中间量之和为当前待定交互主体的更新力量；

62、更新当前待定交互主体，并返回步骤“确定更新强度栈内所有元素的均值为当前待定交互主体的待定力量”直至遍历所有待定交互主体，得到每个待定交互主体的更新力量；

63、确定最大更新力量对应的待定交互主体为当前时刻的交互主体。

64、第二方面，本技术提供了一种计算机设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现上述多人协同设计交互主体切换方法。

65、根据本技术提供的具体实施例，本技术公开了以下技术效果：

66、本技术提供了一种多人协同设计交互主体切换方法及设备，首先，对用户基本信息进行采集，面向多人协同设计环境，基于深度相机采集用户的位置、骨骼关键点坐标并对用户进行连续性编号；其次，采用卷积神经网络识别用户的姿态等级；再次，计算用户的交互强度；最后，基于多主体对抗模型，实现对当前交互主体的自然切换。