一种基于三维数字课堂的目标对象多模态定位方法及系统与流程

本技术涉及到三维数字课堂定位，特别是涉及到一种基于三维数字课堂的目标对象多模态定位方法及系统。

背景技术：

1、三维数字课堂，是一种运用三维图形技术与虚拟现实技术相结合的教学环境。它通过构建一个立体化的、交互式的虚拟空间，让学生和教师能够在其中进行模拟的课堂活动，包括讲授、讨论、实验等。对象定位是指在三维虚拟课堂环境中，利用多种传感器和识别技术来跟踪和确定学生的位置、动作、状态或其他属性的过程。

2、现有技术中，在数字课堂中，教师需要了解每个学生的位置信息，以便进行考勤和课堂管理。然而，现有技术仅能判断学生是否在教室，无法准确获得每个学生的具体位置信息；对教室内的动态变化，如学生走动、临时换座位等情况，当教室内的座位布局发生变化时，现有技术无法实时更新和调整座位表，导致座位信息与实际情况不符。其次，现有技术通常依赖于头部的特征来确定学生的位置，然而，仅仅依靠头部位置存在局限性，因为头部位置可能受到学生坐姿的影响，导致定位不准确，如学生背靠在凳子或前靠的坐姿，这种情况下，头部的位置可能会与实际位置不符，从而导致识别错误，当学生坐姿不规范时，头部的位置可能与前面的学生位置相靠近，这可能导致重复识别或误识别，影响学生座位信息的准确性。

3、因此，现有技术存在缺陷，需要改进。

技术实现思路

1、为了解决现有技术中的一个或者几个问题，本技术的主要目的为提供一种基于三维数字课堂的目标对象多模态定位方法及系统。

2、为了实现上述发明目的，本技术提出一种基于三维数字课堂的目标对象多模态定位方法，包括设置在教室内的双目摄像设备，用于采集教室区域学生的全景图像信息和姿态特征，所述方法包括：

3、构建三维虚拟课堂空间；

4、获取教室区域的全景图像信息，将教室区域的所述全景图像信息输入所述三维虚拟课堂空间；

5、获取每个学生姿态特征，根据每个学生的所述姿态特征识别学生的座位信息，其中所述座位信息包括身份信息和位置信息；

6、将每个学生的所述座位信息输入所述三维虚拟课堂空间；

7、通过所述三维虚拟课堂空间将每个学生的所述座位信息去匹配所述全景图像信息；

8、基于匹配的结果，生成教室区域所有学生的座位表。

9、进一步地，所述获取每个学生姿态特征，根据每个学生的所述姿态特征识别学生的座位信息之后，还包括验证每个学生的座位信息是否正确，方法包括：

10、获取目标验证学生相邻位置的学生的座位信息；

11、将目标验证学生的座位信息与相邻位置学生的座位进行逐一分析，并确认目标验证学生所在的座位信息和相邻位置学生的座位信息是否与预设的一致；

12、根据确认的结果，更新目标验证学生的座位信息，所述确认的结果包括已对号入座和未对号入座。

13、进一步地，在所述验证每个学生的座位信息是否正确时，先获取所述全景图像信息中教室最端部学生的座位信息，方法包括：

14、根据所述最端部学生的座位信息，获取与最端部学生相邻位置学生的座位信息；

15、基于最端部学生的座位信息，逐一验证与最端部学生相邻位置学生的座位信息是否与预设的一致；

16、结合已验证确认的学生座位信息，逐一验证所有学生的座位信息；

17、基于逐一分析相邻位置的学生座位信息，得到每个学生的实际座位信息。

18、进一步地，所述姿态特征包括脸部特征；在获取目标学生姿态特征时，若出现无法获取目标学生的姿态特征时，方法包括：

19、控制所述双目摄像设备调节采集角度，并判断是否能获取目标学生的姿态特征；

20、当不能获取目标学生的姿态特征时，则判断是否能采集到目标学生的瞬间可见特征；

21、当能够采集到目标学生的瞬间可见特征时，通过将每次采集到的可见特征输入已训练的模型中，通过所述已训练的模型进行匹配目标学生的脸部特征；

22、根据所述匹配的结果，确定目标学生的座位信息。

23、进一步地，当不能采集到目标学生的瞬间可见特征时，方法还包括：

24、采集所述目标学生与其他学生或者老师的互动行为数据；

25、构建互动模型，将所述互动行为数据输入所述互动模型中，通过所述互动模型分析目标学生的声音特征及言语风格特征；

26、基于分析的结果，确定目标学生的座位信息。

27、进一步地，所述基于匹配的结果，生成教室区域所有学生的座位表之后，还包括：

28、实时收集老师端反馈的座位表更正补充信息，将所述更正补充信息调整所述座位表；

29、收集所述更正补充信息，用于分析错误的类型并合成训练集供模型训练。

30、进一步地，所述双目摄像设备包括固定拍摄组件和运动拍摄组件，所述固定拍摄组件用于采集教室区域学生的全景图像信息，所述运动拍摄组件用于运动拍摄每个学生的姿态图像。

31、进一步地，所述获取每个学生姿态特征，根据每个学生的所述姿态特征识别学生的座位信息，方法包括：

32、解析所述姿态特征，将所述姿态特征划分出脸部特征、头部姿态及身体姿态；

33、根据所述脸部特征识别学生的身份信息；

34、构建姿态估计模型，将所述头部姿态和身体姿态输入所述姿态识别模型中；

35、通过所述姿态估计模型对匹配学生的坐姿，步骤包括：对所述身体姿态和头部姿态进行边沿坐标识别；将得到的所述边沿坐标去匹配预设的姿态模版，得到学生在座位上的姿态，所述座位上的姿态包括异常坐姿及正常坐姿；

36、当学生在座位上的姿态为异常坐姿时，将所述异常坐姿加入时间序列，判断所述异常坐姿的头部姿态和身体姿态在预设的时间内变化的距离是否大于预设的距离阈值，当所述异常坐姿的头部姿态和身体姿态在预设的时间内变化的距离不大于预设的距离阈值时，则判断异常坐姿的头部姿态和身体姿态为同一个个体；

37、根据异常坐姿为同一个个体，计算所述异常坐姿相比预设的正常坐姿所产生的偏移距离，根据所述偏移距离调整所述异常坐姿对应的边沿坐标；

38、基于调整后的边沿坐标，确定学生的位置信息，根据所述位置信息和身份信息，完成学生的座位信息的识别。

39、本技术实施例还提供一种基于三维数字课堂的目标对象多模态定位系统，包括：

40、构建模块，用于构建三维虚拟课堂空间；

41、第一获取模块，用于获取教室区域的全景图像信息，将教室区域的所述全景图像信息输入所述三维虚拟课堂空间；

42、第二获取模块，用于获取每个学生姿态特征，根据每个学生的所述姿态特征识别学生的座位信息，其中所述座位信息包括身份信息和位置信息；

43、输入模块，用于将每个学生的所述座位信息输入所述三维虚拟课堂空间；

44、匹配模块，用于通过所述三维虚拟课堂空间将每个学生的所述座位信息去匹配所述全景图像信息；

45、生成模块，用于基于匹配的结果，生成教室区域所有学生的座位表。

46、本技术还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

47、本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。

48、本技术实施例的基于三维数字课堂的目标对象多模态定位方法及系统，通过双目摄像设备和三维虚拟课堂空间的结合，能够精确获取每个学生的位置信息，而不仅仅是判断学生是否在教室。这为教师提供了更加精细化的考勤和课堂管理工具。实现学生在三维空间中的精确定位，提高了定位数据的实用性和准确性。通过捕捉和处理教室内的学生姿态特征，如动态变化、学生走动、临时换座位等，使教师能够实时了解学生的活动情况，通过对全景图像信息和姿态特征的实时分析，该方法能够适应教室内的动态环境，提高了系统的灵活性和响应速度。当教室内的座位布局发生变化时，系统能够自动更新和调整座位表，确保座位信息与实际情况保持一致，通过融合全景图像信息和姿态特征，能够提供更加全面和准确的学生信息。