一种基于AI语音交互的智能台灯学习辅助系统及方法与流程

本技术属于人工智能领域，具体涉及一种基于ai语音交互的智能台灯学习辅助系统及方法。

背景技术：

1、随着科技的快速发展和人们生活水平的提高，对于家居照明的需求已不仅仅是满足基本的照明功能，更追求智能化和个性化，于是智能台灯应运而生，以其智能化控制系统和多样化的功能特点，成为了现代家居照明的新宠。

2、如今的智能台灯可以通过单片机技术实现台灯的智能化控制，实现自动开关、亮度调节以及色温调节等功能。用户可以通过按键、手机应用程序以及语音控制等方式与台灯进行交互，满足个性化需求。

3、然而，现有的智能台灯产品侧重于基础的语音控制功能，缺乏针对性的学习辅助应用。如何利用人工智能技术，将智能台灯打造成一款真正助力学生学习的设备，是本领域亟待解决的问题。

技术实现思路

1、本技术属于人工智能领域，具体涉及一种基于ai语音交互的智能台灯学习辅助系统，解决了现有的智能台灯产品侧重于基础的语音控制功能，缺乏针对性的学习辅助应用的问题。

2、第一方面，本技术实施例提供了一种基于ai语音交互的智能台灯学习辅助系统，所述系统配置于台灯，所述台灯包括拍照设备以及语音输出设备，所述系统包括：

3、光线调整范围确定模块，用于通过拍照设备获取学习教材的平面图像，根据所述平面图像确定是否存在光线遮挡情况，若存在光线遮挡情况则将所述平面图像输入至预设的照明优化预测模型，确定台灯光线调整范围；

4、光线调整模块，用于在台灯光线调整范围内动态调整台灯光线角度以及台灯光线亮度，并在每次调整后通过拍照设备获取学习教材的平面图像，以及确定是否存在光线遮挡情况，当所述平面图像不存在光线遮挡情况时，停止调整台灯光线角度以及台灯光线亮度；

5、三维模型构建模块，用于通过拍照设备重新获取学习教材的平面图像，获取所述拍照设备的参数信息，根据所述参数信息以及所述平面图像构建所述学习教材的三维模型；

6、图像校正模块，用于根据所述三维模型对所述平面图像进行图像校正，将所述平面图像的姿态调整为预设的内容识别姿态，并根据所述平面图像确定学习教材的各文本行的文本行键向量以及文本行值向量；

7、指令响应模块，用于响应于学生的学习指令，确定所述学习指令的指令向量，根据所述指令向量、所述文本行键向量、所述文本行值向量以及预设的信息查询公式确定各文本行的加权值向量，根据所述加权值向量确定应答文本信息，并将所述应答文本信息转换为应答语音信息，通过语音输出设备将所述应答语音信息朗读给学生。

8、进一步的，所述三维模型构建模块，还用于：

9、通过拍照设备重新获取学习教材的平面图像，根据所述平面图像确定学习教材的至少三个特征点的图像坐标；

10、获取所述拍照设备的参数信息，根据所述参数信息以及所述图像坐标确定所述拍照设备与各特征点的角度信息；

11、根据所述角度信息以及所述参数信息确定学习教材的至少三个特征点的世界坐标，并根据所述世界坐标构建所述学习教材的三维模型。

12、进一步的，预设的信息查询公式为：

13、；

14、其中，utput为各文本行的加权值向量；为指令向量；k为文本行键向量；为文本行键向量的维度；）为注意力权重；v为文本行值向量。

15、进一步的，所述指令响应模块，还用于：

16、根据所述各文本行的加权值向量以及预设的加权值向量阈值确定应答文本信息中的重点文本信息以及普通文本信息；

17、通过预设的重点语音朗读方案将所述重点文本信息转换为重点朗读信息；

18、通过预设的普通语音朗读方案将所述普通文本信息转换为普通朗读信息；

19、根据所述重点朗读信息以及普通朗读信息确定应答语音信息，通过语音输出设备将所述应答语音信息朗读给学生。

20、进一步的，所述系统还包括台灯调节模块，所述台灯调节模块用于：

21、响应于学生的台灯调节指令，根据所述台灯调节指令确定台灯调节内容；

22、根据所述台灯调节内容确定台灯调节部件，并将所述台灯调节内容发送至所述台灯调节部件，供所述台灯调节部件根据所述台灯调节内容进行相应的调节；

23、若接收到台灯调节部件发送的调节完成指令，根据所述台灯调节内容确定调节反馈信息，并通过语音输出设备将所述调节反馈信息朗读给学生。

24、进一步的，所述系统还包括专注度检测模块，所述专注度检测模块用于：

25、获取学生学习时的视频信息，根据所述视频信息确定学生的面部特征向量、头部注视特征向量以及动作特征向量；

26、根据所述面部特征向量、所述头部注视特征向量、所述动作特征向量以及预设的专注度确定公式确定学生的专注度融合特征；其中，预设的专注度确定公式为：

27、；

28、其中，a表示面部特征向量；b表示头部注视特征向量；c表示动作特征向量；0<，，<1，；

29、将所述专注度融合特征输入至预设的专注度评价模型中，得到专注度评价数值；

30、若所述专注度评价数值低于预设的提醒阈值，通过语音输出设备向用户播放预设的专注提醒语音。

31、进一步的，所述系统还包括问题检测模块，所述问题检测模块用于：

32、实时检测是否存在提问关键词，若检测到提问关键词，获取关键词前的第一语音流以及关键词后的第二语音流，根据所述第一语音流以及所述第二语音流确定提问语音流；

33、将所述提问语音流传输至教师端；

34、接收教师端传输的答复语音流，通过语音输出设备将所述答复语音流朗读给学生。

35、进一步的，所述光线调整范围确定模块还用于：

36、若存在光线遮挡情况则将所述平面图像输入至预设的照明优化预测模型，确定平面图像的遮挡信息以及环境信息；其中，遮挡信息包括遮挡区域位置、遮挡区域大小以及遮挡区域形状，环境信息包括环境亮度以及环境对比度；

37、根据所述遮挡信息以及所述环境信息确定台灯光线调整范围；其中，所述台灯光线调整范围包括台灯光线角度以及台灯光线亮度。

38、进一步的，所述预设的照明优化预测模型的训练过程，包括：

39、获取历史遮挡信息、历史环境信息以及历史台灯光线调整范围，根据所述历史遮挡信息、历史环境信息以及历史台灯光线调整范围创建数据集；

40、构建照明优化预测模型；

41、将所述数据集输入至所述照明优化预测模型进行训练，直至网络收敛停止训练，得到训练好的带有网络参数的照明优化预测模型。

42、第二方面，本技术实施例提供了一种基于ai语音交互的智能台灯学习辅助方法，所述方法由台灯执行，所述台灯包括拍照设备以及语音输出设备，所述方法包括：

43、通过拍照设备获取学习教材的平面图像，根据所述平面图像确定是否存在光线遮挡情况，若存在光线遮挡情况则将所述平面图像输入至预设的照明优化预测模型，确定台灯光线调整范围；

44、在台灯光线调整范围内动态调整台灯光线角度以及台灯光线亮度，并在每次调整后通过拍照设备获取学习教材的平面图像，以及确定是否存在光线遮挡情况，当所述平面图像不存在光线遮挡情况时，停止调整台灯光线角度以及台灯光线亮度；

45、通过拍照设备重新获取学习教材的平面图像，获取所述拍照设备的参数信息，根据所述参数信息以及所述平面图像构建所述学习教材的三维模型；

46、根据所述三维模型对所述平面图像进行图像校正，将所述平面图像的姿态调整为预设的内容识别姿态，并根据所述平面图像确定学习教材的各文本行的文本行键向量以及文本行值向量；

47、响应于学生的学习指令，确定所述学习指令的指令向量，根据所述指令向量、所述文本行键向量、所述文本行值向量以及预设的信息查询公式确定各文本行的加权值向量，根据所述加权值向量确定应答文本信息，并将所述应答文本信息转换为应答语音信息，通过语音输出设备将所述应答语音信息朗读给学生。

48、在本技术实施例中，光线调整范围确定模块，用于通过拍照设备获取学习教材的平面图像，根据所述平面图像确定是否存在光线遮挡情况，若存在光线遮挡情况则将所述平面图像输入至预设的照明优化预测模型，确定台灯光线调整范围；光线调整模块，用于在台灯光线调整范围内动态调整台灯光线角度以及台灯光线亮度，并在每次调整后通过拍照设备获取学习教材的平面图像，以及确定是否存在光线遮挡情况，当所述平面图像不存在光线遮挡情况时，停止调整台灯光线角度以及台灯光线亮度；三维模型构建模块，用于通过拍照设备重新获取学习教材的平面图像，获取所述拍照设备的参数信息，根据所述参数信息以及所述平面图像构建所述学习教材的三维模型；图像校正模块，用于根据所述三维模型对所述平面图像进行图像校正，将所述平面图像的姿态调整为预设的内容识别姿态，并根据所述平面图像确定学习教材的各文本行的文本行键向量以及文本行值向量；指令响应模块，用于响应于学生的学习指令，确定所述学习指令的指令向量，根据所述指令向量、所述文本行键向量、所述文本行值向量以及预设的信息查询公式确定应答文本信息，并将所述应答文本信息转换为应答语音信息，通过语音输出设备将所述应答语音信息朗读给学生。通过上述基于ai语音交互的智能台灯学习辅助系统，构建三维模型，并进行图像校正，可以提高图像识别的准确性和可靠性。根据学生的学习指令生成应答信息，使得学生可以获得即时且准确的学习辅助。