情景感知的建筑人机交互方法

本发明属于人工智能、人机交互领域，涉及情景感知的建筑人机交互方法。

背景技术：

1、人机交互是当前智能技术中一个重要的研究方向，旨在通过自然、直观的方式让人与机器进行交互，提高用户体验和工作效率。在建筑空间中，人机交互的应用场景非常广泛，如酒店、住宅和办公室等。在这些场景中，用户需要与各种智能设备进行交互，如灯光、空调、窗帘等。传统的交互方式如物理按钮和语音控制虽然在一定程度上满足了用户的需求，但存在操作繁琐、不够灵活的问题，不能完全满足用户的便利性和舒适度需求。

2、为了解决这些问题，研究人员开始探索新的交互方式。其中，自然语言处理和计算机视觉等技术成为了研究的热点。自然语言处理技术可以让智能体理解用户的语言，并根据用户的意图进行相应的操作。计算机视觉技术则可以通过图像识别和目标跟踪等技术，让智能体感知环境信息，从而更好地理解用户的意图。

3、然而，现有的技术还存在一些问题。首先，智能体对用户意图的理解不够准确。在建筑空间中，用户的意图往往是基于具体的场景和环境信息，如用户正在进行某个活动或某个设备正在运行。然而，现有的智能体往往只能根据用户的历史数据和当前状态来推测用户的意图，无法准确理解具体的场景和环境信息。其次，现有的智能体无法在合适的场景下选择适合用户的交互方式。在建筑空间中，不同的场景和环境信息可能需要不同的交互方式，如语音控制、手势控制等。然而，现有的智能体往往只能根据预设的规则或算法来选择交互方式，无法根据实际情况进行调整。最后，现有的智能体无法在交互过程中给用户呈现高质量的回复内容。

技术实现思路

1、有鉴于此，本发明的目的在于提供情景感知的建筑人机交互方法，提供智能、个性化的交互体验，通过多维度数据的整合与分析，准确理解用户的交互需求和情感状态，进而预测并提供最适合的交互方式，从而提高用户满意度。

2、为达到上述目的，本发明提供如下技术方案：

3、情景感知的建筑人机交互方法，该方法包括以下步骤：

4、s1：数据获取模块获取当前交互场景下的情景数据，所述情景数据包括用户数据、环境数据和智能设备数据；

5、s2：获取用户的位置坐标信息，数据预处理模块根据用户的位置坐标信息，计算用户与不同智能设备的距离，根据距离排序，选择与用户距离最近的若干个智能设备，并获取被选择智能设备的状态数据，并且确定当前用户所在场景，根据用户所在的场景进行数据筛选，剔除与本次交互无关的情景数据，并将筛选后的情景数据进行降维以及量化处理；同时，实时更新用户的位置信息，使得数据筛选能够实时匹配交互场景；

6、s3：在定位的具体场景中，获取用户视觉信息，情景推理模块根据用户视觉信息对当前交互场景下的实体和实体间的关系进行抽取，形成当前交互情景下用户与环境交互的场景图，利用三元组的形式对情景图进行存储；

7、s4：交互方式预测模块根据所述s3中的场景图结合用户、环境以及智能体的状态信息，构建当前场景下的交互图谱，将构建的交互图谱利用知识图谱transh推理模型，推理出用户当前最可能接受的交互方式，并结合用户历史交互数据和用户历史满意度选择最终的交互方式；

8、s5：满意度感知模块，通过实时获取用户当前时刻的用户生理数据，并进行降噪处理，使用时频域分析方法，将信号中与情感状态相关的特征进行提取，使用朴素贝叶斯分类算法对情感极性的变化进行判断，得到当前场景用户交互满意度；

9、s6：将所述s4中选择最终的交互方式，作为用户历史交互数据，实时反馈给s4；将所述s5中得到的当前场景用户交互满意度，作为用户历史满意度，实时反馈给s4。

10、进一步的，所述s1中，用户数据包括：位置信息、视听能力、肢体状态、行为数据和健康数据；环境数据包括：光照、声音和用户视野；智能设备数据包括：设备状态、位置信息和交互能力。

11、进一步的，所述s2中，计算用户与不同智能设备的距离，计算公式表示为：

12、

13、其中，di表示用户与第i个智能体之间的距离。

14、进一步的，所述s2中，将筛选后的情景数据进行量化处理，具体为：

15、室内噪音的数据，根据分贝大小将环境噪音分为高噪音、低噪音和正常三个状态；当噪音大于90分贝以上则会影响用户耳朵接收信息的能力，则将噪音以90分贝为标准划分高、中、低三个指标，作为后续语音交互方式选择的判别指标；

16、光传感器获取光强度信息，当光照强度在10-5-10-4w/m2内时能正常接收视觉信息，超出则不适合视觉信息的交互，则将次数据分为正常和不正常两个状态；

17、用户的个人数据进行处理，包括视力和听力情况根据数值大小量化为优良中三个等级，并作为交互通道选择的指标。

18、进一步的，所述s4中，根据所述s3中的场景图结合用户、环境以及智能体的状态信息，构建当前场景下的交互图谱，具体包括以下步骤：

19、s51：特征提取：对图像数据进行特征提取，将图像中的实体对象进行提取，并对实体对象进行编码，此过程定义如下：

20、

21、其中，i表示输入图像，通过实体抽取和编码最终形成m个实体对象，每个实体对象用xi表示；

22、s52：实体情景化：使用配对的实体标签(xj，xj)，通过组合嵌入层m预测实体对之间的谓词并运用先验知识的计算，表示为：

23、

24、s53：图的构建和推理：提取联合区域的视觉上下文特征，利用所述提取联合区域的视觉上下文特征来预测谓词，描述实体对之间的关系，完成图的构造和推理。

25、进一步的，所述s4中，将构建的交互图谱利用知识图谱transh推理模型，推理出用户当前最可能接受的交互方式，并结合用户历史交互数据和用户历史满意度选择最终的交互方式，具体包括以下步骤：

26、s61：根据图谱中的每个实体名词，利用word2vec获取对应的词向量，向量空间中的点表示实体，向量表示实体间的关系；

27、s62：对于每一个关系向量r选择一个与该空间维度相同的向量空间，利用如下公式计算超平面空间的法向量表示normr：

28、normr＝r-r·r/||r||2*r    (4)

29、其中，·表示点积运算，||r||表示向量r的模；

30、s63：对每个实体t和关系向量r，基于超平面法向量通过以下公式求出transh的超平面向量表示：

31、rmb＝r-r·normr·normr     (5)

32、其中，r表示实体或者关系向量，normr表示对应平面的超平面法向量，rmb表示超平面向量表示；

33、通过计算实体和关系向量的超平面表示向量之间的余弦相似度得到每个实体e和查询三元组(h，r，t)之间的相关度；将相关度从大到小排序，得到与用户实体有关系的其他智能体实体的列表；结合用户满意度感知结果以及智能设备的交互状态，确定最终的交互方式，并将内容呈现给用户。

34、进一步的，所述s5中的生理数据包括心率、血压和面部特征。

35、进一步的，所述s5中，通过实时获取用户当前时刻的用户生理数据，并进行降噪处理，使用时频域分析方法，将信号中与情感状态相关的特征进行提取，使用朴素贝叶斯分类算法对情感极性的变化进行判断，具体为包括以下步骤：

36、s81：对数据进行清洗、去噪和标准化，以及特征选择和提取；

37、s82：将数据样本和极性类别定义为输入数据集t，表示为：

38、t＝{(x1，y1)，(x2，y2)，…，(xn，yn)}      (6)

39、其中，表示第i个样本的第k维特征，总特征数量为n；

40、由贝叶斯定理将联合概率转换为先验概率分布p(y＝ck)与条件概率分布p(x＝x|y＝ck)之积，表示为：

41、p(x＝x，y＝ck)＝p(y＝ck)p(x＝x|y＝ck)    (7)

42、统计每个类别的样本数，用极大似然估计计算先验概率分布p(y＝ck)，表示为：

43、

44、其中，count(y＝ck)表示情感极性为ck的样本数量；

45、对条件概率做独立性假设，即p(ab|d)＝p(a|d)p(b|d)，得到样本x条件概率分布为：

46、

47、贝叶斯公式表示为：

48、

49、根据贝叶斯公式计算出任一样本xi属于类别ck的概率，选择其中概率最大者作为分类标签：

50、

51、每个样本的计算有相同的分母，将独立性假设带入，得到最终的分类预测函数：

52、

53、其中，表示使得y最大时ck的取值；

54、确定实例x的类别y，能根据生理数据类别预测出情感极性y；

55、得到的情感极性分类模型能感知用户每轮交互的情感反馈；将情感由负向正依次定义为消极、正常和积极三个极性，分析当前极性和上一极性的变化，若当前用户相对上一次交互呈转正趋势，则可将上一交互方式的影响因子为2；若趋势不变则影响因子为1；若趋势转负则影响因子为0.5；影响因子将作为后续交互方式选择模型的影响参数。

56、本发明的有益效果在于：

57、第一，本发明获取各种传感器数据，实现多个模态数据的融合，充分理解交互情景，感知交互意图，能够依据场景选择合适的交互方式，为用户提供更加人性化的交互体验。

58、第二，本发明能实时感知用户情绪变化情况，作为交互满意度的重要依据，完成模型更新，实现用户交互方式预测的自适应调整，为用户提供更加人性化的交互体验，提高用户交互满意度。

59、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。