一种多模态输入的人机交互方法、装置及电子设备与流程

本技术涉及数据处理的，具体涉及一种多模态输入的人机交互方法、装置及电子设备。

背景技术：

1、在当前的数字时代，用户与用户设备之间的交互变得日益重要。其中，模态输入方式，如语音、手势、触控等，是用户与设备之间进行信息交流的关键桥梁。

2、在现实中，用户的输入方式可能会随着场景、需求等多种因素的变化而变化。例如，在某些情况下，用户可能更倾向于使用语音输入，而在其他情况下，手势或触控可能更为方便。但是，相关技术往往无法智能地识别这些变化，从而无法自动切换到最适合的输入方式。这不仅影响了用户的使用体验，也可能导致输入错误或操作不便。

3、因此，如何实现用户与用户设备之间模态输入方式的智能自适应切换是当前亟需解决的问题。

技术实现思路

1、本技术提供了一种多模态输入的人机交互方法、装置及电子设备，便于实现用户与用户设备之间模态输入方式的智能自适应切换。

2、在本技术的第一方面提供了一种多模态输入的人机交互方法，所述方法包括：获取用户的行为数据，所述行为数据包括肢体数据和语音数据；获取所述用户所处环境的环境光强数据；采用预设识别模型对所述肢体数据和所述语音数据进行识别，生成第一识别结果，所述第一识别结果用于指示所述用户的行为状态，所述行为状态为休息状态或运动状态；采用所述预设识别模型对所述环境光强数据进行识别，生成第二识别结果，所述第二识别结果用于指示所述用户所处环境的环境状态，所述环境状态为白天状态或黑夜状态；若确定所述行为状态为所述休息状态，且所述环境状态为黑夜状态，则将目标模态输入方式设置为语音输入，所述目标模态输入方式为所述用户对应的用户设备的模态输入方式；若确定所述行为状态为所述运动状态，且所述环境状态为白天状态，则将所述目标模态输入方式设置为手势输入和/或触控输入。

3、通过采用上述技术方案，通过获取并分析用户的行为数据，系统能够更准确地理解用户当前的行为状态，这种个性化的识别使得系统能够为用户推荐更合适的输入方式，从而提升了用户体验的个性化程度。结合环境光强数据的识别，系统能够判断用户当前所处的环境状态，这种环境感知能力使得模态输入方式的切换更加符合实际使用场景，提高了用户在不同环境下的操作便利性。当系统确定用户在休息状态且环境为黑夜时，推荐语音输入方式，这可以减少用户在黑暗环境中寻找触控或手势操作点的困难，提高操作效率。相反，当用户在运动状态且环境为白天时，推荐手势或触控输入方式，这更符合用户在此类场景下的操作习惯。通过智能识别用户的行为状态和环境状态，系统能够减少因误操作或不适合的输入方式导致的输入错误，从而提高用户与设备交互的准确性。由此，便于实现用户与用户设备之间模态输入方式的智能自适应切换。

4、可选地，所述获取用户的行为数据，具体包括：接收所述用户佩戴的可穿戴设备发送的初始肢体数据和初始语音数据；对所述初始肢体数据和所述初始语音数据进行分析，得到心率数据、呼吸数据以及身体加速度数据；对所述心率数据、所述呼吸数据以及所述身体加速度数据进行预处理，得到所述行为数据，所述预处理包括数据清洗、数据去噪、数据滤波以及数据归一化处理。

5、通过采用上述技术方案，通过用户佩戴的可穿戴设备，系统能够实时、连续地获取用户的肢体数据和语音数据。这种数据获取方式不仅具有高度的便捷性，而且能够提供丰富、多样的用户行为信息，为后续的分析和判断提供了坚实的基础。通过对初始数据进行深入分析，系统能够提取出心率、呼吸和身体加速度等关键生理参数。这些参数能够直观地反映用户当前的身体状态和行为模式，为后续的模态输入方式切换提供了有力的依据。预处理过程是确保数据质量的关键步骤。通过数据清洗、去噪、滤波和归一化处理，系统能够消除原始数据中的噪声和干扰，提高数据的准确性和可靠性。同时，归一化处理还能使得不同来源、不同尺度的数据具有统一的量纲，便于后续的分析和比较。通过对原始数据进行预处理，系统能够更好地应对各种复杂环境和用户行为的变化。即使在噪声较大或数据不稳定的情况下，系统也能保持较高的识别准确率和稳定性，确保模态输入方式的切换准确无误。

6、可选地，所述采用预设识别模型对所述肢体数据和所述语音数据进行识别，生成第一识别结果，具体包括：对所述肢体数据进行特征提取，得到第一特征变化曲线，所述第一特征变化曲线由多个心率特征绘制得到；对所述肢体数据进行特征提取，得到第二特征变化曲线，所述第二特征变化曲线由多个肢体动作特征绘制得到；对所述语音数据进行特征提取，得到第三特征变化曲线，所述第三特征变化曲线由多个呼吸特征绘制得到；将所述第一特征变化曲线、所述第二特征变化曲线以及所述第三特征变化曲线进行融合，得到所述第一识别结果。

7、通过采用上述技术方案，通过对肢体数据和语音数据进行特征提取，系统能够精确地获取与用户行为状态相关的关键信息。例如，心率特征、肢体动作特征和呼吸特征，都是反映用户当前行为状态的重要指标。这种精准的特征提取为后续的判断和识别提供了可靠的数据基础。将提取的特征绘制成变化曲线，使得用户的行为状态变化更加直观和易于分析。通过观察这些曲线的变化趋势和波动情况，系统能够更准确地判断用户是处于休息状态还是运动状态。通过将心率特征、肢体动作特征和呼吸特征等多方面的特征变化曲线进行融合，系统能够综合考虑多个方面的信息，从而得到更加全面和准确的识别结果。这种多特征融合的方法能够弥补单一特征识别可能存在的局限性，提高识别的准确性和可靠性。由于每个用户的生理特征和行为习惯都有所不同，因此通过结合多个特征进行识别，系统能够更准确地识别出不同用户的个性化行为状态。这有助于为用户推荐更加符合其个人需求和习惯的模态输入方式，提升用户体验的个性化程度。

8、可选地，在所述若确定所述行为状态为所述休息状态，且所述环境状态为黑夜状态之前，判断所述行为状态为所述休息状态或所述运动状态；所述判断所述行为状态为所述休息状态或所述运动状态，具体包括：在预设第一时间段内，若确定所述第一特征变化曲线指示所述用户的心率呈下降趋势，且所述第二特征变化曲线指示所述用户的呼吸频率呈下降趋势，则确定所述行为状态为休息状态；在所述预设第一时间段内，若确定所述第一特征变化曲线指示所述用户的心率呈非下降趋势，且所述第二特征变化曲线指示所述用户的呼吸频率呈非下降趋势，则确定所述行为状态为运动状态。

9、通过采用上述技术方案，通过综合考虑心率和呼吸频率这两个关键生理指标的变化趋势，系统能够精准地判断用户当前的行为状态。心率的下降趋势和呼吸频率的下降趋势是休息状态的典型特征，而心率和呼吸频率的非下降趋势则通常与运动状态相关。这种基于多特征综合判断的方法提高了状态识别的准确性。通过设定预设第一时间段，系统能够在短时间内对用户的行为状态进行快速判断。这确保了模态输入方式的切换能够及时响应用户状态的变化，提升了用户体验的实时性。不同用户在休息和运动时的生理参数变化可能存在差异。通过不断积累数据和优化模型，系统可以逐渐适应不同用户的个性化特征，实现更精准的状态识别。准确判断用户的行为状态是后续进行模态输入方式切换的基础。只有当用户状态被正确识别后，系统才能根据用户的具体需求和场景推荐合适的输入方式。因此，这段描述中的状态判断过程为后续的智能自适应切换提供了可靠依据。通过结合用户的生理数据和行为模式进行状态判断，系统展现出了更高的智能性。这种基于数据驱动的方法使得系统能够更加自主地理解用户的需求和意图，从而提供更加智能化的服务。

10、可选地，所述采用所述预设识别模型对所述环境光强数据进行识别，生成第二识别结果，具体包括：根据所述环境光强数据，得到所述用户所处环境的环境光强值；判断所述环境光强值与预设阈值之间的大小关系，得到所述第二识别结果；在所述若确定所述行为状态为所述休息状态，且所述环境状态为黑夜状态之前，判断所述环境状态为所述白天状态或所述黑夜状态；所述判断所述环境状态为所述白天状态或所述黑夜状态，具体包括：在预设第二时间段内，若确定所述环境光强值大于或等于所述预设阈值，则确定所述环境状态为所述白天状态；在所述预设第二时间段内，若确定所述环境光强值小于所述预设阈值，则确定所述环境状态为所述黑夜状态。

11、通过采用上述技术方案，通过直接比较环境光强值与预设阈值，系统能够迅速判断当前环境是白天还是黑夜。这种简单的比较逻辑保证了判断的快速性，同时预设阈值的设定也确保了判断的准确性。环境状态的识别结果为用户设备模态输入方式的自适应切换提供了重要依据。在白天，用户可能更倾向于使用手势或触控输入，而在黑夜，语音输入可能更为方便和安全。系统根据环境状态自动调整输入方式，提升了用户体验的连贯性和便捷性。通过在预设第二时间段内进行光强值的判断，系统能够考虑到环境光强的稳定性，减少因短暂光强变化导致的误判。这种时间窗口的设置提高了系统对环境状态识别的稳定性。通过对环境光强数据的自动分析和判断，系统展现出了较高的智能性。它能够根据环境状态的变化自动调整设备的交互方式，无需用户手动设置或调整，提升了设备使用的便捷性和智能化水平。

12、可选地，所述方法还包括：响应于所述用户的输入操作，所述输入操作包括模态输入方式设置指令和模态输入时间设置指令；根据所述模态输入时间设置指令，确定模态输入执行时间段；根据所述模态输入方式设置指令，确定模态输入自定义方式；按照所述模态输入执行时间段，将所述目标模态输入方式设置为所述模态输入自定义方式。

13、通过采用上述技术方案，通过允许用户设置模态输入方式，系统能够更好地满足用户的个性化需求。不同用户可能有不同的使用习惯和偏好，比如有的用户可能更喜欢使用语音输入，而有的用户则更偏爱手势或触控。允许用户自定义输入方式，可以大大提升用户的满意度和使用体验。用户不仅能够设置模态输入方式，还可以设置模态输入的执行时间段。这种灵活性使得用户可以根据自己的日程安排和使用场景，自定义不同时间段的输入方式。系统能够响应用户的输入操作指令，自动调整模态输入方式，这体现了系统的智能化水平。系统不再是简单的执行预设命令，而是能够根据用户的设置进行自适应调整，提供更加智能化的服务。用户只需通过简单的输入操作，就能够完成模态输入方式和执行时间段的设置，无需复杂的操作流程。这种便捷性使得用户能够轻松地进行个性化设置，提高了整体的使用效率。

14、可选地，所述方法还包括：若所述输入操作为语音输入操作，则对所述语音输入操作进行语音识别，得到文本数据；将所述文本数据与所述预设识别模型进行匹配，得到目标指令，所述预设识别模型中预先存储有文本数据与目标指令之间的对应关系；根据所述目标指令，对所述目标模态输入方式进行切换。

15、通过采用上述技术方案，允许用户通过语音输入操作与系统交互，大大提升了用户操作的便捷性。用户无需进行复杂的手动操作，只需通过简单的语音指令即可完成模态输入方式的切换。通过语音识别技术将语音转换为文本数据，减少了用户手动输入时可能出现的错误。语音识别系统能够准确识别用户的语音指令，并将其转换为相应的文本，提高了输入的准确性和效率。利用预设识别模型将文本数据匹配为目标指令，实现了系统对语音输入的智能处理与响应。预设识别模型中预先存储了文本数据与目标指令之间的对应关系，使得系统能够迅速理解用户的意图，并据此进行相应的操作。由于预设识别模型可以预先设置文本数据与目标指令的对应关系，因此系统能够支持用户自定义的语音指令。用户可以根据自己的喜好和需求，设置特定的语音指令来控制模态输入方式的切换，增加了系统的灵活性和个性化。通过语音识别和智能匹配技术，系统能够更准确地理解并执行用户的语音指令，从而提升了用户的使用体验。用户能够感受到系统的智能化和高效性，增强了对系统的信任和满意度。

16、在本技术的第二方面提供了一种多模态输入的人机交互装置，所述人机交互装置包括获取模块和处理模块，其中，所述获取模块，用于获取用户的行为数据，所述行为数据包括肢体数据和语音数据；所述获取模块，还用于获取所述用户所处环境的环境光强数据；所述处理模块，用于采用预设识别模型对所述肢体数据和所述语音数据进行识别，生成第一识别结果，所述第一识别结果用于指示所述用户的行为状态，所述行为状态为休息状态或运动状态；所述处理模块，还用于采用所述预设识别模型对所述环境光强数据进行识别，生成第二识别结果，所述第二识别结果用于指示所述用户所处环境的环境状态，所述环境状态为白天状态或黑夜状态；所述处理模块，还用于若确定所述行为状态为所述休息状态，且所述环境状态为黑夜状态，则将目标模态输入方式设置为语音输入，所述目标模态输入方式为所述用户对应的用户设备的模态输入方式；所述处理模块，还用于若确定所述行为状态为所述运动状态，且所述环境状态为白天状态，则将所述目标模态输入方式设置为手势输入和/或触控输入。

17、在本技术的第三方面提供了一种电子设备，所述电子设备包括处理器、存储器、用户接口以及网络接口，所述存储器用于存储指令，所述用户接口和所述网络接口均用于给其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述电子设备执行如上所述的方法。

18、在本技术的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，执行如上所述的方法。

19、综上所述，本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

20、1.通过获取并分析用户的行为数据，系统能够更准确地理解用户当前的行为状态，这种个性化的识别使得系统能够为用户推荐更合适的输入方式，从而提升了用户体验的个性化程度。结合环境光强数据的识别，系统能够判断用户当前所处的环境状态，这种环境感知能力使得模态输入方式的切换更加符合实际使用场景，提高了用户在不同环境下的操作便利性。当系统确定用户在休息状态且环境为黑夜时，推荐语音输入方式，这可以减少用户在黑暗环境中寻找触控或手势操作点的困难，提高操作效率。相反，当用户在运动状态且环境为白天时，推荐手势或触控输入方式，这更符合用户在此类场景下的操作习惯。通过智能识别用户的行为状态和环境状态，系统能够减少因误操作或不适合的输入方式导致的输入错误，从而提高用户与设备交互的准确性。由此，便于实现用户与用户设备之间模态输入方式的智能自适应切换；

21、2.通过对肢体数据和语音数据进行特征提取，系统能够精确地获取与用户行为状态相关的关键信息。例如，心率特征、肢体动作特征和呼吸特征，都是反映用户当前行为状态的重要指标。这种精准的特征提取为后续的判断和识别提供了可靠的数据基础。将提取的特征绘制成变化曲线，使得用户的行为状态变化更加直观和易于分析。通过观察这些曲线的变化趋势和波动情况，系统能够更准确地判断用户是处于休息状态还是运动状态。通过将心率特征、肢体动作特征和呼吸特征等多方面的特征变化曲线进行融合，系统能够综合考虑多个方面的信息，从而得到更加全面和准确的识别结果。这种多特征融合的方法能够弥补单一特征识别可能存在的局限性，提高识别的准确性和可靠性。由于每个用户的生理特征和行为习惯都有所不同，因此通过结合多个特征进行识别，系统能够更准确地识别出不同用户的个性化行为状态。这有助于为用户推荐更加符合其个人需求和习惯的模态输入方式，提升用户体验的个性化程度。