医用人机交互辅助系统及含该程序的计算机可读存储介质的制作方法

本发明涉及一种医用人机交互辅助系统，还涉及一种包括该程序的计算机可读存储介质。

背景技术：

多年来，现实中的人机交互技术不断发展并取得较大进步，现有的人机交互技术主要有手势识别技术、语音交互技术、触觉反馈技术、眼动跟踪技术、生理计算技术等。

医用人机交互辅助系统可以利用智能化和信息化技术提升医疗服务的品质和效率，但现有的医用人机交互辅助系统利用单一的交互技术，感知范围窄；算力有限，对复杂且高维度的信息进行处理延时较高、系统的交互频率低。

这是现有技术的不足。

技术实现要素：

针对现有技术的不足，本发明要解决的技术问题是提供一种医用人机交互辅助系统，它克服了目前医用人机交互辅助系统功能单一、感知范式窄、交互频率低等缺点，为现今医疗行业提供一个模态丰富且高效的边缘智能终端。

为了解决上述技术问题，本发明的技术方案是：一种医用人机交互辅助系统，包括处理器、存储器和若干传感器，其特征是还包括执行如下步骤的程序：

由所述传感器输入多模态传感信息；

对多模态传感信息进行融合计算，获得融合后的多模态信息；

对获取的多模态信息进行语义理解和分析；

将分析结果利用交互式方法进行系统反馈。

还包括若干分布式设备，多模态信息融合后，将融合的多模态信息分配给所述分布式设备进行分布式边缘计算。

所述传感器包括获取视觉信息的红外摄像头、获取语音信息的超声波设备、获取力学信息的压力传感器和陀螺仪。

所述对多模态传感信息进行融合计算的具体步骤是：

首先，将输入的多模态传感信息利用系统标定算法对场景进行一个自标定；

其次，将标定完成的信息输入事先训练完成的信息配准深度网络进行多模态信息配准；

最后，将配准完成后的多模态信息利用融合算法提取深层次的特征信息构成多模态融合信息。

所述语义理解和分析的具体步骤是：

利用事先训练好的卷积神经网络，对每个分布式设备中的多模态融合信息进行特征提取；

利用主成分分析方法对特征中的主要特征进行辨别；

计算提取的主成分特征相对于原始特征的损失，并将信息一起输入长短期记忆网络；

对多模态信息进行时序理解，获得具有时空分辨率的行为语义信息。

本发明具有如下有益技术效果：

一、利用多模态传感器可以获得范围更广、信息层次更深的混合现实场景信息，同时利用多模态信息融合技术，可以对冗余场景信息进行过滤形成稀疏表示的融合信息，更利于后续的信息处理。

二、以可重构、分布式的边缘计算方式为底层特色，将复杂且高维度的信息进行分布式计算，有效的提高了计算效率，提高了交互的频率。

三、利用行为语义理解，对混合现实场景信息进行分析，得到可靠的行为语义，并通过多种方式进行交互反馈，提高了交互辅助系统的有效性和便捷性。

附图说明

图1是本发明的主要流程图。

图2是本发明的多模态信息融合程序模块的流程图。

图3是本发明的行为语义理解程序模块的流程图。

具体实施方式

现结合附图和实施例对本发明作进一步详细说明。

本发明的医用人机交互辅助系统，是指，以控制手术台位姿的人机交互系统为例，视觉传感器和力学传感器获取病人躺在手术台上的图像信息和对手术台的压力信息，以及医生的图像信息等，并将这些信息输入多模态信息融合模块，进行信息配准与语义融合。将融合后的多模态信息分配给多个分布式设备进行分布式边缘计算，通过行为语义理解模块对获取的多模态信息进行语义理解与分析，将分析结果利用交互式方法进行系统反馈，调整手术台的位姿，使病人所在的位置更方便医生进行手术。

本发明整体技术方案如图1所示，本发明的技术方案包括硬件和软件，硬件包括处理器、存储器和若干传感器，软件的主要流程包括如下步骤：

步骤11，首先通过多种传感器，例如视觉传感器、语音传感器、力学传感器构成多模态信息获取网络；

步骤12，将多模态传感信息输入多模态信息融合模块，进行信息配准与语义融合(该模块的具体技术方案将在下文介绍)；

步骤13将融合后的多模态信息分配给多个分布式设备进行分布式边缘计算，通过行为语义理解模块对获取的多模态信息进行语义理解与分析(该模块的具体技术方案将在下文介绍)；

步骤14，将分析结果利用交互式方法进行系统反馈，反馈方式分为：显示设备上的辅助信息、语音设备的提示(包括提示音、警报等)、医用设备的力学反馈(包括病床的角度调整、手术台的位姿自适应控制等)。

本发明利用可重构、分布式的边缘计算方式，将复杂且高维度的信息进行分布式计算，有效的提高了计算效率，提高了交互的频率。

本发明中的多模态信息融合模块具体技术方案如图2所示，包括如下步骤:

步骤21，首先将输入的视觉信息(传统摄像头或红外摄像头采集获得)、语音信息(超声波设备获得的医学信息、现场人员的语音信息)、力学信息(病床和手术台上的压力传感器、陀螺仪等获得的信息)，利用系统标定算法对场景进行一个自标定；

步骤22，将标定完成的信息输入事先训练完成的信息配准深度网络进行多模态信息配准；

步骤23，最后将配准完成后的多模态信息利用融合算法提取深层次的特征信息构成多模态融合信息。

本发明利用多模态传感信息可以获得范围更广、信息层次更深的混合现实场景信息，同时利用多模态信息融合技术，可以对冗余场景信息进行过滤形成稀疏表示的融合信息，更利于后续的信息处理。

本发明中的行为语义理解模块具体技术方法如图3所示，包括如下步骤：

步骤31，对于每个分布式设备中的多模态的融合信息首先利用事先训练好的卷积神经网络(cnn)进行特征提取；

步骤32，然后利用主成分分析方法对特征中的主要特征进行辨别；

步骤33，计算提取的主成分特征相对于原始特征的损失；

步骤34，并将信息一起输入长短期记忆网络；

步骤35，利用长短期记忆网络对多模态信息进行时序理解，获得具有时空间分辨率的行为语义信息，即可以在空间的不同位置辨别行为语义且可以确定行为的始末时间。

本发明利用行为语义理解，对混合现实场景信息进行分析，得到可靠的行为语义，并通过多种方式进行交互反馈，提高了交互辅助系统的有效性和便捷性。

技术特征：

1.一种医用人机交互辅助系统，包括处理器、存储器和若干传感器，其特征是还包括执行如下步骤的程序：

由所述传感器输入多模态传感信息；

对多模态传感信息进行融合计算，获得融合后的多模态信息；

对多模态信息进行语义理解和分析；

将分析结果利用交互式方法进行系统反馈。

2.如权利要求1所述的医用人机交互辅助系统，其特征是还包括若干分布式设备，多模态信息融合后，将融合的多模态信息分配给所述分布式设备进行分布式边缘计算。

3.如权利要求1所述的医用人机交互辅助系统，其特征是所述传感器包括获取视觉信息的红外摄像头、获取语音信息的超声波设备、获取力学信息的压力传感器和陀螺仪。

4.如权利要求1所述的医用人机交互辅助系统，其特征是所述对多模态传感信息进行融合计算的具体步骤是：

首先，将输入的多模态传感信息利用系统标定算法对场景进行一个自标定；

其次，将标定完成的信息输入事先训练完成的信息配准深度网络进行多模态信息配准；

最后，将配准完成后的多模态信息利用融合算法提取深层次的特征信息构成多模态融合信息。

5.如权利要求4所述的医用人机交互辅助系统，其特征是所述语义理解和分析的具体步骤是：

利用事先训练好的卷积神经网络，对每个分布式设备中的多模态融合信息进行特征提取；

利用主成分分析方法对特征中的主要特征进行辨别；

计算提取的主成分特征相对于原始特征的损失，并将信息一起输入长短期记忆网络；

对多模态信息进行时序理解，获得具有时空分辨率的行为语义信息。

6.一种包含程序的计算机可读存储介质，其特征是所述程序包括如下步骤：

由若干传感器输入多模态传感信息；

对多模态传感信息进行融合计算，获得融合后的多模态信息；

对获取的多模态信息进行语义理解和分析；

将分析结果利用交互式方法进行系统反馈。

7.如权利要求6所述的计算机可读存储介质，其特征是所述对多模态传感信息进行融合计算的具体步骤是：

首先，将输入的多模态传感信息利用系统标定算法对场景进行一个自标定；

其次，将标定完成的信息输入事先训练完成的信息配准深度网络进行多模态信息配准；

最后，将配准完成后的多模态信息利用融合算法提取深层次的特征信息构成多模态融合信息。

8.如权利要求6所述的计算机可读存储介质，其特征是所述语义理解和分析的具体步骤是：

利用事先训练好的卷积神经网络，对每个分布式设备中的多模态融合信息进行特征提取；

利用主成分分析方法对特征中的主要特征进行辨别；

计算提取的主成分特征相对于原始特征的损失，并将信息一起输入长短期记忆网络；

对多模态信息进行时序理解，获得具有时空分辨率的行为语义信息。

技术总结
本发明公开了一种医用人机交互辅助系统，它克服了目前医用人机交互辅助系统功能单一、感知范式窄、交互频率低的缺点。一种医用人机交互辅助系统，包括处理器、存储器和若干传感器，还包括执行如下步骤的程序：由所述传感器输入多模态传感信息；对多模态传感信息进行融合计算，获得融合后的多模态信息；对获取的多模态信息进行语义理解和分析；将分析结果利用交互式方法进行系统反馈。还包括若干分布式设备，多模态信息融合后，将融合的多模态信息分配给所述分布式设备进行分布式边缘计算。本发明为现今医疗行业提供一个模态丰富且高效的边缘智能终端。

技术研发人员：张立华;谢媛媛;杜洋涛;董志岩
受保护的技术使用者：复旦大学
技术研发日：2020.07.17
技术公布日：2020.10.27