基于四诊合参的中医辅助诊疗交互方法及系统与流程

本发明涉及数据交互领域，尤其是基于四诊合参的中医辅助诊疗交互方法及系统。

背景技术：

望、闻、问、切，这四种诊法至今依然普遍使用，是中医辨证施治的重要依据。望诊是医者运用视觉，对人体全身和局部的一切可见征象以及排出物等进行有目的地观察，以了解健康或疾病状态的方法。闻诊是运用听觉和嗅觉的手段，通过对病人发出的声音和体内排泄物发出的各种气味的诊察来推断疾病的诊法。切诊包括脉诊和按诊，是医者运用手和指端的感觉，对病人体表某些部位进行触摸按压的检查方法，检查内容如脉象的变化、胸腹的痞块、皮肤的肿胀、手足的温凉和疼痛的部位等。问诊是通过询问患者或其陪诊者，以了解病情或询问内容包括疾病发生的时间、原因、经过、既往病史或患者的病痛所在等。但是在传统模式下，医师在为病人进行诊断时需要和患者进行面对面地进行观察或者交流，这种方式效率及其低下；患者必须到医院或者诊所进行挂号排队方能就医，对于那些迫切需要得到诊断结果的患者利用上述方式并不能够实现的；并且整个诊断过程都是发生在患者与医生之间，不利于事后追溯。

技术实现要素：

针对现有技术中的缺陷，本发明提供一种基于四诊合参的中医辅助诊疗交互方法及系统，旨在克服现有技术的不足。

为了实现上述目的，第一方面，本发明提供的基于四诊合参的中医辅助诊疗交互方法，所述基于四诊合参的中医辅助诊疗交互方法适应于基于四诊合参的中医辅助诊疗交互系统，所述中医辅助诊疗交互系统包括医生端、患者端和交互服务器，所述基于四诊合参的中医辅助诊疗交互方法包括如下步骤：

所述交互服务器收集所述患者端发送的望诊视频信息，并将所述望诊视频信息处理之后发送给所述医生端；

所述交互服务器收集所述患者端发送的闻诊病情自述，并将所述闻诊病情自述发送给所述医生端；

所述交互服务器收集所述患者端发送的问诊音频信息，并将所述问诊音频信息发送给所述医生端；

所述交互服务器收集所述患者端发送的切诊脉搏信息，并将所述切诊脉搏信息发送给所述医生端。

作为本申请一种优选的实施方式，所述交互服务器将所述望诊视频信息处理具体包括：

利用空间流卷积神经网络抽取望诊视频信息中患者动作片段的空间特征；

利用时间流卷积神经网络抽取望诊视频信息中患者动作片段的时间特征；

将所述空间特征和所述时间特征进行特征融合形成时空混合特征图，并将所述时空混合特征图输入到3d卷积神经网络中完成视频中患者动作的识别。

作为本申请一种优选的实施方式，在将所述空间特征和所述时间特征进行特征融合形成时空混合特征图之前还包括：

对所述空间特征的特征图和所述时间特征的特征图的大小进行验证；

若所述空间特征的特征图和所述时间特征的特征图的大小相同，则将所述空间特征和所述时间特征进行特征融合形成时空混合特征图；

若所述空间特征的特征图和所述时间特征的特征图的大小不同，则对较大的特征图进行采样，将采样的特征图与较小的特征图进行融合形成时空混合特征图。

作为本申请一种优选的实施方式，所述交互服务器收集所述患者端发送的闻诊病情自述包括：收集患者关于病情的发病时间描述、病灶所在描述、主要症状描述、症状变化描述和/或遗传病史描述。

作为本申请一种优选的实施方式，所述交互服务器收集所述患者端发送的切诊脉搏信息，并将所述切诊脉搏信息发送给所述医生端具体包括：

所述交互服务器收集所述患者端采集的患者的脉搏振动波形；

所述交互服务器将所述脉搏振动波形进行去噪；

所述交互服务器将经过去噪的脉搏振动波形发送给所述患者端，所述患者端利用所述脉搏振动波形模拟患者的实时脉搏。

第二方面，本发明提供的基于四诊合参的中医辅助诊疗交互系统，所述中医辅助诊疗交互系统包括医生端、患者端和交互服务器，所述交互服务器分别与所述医生端、所述患者端通信连接；

所述交互服务器收集所述患者端发送的望诊视频信息，并将所述望诊视频信息处理之后发送给所述医生端；

所述交互服务器收集所述患者端发送的闻诊病情自述，并将所述闻诊病情自述发送给所述医生端；

所述交互服务器收集所述患者端发送的问诊音频信息，并将所述问诊音频信息发送给所述医生端；

所述交互服务器收集所述患者端发送的切诊脉搏信息，并将所述切诊脉搏信息发送给所述医生端。

作为本申请一种优选的实施方式，所述交互服务器将所述望诊视频信息处理具体包括：

利用空间流卷积神经网络抽取望诊视频信息中患者动作片段的空间特征；

利用时间流卷积神经网络抽取望诊视频信息中患者动作片段的时间特征；

将所述空间特征和所述时间特征进行特征融合形成时空混合特征图，并将所述时空混合特征图输入到3d卷积神经网络中完成视频中患者动作的识别。

作为本申请一种优选的实施方式，在将所述空间特征和所述时间特征进行特征融合形成时空混合特征图之前还包括：

对所述空间特征的特征图和所述时间特征的特征图的大小进行验证；

若所述空间特征的特征图和所述时间特征的特征图的大小相同，则将所述空间特征和所述时间特征进行特征融合形成时空混合特征图；

若所述空间特征的特征图和所述时间特征的特征图的大小不同，则对较大的特征图进行采样，将采样的特征图与较小的特征图进行融合形成时空混合特征图。

作为本申请一种优选的实施方式，所述交互服务器收集所述患者端发送的闻诊病情自述包括：收集患者关于病情的发病时间描述、病灶所在描述、主要症状描述、症状变化描述和/或遗传病史描述。

作为本申请一种优选的实施方式，所述交互服务器收集所述患者端发送的切诊脉搏信息，并将所述切诊脉搏信息发送给所述医生端具体包括：

所述交互服务器收集所述患者端采集的患者的脉搏振动波形；

所述交互服务器将所述脉搏振动波形进行去噪；

所述交互服务器将经过去噪的脉搏振动波形发送给所述患者端，所述患者端利用所述脉搏振动波形模拟患者的实时脉搏。

本发明的有益效果是：本发明所提供的基于四诊合参的中医辅助诊疗交互方法及系统，实现了医生远程为患者进行诊断，患者不一定要到医院才能就医，为其提供更加多样的就医选择，提高了诊断效率；通过为医生提供多方面的参考数据提高诊断精度；对整个诊断过程全程记录，便于事后追溯。

附图说明

图1为本发明基于四诊合参的中医辅助诊疗交互方法的实施例的流程图；

图2为本发明空间流卷积神经网络的实施例的示意图；

图3为本发明时间流卷积神经网络的实施例的示意图；

图4为本发明基于四诊合参的中医辅助诊疗交互系统的实施例的示意图；

图5为本发明医生端的实施例的整体示意图；

图6为本发明医生端的实施例的爆炸图；

图7为本发明仿生腕部组织的实施例的示意图；

图8为本发明指法定位采集机构的实施例的示意图；

图9为本发明的仿生脉搏实施例的示意图；

图10为本发明的壳体实施例的示意图；

图11为本发明的交互服务器实施例的示意图。

具体实施方式

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路，软件或方法。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。

如图1所示，本发明的第一实施例所示的基于四诊合参的中医辅助诊疗交互方法，所述基于四诊合参的中医辅助诊疗交互方法适应于基于四诊合参的中医辅助诊疗交互系统，所述中医辅助诊疗交互系统包括医生端、患者端和交互服务器，所述基于四诊合参的中医辅助诊疗交互方法包括如下步骤：

s1，所述交互服务器收集所述患者端发送的望诊视频信息，并将所述望诊视频信息处理之后发送给所述医生端；

如图2所示，本发明利用空间流卷积神经网络抽取望诊视频信息中患者动作片段的空间特征，进一步地，空间流卷积神经网络的输入是单个视频帧，它是一种通过提取静态图片信息来完成视频患者动作识别的深度学习模型。静态的外形特征是一个非常有用的信息，因为患者视频的某些行为动作与某些物体有着密切的关联性。仅仅通过空间流卷积神经网络也能够完成视频中患者动作的识别。空间流卷积神经网络在本质上属于一种图片分类结构，本发明所述的空间流卷积神经网络结构使用的是图片分类卷积神经网络，并且该结构会在图片数据集进行预训练。

如图3所示，利用时间流卷积神经网络抽取望诊视频信息中患者动作片段的时间特征；与空间流卷积神经网络不同，时间流卷积神经网络输入的是若干连续视频帧之间的光流图片。所述光流图片具体可以为连续视频帧之间的像素点位移场，表述了视频的运动信息，有效地提取了视频的时间特征，提高了视频患者动作识别的准确率。本实施例中把用于输入的若干连续光流图片称为光流栈。光流栈的具体描述如下：

连续的第t帧与第t+1帧之间的单张光流图片可看作是视频像素在这连续两帧之间的位移向量场vt。vt(a，b)表示在第t视频帧中点(a，b)向第t+1帧对应位置的移动向量。位移向量场vt的水平坐标场与竖直坐标场可以被看作是图片的不同的通道，非常适合输入到卷积神经网络中进行训练。本实施例中所述的光流栈中一共包括l个连续的视频光流帧，所以一共包括2l个输入通道。自第τ帧视频帧开始取样的光流栈输入立方体vτ∈r^ω×h×2l可表示为：

其中a＝[1；ω]，b＝[1；h]，k＝[1；l]，ω和h分别表示视频的像素长度与像素宽度。进一步地，空间流的输入的是视频帧，从视频片段的时间t开始以时间域距离d进行等间隔取样，将在时间t，t+d，…，t+td的视频帧作为输入。时间流对应的输入是连续光流帧，在时间t时刻对应的连续光流帧图片在时间域上的位置是(t-l/2，t+l/2)。通过融合得到在时间域上连续的t个时空特征图，并且光流域的长度l和空间流视频帧的取样间隔d必定满足关系l＜d。

将所述空间特征和所述时间特征进行特征融合形成时空混合特征图，并将所述时空混合特征图输入到3d卷积神经网络中完成视频中患者动作的识别。时空网络的融合在于使用视频的空间特征与时间特征的关联性判断患者的行为动作。本实施例从时空双流的融合位置角度阐述时空双流卷积神经网络融合策略。需要进行说明的是，神经网络之间的融合不是简单地将一个神经网络叠加到另一个神经网络：首先要考虑的是特征图的大小是否一致，如果不一致需要对较大的特征图进行上采样；接着还要考虑空间流卷积神经网络与时间流卷积神经网络通道之间的对应关系。本实施例中所使用的时空融合方法具体可用如下公式进行描述：

y^sum＝f^sum(m^a，m^b)(2)；

公式(2)表示将两个网络的特征图m^a∈r^h×w×d和m^b∈r^{h′×w′×d′}通过求和的方式将两个网络的特征融合成一个新的特征图y^sum∈r^{h″×w″×d″}，其中h表示特征图的高度，w表示特征图的宽度，d表示特征图通道数，并且满足关系h＝h′＝h″，w＝w′＝w″，d＝d′＝d″；该公式能够被应用于卷积层、全连接层及池化层的融合。公式(3)具体描述了如何使用求和的方法在第d通道特征图的像素点(i，j)处进行融合，其中1≤i≤h，1≤j≤w，1≤d≤d，m^a，m^b，y∈r^h×w×d。

通过对上述方法可以完成对患者所做出动作的有效识别，在实际的操作过程中，针对于不同的类型的病人，根据诊断需要可以预先设置一系列待完成动作，以及利用所述患者端将需要完成的动作基本说明提供给患者知悉，患者根据动作名称以及基本说明做出相关动作，所述患者端将患者完成的视屏图像进行采集并上传至所述交互服务器，所述交互服务器完成对所述视屏图像的处理和快速识别并将识别结果通过医生端告发送给医生便于医生进行进一步判断，为医生望诊提供依据。

s2，所述交互服务器收集所述患者端发送的闻诊病情自述，并将所述闻诊病情自述发送给所述医生端；

其中，所述自闻诊病情自述可以包括但不限于病情的发病时间描述、病灶所在描述、主要症状描述、症状变化描述或遗传病史描述等。所述患者端将患者的病情自述上传至所述交互服务器，所述交互服务器根据患者的身份信息建立患者个人就诊档案，并将所病情自述以及与医生间的所有交互信息按照时间顺序分类存储在所述患者个人就诊档案中，通过对该诊断过程中的将患者和医生之间的交互信息将存储在所述患者个人就诊档案中，便于事后追溯。

s3，所述交互服务器收集所述患者端发送的问诊音频信息，并将所述问诊音频信息发送给所述医生端；

具体的，医生通过所述医生端听取患者的自闻诊病情自述后可以根据患者提出的信息进行问询，便于进一步确认病情。此过程中主要是医生与病人之间通过自然语言进行交流来实现的，若病人病情过重不能进行交流，医生则可以通过询问其家属进而了解相关情况；又或者利用所述患者端对患者所发出的声音进行采集。

s4，所述交互服务器收集所述患者端发送的切诊脉搏信息，并将所述切诊脉搏信息发送给所述医生端。

其中，所述脉搏信息不在确定时是通过所述医生端获取医生的诊脉指法信号，并将所述诊脉指法信号上传给所述互服务器，所述互服务器将所述诊脉指法信号转发给所述患者端子，所述患者端再根据所述诊脉指法信号模拟医生的诊脉指法，具体的例如当所述医生端在同时得到食指、中指、无名指的接触信号，则所述互服务器控制所述患者端对患者的寸、关、尺三路脉搏信号同时进行采集；当医生需要变换指法时，所述医生端即获得医生的食指、中指、无名指中的一个或多个接触信号，进而实现对寸、关、尺的一路或多路脉搏信号进行采集，所述交互服务器收集所述患者端采集的患者的脉搏振动波形；所述交互服务器将所述脉搏振动波形进行去噪；所述交互服务器将经过去噪的脉搏振动波形发送给所述患者端，所述患者端利用所述脉搏振动波形模拟患者的寸、关、尺三路脉搏。

如图4所示，本发明的第二实施例中所示出的基于四诊合参的中医辅助诊疗交互系统，所述中医辅助诊疗交互系统包括医生端100、患者端200和交互服务器300，所述交互服务器300分别与所述医生端100、所述患者端200通信连接。所述交互服务器300收集所述患者端200发送的望诊视频信息，并将所述望诊视频信息处理之后发送给所述医生端100；所述交互服务器300收集所述患者端200发送的闻诊病情自述，并将所述闻诊病情自述发送给所述医生端100；所述交互服务器300收集所述患者端200发送的问诊音频信息，并将所述问诊音频信息发送给所述医生端100；所述交互服务器300收集所述患者端200发送的切诊脉搏信息，并将所述切诊脉搏信息发送给所述医生端100。

如图5-6所示，所述医生端100包括仿生腕部组织、指法采集定位机构5、仿生脉搏6、壳体固定结构、信号输入及输出端和处理电路10；所述的指法采集定位机构5由无名指定位机构51、中指定位机构52和食指定位机构53组成，分别采集医生施脉时，对应食指、中指和无名指的指法动作信号；所述的仿生脉搏6由寸穴位仿生脉63、关穴位仿生脉62和尺穴位仿生脉61构成，分别模拟患者寸、关、尺三路脉搏跳动。

如图7所示，所述的仿生腕部组织是由仿生皮肤2、仿生桡骨4、仿生手筋3和仿生皮下组织8构成。模拟了包括腕部皮肤、桡骨、脂肪和手筋。仿生皮下组织8放置在仿生脉搏6下，并在其内开槽用以固定仿生脉搏6，从而模拟患者腕部皮下脂肪。仿生桡骨4和仿生手筋3分别安置在仿生脉搏6的两侧，且仿生手筋3要略高于仿生桡骨4凸起处，从而方便医生定位寸、关、尺穴位。仿生脉搏6、仿生桡骨4和仿生手筋3上覆盖仿生皮肤2。仿生皮下组织8使用与人体组织特性相仿的硅胶材料，仿生桡骨4和仿生手筋使用聚四氟乙烯材料制成，仿生脉搏6、仿生桡骨4和仿生手筋3上覆盖硅胶涂层，作为仿生皮肤2，使得触感更加真实。

如图8所示，所述指法定位采集机构5是由结构相同的食指定位机构53、中指定位机构52和无名指定位机构51一端固定且并排放置。以无名指定位机构51为例，通过无名指电阻应变片511作为传感器，粘贴在无名指弹性钢片梁512上，无名指弹性钢片梁512其一端开有圆孔，可用螺丝固定在壳体上，另一端折成倒u型结构，固定在尺穴位仿生脉61的尺穴位磁钢615上，确保其与磁钢一起运动，同时，该结构端上开有槽型孔，将尺穴位仿生脉61安置在槽型孔中，确保该无名指定位机构51不会对仿生脉搏6跳动造成影响，此结构用于采集医生无名指动作位置信息。同理，所述食指定位机构53、中指定位机构52的结构与所述无名指定位机构51相类似在此不再赘述。

如图9所示，所述仿生脉搏6是由结构相同的寸穴位仿生脉63、关穴位仿生脉62和尺穴位仿生脉61并排固定放置而成，用于分别模拟患者寸、关、尺三路脉象信号的跳动。尺穴位仿生脉61以尺穴位磁钢615作为固定底座，将尺穴位磁感线圈613放入尺穴位磁钢615中，并引出正负电极线，同过改变尺穴位磁钢615大小或尺穴位磁感线圈613中缠绕铜线的匝数来改变其驱动力大小；在尺穴位磁感线圈613的上下两面，分别垫上尺穴位弹性预紧体612和尺穴位弹性预紧体614，尺穴位弹性预紧体612和尺穴位弹性预紧体614采用海绵或硅胶材料，用以提供预紧力，保证线圈上下运动时无虚位，且不会出现碰到磁钢而急停的情况，从而提高模拟精度，尺穴位磁感线圈613上开有两孔，用于固定尺穴位仿生动脉611，尺穴位仿生动脉611采用胶囊状结构，内充模拟血液，提高脉搏仿真度。

如图10所示，所述壳体固定机构是由盒盖1、仿生组织及脉搏固定框盖7、仿生组织及脉搏固定框9和盒底111组成，仿生组织及脉搏固定框盖7和仿生组织及脉搏固定框9用于固定仿生腕部组织和仿生脉搏6，盒底111与盒盖1形成鼠标结构，贴合人体工学，使诊脉更加舒适。所述的信号输入及输出端包括脉象信号输入端和指法信号输出端，分别放置在鼠标结构前端的两边，防止信号间串扰。其中脉象信号输入端用于将远端采集到的患者寸、关、尺脉象信号输入到本终端，驱动仿生脉搏6的跳动，指法信号输出端用于将本终端采集到的医生指法信号由交互服务器输出到远程患者端。

本实施例中，所述患者端200包括但不限于中央处理器、音频电路、摄像模块、射频电路、传感器模块和外部i/o端口；所述中央处理器分别通过数据总线与所述音频电路、摄像模块、外部i/o端口、射频电路、传感器模块通信连接。

所述音频电路包括扬声器和麦克风。音频电路从外部i/o端口接收音频数据，将音频数据转换为电信号，并将电信号传输到扬声器。扬声器将电信号转换为人类可听的声波。音频电路还接收由麦克风根据声波转换的电信号。音频电路可进一步将电信号转换为音频数据，并将音频数据传输到外部i/o端口以发送给外部设备处理。音频数据可在处理器与存储控制器的控制下，被传输至存储器和/或rf电路。在一些实施方案中，音频电路还可连接到耳麦接口。

所述摄像模块用于根据来自中央处理器的指令，进行静态图像和视频拍摄。摄像模块可具有镜片装置和影像传感器，能够由镜头装置接收来自外界的光信号，并由影像传感器，例如金属-氧化物互补型光电晶体管(cmos)传感器或电荷耦合器件(ccd)传感器，将光信号转换为电信号。摄像模块可进一步具有影像处理器(isp)，用于将前述电信号进行处理校正，并转换成特定的图像格式文件，例如jpeg图像文件等。

所述射频电路用于接收和发送射频信号以实现同其他通信设备进行通信。rf电路可包括但不限于天线系统、rf收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(sim)卡、存储器等等。rf电路任选地通过无线通信来与网络以及其他设备进行通信。

所述传感器模块包可具有一个或多个传感器或传感器阵列，所述传感器模块用于对患者的寸、关、尺脉搏的一路或者多路进行采集，进一步地，在实际的使用中可以采用脉搏传感器，所述脉搏传感器的监测端子可以由患者根据使用要求贴在手臂上即可。

如图11所示，所述交互服务器300包括输入设备31、处理器32、存储器33和输出设备34，所述处理器32、输入设备31、输出设备34和存储器33通过通信总线30相互连接，所述存储器33用于存储计算机程序，所述计算机程序包括程序指令，所述处理器32被配置用于调用所述程序指令；进一步地，所述处理器32被配置用于调用所述程序指令执行如本发明第一实施中所述的基于四诊合参的中医辅助诊疗交互方法的步骤。

应当理解，在本发明实施例中，所称存储器33可以包括只读存储器和随机存取存储器，并向处理器32提供指令和数据。存储器33的一部分还可以包括非易失性随机存取存储器。例如，存储器33还可以存储有设备类型的相关信息。

处理器32用于运行或执行被存储在内部存储器33中的操作系统，各种软件程序，以及自身的指令集，并用于处理来自于触摸式输入装置或自其它外部输入途径接收到的数据和指令，以实现各种功能。处理器32可以包括但不限于中央处理器(cpu)、通用图像处理器(gpu)、微处理器(mcu)、数字信号处理器(dsp)、现场可编程逻辑门阵列(fpga)，应用专用集成电路(asic)中的一种或多种。在一些实施例中，处理器32和存储器控制器104可在单个芯片上实现。在一些其他实施方案中，它们可分别在彼此独立的芯片上实现。

输入设备31可以是多种不同类型的接口，所述接口包括但不限于rs232接口、rs485接口、usb接口，以及数字键盘或机械键盘等触摸式输入装置；所述输出设备34可以包括显示器(display或monitor)等。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。