一种心血管多模态融合分析方法、系统、装置及存储介质与流程

本发明属于医疗设备领域，具体涉及一种心血管多模态融合分析方法、系统、装置及存储介质。

背景技术：

冠状动脉造影是诊断冠状动脉粥样硬化性心脏病(冠心病)的一种常用且有效的方法，是一种较为安全可靠的有创诊断技术，被认为是诊断冠心病的“金标准”。冠状动脉造影可以观察冠脉病变的狭窄程度及是否有侧支循环等，但因其只能显示管腔轮廓，所以无法显示血管病变、支架贴壁情况，且易受血管弯曲、重叠、投射角度的影响。目前常见的冠心病影像学诊断手段均有其优势以及不足之处，且各成像设备均为独立装置，即使同时使用多个设备，也无法精确对同一血管段进行全面的、实时的分析。

技术实现要素：

为了解决现有技术中存在的上述问题，本发明提供了一种心血管多模态融合分析方法、系统、装置及存储介质。本发明要解决的技术问题通过以下技术方案实现：

一种心血管多模态融合分析方法，包括：

获取至少两个诊断图像；

根据所述至少两个诊断图像得到对应的控制信号和对应的图像信息；

根据所述至少两个诊断图像、所述对应的控制信号和所述对应的图像信息获得对应的融合图像；

对所述对应的融合图像进行整合得到融合后图像。

在本发明的一个实施例中，根据所述至少两个诊断图像得到对应的控制信号和对应的图像信息，包括：

将所述至少两个诊断图像与所述至少两个诊断图像对应的预设阈值进行比较得到对应的控制信号；

根据所述至少两个诊断图像与所述对应的控制信号得到对应的图像信息。

在本发明的一个实施例中，所述控制信号包括起始控制信号和终止控制信号。

本发明还提供了一种心血管多模态融合分析系统，包括：

图像获取模块，用于获取至少两个诊断图像；

数据处理模块，用于根据所述至少两个诊断图像得到对应的控制信号和对应的图像信息；根据所述至少两个诊断图像、所述对应的控制信号和所述对应的图像信息获得对应的融合图像；还用于对所述对应的融合图像进行整合得到融合后图像。

在本发明的一个实施例中，还包括显示模块，用于显示融合后图像。

在本发明的一个实施例中，所述数据处理模块包括：

控制信号产生单元，用于将所述至少两个诊断图像与所述至少两个诊断图像对应的预设阈值进行比较得到对应的控制信号；

图像截取单元，用于根据所述至少两个诊断图像与所述对应的控制信号得到对应的图像信息。

本发明还提供了一种心血管多模态融合分析装置，包括：

存储器，用于存储计算机程序；

处理器，所述处理器与所述存储器连接，用于执行所述存储器上存储的计算机程序；

显示器，用于显示处理器输出的信号；

所述处理器用于执行所述存储器上所存放的程序时，实现如权利要求1～4任一所述的方法步骤。

本发明实施例还提供了一种存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现如上述任一实施例所述的方法步骤。

本发明的有益效果：

本发明通过将获取得到的诊断图像进行图像识别分析，识别诊断图像上的特殊标记，以得到控制信号与图像信息，再根据控制信号与图像信息对获取到的对应的诊断图像进行处理得到时间起点与终点一致的融合图像，将融合图像整合后得到融合后图像，这种方法可以通过直接获取诊断图像的方式将图像进行融合，可以在不需要改变原始设备物理或通信协议的基础上，将各设备的数据融合；通过图像识别技术，自动确定图像采集的起始、终止点，无需人员操作，使得操作更加简便；通过将各种诊断图相融合，医生可以在同一屏幕上对病变位置进行分析，集成多种图像，使得医生可以高效的对疾病进行诊断。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是本发明实施例提供的一种心血管多模态融合分析方法的流程框图；

图2是本发明实施例提供的一种心血管多模态融合分析方法中ivus诊断图像与dsa诊断图像融合的流程图；

图3是本发明实施例提供的一种心血管多模态融合分析方法根据ivus诊断图像与dsa诊断图像得到的融合后图像；

图4是本发明实施例提供的一种心血管多模态融合分析方法oct诊断图像与dsa诊断图像融合的流程图；

图5是本发明实施例提供的一种心血管多模态融合分析方法根据oct诊断图像与dsa诊断图像得到的融合后图像；

图6是本发明实施例提供的一种心血管多模态融合分析系统的结构框图；

图7是本发明实施例提供的一种心血管多模态融合分析设备的结构框图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

请参见图1，图1是本发明实施例提供的一种心血管多模态融合分析方法的流程框图，包括：

获取至少两个诊断图像；

根据所述至少两个诊断图像得到对应的控制信号和对应的图像信息；

根据所述至少两个诊断图像、所述对应的控制信号和所述对应的图像信息获得对应的融合图像；

对所述对应的融合图像进行整合得到融合后图像。

本发明通过将获取得到的至少两个诊断图像进行图像识别分析，识别诊断图像上的特殊标记，以得到控制信号与图像信息，再根据控制信号与图像信息对获取到的对应的诊断图像进行处理得到时间起点与终点一致的融合图像，将融合图像整合后得到融合后图像，这种方法可以通过直接获取诊断图像的方式将图像进行融合，可以在不需要改变原始设备物理或通信协议的基础上，将各设备的图像数据融合；通过图像识别技术，自动确定图像采集的起始、终止点，无需人员操作，使得操作更加简便；通过将各种诊断图相融合，医生可以在同一屏幕上对病变位置进行分析、诊断。

在本发明的一个实施例中，根据所述至少两个诊断图像得到对应的控制信号和对应的图像信息，包括：

将所述至少两个诊断图像与所述至少两个诊断图像对应的预设阈值进行比较得到对应的控制信号；

根据所述至少两个诊断图像与所述对应的控制信号得到对应的图像信息。

在本发明的一个实施例中，所述控制信号包括起始控制信号和终止控制信号。

具体的，诊断图像上设有起始标志和终止标志，根据预设的阈值与诊断图像上对应区域的图像进行对比，根据对比结果得到起始控制信号和终止控制信号，通过控制信号对至少两个诊断图像进行截取录像时，可以得到诊断图像所对应的血管。

进一步地，通过起始控制信号、终止控制信号即可得到诊断图像上对应血管区域的融合图像；将融合图像进行整合处理，使得融合图像显示在同一屏幕上，医生通过观察显示在同一屏幕上的多种相关区域的融合后图像进行诊断，使得医生可以更便捷、快速的诊断分析，提高了医生的工作效率。

在本发明的一个实施例中，请参见图2，图2是本发明实施例提供的一种心血管多模态融合分析方法中ivus诊断图像与dsa诊断图像融合的流程图，以血管内超声(intracascularultrasound，ivus)图像和冠状动脉造影(dsa)图像融合为例：

首先，使用基于最大稳定极值区域(mser)和非极大值抑制(nms)的光学字符识别(ocr)算法对获取到的ivus诊断图像进行图像处理，判断ivus诊断图像上的采集提示符；当算法检测到ivus诊断图像上出现采集提示符(以波科ivus设备为例，诊断图像上将出现“caputremodeimaging”)时，表示ivus设备已成像，此时dsa起始控制信号开始控制采集dsa诊断图像；

然后，当ivus诊断图像上出现回拉提示符(以波科ivus设备为例，诊断图像上将出现“caputremoderecording”)时，则表示ivus设备开始回拉，此时dsa终止控制信号控制停止对dsa诊断图像的采集，进而得到第一组dsa图像，并根据第一组dsa图像得到第一组dsa图像的起始点信息；与此同时，产生ivus起始控制信号，ivus起始控制信号开始控制采集ivus诊断图像；

其次，当ivus诊断图像上回拉提示符消失，此时产生ivus终止控制信号，并根据ivus终止控制信号结束采集ivus诊断图像得到ivus融合图像，并且dsa起始控制信号控制对dsa诊断图像进行采集，当采集的dsa诊断图像达到预设图像时间时，停止对dsa诊断图像的采集得到第二组dsa图像，并根据第二组dsa图像得到第二组dsa的终止点信息；

再次，将第一组dsa图像的起始点信息与第二组dsa图像的终止点信息标记在采集到的dsa诊断图像上得到dsa融合图像；

最后，通过采用帧配准将ivus融合图像与dsa融合图像进行整合，以使ivus融合图像的每一帧图像对应dsa图像上的一个固定位置，得到融合后图像，此时可以通过选择时间轴上的时间节点来读取dsa融合图像与ivus融合图像在该时间节点的相应帧的图像，详见图3。

进一步地，当ivus诊断图像上出现采集提示符或回拉提示符消失的同时，还会出现注射造影剂的提示符，以提示医生为患者注射造影剂。

在本发明本发明的一个实施例中，请参见图4，图4是本发明实施例提供的一种心血管多模态融合分析方法oct诊断图像与dsa诊断图像融合的流程图，以光学相干断层扫描(opticalcoherencetomography，oct)与冠状动脉造影(dsa)图像融合为例：

首先，对获取到的oct诊断图像进行图像处理，当oct诊断图像前后两帧的图像在固定位置的像素差的绝对值大于预设阈值时，则说明oct开始回拉操作，此时，dsa起始控制信号控制采集dsa诊断图像，得到dsa融合图像的起始点信息；

然后，当oct诊断图像的当前图像在固定位置的像素和大于给定阈值时，则说明oct诊断图像开始自动回放，并且此时停止采集dsa诊断图像，得到dsa融合图像以及dsa融合图像的终止点信息；与此同时，产生oct起始控制信号，oct起始控制信号控制采集oct诊断图像；当oct诊断图像回放一个周期后，产生oct终止控制信号，oct终止控制信号终止oct诊断图像的采集，得到oct融合图像；

其次，根据dsa融合图像的起始点信息与dsa融合图像的终止点信息对dsa融合图像进行标记，依次得到回拉起始点和回拉终止点坐标，得到dsa融合图像，进而得到oct回拉路径；

最后，通过帧配准将dsa融合图像和oct融合图像进行整合，以使oct融合图像的每一帧图像对应dsa图像上的一个固定位置，得到融合后图像，此时可以通过选择时间轴上的时间节点来读取dsa融合图像与oct融合图像在该时间节点的相应帧的图像，详见图5。

进一步地，oct诊断图像自动回放过程中，数据处理模块将自动判断是否已经回放一个周期(oct诊断图像回拉开始到回拉结束为一个周期)，一个周期结束后，则停止采集oct诊断图像。

在其他实施例中还可以同时实现多种心血管诊断图像的融合。

更进一步地，本实施例中所使用的图像识别处理方法是通过光学字符识别(ocr)算法对获取到的ivus诊断图像进行图像处理，是通过对特殊提示符进行识别，但在其他实施例中，可以通过包括但不限于颜色特征、结构特征、手工特征(hog)和基于深度学习的特征。

还需要说明的是，在其他实施例中，还可以实现多种以上诊断图像的融合操作，融合的过程步骤与上述实施例的方法步骤相同，此处不再赘述。

本发明还提供了一种心血管多模态融合分析系统，包括：

图像获取模块，用于获取至少两个诊断图像；

数据处理模块，用于根据所述至少两个诊断图像得到对应的控制信号和对应的图像信息；根据所述至少两个诊断图像、所述对应的控制信号和所述对应的图像信息获得对应的融合图像；还用于对所述对应的融合图像进行整合得到融合后图像。

在本发明的一个实施例中，还包括显示模块，用于显示融合后图像。

在本发明的一个实施例中，请参见图6，图6是本发明实施例提供的一种心血管多模态融合分析系统的结构框图，所述数据处理模块包括：

控制信号产生单元，用于将所述至少两个诊断图像与所述至少两个诊断图像对应的预设阈值进行比较得到对应的控制信号；

图像截取单元，用于根据所述至少两个诊断图像与所述对应的控制信号得到对应的图像信息。

请参见图7，图7是本发明实施例提供的一种心血管多模态融合分析设备的结构框图，包括：

存储器，用于存储计算机程序；

处理器，所述处理器与所述存储器连接，用于执行所述存储器上存储的计算机程序；

显示器，用于显示处理器输出的信号；

所述处理器用于执行所述存储器上所存放的程序时，实现如上述任一实施例所述的方法步骤。

本发明实施例还提供了一种存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现如上述任一实施例所述的方法步骤。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出简单推演或替换，都应当视为属于本发明的保护范围。