散射光学成像乳房图像融合方法及其系统与流程

本申请涉及图像处理技术领域，尤其涉及一种散射光学成像乳房图像融合方法及其系统。

背景技术：

全球乳腺癌发病率从20世纪70年代末开始一直呈上升趋势，并且已经成为世界范围内女性最常见的恶性肿瘤。在美国每8个妇女中就会有1人患有乳腺癌。中国虽然不是乳腺癌的高发地区，但也不宜乐观。近年来随着自然环境不断恶化，各种生活压力不断增加，我国乳腺癌发病率的增长速度却高出高发地区1～2个百分点。

经研究发现，如果能早期及时检测，乳腺癌是可以完全治愈的。由此可见，乳腺病变的早期检测对治愈患者有着非常重要作用。

相比于钼靶x线、ct、mri等影像学诊断方法，散射光学成像(dot)系统是一种廉价安全，准确性高、无辐射、无风险的诊断方法，利于乳腺癌的早期诊断。

现有的散射光学成像(diffuseopticaltomography(dot))成像系统能够提供乳房中是否有组织癌变的光学参数信息，但无法进一步确定肿瘤的位置和大小信息，需要其他模态的成像系统提供辅助信息。在临床诊断中，单一模态的图像往往不能提供医生所需要的足够信息，因此，如果能将不同模态的医学图像进行适当的融合，使解剖信息和功能信息有机地结合起来，在一幅图像上同时综合地表达来自多种成像源的信息，以便医生了解病变组织或器官的综合情况，并做出更加准确的诊断或制定出更加科学优化的治疗方案，这必将推动现代医学临床技术的巨大进步。

技术实现要素：

为了解决上述技术问题，本申请实施例提供一种dot乳房图像融合方法及其系统。

本申请实施例第一方面提供了一种dot乳房图像融合方法，可包括：

获取dot图像和乳房解剖图像数据，对两类图像进行校正和去噪预处理；

基于所述预处理之后的图像数据，获取乳头位置和内部特征；

多重网格化处理上述预处理后的图像，分别对两种图像进行刚性匹配使得两幅图的初始几何偏差最小；

基于所获取的乳头位置和内部特征生成图像的控制点和样条函数，并将控制点赋予权值；

设置约束项函数，基于所生成的控制点和样条函数对两类图像进行非刚性变换生成配准图。

进一步地，所述获取dot图像和乳房解剖图像数据，对两类图像进行校正和去噪预处理包括：

获取图像数据，分别形成dot图像和乳房解剖图像；

调整dot图像和乳房解剖图像的像素大小至两个图像的像素大小相同；

基于像素相同的两个图像，利用滤波函数进行卷积去噪处理。

进一步地，所述乳房解剖图像数据包括超声乳房图像或者微波乳房图像。

进一步地，所述基于所述预处理之后的图像数据，获取乳头位置和内部特征包括：

获取预处理之后的图像数据；

利用标定方式或卷积神经网络对图像进行特征提取。

进一步地，所述多重网格化处理上述预处理后的图像，分别对两种图像进行刚性匹配使得两幅图的初始几何偏差最小包括：

对图像进行多重网格化处理，增加像素；

利用乳头位置和内部特征的内容分别对两种图像进行刚性匹配，构建旋转变换矩阵，在图像上进行刚性变换。

进一步地，所述基于所获取的乳头位置和内部特征生成图像的控制点和样条函数，并将控制点赋予权值包括：

基于乳房的特征生成图像的控制点，并对控制点内容赋予权值；

设置样条函数对图像进行非刚性图像匹配。

本申请实施例第二方面提供了一种dot乳房图像融合系统，包括：

预处理单元，用于获取dot图像和乳房解剖图像数据，对两类图像进行校正和去噪预处理；

特征提取单元，用于基于所述预处理单元输出的图像数据，采用标定方式或卷积神经网络获取乳头位置和内部特征；

刚性匹配单元，用于对两种图像进行刚性匹配使得两幅图的初始几何偏差最小；

参数设置单元，用于基于所获取的乳头位置和内部特征生成图像的控制点和样条函数，并将控制点赋予权值；

非刚性变换单元，用于设置约束项函数，基于所生成的控制点和样条函数对两类图像进行非刚性变换生成配准图。

进一步地，所述预处理单元包括：

图像获取单元，用于利用硬件设备获取图像数据，分别形成dot图像和乳房解剖图像；所述乳房解剖图像数据包括超声乳房图像或者微波乳房图像；

像素调整单元，用于调整dot图像和乳房解剖图像的像素大小至两个图像的像素大小相同；

去噪处理单元，用于基于像素相同的两个图像，利用滤波函数进行卷积去噪处理。

进一步地，所述刚性匹配单元包括：

网格化处理单元，用于对图像进行多重网格化处理，增加像素；

刚性变换单元，用于利用乳头位置和内部特征的内容分别对两种图像进行刚性匹配，构建旋转变换矩阵，在图像上进行刚性变换。

进一步地，所述参数设置单元包括：

控制点获取单元，用于基于乳房的特征生成图像的控制点，并对控制点内容赋予权值；

变换函数获取单元，基于自由变换形式，设置样条函数作为对图像进行非刚性图像的函数。

在本申请实施例中，本方法可以将碗状超声乳房(或微波)成像系统和光学乳腺检测成像系统得到的图像融合，利用各自的信息优势，在一幅图上同时表达解剖和功能及病理信息；本发明可以解决无论是dot图像还是超声图像(或者微波图)在成像过程中被检测组织都不同程度的扭曲变形，将两个不同变形程度的不同模态图像融合。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的流程图；

图2(a)是超声乳房图像；

图2(b)是dot散射光学图像示意图；

图3(a)是基于cnn神经网络对图像进行特征提取的逻辑框图；

图3(b)是图1的逻辑框图；

图4是本申请实施例提供的一种融合系统的示意框图；

图5是本申请实施例提供的一种融合装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

如图1所示，是本申请所涉及的一种dot乳房图像融合方法的流程图，包括：

s101:获取dot图像和乳房解剖图像数据，对两类图像进行校正和去噪预处理。

可以理解的是，本方案需要利用硬件设备来获取图像数据，作为一个具体的实施例，本申请利用便携式多模态乳腺癌检测仪的超声(或微波)系统和散射光学成像系统分别得到的图像进行融合的。

在超声成像中由于在成像孔径中耦合剂的注入对乳房造成了一定程度的挤压使乳房超声图像产生了一定的扭曲变形。另外在dot成像过程中由于气囊的轻微挤压使得光学乳房图像也发生了变形，如图2(a)(b)所示，其中图2(b)在实际中应为彩色图像。此外，在有的情况下，检测仪并不是采用超声系统获取图像，而是采用微波来进行成像，该情况下就是将微波图像与dot图像进行融合，在后续的步骤上都相同，在后面的实施例中，均以超声图像为例进行说明。

作为一个具体的实施例，本步骤中首先对图像进行预处理，分别对超声乳腺图像和dot图像进行尺度校正和图像去噪。这个步骤首先将二者调整到相同的像素大小，然后分别对两个图像(均以i表示)与滤波函数f做卷积运算得去除噪音的图像i′，i′＝i*f，滤波函数这里采用的是维纳滤波(wienerfiltering)，其他诸如中值滤波，高斯滤波，均值滤波等函数也可以采用。

s102:基于所述预处理之后的图像数据，获取乳头位置和内部特征。

可以理解的是，如图3(b)所示，在经过预处理的图像中提取乳房的乳头位置和内部特征(如乳腺后间隙)信息，该特征可以通过人为标定，也可以通过卷积神经网络(convolutionalneuralnetworks,cnn)等多种方法进行提取，由于采用卷积神经网络提取特征的方式已经是很常用的技术方案了，这里就不进行赘述。

s103:多重网格化处理上述预处理后的图像，分别对两种图像进行刚性匹配使得两幅图的初始几何偏差最小。

可以理解的是，对图像进行多重网格化处理是用来增加匹配的灵活度和匹配精度。

然后分别对两种图像进行刚性匹配来使在后面非刚性匹配时，两幅图的初始几何偏差达到最小，这里的刚性匹配主要利用乳房的乳头和边缘特征进行匹配。

作为一个具体的实施例，假定α为旋转角度，u为旋转轴，(1,i,j,k)为四元函数的一组基，那么基于四元数的三维旋转变换公式为：写成的正交旋转变换矩阵为：

通过该旋转变换作用在图像i上面进行二者图像的刚性变换，其中ω，x,y,z分别是在(1,i,j,k)这四个坐标方向的数值。

s104:基于所获取的乳头位置和内部特征生成图像的控制点和样条函数，并将控制点赋予权值。

可以理解的是，待刚性变换收敛后，基于乳房的特征(如乳头，乳腺后间隙等)生成图像的控制点，并将控制点赋予一定的权值，使得二者图像进行非刚性图像匹配时，当这些控制点产生空间位移时，b样条函数随即被弯曲。

变换函数采用的自由形式变换(ffds)，可以描述为三个一维三次b样条函数的张量积，即：

其中l,m,n表示求和的变量，分别取值0-3进行求和，ijk表示一个变换对象p中一个元素的坐标，βi为第i次b样条的基函数，具体表示为：

s105:设置约束项函数，基于所生成的控制点和样条函数对两类图像进行非刚性变换生成配准图。

可以理解的是，为了保证非刚性几何变换域的平滑性和可逆性，用一个匹配代价函数加入一个几何变换作为约束项，定义如下：t表示变换函数，ω变换范围或者边界，x,yz是三维坐标。

本方案能够将碗状超声乳腺成像系统和光学乳腺检测成像系统得到的图像融合，利用各自的信息优势，在一幅图上同时表达解剖和功能及病理信息。本发明处理的一个难点与特色(主要是与其他发明不同的点)是无论是dot图像还是超声图像(或者微波图)在成像过程中被检测组织都不同程度的发生了扭曲变形，将两个不同变形程度的不同模态图像融合是本发明需要解决的。

本申请实施例还提供一种dot乳房图像融合系统，该系统用于执行前述任一项上述融合方法。具体地，参见图4，图4是本申请实施例提供的一种融合系统的示意框图。本实施例的装置包括：预处理单元310、特征提取单元320、刚性匹配单元330、参数设置单元340和非刚性变换单元350。

上述的预处理单元310，用于获取dot图像和乳房解剖图像数据，对两类图像进行校正和去噪预处理。

具体地预处理单元310分为三个部分，包括：

图像获取单元311，用于利用硬件设备获取图像数据，分别形成dot图像和乳房解剖图像。本申请中硬件设备采用便携式多模态乳腺癌检测仪，其所采集的图像一般都是dot图像以及超声乳房图像或者微波乳房图像。

像素调整单元312，用于调整dot图像和乳房解剖图像的像素大小至两个图像的像素大小相同。

去噪处理单元313，用于基于像素相同的两个图像，利用滤波函数进行卷积去噪处理，具体地，分别对两个图像(均以i表示)与滤波函数f做卷积运算得去除噪音的图像i′，i′＝i*f，滤波函数这里采用的是维纳滤波(wienerfiltering)，其他诸如中值滤波，高斯滤波，均值滤波等函数也可以采用。

上述的特征提取单元320，用于基于所述预处理单元输出的图像数据，采用标定方式或卷积神经网络获取乳头位置和内部特征。在经过预处理的图像中提取乳房的乳头位置和内部特征(如乳腺后间隙)信息，该特征可以通过人为标定，也可以通过卷积神经网络(convolutionalneuralnetworks,cnn)等多种方法进行提取。

上述的刚性匹配单元330，用于对两种图像进行刚性匹配使得两幅图的初始几何偏差最小。

具体地，刚性匹配单元330包括：

网格化处理单元331，用于对图像进行多重网格化处理，增加像素，增加匹配的灵活度和匹配精度。

刚性变换单元332，用于利用乳头位置和内部特征的内容分别对两种图像进行刚性匹配，构建旋转变换矩阵，在图像上进行刚性变换。

上述的参数设置单元340，用于基于所获取的乳头位置和内部特征生成图像的控制点和样条函数，并将控制点赋予权值。

具体地，参数设置单元340包括：

控制点获取单元341，待刚性变换收敛后用于基于乳房的特征生成图像的控制点，并对控制点内容赋予权值，使得二者图像进行非刚性图像匹配时，当这些控制点产生空间位移时，b样条函数随即被弯曲。

乳房的特征包括乳头，乳腺后间隙等。

变换函数获取单元342，基于自由变换形式，设置样条函数作为对图像进行非刚性图像的函数，变换函数采用的自由形式变换(ffds)，可以描述为三个一维三次b样条函数的张量积。

上述的非刚性变换单元350，用于设置约束项函数，为了保证非刚性几何变换域的平滑性和可逆性，用一个匹配代价函数加入一个几何变换作为约束项，基于所生成的控制点和样条函数对两类图像进行非刚性变换生成配准图。

图5是本申请实施例提供的一种融合设备的结构示意图。该对象检测设备4000包括处理器41，还可以包括输入装置42、输出装置43和存储器44。该输入装置42、输出装置43、存储器44和处理器41之间通过总线相互连接。

存储器包括但不限于是随机存储记忆体(randomaccessmemory，ram)、只读存储器(read至onlymemory，rom)、可擦除可编程只读存储器(erasableprogrammablereadonlymemory，eprom)、或便携式只读存储器(compactdiscread至onlymemory，cd至rom)，该存储器用于相关指令及数据。

输入装置用于输入数据和/或信号，以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件，也可以是一个整体的器件。

处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessingunit，cpu)，在处理器是一个cpu的情况下，该cpu可以是单核cpu，也可以是多核cpu。处理器还可以包括一个或多个专用处理器，专用处理器可以包括gpu、fpga等，用于进行加速处理。

存储器用于存储网络设备的程序代码和数据。

处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。

可以理解的是，图5仅仅示出了对象检测设备的简化设计。在实际应用中，动作识别装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本申请实施例的动作识别装置都在本申请的保护范围之内。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriberline，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read至onlymemory，rom)，或随机存储存储器(randomaccessmemory，ram)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digitalversatiledisc，dvd)、或者半导体介质，例如，固态硬盘(solidstatedisk，ssd)等。

以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换(如数量、形状、位置等)，这些等同变换均属于本发明的保护。