一种图像获取方法、装置和电子设备及可读存储介质与流程

本申请涉及图像处理技术领域，特别涉及一种图像获取方法、装置、电子设备和计算机可读存储介质。

背景技术：

全球乳腺癌发病率从20世纪70年代末开始一直呈上升趋势，并且已经成为世界范围内女性最常见的恶性肿瘤。乳腺病变的早期检测对治愈患者有着非常重要作用。相比于钼靶x线、ct、mri等影像学诊断方法，散射光学成像(dot)系统是一种廉价安全，准确性高、无辐射、无风险的诊断方法，利于乳腺癌的早期筛查与诊断。现有的dot系统能够提供乳房中是否有组织癌变的光学散射信息，但无法进一步确定肿瘤的位置和大小信息，需要其他模态成像系统提供辅助信息。相关技术中利用单一模态的图像往往不能提供医生所需要的足够信息。

因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。

技术实现要素：

本申请的目的是提供一种图像获取方法、图像获取装置、电子设备和计算机可读存储介质，能够将光学图像与目标模态图像进行图像融合，得到的图像信息更加准确。其具体方案如下：

本申请提供了一种图像获取方法，包括：

分别计算光学图像和目标模态图像在预设面的最大强度投影图像，所述预设面包括：横断面、冠状面、矢状面；

分别计算两种所述最大强度投影图像的初始相似度；

对所述初始相似度进行优化，直至所述优化后的相似度大于预设阈值，得到最大相似度值；

基于所述最大相似度值分别在对应的所述预设面进行图像融合，得到融合图像。

可选的，所述分别计算光学图像和目标模态图像在预设面的最大强度投影图像，包括：

对所述光学图像和所述目标模态图像在所述预设面的轨迹上的最大信号进行编码；

将编码后的最大信号投影在对应的所述预设面上，得到所述最大强度投影图像。

可选的，所述分别计算两种所述最大强度投影图像的初始相似度，包括：

对所述最大强度投影图像进行缩放、变换、旋转初始化，得到初始化图像；

对所述初始化图像进行相似度计算，得到所述初始相似度。

可选的，所述对所述初始化图像进行相似度计算，得到所述初始相似度，包括：

对所述初始化图像利用协方差计算进行相似度计算，得到所述初始相似度。

可选的，所述对所述初始相似度进行优化，直至所述优化后的相似度大于预设阈值，得到最大相似度值，包括：

按照第一变量对所述初始化图像进行水平与竖直方向的缩放，得到缩放图像；

基于所述缩放图像得到缩放后的缩放相似度，若所述缩放相似度大于所述初始相似度，则按照第二变量对所述缩放图像进行水平与竖直方向的变换，得到变换图像；

若所述缩放相似度小于所述初始相似度，则按照第二变量对缩放前的图像进行水平与竖直方向的变换，得到所述变换图像；

基于所述变换图像得到变换后的变换相似度，若所述变换相似度大于所述初始相似度，则按照第三变量对所述变换图像进行旋转，得到旋转图像；

若所述变换相似度小于所述初始相似度，则按照第三变量对变换前的图像进行旋转，得到所述旋转图像；

基于所述旋转图像得到旋转相似度，并判断所述旋转相似度是否大于所述初始相似度；

若大于所述初始相似度，则判断所述旋转相似度是否满足预设条件；若满足，则将所述旋转相似度确定为所述最大相似度值；若不满足，则基于步长确定新的所述第一变量、所述第二变量、所述第三变量，以所述旋转图像更新所述初始化图像，并执行所述按照第一变量对所述初始化图像进行水平与竖直方向的缩放，得到第一图像的步骤，直至得到所述最大相似度值；

若小于所述初始度相似度，则基于所述步长确定新的所述第一变量、所述第二变量、所述第三变量，以旋转前图像更新所述初始化图像，并执行所述按照第一变量对所述初始化图像进行水平与竖直方向的缩放，得到第一图像的步骤，直至得到所述最大相似度值。

可选的，所述判断所述旋转相似度是否满足预设条件，包括：

判断所述旋转相似度与所述初始相似度的差值的绝对值是否小于预设阈值；

或，判断所述旋转相似度对应的所述步长是否大于预设步长阈值。

可选的，所述目标模态图像是超声图像、微波成像图像、ct图像中的任意一种。

本申请提供一种图像获取装置，包括：

最大强度投影图像获得模块，用于分别计算光学图像和目标模态图像在预设面的最大强度投影图像，所述预设面包括：横断面、冠状面、矢状面；

初始相似度计算模块，用于分别计算两种所述最大强度投影图像的初始相似度；

最大相似度值获取模块，用于对所述初始相似度进行优化，直至所述优化后的相似度大于预设阈值，得到最大相似度值；

融合图像获得模块，用于基于所述最大相似度值分别在对应的所述预设面进行图像融合，得到融合图像。

本申请提供一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述图像获取方法的步骤。

本申请提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述图像获取方法的步骤。

本申请提供一种图像获取方法，包括：分别计算光学图像和目标模态图像在预设面的最大强度投影图像，预设面包括：横断面、冠状面、矢状面；分别计算两种最大强度投影图像的初始相似度；对初始相似度进行优化，直至优化后的相似度大于预设阈值，得到最大相似度值；基于最大相似度值分别在对应的预设面进行图像融合，得到融合图像。

可见，本申请基于光学图像和目标模态图像的强度信息进行图像融合，计算得到两种图像在预设面的最大强度投影图像，然后分别将两种最大强度投影图像的相似度优化到最大，然后分别在预设面进行图像融合，得到融合后的图像，利用光学图像和目标模态图像的信息优势，在一幅图上同时表达形态和功能及病理信息，得到的病理信息更加准确丰富。

本申请同时还提供了一种图像获取装置、一种电子设备和计算机可读存储介质，均具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种图像获取方法的流程图；

图2为本申请实施例所提供的另一种图像获取方法的流程图；

图3为本申请实施例提供的一种图像获取装置的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

相关技术中利用单一模态的图像往往不能提供医生所需要的足够信息。基于上述技术问题，本实施例提供一种图像获取方法，能够将光学图像与目标模态图像进行图像融合，得到的图像信息更加准确，具体请参考图1，图1为本申请实施例所提供的一种图像获取方法的流程图，具体包括：

s110：分别计算光学图像和目标模态图像在预设面的最大强度投影图像，预设面包括：横断面、冠状面、矢状面。

其中，光学成像也包含利用动态光学成像得到的图像，即动态光学成像。动态光学成像(ddot)的原理简单介绍为：初期肿瘤细胞会刺激新生血管的生成来保障细胞生长需要连续不断的养分和氧气供应。恶性肿瘤组织刺激生成的新生血管具有高密度及高血含量、高血流阻力、受挤压血管塌陷、高氧消耗及高光传播衰减等特征。当用近红外光照射时，同时对乳房进行挤压刺激时，恶性肿瘤血管会出现区别于正常组织的光学吸收特性，用ccd相机将这些异常光学信息进行记录并且通过成像算法进行成像就可以得到肿瘤代谢的功能信息。相比于需要融合的其他形态、结构图像，ddot图像本身的空间分辨率和对比度都比较差，而且ddot在检测中也对乳房进行挤压，而且乳房本身也是一个容易高度变形的器官。一般常见的图像融合方法是基于图像的结构特征信息进行融合，但是对于散射光学成像这种技术本身较差的空间分辨率，所以很难从图像中提取到特征信息。因此，本实施例提供一种图像融合方式，基于图像本身的强度信息进行融合，能够得到融合图像。

其中，目标模态图像是超声图像、微波成像图像、ct图像中的任意一种。

其中，矢状面是沿身体前后径所作的与地面垂直的切面，其中通过正中线的切面称正中面。冠状面是沿身体左右径所作的与地面垂直的切面，也称额状面。横断面是横断身体，与地面平行之切面，亦称水平面。

步骤s110具体包括：计算光学图像在横断面的最大强度投影图像，计算光学图像在冠状面的最大强度投影图像，计算光学图像在矢状面的最大强度投影图像；计算目标模态图像在横断面的最大强度投影图像，计算目标模态图像在冠状面的最大强度投影图像，计算目标模态图像在矢状面的最大强度投影图像。

进一步的，分别计算光学图像和目标模态图像在预设面的最大强度投影图像，包括：对光学图像和目标模态图像在预设面的轨迹上的最大信号进行编码；将编码后的最大信号投影在对应的预设面上，得到最大强度投影图像。

对沿视角(预设面视角)投影的轨迹上的数据中的最大信号进行编码，进行编码的主要目的是保留强度和位置关联信息；将三维空间的最大信号投影在一个平面内获得二维图像，该二维图像就是最大强度投影图像。

具体的，对光学图像在横断面的轨迹上的最大信号进行编码，将编码后的最大信号投影在对应的横断面上，得到最大强度投影图像；对光学图像在冠状面的轨迹上的最大信号进行编码，将编码后的最大信号投影在对应的冠状面上，得到最大强度投影图像；对光学图像在矢状面的轨迹上的最大信号进行编码，将编码后的最大信号投影在对应的矢状面上，得到最大强度投影图像。

对目标模态图像在横断面的轨迹上的最大信号进行编码，将编码后的最大信号投影在对应的横断面上，得到最大强度投影图像；对目标模态图像在冠状面的轨迹上的最大信号进行编码，将编码后的最大信号投影在对应的冠状面上，得到最大强度投影图像；对目标模态图像在矢状面的轨迹上的最大信号进行编码，将编码后的最大信号投影在对应的矢状面上，得到最大强度投影图像。

s120：分别计算两种最大强度投影图像的初始相似度。

其中，该初始相似度指的是光学图像的最大强度投影图像和目标模态图像对应的最大强度投影图像的初始相似度。例如，光学图像的横断面的最大强度投影图像和目标模态图像的横断面的最大强度投影图像的初始相似度；光学图像的冠状面的最大强度投影图像和目标模态图像的冠状面的最大强度投影图像的初始相似度；光学图像的矢状面的最大强度投影图像和目标模态图像的矢状面的最大强度投影图像的初始相似度。

进一步的，分别计算两种最大强度投影图像的初始相似度，包括：对最大强度投影图像进行缩放、变换、旋转初始化，得到初始化图像；对初始化图像进行相似度计算，得到初始相似度。本实施例中先对最大强度投影图像进行初始化，得到初始化图像，以使图像相似度计算的准确度增加。

进一步的，对初始化图像进行相似度计算，得到初始相似度，包括：对初始化图像利用协方差计算进行相似度计算，得到初始相似度。

其中，初始相似度的计算可以是利用协方差计算相似度，matlab中相关计算相关函数计算相似度，可以理解的是该相似度的计算不依赖于某种模态，所以适用于光学图像与超声图像的初始相似度的计算、光学图像与微波成像图像的初始相似度的计算、光学图像与ct图像的初始相似度的计算。

s130：对初始相似度进行优化，直至优化后的相似度大于预设阈值，得到最大相似度值。

本实施例中，使用迭代方式对相似度进行优化，分别计算两种模态在这三个方向上的投影的相似度，然后通过迭代的方法使该相似度优化到最大。可以理解的是，用相似度来衡量两个图像的相关性，当融合参数收敛到一定程度就完成了图像融合。

进一步的，对初始相似度进行优化，直至优化后的相似度大于预设阈值，得到最大相似度值，包括：按照第一变量对初始化图像进行水平与竖直方向的缩放，得到缩放图像；

基于缩放图像得到缩放后的缩放相似度，若缩放相似度大于初始相似度，则按照第二变量对缩放图像进行水平与竖直方向的变换，得到变换图像；

若缩放相似度小于初始相似度，则按照第二变量对缩放前的图像进行水平与竖直方向的变换，得到变换图像；

基于变换图像得到变换后的变换相似度，若变换相似度大于初始相似度，则按照第三变量对变换图像进行旋转，得到旋转图像；

若变换相似度小于初始相似度，则按照第三变量对变换前的图像进行旋转，得到旋转图像；

基于旋转图像得到旋转相似度，并判断旋转相似度是否大于初始相似度；

若大于初始相似度，则判断旋转相似度是否满足预设条件；若满足，则将旋转相似度确定为最大相似度值；若不满足，则基于步长确定新的第一变量、第二变量、第三变量，以旋转图像更新初始化图像，并执行按照第一变量对初始化图像进行水平与竖直方向的缩放，得到第一图像的步骤，直至得到最大相似度值；

若小于初始度相似度，则基于步长确定新的第一变量、第二变量、第三变量，以旋转前图像更新初始化图像，并执行按照第一变量对初始化图像进行水平与竖直方向的缩放，得到第一图像的步骤，直至得到最大相似度值。

进一步的，判断相似度是否满足预设条件，包括：判断旋转相似度与初始相似度的差值的绝对值是否小于预设阈值；或，判断旋转相似度对应的步长是否大于预设步长阈值。

具体的，当前变量＝变量/步长，这里当前变量分别包括了缩放尺度、变换矩阵、旋转矩阵这三个变量。也就是第一变量对应的缩放尺度，第二变量对应变换矩阵，第三变量对应旋转矩阵。其中，两种模态的最大强度投影分别为a、b，s²标识相似度，则s²＝h(a)+h(b)-h(a,b)，这里h代表随机变量的熵，其物理意义是体系混乱程度的度量，其定义为

p(x)是概率密度函数，将a与b带入上述公式得到对应的h(a)、h(b)、h(a,b)。

水平、竖直方向的缩放尺度分别为±δ缩放尺度变量(第一变量)，如果通过该操作使得缩放后的相似度大于初始相似度，那么进行下一步；否则不应用该操作。

水平、竖直方向的变换尺度分别为±δ变换尺度变量(第二变量)，如果通过该操作使得变换后的相似度大于初始相似度，那么进行下一步；否则不应用该操作。其中，利用变换矩阵进行变换，该变换矩阵t可以定义为

t＝argmax[h(a)+h(b)-h(a,b)]。

旋转尺度分别为±δ旋转尺度变量(第三变量)，如果通过该操作使得旋转后的相似度大于初始相似度，那么进行下一步；否则不应用该旋转。其中，利用旋转变换公式进行旋转，该公式定义为

α为旋转角度，u为旋转轴，(1,i,j,k)为四元函数的一组基，w为实部，(x,y,z)是像素点坐标。该公式可以为正交旋转变换矩阵：

其中，判断旋转相似度是否满足预设条件主要是判断是否收敛成功。其中，当执行完成收敛标准为0＜|s²rot-s²initial|≤δs²(即变换后s²rot与初始相似度s²initial的绝对值大于0并且小于相似度变量)或者步长大于步长的阈值，那么循环跳出。如果初始相似度与变换后的相似度相等，则增大步长，减小变换尺度。

s140：基于最大相似度值分别在对应的预设面进行图像融合，得到融合图像。

本步骤的目的是，当完成收敛后，基于最大相似度值分别在对应的预设面进行图像融合，得到最佳融合参数和融合图像。

概括来说，本方法首先分别计算两种模态3d图像在横断面、冠状面、矢状面的最大强度投影(对沿视角投影的轨迹上的数据中的最大信号进行编码，将三维空间的高强度信号投影干一个平面内所获得的二维图像)，然后分别计算两种模态在这三个方向上的投影的相似度，然后通过迭代的方法使该相似度优化到最大，最后分别在三个方向上进行图像融合，得的最佳的融合参数。具体的操作流程请参考图2。

基于上述技术方案，本实施例基于光学图像和目标模态图像的强度信息进行图像融合，计算得到两种图像在预设面的最大强度投影图像，然后分别将两种最大强度投影图像的相似度优化到最大，然后分别在预设面进行图像融合，得到融合后的图像，利用光学图像和目标模态图像的信息优势，在一幅图上同时表达形态和功能及病理信息，得到的病理信息更加准确丰富。

下面对本申请实施例提供的一种图像获取装置进行介绍，下文描述的图像获取装置与上文描述的图像获取方法可相互对应参照，参考图3，图3为本申请实施例所提供的一种图像获取装置的结构示意图，包括：

最大强度投影图像获得模块310，用于分别计算光学图像和目标模态图像在预设面的最大强度投影图像，预设面包括：横断面、冠状面、矢状面；

初始相似度计算模块320，用于分别计算两种最大强度投影图像的初始相似度；

最大相似度值获取模块330，用于对初始相似度进行优化，直至优化后的相似度大于预设阈值，得到最大相似度值；

融合图像获得模块340，用于基于最大相似度值分别在对应的预设面进行图像融合，得到融合图像。

在一些具体的实施例中，最大强度投影图像获得模块310，包括：

编码单元，用于对光学图像和目标模态图像在预设面的轨迹上的最大信号进行编码；

最大强度投影图像获得单元，用于将编码后的最大信号投影在对应的预设面上，得到最大强度投影图像。

在一些具体的实施例中，初始相似度计算模块320，包括：

初始化图像获得单元，用于对最大强度投影图像进行缩放、变换、旋转初始化，得到初始化图像；

初始相似度获得单元，用于对初始化图像进行相似度计算，得到初始相似度。

在一些具体的实施例中，初始相似度获得单元，包括：

初始相似度获子单元，用于对初始化图像利用协方差计算进行相似度计算，得到初始相似度。

在一些具体的实施例中，最大相似度值获取模块330，包括：

缩放图像获得单元，用于按照第一变量对初始化图像进行水平与竖直方向的缩放，得到缩放图像；

第一变换图像获得单元，用于基于缩放图像得到缩放后的缩放相似度，若缩放相似度大于初始相似度，则按照第二变量对缩放图像进行水平与竖直方向的变换，得到变换图像；

第二变换图像获得单元，用于若缩放相似度小于初始相似度，则按照第二变量对缩放前的图像进行水平与竖直方向的变换，得到变换图像；

第一旋转图像获取单元，用于基于变换图像得到变换后的变换相似度，若变换相似度大于初始相似度，则按照第三变量对变换图像进行旋转，得到旋转图像；

第二旋转图像获取单元，用于若变换相似度小于初始相似度，则按照第三变量对变换前的图像进行旋转，得到旋转图像；

判断单元，用于基于旋转图像得到旋转相似度，并判断旋转相似度是否大于初始相似度；

第一执行单元，用于若大于初始相似度，则判断旋转相似度是否满足预设条件；若满足，则将旋转相似度确定为最大相似度值；若不满足，则基于步长确定新的第一变量、第二变量、第三变量，以旋转图像更新初始化图像，并执行按照第一变量对初始化图像进行水平与竖直方向的缩放，得到第一图像的步骤，直至得到最大相似度值；

第二执行单元，用于若小于初始度相似度，则基于步长确定新的第一变量、第二变量、第三变量，以旋转前图像更新初始化图像，并执行按照第一变量对初始化图像进行水平与竖直方向的缩放，得到第一图像的步骤，直至得到最大相似度值。

在一些具体的实施例中，第一执行单元，包括：

第一判断子单元，用于判断旋转相似度与初始相似度的差值的绝对值是否小于预设阈值；

第二判断子单元，用于判断旋转相似度对应的步长是否大于预设步长阈值。

在一些具体的实施例中，目标模态图像是超声图像、微波成像图像、ct图像中的任意一种。

由于图像获取装置部分的实施例与图像获取方法部分的实施例相互对应，因此图像获取装置部分的实施例请参见图像获取方法部分的实施例的描述，这里暂不赘述。

下面对本申请实施例提供的一种电子设备进行介绍，下文描述的电子设备与上文描述的图像获取方法可相互对应参照。

本实施例提供一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如上述图像获取方法的步骤。

由于电子设备部分的实施例与图像获取方法部分的实施例相互对应，因此电子设备部分的实施例请参见图像获取方法部分的实施例的描述，这里暂不赘述。

下面对本申请实施例提供的一种计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的方法可相互对应参照。

本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述图像获取方法的步骤。

由于计算机可读存储介质部分的实施例与方法部分的实施例相互对应，因此计算机可读存储介质部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种图像获取方法、图像获取装置、电子设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。