超声图像超分辨率处理方法、超声设备及存储介质与流程

1.本发明涉及超声成像技术领域，尤其涉及一种超声图像超分辨率处理方法、超声设备及存储介质。


背景技术：

2.在超声成像过程中，需采用超分辨率模型对超声图像进行超分辨率处理，以提高超声图像的清晰度或者增加超声图像中小目标的成像大小，使得超分辨率处理后的超声图像更有利于医生识别病灶。一般来说，在超声图像采集过程难免会受到各类干扰，使得所获取的超声图像带有高频噪声干扰，而常规的超分辨率模型无法处理这部分高频噪声干扰，使得超分辨率处理后的超声图像存在纹理过于尖锐等现象，影响超分辨率处理后的超声图像的图像质量。


技术实现要素：

3.本发明实施例提供一种超声图像超分辨率处理方法、超声设备及存储介质，以解决现有超声图像超分辨率处理后的图像质量不佳的问题。
4.一种超声图像超分辨率处理方法，包括：获取待处理超声图像；对所述待处理超声图像进行质量检测，获取质量检测结果；若所述质量检测结果确定所述待处理超声图像为模糊超声图像，则采用lesrcnn模型对所述待处理超声图像进行超分辨率处理，获取重建后的超声图像；若所述质量检测结果确定所述待处理超声图像为噪声超声图像，则采用ns-lesrcnn模型对所述待处理超声图像进行噪声抑制和超分辨率处理，获取重建后的超声图像；其中，所述ns-lesrcnn模型是采用抑噪增强块对lesrcnn模型的增强块进行替换所形成的lesrcnn模型，所述抑噪增强块在特征提取过程中进行噪声抑制。
5.一种超声图像超分辨率处理装置，包括：待处理超声图像获取模块，用于获取待处理超声图像；质量检测结果获取模块，用于对所述待处理超声图像进行质量检测，获取质量检测结果；第一超分辨率处理模块，用于若所述质量检测结果确定所述待处理超声图像为模糊超声图像，则采用lesrcnn模型对所述待处理超声图像进行超分辨率处理，获取重建后的超声图像；第二超分辨率处理模块，用于若所述质量检测结果确定所述待处理超声图像为噪声超声图像，则采用ns-lesrcnn模型对所述待处理超声图像进行噪声抑制和超分辨率处理，获取重建后的超声图像；其中，所述ns-lesrcnn模型是采用抑噪增强块对lesrcnn模型的增强块进行替换
所形成的lesrcnn模型，所述抑噪增强块在特征提取过程中进行噪声抑制。
6.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述超声图像超分辨率处理方法。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述超声图像超分辨率处理方法。
8.上述超声图像超分辨率处理方法、超声设备及存储介质，先对待处理超声图像进行质量检测，在质量检测结果确定待处理超声图像为噪声超声图像时，在待处理超声图像为模糊超声图像时，采用lesrcnn模型对所述待处理超声图像进行超分辨率处理，采用ns-lesrcnn模型对所述待处理超声图像进行噪声抑制和超分辨率处理，可使噪声信息较多的待处理超声图像经过超分辨率重建后的超声图像具有较高的分辨率，以保障重建后的超声图像对噪声有所抑制，并达到提升图像质量的目的。ns-lesrcnn模型的抑噪增强块在传递浅层图像特征时考虑了图像噪声带来的干扰，使得带有噪声的超声图像在进行超分辨率处理时，既能感官上满足超声科医师要求，又能在定量化指标（ssim和psnr）上达到业界先进的超分辨率算法水平。
附图说明
9.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
10.图1是本发明一实施例中超声图像超分辨率处理方法的一应用环境示意图；图2是本发明一实施例中超声图像超分辨率处理方法的一流程图；图3是本发明一实施例中超声图像超分辨率处理方法的另一流程图；图4是本发明一实施例中超声图像超分辨率处理方法的另一流程图；图5是本发明一实施例中超声图像超分辨率处理方法的另一流程图；图6是本发明一实施例中超声图像超分辨率处理方法的另一流程图；图7是本发明一实施例中超声图像超分辨率处理装置的一示意图；图8是超声图像数据集的一示例图，图8a为模糊超声图像，图8b为噪声超声图像，图8c为正常超声图像；图9是本发明一实施例中的ns-lesrcnn模型和lesrcnn模型构架对比图；图10是图9所示的ns-lesrcnn模型中的ns-ieeb模块的一示意图；图11是lesrcnn模型和ns-lesrcnn模型进行测试所形成的超分辨率模型测试结果对比图，测试结果中的测试指标为psnr/ssim。
具体实施方式
11.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施
例，都属于本发明保护的范围。
12.本发明实施例提供的超声图像超分辨率处理方法，该超声图像超分辨率处理方法可应用在超声设备中，超声设备包括主控制器和与主控制器相连的超声探头、波束合成处理器、图像处理器和显示屏。主控制器为超声设备的控制器，主控制器与超声设备中的其他功能模块相连，包括但不限于超声探头、波束合成处理器、图像处理器和显示屏等功能模块相连，用于控制各个功能模块工作。
13.超声探头是超声波的发射和接收装置。本示例中，为了保证不同角度的超声图像都能够有较大的横向扫描覆盖范围，即保证不同角度的超声图像有较大的交叠范围，现有超声探头一般由若干大小相同的长条形压电换能器（每单个压电换能器称为阵元）等间隔排列组成；或者将多个压电换能器是呈二维阵列，即阵元排列成二维矩阵形状。超声探头内的压电换能器将施加在其上的电压脉冲激励转换成机械振动，从而对外发出超声波；超声波在人体组织等媒介中传播，会产生反射波和散射波等回波模拟信号，各个压电换能器可将回波模拟信号转换成回波电信号，对回波电信号进行放大和模数转换，转换成回波数字信号，再将回波数字信号发送给波束合成处理器。
14.波束合成处理器与超声探头相连，用于接收超声探头发送的回波数字信号，对一个或多个通道的回波数字信号进行波束合成，获取一路或多路回波合成信号，将回波合成信号发送给图像处理器。
15.图像处理器与波束合成处理器相连，用于接收波束合成处理器发送的回波合成信号，对回波合成信号进行图像合成、空间复合和其他图像处理操作，将处理后的超声图像发送给显示屏，以使显示屏显示处理后的超声图像。本示例中，图像处理器在将超声图像发送给显示屏进行显示之前，还可对超声图像进行超分辨率重构，以获取重建后的超声图像，以将重建后的超声图像发送给显示屏进行显示，保障显示的超声图像质量。
16.在一实施例中，如图2所示，提供一种超声图像超分辨率处理方法，以该方法应用在图像处理器为例进行说明，包括如下步骤：s201：获取待处理超声图像；s202：对待处理超声图像进行质量检测，获取质量检测结果；s203：若质量检测结果确定待处理超声图像为模糊超声图像，则采用lesrcnn模型对待处理超声图像进行超分辨率处理，获取重建后的超声图像；s204：若质量检测结果确定待处理超声图像为噪声超声图像，则采用ns-lesrcnn模型对待处理超声图像进行噪声抑制和超分辨率处理，获取重建后的超声图像；其中，ns-lesrcnn模型是采用抑噪增强块对lesrcnn模型的增强块进行替换所形成的lesrcnn模型，抑噪增强块在特征提取过程中进行噪声抑制，也就是说，ns-lesrcnn模型和lesrcnn模型的主要区别在于它们的增强块这一子模块能否实现抑噪功能。s-lesrcnn模型的抑噪增强块在传递浅层图像特征时考虑了图像噪声带来的干扰，相对于lesrcnn模型的增强块而言，带有高频信息的特征图传递方式有所不同。
17.其中，待处理超声图像是指需要进行处理的超声图像。
18.作为一示例，步骤s201中，图像处理器可获取用户输入的待处理超声图像。待处理超声图像为需要进行质量控制的超声图像。也就是说，待处理超声图像为需要进行质量评估，以确定是否需要进行质量提升处理的超声图像。
19.其中，合格超声图像是指图像质量合格的超声图像，与之相对的概念为不合格超声图像，不合格超声图像是指图像质量不合格的超声图像。
20.作为一示例，步骤s202中，图像处理器在获取待处理超声图像后，可采用预先设置的图像质量评价算法，对待处理超声图像进行质量检测，获取质量检测结果。此处的图像质量评价算法是指预先设置的用于分析图像质量的算法。本示例中，图像质量评价算法可采用但不限于无参考（no reference，以下简称nr）图像质量评价算法，无参考图像质量评价算法可适用在无参考图像进行对比的场景，可对待处理超声图像的图像质量进行检测计算。在采用无参考图像质量评价算法对待处理超声图像进行质量检测时，可借鉴自然图像领域的用于检测图像质量的无参考图像评价指标进行质量检测。
21.其中，重建后的超声图像是指对待处理超声图像进行超分辨率处理后的超声图像。
22.作为一示例，步骤s203中，图像处理器在质量检测结果确定待处理超声图像为模糊超声图像时，说明待处理超声图像的清晰度较低且噪声信息较少，此时，可采用lesrcnn模型对待处理超声图像进行超分辨率处理，获取重建后的超声图像，以保障重建后的超声图像具有较好的图像质量，达到提升图像质量的目的。
23.现有技术中，可采用轻量化的盲超分辨率模型（lightweight image super-resolution with endhanced cnn，lesrcnn）对超声图像进行超分辨率处理，lesrcnn模型的网络架构如下1所示，包括增强块（information extraction and enhancement block,以下简称ieeb模块）、重构块（reconstruction block,以下简称rb模块）和信息提纯块（information refinement block, 以下简称irb模块）。
24.在一具体实施方式中，采用lesrcnn模型对待处理超声图像进行超分辨率处理，获取重建后的超声图像，包括：（1）采用增强块，对待处理超声图像进行特征提取，获取增强后的低频特征和未抑噪的高频特征。本示例中，ieeb模块采用异构结构（3*3和1*1卷积组成）对输入的超声图像进行特征提取，提取增强后的低频特征和未抑噪的高频特征，将未抑噪的高频特征和增强后的低频特征通过对应的特征通道输入rb模块。低频特征是指超声图像的背景对应的特征。未抑噪的高频特征是指ieeb模块提取出的未进行噪声抑制的高频特征。高频特征是区别于低频特征的特征，不仅包括纹理特征，还包括噪声特征。
25.（2）采用重构块，对增强后的低频特征和未抑噪的高频特征进行特征重构，获取重构后的高频特征。本示例中，采用rb模块对接收到的增强后的低频特征和未抑噪的高频特征进行上采样处理，获取重构后的高频特征，将重构后的高频特征输入irb模块进行处理。
26.（3）采用信息提纯块，对重构后的高频特征进行信息提纯，获取重建后的超声图像。本示例中，irb模块对接收到的重构后的高频特征进行优化，恢复高频特征相关的图像细节，以保障模型的超分辨率性能。
27.作为一示例，步骤s204中，图像处理器在质量检测结果确定待处理超声图像为噪声超声图像时，说明待处理超声图像包含噪声信息较多，若采用现有lesrcnn模型进行处理，则其ieeb模块这一增强块所提取的增强后的低频特征和未抑噪的高频特征中，未抑噪的高频特征不仅包括反映图像细节的纹理特征，还包括基于噪声干扰所形成的噪声特征，这些噪声特征，会使超分辨率处理后的超声图像存在纹理过于尖锐等现象，影响超分辨率
处理后的超声图像的图像质量。因此，需采用抑噪增强块lesrcnn模型的增强块进行替换，以获取ns-lesrcnn模型，该ns-lesrcnn模型的抑噪增强块在特征提取过程中，尤其是在高频特征提取过程中，会对噪声信息进行抑制，以将提取到的包含较少噪声信息的抑噪后的高频特征输入到重构块和信息提纯块进行超分辨率处理，使得ns-lesrcnn模型可实现对待处理超声图像进行噪声抑制和超分辨率处理，获取重建后的超声图像，以保障重建后的超声图像对噪声有所抑制，达到提升图像质量的目的。
28.本实施例中，先对待处理超声图像进行质量检测，在确定待处理超声图像为模糊超声图像时，采用lesrcnn模型对待处理超声图像进行超分辨率处理；在确定待处理超声图像为噪声超声图像时，采用ns-lesrcnn模型对待处理超声图像进行噪声抑制和超分辨率处理。如此操作，可使超分辨率重建后的超声图像具有较高的分辨率，以保障重建后的超声图像具有较好的图像质量，达到提升图像质量的目的。ns-lesrcnn模型的抑噪增强块在传递浅层图像特征时考虑了图像噪声带来的干扰，使得带有噪声的超声图像在进行超分辨率处理时，既能感官上满足超声科医师要求，又能在定量化指标（ssim和psnr）上达到业界先进的超分辨率算法水平。
29.在一实施例中，如图3所示，步骤s202，即对待处理超声图像进行质量检测，获取质量检测结果，包括：s301：采用brenner梯度函数和laplacian梯度函数，分别对待处理超声图像进行质量检测，获取brenner梯度实测值和laplacian梯度实测值；s302：若brenner梯度实测值不大于brenner梯度阈值，则获取待处理超声图像为模糊超声图像的质量检测结果；s303：若laplacian梯度实测值不小于laplacian梯度阈值，则获取待处理超声图像为噪声超声图像的质量检测结果；s304：若brenner梯度实测值大于brenner梯度阈值且laplacian梯度实测值小于laplacian梯度阈值，则获取待处理超声图像为合格超声图像的质量检测结果。
30.作为一示例，步骤s301中，图像处理器分别采用brenner梯度函数和laplacian梯度函数，对待处理超声图像进行质量检测，获取brenner梯度函数输出的brenner梯度实测值和laplacian梯度函数输出的laplacian梯度实测值。本示例中，brenner梯度实测值是采用brenner梯度函数评价图像清晰度的梯度实测值，一般来说，brenner梯度实测值越大，图像轮廓越显。laplacian梯度实测值是采用laplacian梯度函数评价图像清晰度的梯度实测值，一般来说，laplacian梯度实测值越大，图像噪声干扰越多。
31.其中，brenner梯度阈值为预先设置的用于评估brenner梯度实测值是否是否达到预设清晰度标准的阈值。
32.作为一示例，步骤s302中，图像处理器在获取待处理超声图像对应的brenner梯度实测值之后，可将brenner梯度实测值与brenner梯度阈值进行比较；若brenner梯度实测值不大于brenner梯度阈值，则说明待处理超声图像的图像轮廓不够明显，因此，可获取获取待处理超声图像为模糊超声图像的质量检测结果。
33.其中，laplacian梯度阈值为预先设置的用于评估laplacian梯度实测值是否达到预设清晰度标准，从而确定是否存在较大噪声干扰的阈值。
34.作为一示例，步骤s303中，图像处理器在获取待处理超声图像对应的laplacian梯
度实测值后，可将laplacian梯度实测值和laplacian梯度阈值进行比较；若laplacian梯度实测值不小于laplacian梯度阈值，则说明待处理超声图像的存在较大噪声干扰，因此，可获取待处理超声图像为噪声超声图像的质量检测结果。
35.作为一示例，步骤s304中，图像处理器在获取待处理超声图像对应的brenner梯度实测值和laplacian梯度实测值后，将brenner梯度实测值与brenner梯度阈值进行比较，并将laplacian梯度实测值和laplacian梯度阈值进行比较；若brenner梯度实测值大于brenner梯度阈值且laplacian梯度实测值小于laplacian梯度阈值，说明待处理超声图像的图像轮廓够明显，且不存在较大噪声干扰，因此，可获取待处理超声图像为合格超声图像的质量检测结果。
36.表1 图像质量评价指标对照表作为一示例，如图8所示，图像处理器所接收到的待处理超声图像可能为模糊超声图像（如图8a）、噪声超声图像（如图8b）和合格超声图像（如图8c）。模糊超声图像是指清晰度未达到预设清晰度标准的超声图像。噪声超声图像是指噪声信息较多的超声图像，合格超声图像是指清晰度达到预设清晰度标准且噪声信息较少的超声图像。由噪声超声图像可知，噪声的存在，会使超声图像的轮廓更尖锐，超声图像中的高频特征更明显。结合表1所示的图像质量评价指标对照表可知，在所有无参考图像评价指标中，laplacian梯度函数和brenner梯度函数等梯度相关函数能够有效针对轮廓特点，对分布在超声图像中的噪声干扰进行分析。此外，针对椒盐状噪声这种没有明显轮廓的噪声超声图像，其噪声零散分布在超声图像中，采用laplacian梯度函数会比brenner梯度函数更适用于这种场景，因此，laplacian梯度函数更适于评价噪声超声图像，而brenner梯度函数更适于评价模糊超声图像。方差函数、灰度方差函数、灰度方差乘积函数和能量梯度函数等都是从清晰度角度进行
评价，虽然其指标也能体现像素梯度的特征值，但其整体表现效果不如laplacian梯度函数和brenner梯度函数。vollath函数主要适用于文本的噪声分析，在图像识别过程中，但其整体表现效果不如laplacian梯度函数和brenner梯度函数。熵函数主要结合自然图像的相机对焦原理，在图像清晰度越高时，其包含的信息量越多，其熵值越大，以利用熵函数评价图像质量。
37.本实施例中，利用brenner梯度函数和laplacian梯度函数对待处理超声图像进行质量检测，根据三个质量评价指标的评价结果，可快速准确的识别出待处理超声图像是否为模糊超声图像、噪声超声图像和合格超声图像，以保障合格超声图像的图像质量。
38.在一实施例中，ns-lesrcnn模型包括抑噪增强块、重构块和信息提纯块；如图4所示，步骤s204，即采用ns-lesrcnn模型对待处理超声图像进行噪声抑制和超分辨率处理，获取重建后的超声图像，包括：s401：采用抑噪增强块，对待处理超声图像进行特征提取和噪声抑制，获取增强后的低频特征和抑噪后的高频特征；s402：采用重构块，对增强后的低频特征和抑噪后的高频特征进行特征重构，获取重构后的高频特征；s402：采用信息提纯块，对重构后的高频特征进行信息提纯，获取重建后的超声图像。
39.如图9所示，轻量化的抑噪盲超分辨率模型（noise suppression-lightweight image super-resolution with endhanced cnn，简称ns-lesrcnn）的网络架构包括抑噪增强块（information extraction and enhancement block for noise suppression, 以下简称ns-ieeb模块）、lightweight image super-resolution with endhanced cnn，即轻量化的盲超分辨率模型。
40.作为一示例，步骤s401中，图像处理器采用ns-lesrcnn模型中的ns-ieeb模块，对待处理超声图像进行特征提取和噪声抑制，获取增强后的低频特征和抑噪后的高频特征，将取增强后的低频特征和抑噪后的高频特征输入rb模块进行处理。其中，低频特征是指超声图像的背景对应的特征。抑噪后的高频特征是指ns-ieeb模块提取出的已经进行噪声抑制的高频特征。本示例中，抑噪后的高频特征为与ieeb模块输出的未抑噪的高频特征相对的概念，抑噪后的高频特征也包括纹理特征和噪声特征，但由于ns-ieeb模块在特征提取过程中进行噪声抑制，使得其所提取到的抑噪后的高频特征中的噪声特征远小于未抑噪的高频特征的噪声特征。
41.如图9所示，改进后的ns-lesrcnn模型包括17层卷积的抑噪增强块、1层重构块和5层信息提纯块。采用17层卷积的抑噪增强块对低分辨率的待处理超声图像进行特征提取和特征增强，并对提取到的特征进行细化处理，以减少计算量。此处的特征提取是指采用3*3卷积层和1*1卷积层对待处理超声图像进行特征提取；此处的特征增强是指采用图10所示的ns-ieeb模块中的残差模块来叠加所提取到的特征，以达到特征增强目的；此处的特征细化是指通过多个卷积操作不断降低背景对应的增强后的低频特征，以实现对线条宽度进行缩减细化。本示例中，由于待处理超声图像的图像矩阵在经过多个卷积和激活处理会变得稀疏，会使后续计算量减少，同时为了避免细化后图像矩阵的纹理特征丢失，需将ns-ieeb模块提取到的抑噪后的高频特征通过ns-ieeb通道发送给rb模块。与之相比，lesrcnn模型
中的ieeb模块会将提取到的未抑噪的高频特征通过ieeb通道发送给rb模块。本示例中，不管是ns-ieeb模块提取到的抑噪后的高频特征还是ieeb模块提取到的未抑噪的高频特征，均包括待处理超声图像的全部信息，既包含纹理特征，也包括噪声特征，但抑噪后的高频特征中的噪声特征远小于未抑噪的高频特征中的噪声特征。
42.本示例中，如图9所示，改进前的lesrcnn模型的ieeb模块包括多个卷积单元，每个卷积单元包括1个3*3卷积层、1个relu激活层和1个1*1卷积层，其卷积单元输出的高频特征，尤其是3*3卷积层输出的高频特征通过ieeb通道传输至rb模块。改进后的ns-lesrcnn模型ns-ieeb模块包括多个卷积单元，每个卷积单元包括1个3*3卷积层、1个relu激活层和1个1*1卷积层，其卷积单元输出的高频特征，3*3卷积层输出的高频特征通过ns-ieeb通道传输至rb模块，ns-ieeb通道采用图10所示结构，可利用ns-ieeb模块实现特征增强和噪声抑制。本示例中，卷积核的大小已经标注，通道数为64。输入的待处理超声图像通过填充（padding）的方式保持特征图像尺寸不变，在经过1*1的卷积操作时，padding=0，而进行3*3的卷积操作时，padding=1。因此，在改变图像通道时，网络并不需要对特征传递时张量（tensor）的图像尺寸进行调整。改进后的ns-lesrcnn模型中，卷积神经网络各个子模块之间一般是串级前后相连，图9中的部分特征图之间会通过传递通道以加的操作方式相连接，此处的特征图包括高频特征对应的特征图和低频特征对应的特征图。
43.作为一示例，步骤s402中，图像处理器采用ns-lesrcnn模型中的rb模块，对接收到的增强后的低频特征和抑噪后的高频特征进行特征重构，获取重构后的高频特征，将重构后的高频特征输入irb模块进行处理。本示例中，采用rb模块对增强后的低频特征和抑噪后的高频特征进行特征重构，既避免噪声干扰，又避免纹理特征等图像细节信息丢失，有助于保障最终获取的重建后的超声图像的图像质量。
44.作为一示例，步骤s403中，图像处理器采用ns-lesrcnn模型中的对接收到的重构后的高频特征进行优化，恢复高频特征相关的图像细节，以保障模型的超分辨率性能。
45.本实施例中，采用ns-lesrcnn模型中的抑噪增强块，对待处理超声图像进行特征提取和噪声抑制，获取增强后的低频特征和抑噪后的高频特征，以实现在待处理超声图像的特征提取过程中进行噪声抑制，避免噪声干扰导致生成的重建后的超声图像中的轮廓等纹理较尖锐，以保障重建后的超声图像具有较好的图像质量，达到提升图像质量的目的。
46.在一实施例中，如图5所示，步骤s402，即采用重构块，对增强后的低频特征和抑噪后的高频特征进行特征重构，获取重构后的高频特征，包括：s501：获取目标放大尺度；s502：基于目标放大尺度，分别对增强后的低频特征和抑噪后的高频特征进行上采样处理，获取低频上采样特征和高频上采样特征；s503：对低频上采样特征和高频上采样特征进行特征重构，获取重构后的高频特征。
47.作为一示例，步骤s501中，图像处理器在获取增强后的低频特征和抑噪后的高频特征后，需先获取目标放大尺度。此处的目标放大尺度是指对待处理超声图像的图像特征进行上采样的尺度，该目标放大尺度可以为预先设置的默认值，也可以为根据待处理超声图像的图像尺寸和图像质量所确定的尺度。
48.其中，低频上采样特征是指增强后的低频特征进行上采样处理后的特征。高频上
采样特征是指抑噪后的高频特征进行上采样处理后的特征。
49.作为一示例，步骤s502中，图像处理器在获取目标放大尺度后，可基于目标放大尺度，对增强后的低频特征进行上采样处理，以获取上采样处理后的低频上采样特征；并且，可基于同一目标放大尺度，对抑噪后的高频特征进行上采样处理，获取高频上采样特征。本示例中，基于同一目标放大尺度对增强后的低频特征和抑噪后的高频特征进行上采样处理，使得低频上采样特征和高频上采样特征具有相同的图像尺寸，以方便后续进行特征重构。
50.本示例中，图像处理器中设有子像素卷积层，在子像素卷积层中基于目标放大尺度，分别对增强后的低频特征和抑噪后的高频特征进行上采样处理，该子像素卷积层可逐点卷积和组卷积两个操作整合在一起（pointwise group convolution），也可提供组间信息交换的机制（channel shuffle） ，以达到既减少模型的计算量，又可以保证其精度不变的目的。
51.作为一示例，步骤s503中，图像处理器在获取同一目标放大尺度对应的低频上采样特征和高频上采样特征后，可先对低频上采样特征和高频上采样特征进行特征相加，再对相加后的特征进行激活处理，以获取重构后的高频特征，如图9所示。本示例中，通过对低频上采样特征和高频上采样特征进行特征相加和激活处理等特征重构操作，使得获取到的重构后的高频特征既包含较高分辨率的增强后的低频特征和高频特征。
52.本实施例中，基于同一目标放大尺度对增强后的低频特征和抑噪后的高频特征进行上采样处理，使得低频上采样特征和高频上采样特征具有相同的图像尺寸，为两者进行特征重构提供技术基础；再对低频上采样特征和高频上采样特征进行特征重构，使得获取到的重构后的高频特征包含较多的图像细节信息。
53.在一实施例中，如图6所示，步骤s501，即获取目标放大尺度，包括：s601：获取待处理超声图像的图像尺寸和质量检测值；s602：根据待处理超声图像的图像尺寸和质量检测值，确定目标放大尺度。
54.其中，待处理超声图像的图像尺寸是指待处理超声图像本身的尺度。待处理超声图像的质量检测值是指对待处理超声图像进行质量检测后确定的检测值。本示例中，质量检测值为采用目标梯度函数对待处理超声图像进行质量检测所确定的梯度值。此处的目标梯度函数是指用于实现质量检测的梯度函数，目标梯度函数包括但不限于brenner梯度函数和laplacian梯度函数。
55.作为一示例，步骤s601中，图像处理器可根据输入的待处理超声图像，获取该待处理超声图像的图像尺寸和质量检测值。本示例中，由于步骤s202中对待处理超声图像进行质量检测过程中，已经采用brenner梯度函数和laplacian梯度函数等目标梯度函数进行检测处理，可直接将质量检测过程中所确定的brenner梯度实测值和laplacian梯度实测值，确定为质量检测值，该质量检测值表征待处理超声图像的图像质量。
56.作为一示例，步骤s602中，图像处理器在待处理超声图像的图像尺寸和质量检测值后，可根据图像尺寸和质量检测值，查询预先设置的放大尺度对照表，从放大尺度对照表中，确定与图像尺度和质量检测值对应的目标放大尺度。例如，在图像尺寸较低时，采用较大的目标放大尺度进行上采样处理；或者，在图像尺寸较高时，即图像尺寸满足预设要求时，对质量检测值较低的待处理超声图像可采用较小的目标放大尺度进行上采样处理。
57.本示例中，所确定的目标放大尺度一般为2-4倍的放大尺度，优选为2倍或4倍的放大尺度，主要原因是3倍尺度的放大尺度不利于后续的图像处理，无论是实验设计还是图像质量分析，偶数倍的放大尺度更易于分析。
58.例如，在测试过程中，针对正常参考图像分别进行2倍下采样或者4倍下采样，获取2倍下采样或者4倍下采样后的模糊参考图像；给2倍下采样或者4倍下采样后的模糊参考图像添加噪声干扰信息，可获取2倍下采样或者4倍下采样对应的噪声参考图像，将正常参考图像、模糊参考图像和噪声参数图像作为模型输入，分别输入lesrcnn模型和ns-lesrcnn模型进行测试，获取psnr/ssim这两个测试指标对应的测试结果如图11所示：（1）将正常参考图像输入lesrcnn模型和ns-lesrcnn模型，分别采用2倍和4倍的目标放大尺度进行上采样处理，所测试到的psnr/ssim这两个测试指标的模型得分第1行所示。（2）将噪声参考图像输入lesrcnn模型和ns-lesrcnn模型，分别采用2倍的目标放大尺度对2倍下采样对应的噪声参考图像进行上采样处理，采用4倍的目标放大尺度对4倍下采样对应的噪声参考图像进行上采样处理，所测试到的psnr/ssim这两个测试指标的模型得分如第2行和第3行所示。（3）将模糊参考图像输入lesrcnn模型和ns-lesrcnn模型，分别采用2倍的目标放大尺度对2倍下采样对应的噪声参考图像进行上采样处理，采用4倍的目标放大尺度对4倍下采样对应的噪声参考图像进行上采样处理，其模型得分如第4行和第5行所示。由图11所示的测试结果对比可知，在图像尺寸满足预设尺寸要求的前景下，采用较小的目标放大尺度进行上采样处理后，在对噪声参考图像进行超分辨率处理后的超声图像的模型得分较高，更接近正常参考图像，其图像质量较高。
59.本实施例中，根据待处理超声图像的图像尺寸和表征待处理超声图像的图像质量的质量检测值（包括但不限于brenner梯度实测值和laplacian梯度实测值），自适应确定目标放大尺度，可实现在图像尺寸较低时，采用较大的目标放大尺度进行上采样处理；或者，在图像尺寸较高时，即图像尺寸满足预设要求时，对质量检测值较低的待处理超声图像可采用较小的目标放大尺度进行上采样处理。也就是说，在图像尺寸满足预设要求时，图像质量较低的待处理超声图像采用较小的目标放大尺度进行上采样处理，其主要原因在于，由实验确定，采用较小的目标放大尺度进行上采样处理后，其最终形成的重建后的超声图像更接近参考超声图像。
60.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
61.在一实施例中，提供一种超声图像超分辨率处理装置，该超声图像超分辨率处理装置与上述实施例中超声图像超分辨率处理方法一一对应。如图7所示，该超声图像超分辨率处理装置包括待处理超声图像获取模块701、质量检测结果获取模块702、第一超分辨率处理模块703和第二超分辨率处理模块704。各功能模块详细说明如下：待处理超声图像获取模块701，用于获取待处理超声图像；质量检测结果获取模块702，用于对待处理超声图像进行质量检测，获取质量检测结果；第一超分辨率处理模块703，用于若质量检测结果确定待处理超声图像为模糊超声图像，则采用lesrcnn模型对待处理超声图像进行超分辨率处理，获取重建后的超声图
像；第二超分辨率处理模块704，用于若质量检测结果确定待处理超声图像为噪声超声图像，则采用ns-lesrcnn模型对待处理超声图像进行噪声抑制和超分辨率处理，获取重建后的超声图像；其中，ns-lesrcnn模型是采用抑噪增强块对lesrcnn模型的增强块进行替换所形成的lesrcnn模型，抑噪增强块在特征提取过程中进行噪声抑制。
62.在一实施例中，质量检测结果获取模块702，包括：梯度实测值获取子模块，用于采用brenner梯度函数和laplacian梯度函数，分别对待处理超声图像进行质量检测，获取brenner梯度实测值和laplacian梯度实测值；模糊质量检测结果获取子模块，用于若brenner梯度实测值不大于brenner梯度阈值，则获取待处理超声图像为模糊超声图像的质量检测结果；噪声质量检测结果获取子模块，用于若laplacian梯度实测值不小于laplacian梯度阈值，则获取待处理超声图像为噪声超声图像的质量检测结果；合格质量检测结果获取子模块，用于若brenner梯度实测值大于brenner梯度阈值且laplacian梯度实测值小于laplacian梯度阈值，则获取待处理超声图像为合格超声图像的质量检测结果。
63.在一实施例中，ns-lesrcnn模型包括抑噪增强块、重构块和信息提纯块；第二超分辨率处理模块704，包括：抑噪增强处理子模块，用于采用抑噪增强块，对待处理超声图像进行特征提取和噪声抑制，获取增强后的低频特征和抑噪后的高频特征；特征重构处理子模块，用于采用重构块，对增强后的低频特征和抑噪后的高频特征进行特征重构，获取重构后的高频特征；信息提纯处理子模块，用于采用信息提纯块，对重构后的高频特征进行信息提纯，获取重建后的超声图像。
64.在一实施例中，特征重构处理子模块，包括：目标放大尺度获取单元，用于获取目标放大尺度；上采样处理单元，用于基于目标放大尺度，分别对增强后的低频特征和抑噪后的高频特征进行上采样处理，获取低频上采样特征和高频上采样特征；特征重构处理单元，用于对低频上采样特征和高频上采样特征进行特征重构，获取重构后的高频特征。
65.在一实施例中，目标放大尺度获取单元，包括：图像属性获取子单元，用于获取待处理超声图像的图像尺寸和质量检测值；目标放大尺度获取子单元，用于根据待处理超声图像的图像尺寸和质量检测值，确定目标放大尺度。
66.关于超声图像超分辨率处理装置的具体限定可以参见上文中对于超声图像超分辨率处理方法的限定，在此不再赘述。上述超声图像超分辨率处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
67.在一实施例中，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中超声图像超分辨率处理方法，例如图2所示s201-s204，或者图2至图6中所示，为避免重复，这里不再赘述。或者，处理器执行计算机程序时实现超声图像超分辨率处理装置这一实施例中的各模块/单元的功能，例如图7所示的待处理超声图像获取模块701、质量检测结果获取模块702、第一超分辨率处理模块703和第二超分辨率处理模块704的功能，为避免重复，这里不再赘述。
68.在一实施例中，提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中超声图像超分辨率处理方法，例如图2所示s201-s204，或者图2至图6中所示，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现上述超声图像超分辨率处理装置这一实施例中的各模块/单元的功能，例如图7所示的待处理超声图像获取模块701、质量检测结果获取模块702、第一超分辨率处理模块703和第二超分辨率处理模块704的功能，为避免重复，这里不再赘述。
69.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
70.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
71.以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。