一种引入机器学习的超声合成孔径成像方法及装置与流程

1.本发明涉及高时间、高空间分辨率超声成像技术领域，尤其是涉及一种引入机器学习的超声合成孔径成像方法及装置。


背景技术：

2.合成孔径聚焦（synthetic aperture focusing technique，saft）超声成像是20世纪70年代发展起来的一种比较有潜力的成像方法，其最初思想可以追溯到20世纪50年代发展起来的合成孔径雷达（synthetic aperture radar，sar）技术。它最初引入超声成像时，是以点源传感器在被测物体的表面上扫查，接收来自物体内部各点的散射声信号并加以存储，然后对不同接收位置上传感器接收的声信号进行适当的延时并叠加，以获得被成像区域的逐点聚焦声学图像。与传统的超声成像方法不同，合成孔径聚焦成像可以利用较小的传感器孔径获得较高的分辨率和对比度。saft技术要求采样和存储每一个孔径点的整个回波信号，即全波采样，其重建理论涉及波束成形（beamforming，bf）比较复杂，无论对硬件或软件都有较高的要求。近年来，诸多改进方案被引入，如多阵元合成孔径聚焦（multi-element synthetic aperture focusing，m-saf）、合成聚焦（synthetic focusing，sf）、合成发射孔径（synthetic transmit aperture，sta）、合成接收孔径（synthetic receive aperture，sra）等。这些改进方法更多的是采用子孔径（sub-aperture）交叠来实现抑制旁瓣和提高分辨率的功能，但在实际处理过程中却极大地增加了需要传输和存储的回波信号数量，牺牲了成像速度。


技术实现要素：

3.为解决现有技术的不足，实现提高成像速度和高精度成像的目的，本发明采用如下的技术方案：一种引入机器学习的超声合成孔径成像方法，包括如下步骤：步骤s1：利用超声相控阵系统，基于合成发射孔径模式，采集通过探测对象后的超声反射回波信号；超声相控阵系统包括一组阵元，合成发射孔径模式是将多个阵元作为子孔径，在一组阵元上间隔发射信号；通过子孔径模式，一方面能够解决单阵元发射信噪比低的问题，另一方面在提高数据采集效率的同时，有效地覆盖检测目标视野，相较于传统扫查补进为1的阵元，避免了大量的收发过程降低了采集数据的效率；步骤s2：根据间隔发射的子孔径对应的超声反射回波信号，构建一对间隔数据集，作为机器学习模型的输入和输出；步骤s3：训练机器学习模型，通过一个间隔数据集预测与其对应的另一个间隔数据集；步骤s4：基于合成发射孔径模式，通过训练好的机器学习模型，将稀疏扫查的超声反射回波信号，扩展成密集扫查的超声反射回波信号；步骤s5：对重构后的超声反射回波信号进行合成孔径聚焦处理，重建相当于密集
收发条件下的波束。
4.进一步地，所述超声相控阵系统包括一维线性传感器阵列，各阵元之间等间距。
5.进一步地，所述步骤s2中，对接收的超声反射回波信号进形预处理，保留超声回波信号，对超声回波信号进行标准化：其中，表示超声回波信号，表示标准化处理后的信号，和分别表示超声回波信号的均值和标准差。
6.进一步地，所述步骤s2中，分别获取两对间隔数据集，分别作为机器学习模型的训练数据集输入、输出，测试数据集输入、输出。
7.进一步地，所述步骤s2中，从第一次发射子孔径到采集超声回波信号，按顺序取出第1+4m回扫查线的超声回波信号，作为训练数据集输入；从第二次发射子孔径到采集超声回波信号，按顺序取出第2+4m回扫查线的超声回波信号，作为训练数据集输出；从第三次发射子孔径到采集超声回波信号，按顺序取出第3+4m回扫查线的超声回波信号，作为测试数据集输入；从第四次发射子孔径到采集超声回波信号，按顺序取出第4+4m回扫查线的超声回波信号，作为测试数据集输出；m表示发送回数。
8.进一步地，各阵元均能发射和接收信号，接收模式采用全孔径接收，最终获取超声反射回波信号的阵元数和信号长度矩阵，将接收到的超声回波信号对应的多维矩阵展开成一维向量后作为机器学习模型的输入和输出。
9.进一步地，所述步骤s4中，将稀疏间隔的n/2k回组成稀疏扫查的超声反射回波信号阵列，通过训练好的机器学习模型，预测稀疏间隔之间扫查的超声反射回波信号，重建n/k-1回密集扫查的超声反射回波信号阵列，n表示所述一组阵元的数量，k表示间隔的阵元数量。
10.进一步地，所述步骤s5中，基于延时叠加算法，对重构后的超声反射回波信号进行合成孔径聚焦处理，包括如下步骤：步骤s5.1：根据超声传播路径的几何关系，计算从第i个相控阵阵元到成像区域内任意一点p(x,y) 后返回第j个相控阵阵元的超声往返传播时间τ
p(i,j)
：式中，(xi，y0)表示发送信号的第i个阵元的位置坐标，(xj，y0)表示接收信号的第j个阵元的位置坐标，c是声波传输介质中的声速，即为水中声速；步骤s5.2：对不同阵元处的发射和接收信号进行延时叠加，计算成像区域内待测目标的聚焦信号：式中，y
p (τ
p(i,j)
)表示第i个阵元位置发射后经第j个阵元位置接收后获得的回波
信号；n表示超声换能器阵元个数，m表示发送回数。
11.进一步地，所述步骤s5中，基于阵元间距和阵元与反射物体之间的距离比小于第一阈值时，将子孔径中的阵元的中心作为子孔径中心，忽略子孔径内其他阵元往返传播的时间，进一步地对延时叠加算法实行简化。
12.一种引入机器学习的超声合成孔径成像装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现所述的一种引入机器学习的超声合成孔径成像方法。
13.本发明的优势和有益效果在于：本发明通过组合多个超声波传感器阵列得到子孔径进行发射，可以有效改善单阵元发射信噪比低的问题；采用稀疏扫查，使得合成孔径的发射回数大幅下降，在保证机器学习模型高精度预测的情况下，可以实现高时间、高空间分辨率成像。此外，该方法操作简单，在超声成像领域中具有较高的实际应用和推广价值。
附图说明
14.图1是本发明的流程示意图。
15.图2是本发明实例中提及的传统sta收发模式示意图。
16.图3是本发明实例中回波采集的示意图。
17.图4是本发明实例中阵列回波信号预处理过程示意图。
18.图5是本发明实例中sta收发情况下空间几何关系示意图。
19.图6a是本发明实施例中原始8回sta收发成像图。
20.图6b是本发明实施例中原始15回sta收发成像。
21.图6c是本发明实施例中基于原始8回收发的回波信号采用xgboost预测后重建的15回sta收发成像图。
22.图6d是本发明实施例中基于原始15回收发的回波信号采用xgboost预测后重建的29回sta收发成像图。
23.图7是本发明实施例中装置的结构图。
具体实施方式
24.以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
25.针对现有超声合成孔径成像需要进行大量回波信号的数据采集，影响成像速度的情况；本发明公开了一种引入机器学习的超声合成孔径成像方法，来填补稀疏扫查导致的信号空间缺失，进而实现高精度成像；引入的机器学习方法在稀疏扫查的阵列回波信号基础上，预测出缺失扫查位置处的回波信号，组成密集的线性阵列回波信号后，再利用延时叠加算法（delay-and-sum，das）重建出高分辨率的合成孔径聚焦成像结果；如图1所示，本实施例方法具体包括如下步骤：s1，利用超声相控阵系统，基于合成发射孔径模式，采集通过探测对象后的超声反射回波信号；超声相控阵系统包括一组阵元，合成发射孔径模式是将多个阵元作为子孔径，在一组阵元上间隔发射信号；
所述超声相控阵系统包括一维线性传感器阵列，各阵元之间等间距。
26.具体地，利用超声相控阵系统，基于合成发射孔径模式，采集通过探测对象后的超声反射回波信号；超声波相控阵系统带有阵元总数为n的一维线性传感器阵列，各个阵元之间等间距，且各个阵元均能发射和接收信号；合成发射孔径模式是将包含m个超声换能器阵元作为子孔径发射信号，然后隔k个超声换能器阵元发射下一子孔径（即以k个超声换能器阵元作为扫查步进），依次类推发射信号，直到最后一个子孔径发射完成；接收模式采用全孔径接收，最终存储超声回波信号的数据形式为n
×
s形矩阵，n是超声换能器阵元个数，s是超声换能器采集到的信号长度。
27.本发明的实施例中，对于传统的超声合成孔径模式如图2所示，在发射部分每次只有1个阵元有效，即扫查步进为1个传感阵元。相对而言发射次数密集，大量的收发过程严重降低了采集数据的效率。本发明实施例中使用的超声探头是包含64个换能器阵元的线阵探头，其中心频率为7.5mhz，带宽超过70%。实际利用超声相控阵系统采集时，将m=8个超声换能器阵元作为子孔径发射信号，然后每隔k=4个超声换能器阵元发射下一子孔径（即以4个超声换能器阵元作为扫查步进），依次类推发射信号，直到最后一个子孔径发射完成；接收模式采用全孔径接收。做这样改进的目的，一方面解决单阵元发射信噪比低的问题，另一方面在提高数据采集效率的同时，有效地覆盖检测目标视野。如图3所示，本发明实例中的检测目标是在水中放置的直径为1.5 mm的金属棒，距离探头10 mm，可以看作点目标的回波成像。
28.s2，根据间隔发射的子孔径对应的超声反射回波信号，构建一对间隔数据集，作为机器学习模型的输入和输出；对接收的超声反射回波信号进形预处理，保留超声回波信号，对超声回波信号进行标准化。
29.具体地，对上述回波信号数据进行预处理，只保留回波部分的数据，截掉其他数据；并将回波信号进行标准化。将预处理后的回波信号划分为训练数据集输入，训练数据集输出，测试数据集输入和测试数据集输出；对上述回波信号进行数据截取，保留回波部分后进行标准化。之后，从第一次发射子孔径到采集回波信号，按顺序取出第1+4m回扫查线的回波信号，作为训练数据集输入；从第二次发射子孔径到采集回波信号，按顺序取出第2+4m回扫查线的回波信号，作为训练数据集输出；从第三次发射子孔径到采集回波信号，按顺序取出第3+4m回扫查线的回波信号，作为测试数据集输入；从第四次发射子孔径到采集回波信号，按顺序取出第4+4m回扫查线的回波信号，作为测试数据集输出；其中，m是发送回数，具体值可以为1,2
…
64。
30.本发明的实施例中，首先，将接收到长度为s的超声信号截去起始长度为300（初始的300个数据）的部分，此部分信号为超声换能器自身的反射回波信号，与目标物体的反射回波信号无关。经过截取后的信号标记为，信号长度记为l。接着，对信号进行标准化处理。输入信号是一个n
×
l形矩阵，n是超声换能器阵元个数，l是单个超声换能器阵元采集到的信号长度。将输入信号进行标准化处理，具体公式如下：
其中，表示超声回波信号，表示标准化处理后的信号，和分别表示超声回波信号的均值和标准差。
31.分别获取两对间隔数据集，分别作为机器学习模型的训练数据集输入、输出，测试数据集输入、输出。
32.步骤s2中，从第一次发射子孔径到采集超声回波信号，按顺序取出第1+4m回扫查线的超声回波信号，作为训练数据集输入；从第二次发射子孔径到采集超声回波信号，按顺序取出第2+4m回扫查线的超声回波信号，作为训练数据集输出；从第三次发射子孔径到采集超声回波信号，按顺序取出第3+4m回扫查线的超声回波信号，作为测试数据集输入；从第四次发射子孔径到采集超声回波信号，按顺序取出第4+4m回扫查线的超声回波信号，作为测试数据集输出；m表示发送回数。
33.其次，如图4所示将标准化处理后的信号分为四部分，训练数据集的输入和输出，测试数据集输入和输出。训练数据集的输入准备由如下方法构成：从第一次发射子孔径到采集回波信号，按顺序取出第1+4m回扫查线的回波信号，后依次排列成形状为（64，l）的多维矩阵；训练数据集的输出准备由如下方法构成：从第二次发射子孔径到采集回波信号，按顺序取出第2+4m回扫查线的回波信号，后依次排列成形状为（64，l）的多维矩阵；同理，从第三次发射子孔径到采集回波信号，按顺序取出第3+4m回扫查线的回波信号，后依次排列成形状为（64，l）的多维矩阵作为测试数据集输入准备；从第四次发射子孔径到采集回波信号，按顺序取出第4+4m回扫查线的回波信号，后依次排列成形状为（64，l）的多维矩阵作为测试数据集输出准备；其中，m是发送回数，本发明实施例中的具体值为0,1,2
…
15。
34.各阵元均能发射和接收信号，接收模式采用全孔径接收，最终获取超声反射回波信号的阵元数和信号长度矩阵，将接收到的超声回波信号对应的多维矩阵展开成一维向量后作为机器学习模型的输入和输出。
35.具体地，将训练数据集和测试数据集形状为（64，l）的多维矩阵都展开成一维向量后作为最终的输入和输出形式。
36.s3，训练机器学习模型，通过一个间隔数据集预测与其对应的另一个间隔数据集；具体地，将训练数据集的相关数据输入机器学习的模型中进行训练，得到训练优化过的机器学习模型并保存后，进行测试数据集的验证并实施目标回波信号的预测；采用的机器学习模型为极致梯度提升（extreme gradient boosting，xgboost）模型。在训练xgboost模型的过程中，并行使用optuna框架来调节模型中的重要超参数，如学习率、迭代次数等。通过决定系数r2（r2越接近于1模型越好）作为检验标准，搜索重要超参数的最佳组合，对预设的xgboost模型进行优化。进而使用优化后的xgboost模型进行测试数据集的验证；利用训练数据集的输入和输出对xgboost模型进行训练和优化以避免欠拟合与过拟合。在本实施例中，一个名为optuna的便捷调参工具，被用来优化xgboost的重要超参数。其中xgboost的重要超参数包括：学习率learning_rate、惩罚项和叶子节点结合项gamma、模型中树的最大深度max_depth、模型中最小叶子节点权重min_child_weight、损失函数中
的l2正则化系数reg_lambda、损失函数中的l1正则化系数reg_alpha、迭代次数n_estimator。首先，基于本实施例为时间信号的模型预测，选定了xgboost模型中目标函数{'objective': 'reg:squarederror'}为确定参数，即目标参数，考虑到是基于时间信号的模型预测，将目标参数设定为reg:squarederror：以均方差（mse）损失函数为最小化的回归问题任务；此外，调节其他参数避免过拟合和欠拟合，获得最优解。为了缩小重要超参数搜索范围，提高调参效率，先基于模型自带的初值对以上重要超参数进行大范围地粗搜索，确定超参数的小范围。然后，进一步在小范围内通过搜索超参数的最佳组合，对xgboost模型进行调参。最后，为本实施例的训练数据集获得最优的xgboost模型及其超参数后保存优化完毕的模型。所述优化过程中采用的优化函数为决定系数r2（r2越接近于1模型越好），调参后r2在0.92左右，而全部使用默认参数的r2在0.69左右。最终优化后xgboost模型的超参数为：{ learning_rate': 0.1999, 'gamma': 0, 'max_depth': 10, 'min_child_weight': 1, 'reg_lambda': 0.0031, 'reg_alpha': 0.029, 'n_estimators': 2000}，其他参数为默认值。将独立的测试数据集用于模型检验，以保证模型效果，检验建立模型的合理性。在确认优化模型合理性后，采用保存的xgboost模型进行后续目标回波信号的预测；s4，基于合成发射孔径模式，通过训练好的机器学习模型，将稀疏扫查的超声反射回波信号，扩展成密集扫查的超声反射回波信号；具体地，对预测出来的回波信号按照合成孔径的扫查模式，进行回波的空间重构，得到相当于密集发射子孔径进行扫查情况下的回波信号；对预测出来的回波信号按照合成孔径的扫查模式，在稀疏的回波信号空间中进行对应延时位置信号的填充，得到相当于密集扫查后高空间分辨率的回波信号矩阵。
37.将稀疏间隔的n/2k回组成稀疏扫查的超声反射回波信号阵列，通过训练好的机器学习模型，预测稀疏间隔之间扫查的超声反射回波信号，重建n/k-1回密集扫查的超声反射回波信号阵列，n表示所述一组阵元的数量，k表示间隔的阵元数量。
38.以本实施例采集的数据为例，8个超声换能器阵元作为子孔径发射信号，每隔4个超声换能器阵元发射下一子孔径，总共64个超声换能器阵元，共计15回收发。相对地，可以取出每隔8个超声换能器阵元的发射结果，共计8回收发的形式组成一个稀疏扫查结果阵列，利用稀疏扫查结果阵列的回波数据，通过优化后的xgboost模型可以预测线阵超声换能器相邻阵元扫查的信号数据，即预测出每隔4个超声换能器阵元收发的回波数据，形成相对密集扫查的信号后重建出16回收发形式的成像结果。但是由于第16回的扫查探头在实际采集中不存在，因此去掉最后一回，只保留15回收发形式的回波信号，并且可以与真实的15回收发的成像结果进行对比。同理，利用15回收发的回波数据可进一步重建出29回收发的回波信号。以上通过预测获得的回波信号和原本用来进行预测的稀疏回波信号均需恢复成(64，l) 形状的多维信号矩阵，再按超声换能器的扫查顺序和延时位置重构出相当于密集扫查下的回波信号。
39.s5，基于延时叠加算法，对重构后的超声反射回波信号进行合成孔径聚焦处理，实现相当于密集收发条件下的波束重建。如图5所示，具体包括如下步骤：步骤s5.1：根据超声传播路径的几何关系，计算从第i个相控阵阵元到成像区域内任意一点p(x,y) 后返回第j个相控阵阵元的超声往返传播时间τ
p(i,j)
：
式中，(xi，y0)表示发送信号的第i个阵元的位置坐标，(xj，y0)表示接收信号的第j个阵元的位置坐标，c是声波传输介质中的声速，即为水中声速；步骤s5.2：对不同阵元处的发射和接收信号进行延时叠加，计算成像区域内待测目标的聚焦信号：式中，y
p (τ
p(i,j)
)表示第i个阵元位置发射后经第j个阵元位置接收后获得的回波信号；n表示超声换能器阵元个数，m表示发送回数。
40.由于本实施例中换能器阵元之间间距非常小不到0.315mm，而换能器阵元与反射物体之间的距离达到10mm，因此，基于阵元间距和阵元与反射物体之间的距离比小于第一阈值时，将子孔径中的阵元的中心作为子孔径中心，忽略子孔径内其他阵元往返传播的时间，进一步地对延时叠加算法实行简化。即可将8个超声换能器阵元的中心作为子孔径中心，在计算往返传播时间τ的时候，可利用子孔径中心进行计算，而忽略子孔径内其他阵元往返传播的时间，进一步地对延时叠加算法实行简化。即8个阵元的传播时间，均采用中心阵元的传播时间代替，由于算出的时间单位是微秒级别（μs），因此误差可以忽略。
41.如图6a至图6d所示，超声换能器预测成像结果与相应的真实成像的对比结果中，图6a原始8回sta收发成像；图6b原始15回sta收发成像；图6c基于原始8回收发的回波信号采用xgboost预测后重建的15回sta收发成像；图6d基于原始15回收发的回波信号采用xgboost预测后重建的29回sta收发成像。图中的对比结果表明本发明对阵列中其他扫查位置的超声换能器信号预测结果准确，后续重建出来的相当于密集扫查下的成像结果更具高分辨率。
42.综上所述，本发明是从超声换能器信号端到信号端的机器学习信号预测方法，使用稀疏扫查下的时序列信号进行预测后，填补出相当于密集扫查下的回波信号，进一步为后续的图像重建提供了便捷。通过直接调用已优化的xgboost模型，能够快速且准确的解决超声合成孔径成像中采集速度的问题，并大大提高超声合成孔径成像的精度。本发明整体设计巧妙，计算简便，易于实现，成本低，适于大规模推广和应用。
43.与前述一种引入机器学习的超声合成孔径成像方法的实施例相对应，本发明还提供了一种引入机器学习的超声合成孔径成像装置的实施例。
44.参见图7，本发明实施例提供的一种引入机器学习的超声合成孔径成像装置，包括存储器和一个或多个处理器，存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述实施例中的一种引入机器学习的超声合成孔径成像方法。
45.本发明一种引入机器学习的超声合成孔径成像装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实
现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图7所示，为本发明一种引入机器学习的超声合成孔径成像装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
46.上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
47.对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
48.本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种引入机器学习的超声合成孔径成像方法。
49.所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（smart media card，smc）、sd卡、闪存卡（flash card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
50.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。