超声成像导航方法、超声设备及存储介质与流程

1.本发明涉及超声导航技术领域，尤其涉及一种超声成像导航方法、超声设备及存储介质。


背景技术：

2.目前，医护人员对患者进行超声成像打图时，医护人员目前一手拿换能器，然后放置在需要检查的部位进行扫描成像。然而，不同身高、体重、性别的人的器官位置是有差异的，放置超声探头的位置不一定是需要检查的部位。此外，有些操作经验差的操作者在知道需要检查的部位后，并不能准确找到需要检查的部位。


技术实现要素：

3.本发明的目的在于克服现有技术中存在的不足，提供一种能够引导超声探头运动至需要检查的目标器官的超声成像导航方法、超声设备及存储介质。
4.作为本发明的第一个方面，提供了一种超声成像导航方法，包括：获取检测对象待扫查的目标器官信息；获取至少包含所述检测对象以及超声探头的环境影像；基于所述目标器官信息以及所述环境影像，利用训练好的识别网络模型从所述环境影像中识别所述目标器官以及所述超声探头；识别所述超声探头对应的初始器官；引导所述超声探头运动至所述目标器官进行超声扫查。
5.进一步地，所述引导所述超声探头运动至所述目标器官进行超声扫查的步骤，包括：计算所述目标器官与所述初始器官的中心坐标；基于所述中心坐标，规划所述初始器官到所述目标器官的引导路径；区别显示所述目标器官、所述初始器官以及所述引导路径。
6.进一步地，所述区别显示所述目标器官与所述初始器官以及所述引导路径的步骤，包括：在显示器上区别显示所述目标器官、初始器官以及所述引导路径；和/或在所述检测对象的表面区别显示所述目标器官、初始器官以及所述引导路径。
7.进一步地，在所述环境影像为rgb图像时，所述基于所述目标器官信息以及所述环境影像，利用训练好的识别网络模型从所述环境影像中识别所述目标器官以及所述超声探头的步骤，包括：从所述rgb图像中分割出所述检测对象的不同器官的分布区域以及所述超声探头的分布区域；识别不同分布区域对应的器官信息，所述器官信息至少包括器官名称或器官类别；基于所述目标器官信息确定所述目标器官的分布区域。
8.进一步地，在所述环境影像为rgb视频时，所述基于所述目标器官信息以及所述环境影像，利用训练好的识别网络模型从所述环境影像中识别所述目标器官以及所述超声探头的步骤，包括：选取所述rgb视频中任意一帧rgb图像；从所述rgb图像中分割出所述检测对象的不同器官的分布区域以及所述超声探头的分布区域；识别不同分布区域对应的器官信息，所述器官信息至少包括器官名称或器官类别；基于所述目标器官信息确定目标器官的分布区域。
9.进一步地，所述识别所述超声探头对应的初始器官的步骤，包括：获取所述超声探头沿超声波发射方向在所述检测对象表面的投影区域；识别所述投影区域对应的所述检测对象的器官，确定所述初始器官。
10.进一步地，所述从所述rgb图像中分割出所述检测对象的不同器官的分布区域以及所述超声探头的分布区域的步骤，具体为：计算所述rgr图像中每个像素点对应器官类别的概率；基于每个像素点对应器官类别的概率确定检测对象不同器官的分布区域以及所述超声探头的分布区域。
11.进一步地，所述识别网络模型为基于分割不同器官轮廓以及超声探头轮廓的分割模型，其中，所述分割模型包括：输入层、若干卷积层、若干池化层、若干双线性插值层以及输出层，所述双线性插值层的通道数与需要识别的器官以及所述探头的数量相同。
12.进一步地，所述识别网络模型为基于矩形框识别器官以及超声探头分布区域的检测模型，所述检测模型包括：输入层、若干卷积层、若干池化层、若干双线性插值层以及输出层，其中，所述双线性插值层与所述卷积层相加的输出再通过两层卷积进入所述输出层输出。
13.作为本发明的第二个方面，提供了一种训练识别网络模型的方法，包括：采集若干人体图像，对所述人体图像的器官进行标注；将标注好的人体图像输入分割神经网络进行训练，通过训练对所述分割神经网络中的参数进行更新；将所述分割神经网络的输出结果输入检测神经网络进行训练，通过训练对所述检测神经网络中的参数进行更新，得到识别网络模型。
14.作为本发明的第三个方面，提供了一种超声设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现权利要求上述任一项所述的超声成像导航方法的步骤。
15.作为本发明的第四个方面，提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现上述任一项所述的超声成像导航方法的步骤。
16.本发明的一种超声成像导航方法，利用训练好的识别网络模型从所述环境影像中识别所述目标器官以及所述超声探头，并根据超声探头对应的初始器官引导超声设备运动
至目标器官，准确度高，大大提高了操作人员扫查的工作效率。
17.进一步地，本发明的超声成像导航方法，能够在显示器或者检测对象表面显示引导路径，更加直观，提高引导的准确度。
附图说明
18.附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：图1为本发明的超声成像导航方法流程图。
19.图2为本发明的识别所述目标器官以及所述超声探头方法流程图。
20.图3为本发明的超声成像导航方法另一实施例的流程图。
21.图4为本发明一实施例的分割模型的结构示意图。
22.图5为本发明一实施例的检测模型的结构示意图。
23.图6为本发明在显示器上进行引导的结构示意图。
具体实施方式
24.目前，医护人员对患者进行超声成像打图时，医护人员目前一手拿换能器，然后放置在需要检查的部位进行扫描成像。然而，不同身高、体重、性别的人的器官位置是有差异的，放置超声探头的位置不一定是需要检查的部位。此外，有些操作经验差的操作者在知道需要检查的部位后，并不能准确找到需要检查的部位。本发明提供了一种能够引导超声探头运动至需要检查的目标器官的超声成像导航方法。
25.下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
26.图1为本发明的超声成像导航方法流程图。如图1所示，作为本发明的第一方面，本发明提出一种超声成像导航方法，包括步骤：s100，获取检测对象待扫查的目标器官信息；通过超声设备上的输入单元输入目标器官信息，使得超声设备能够获取检测对象的待扫查的目标器官；输入单元可以是键盘、轨迹球、鼠标或触摸板等或它们的组合；输入单元也可以采用语音识别输入单元，或手势识别输入单元等。需要理解的是，目标器官信息可以是目标器官的名称或者通过输入单元选择显示器上显示的目标器官图标。
27.s200，获取至少包含所述检测对象以及超声探头的环境影像；
具体地，通过摄像机拍摄至少包含检测对象以及超声探头的环境影像，环境影像可以是rgb图像也可以是rgb视频。
28.s300，基于所述目标器官信息以及所述环境影像，利用训练好的识别网络模型从所述环境影像中识别所述目标器官以及所述超声探头；图2为本发明的识别所述目标器官以及所述超声探头方法流程图。如图2所示，具体地，利用训练好的识别网络模型从所述环境影像中识别所述目标器官以及所述超声探头，包括：s310，从所述rgb图像中分割出所述检测对象的不同器官的分布区域以及所述超声探头的分布区域；首先通过识别网络模型将rgb图像中分割出所述检测对象的不同器官的分布区域以及所述超声探头的分布区域，不同的器官以及探头进行区别显示，例如，不同的器官或超声探头的分布区域采用不同颜色或者明暗度进行区别显示。
29.s320，识别不同分布区域对应的器官信息，所述器官信息至少包括器官名称或器官类别；在通过识别网络模型识别不同分布区域对应的器官信息，进而可以识别不同器官的名称或类别。需要理解的是因为环境影像中只有一个超声探头，因此识别出超声探头的分布区域之后不需要再确定超声探头的信息了。
30.s330，基于所述目标器官信息确定所述目标器官的分布区域。
31.可以理解的是，基于获取的检测对象待扫查的目标器官信息可以定位目标器官的分布区域。
32.若环境影像为rgb视频时，选取所述rgb视频中任意一帧rgb图像；从所述rgb图像中分割出所述检测对象的不同器官的分布区域以及所述超声探头的分布区域；识别不同分布区域对应的器官信息，所述器官信息至少包括器官名称或器官类别；基于所述目标器官信息确定目标器官的分布区域。
33.在一实施例中，所述识别网络模型为基于分割不同器官轮廓以及超声探头轮廓的分割模型，其中，所述分割模型包括：输入层、若干卷积层、若干池化层、若干双线性插值层以及输出层，所述双线性插值层的通道数与需要识别的器官以及所述探头的数量相同。
34.如图4，分割模型的输入是一幅三通道的rgb图像，接着是两层卷积+池化的模块，卷积核大小为3
×
3，步长为1，卷积的核数量以32的倍数递增，池化层的核大小为2
×
2，步长为2，此模块的数量与后续的双线性插值+卷积的模块相一致，可依据训练测试效果增加或减少模块的数量。在两个模块间会有两层卷积（卷积核3
×
3，步长1）用于连接，增强特征提取。双线性插值+卷积层输出的通道数为器官和超声探头的类别数，并在卷积后加入relu激活函数，用于缓解梯度消失的问题。在前面池化层后接着一层卷积层，卷积核大小为1
×
1，目的是和前者输出的通道数（即器官和超声探头的类别数）相同，同时也增加了非线性，增加网络的拟合能力，此部分会与前者相加作为下一次上采样的输入，起到改善网络分类的能力。在最后的双线性插值+卷积层里，在输出的通道数上做softmax，取最大值的索引，即每个像素都会对应一个类别，此时的输出为1通道，也就是最终的器官分割图像，在此图像上不同的器官区域会有不同的类别值表示。
35.在另一实施例中，所述识别网络模型为基于矩形框识别器官以及超声探头分布区域的检测模型，所述检测模型包括：输入层、若干卷积层、若干池化层、若干双线性插值层以及输出层，其中，所述双线性插值层与所述卷积层相加的输出再通过两层卷积进入所述输出层输出。如图5所示，与分割模型类似，在卷积+池化的模块中，尺寸不断减半，图像的分辨率不断减小，有用的语义信息不断增强，在与双线性插值+卷积模块的融合后，有效增强了网络对目标的检测能力，而不同分辨率阶段的预测，有效增强了网络对小目标的检测。与分割模型不同的是，取每次双线性插值+卷积与池化后卷积相加的输出，再加上两层卷积，一层是为了回归目标矩形框（x,y,w,h），（x,y）为目标矩形框的左上点，（w,h）为目标矩形框的宽高；另一层是为了得到目标矩形框框所对应的类别分数，类别分数最高的类别代表该目标矩形框为该类别对应的器官。
36.s400，识别所述超声探头对应的初始器官；具体地，包括：s410，获取所述超声探头沿超声波发射方向在所述检测对象表面的投影区域；s420，识别所述投影区域对应的所述检测对象的器官，确定所述初始器官。
37.即通过获取超声探头在检测对象表面的投影区域进而确定超声探头初始位置对应的初始器官。
38.在一实施例中，如图3所示，若无法识别所述投影区域对应的所述检测对象的器官，还包括：步骤s430，调整摄像机拍摄角度。
39.调整摄像机拍摄角度可以是控制摄像机以另一视角拍摄至少包含所述检测对象以及超声探头的环境影像的数据或者控制其他摄像机进行拍摄；基于所述目标器官信息以及所述环境影像，利用训练好的识别网络模型从所述环境影像中识别所述目标器官以及所述超声探头；识别所述超声探头对应的初始器官。
40.需要理解的是，本发明可以设置多个摄像机，当主摄像机拍摄的影响数据无法识别超声探头对应的初始器官时，启用其它摄像机进行拍摄识别。
41.s500，引导所述超声探头运动至所述目标器官进行超声扫查。
42.具体地，判断所述初始器官是否为待扫查的目标器官，若否，引导所述超声探头运动至所述目标器官进行超声扫查。本发明可以引导机器臂搭载超声探头从初始器官位置运动至目标器官位置处，也可以是引导缺乏操作经验的操作者手动移动超声探头，或者能够自动移动的超声探头实现自主导航。
43.具体地包括步骤:s510，计算所述目标器官与所述初始器官的中心坐标；由识别网络模型的分割模型可得某个器官的不规则区域，根据该区域得到中心坐标（x_c, y_c）；由识别网络模型的检测模型可得某个器官的矩形框，根据该矩形框得到中心坐标（x+w/2, y+h/2）。
44.s520，基于所述中心坐标，规划所述初始器官到所述目标器官的引导路径；引导路径为初始器官到目标器官的最短路径。
45.s530，区别显示所述目标器官、所述初始器官以及所述引导路径。
46.如图6所示，具体地，在显示器上区别显示所述目标器官、初始器官以及所述引导路径；在显示器上可以显示超声探头当前的位置，以及下一步动作，例如平移的方向、距离，以及选择的角度。
47.和/或在所述检测对象的表面区别显示所述目标器官、初始器官以及所述引导路径。需要理解的是本发明的显示器包括vr或者ar设备的显示器。区别显示包括采用不同的色彩、亮度等方式进行显示，使得操作人员能够直观的观察超声探头的运动轨迹。本发明可以通过投影装置将引导路径投射在检测对象表面。
48.本发明的一种超声成像导航方法，利用训练好的识别网络模型从所述环境影像中识别所述目标器官以及所述超声探头，并根据超声探头对应的初始器官引导超声设备运动至目标器官，准确度高，大大提高了操作人员扫查的工作效率。进一步地，本发明的超声成像导航方法，能够在显示器或者检测对象表面显示引导路径，更加直观，提高引导的准确度。
49.作为本发明的第二个方面，提供了一种训练识别网络模型的方法，包括：分割模型通过如下步骤进行训练获得：采集若干包含超声探头的人体图像，对所述人体图像的器官和超声探头进行标注；将标注好的包含超声探头的人体图像输入分割神经网络进行训练，根据训练调整分割神经网络的参数，得到训练后的分割模型。或采集若干包含超声探头的人体图像，对所述人体图像的器官和超声探头进行标注；将标注好的包含超声探头的人体图像输入检测神经网络进行训练，根据训练调整分割神经网络的参数，得到训练好的检测模型。
50.即采集不同人的全身照，利用标注工具对照片进行人体的器官标注，这边采用两种标注方式，器官分割是基于全图的器官轮廓，并以一个类别数值对应一个轮廓里的所有像素，非器官轮廓的区域为类别0；器官检测是基于矩形框的，以一个矩形框包含一个器官，并标记该器官所对应的类别。
51.需要理解的是，识别网络模型可以通过共用全卷积神经网络，同时识别不同的器官以及超声探头，也可以通过不同的卷积神经网络分布识别检测对象的器官以及超声探头。利用训练好的识别网络模型从所述环境影像中识别所述超声探头对应的初始器官的位置信息。
52.作为本发明的第三个方面，提供了一种超声设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现权利要求上述任一项所述的超声成像导航方法的步骤。
53.存储器，存储有计算机程序的程序指令；计算机程序的程序指令用于被处理器加载并执行以实现如前文的超声融合成像方法的步骤；处理器，用于加载并执行存储器上的程序指令，以实现前文的超声融合成像方法的步骤；其中，存储器可以包括易失性存储器（英文：volatile memory），例如随机存取存储器（英文：random-access memory，缩写：ram）；存储器也可以包括非易失性存储器（英文：non-volatile memory），例如快闪存储器（英文：flash memory），硬盘（英文：hard disk drive，
缩写：hdd）或固态硬盘（英文：solid-state drive，缩写：ssd）；存储器还可以包括上述种类的存储器的组合。
54.其中，处理器可以是中央处理器（英文：central processing unit，缩写：cpu），网络处理器（英文：network processor，缩写：np）或者cpu和np的组合。其中，处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路（英文：application-specific integrated circuit，缩写：asic），可编程逻辑器件（英文：programmable logic device，缩写：pld）或其组合。上述pld可以是复杂可编程逻辑器件（英文：complex programmable logic device，缩写：cpld），现场可编程逻辑门阵列（英文：field-programmable gate array，缩写：fpga），通用阵列逻辑（英文：generic array logic, 缩写：gal）或其任意组合。
55.本发明的一种超声设备，利用训练好的识别网络模型从所述环境影像中识别所述目标器官以及所述超声探头，并根据超声探头对应的初始器官引导超声设备运动至目标器官，准确度高，大大提高了操作人员扫查的工作效率。
56.作为本发明的第四个方面，提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现上述任一项所述的超声成像导航方法的步骤。其中，所述存储介质可为磁碟、光盘、只读存储记忆体（read-only memory，rom）、随机存储记忆体（random access memory，ram）、快闪存储器（flash memory）、硬盘（hard disk drive，缩写：hdd）或固态硬盘（solid-state drive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
57.虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。