引导超声装置的操作者定位超声装置的方法、系统和介质与流程

引导超声装置的操作者定位超声装置的方法、系统和介质
1.本发明申请为申请日为2017年6月19日、国际申请号为pct/us2017/038106、并于2018年12月18日进入中国国家阶段的发明名称为“用于辅助用户操作超声装置的自动图像获取”的第201780037918.5号发明专利申请的分案申请。
2.相关申请的交叉引用
3.本技术根据35u.s.c.
§
119(e)要求以下美国临时申请中的每一个的权益：于2016年6月20日提交的题为“automatic acquisition assistance and real
‑
time measurement for ultrasound imaging using deep learning”的美国临时申请序列号62/352,382，于2016年9月6日提交的题为“method and apparatus to provide augmented reality guided ultrasound detection”的美国临时申请序列号62/384,187，于2016年9月6日提交的题为“clinical diagnostic and therapeutic decision support using patient imaging data”的美国临时申请序列号62/384,144，于2016年12月15日提交的题为“integrating statistical prior knowledge into convolutional neural networks”的美国临时申请序列号62/434,980，于2017年1月11日提交的题为“method and apparatus to provide augmented reality guided ultrasound detection”的美国临时申请序列号62/445,195，于2017年2月2日提交的题为“method and apparatusto provide augmented reality guided ultrasound detection”的美国临时申请序列号62/453,696以及于2017年2月24日提交的题为“techniques for landmark localization”的美国临时申请序列号62/463,094。每个所提到的申请的公开内容通过引用整体并入本文。
技术领域
4.大体上，本文中描述的技术的各方面涉及超声系统。一些方面涉及用于引导操作者使用超声装置的技术。


背景技术：

5.常规超声系统是通常在大型医疗设施(例如，医院)中使用并且由有这些系统经验的医学专业人员如超声技术人员操作的大型、复杂且昂贵的系统。超声技术人员通常接受多年的实践培训来学习如何正确使用超声成像系统。例如，超声技术人员可以学习如何将超声装置适当地定位在对象上以捕获各种解剖视图(anatomical view)中的超声图像。另外，超声技术人员可以学习如何读取所捕获的超声图像以推断关于患者的医学信息。


技术实现要素：

6.超声检查通常包括获取包含对象的特定解剖结构(例如，器官)的视图的超声图像。获取这些超声图像通常需要相当多的技巧。例如，操作超声装置的超声技术人员可能需要知道要被成像的解剖结构在对象上位于何处，并且还需要知道如何将超声装置适当地定位在对象上以捕获解剖结构的医学相关超声图像。将超声装置保持在对象上太高或太低几英寸可能在捕获医学相关超声图像与捕获医学不相关超声图像之间产生差异。结果，超声
装置的非专家操作者可能在捕获对象的医学相关超声图像方面具有相当大的麻烦。这些非专家操作者的常见错误包括：捕获不正确解剖结构的超声图像以及捕获正确解剖结构的缩短的(或截短的)超声图像。
7.因此，本公开内容提供了引导超声装置的操作者来捕获医学相关超声图像的技术。在一些实施方式中，这些技术可以体现在可以安装在计算装置(例如，移动智能电话、平板计算机、膝上型计算机、智能手表、虚拟现实(vr)耳机、增强现实(ar)耳机、智能可穿戴装置等)上的软件应用(在下文中被称为“app”)中。app可以向操作者提供关于如何将超声装置适当地定位在对象上以捕获医学相关超声图像的实时引导。例如，操作者可以将超声装置放置在对象上并且从app接收关于如何在对象上移动超声装置的反馈。反馈可以是指令的序列，每个指令包括移动超声装置的特定方向(例如，上、下、左、右、顺时针旋转或逆时针旋转)。因此，操作者可以遵循这些指令以容易地捕获医学相关超声图像。
8.在一些实施方式中，app可以利用最先进的机器学习技术，例如深度学习。在这些实施方式中，app可以采用被配置成生成指令以提供给操作者的训练模型，例如训练神经网络。在该示例中，训练模型可以接收由操作者使用的超声装置捕获的超声图像，并且将指令作为输出提供以向操作者提供。可以使用经注释的超声图像的数据库来训练模型。用于超声图像中的每一个的注释可以包括例如：超声图像是医学相关超声图像(例如，目标解剖平面的超声图像)还是医学不相关超声图像(例如，由未适当地定位的超声装置捕获的超声图像)的指示。如果超声图像是医学不相关的，则注释还可以包括：与超声装置的导致所捕获的超声图像是医学不相关的定位(例如，太高、太低、太顺时针、太逆时针、太左、太右)相关联的错误的指示。因此，训练模型可以识别这些医学不相关图像并且生成关于操作者应该如何重新定位超声装置以捕获医学相关超声图像的指令。
9.根据本公开的一个方面，提供了一种用于引导超声装置的操作者定位超声装置的方法，该方法包括：使用与超声装置分离并且包括至少一个处理器、摄像装置和显示器的单个移动装置来执行以下操作：至少部分地通过用单个移动装置的摄像装置对超声装置进行成像来自动识别超声装置的姿势；使用单个移动装置生成超声装置的合成图像以及如何移动超声装置的指示，生成包括将指示叠加在超声装置的图像上，在图像中的使用所识别的超声装置的姿势确定的位置处；以及使用单个移动装置的显示器向超声装置的操作者呈现合成图像。
10.根据本公开的另一个方面，提供了一种用于引导超声装置的操作者定位超声装置的系统，该系统包括：单个移动装置，单个移动装置与超声装置分离并且包括至少一个处理器、摄像装置和显示器，单个移动装置被配置成：至少部分地通过用单个移动装置的摄像装置对超声装置进行成像来自动识别超声装置的姿势；使用单个移动装置生成超声装置的合成图像以及如何移动超声装置的指示，生成包括将指示叠加在超声装置的图像上，在图像中的使用所识别的超声装置的姿势确定的位置处；以及使用单个移动装置的显示器向超声装置的操作者呈现合成图像。
11.根据本公开的另一个方面，提供了至少一种非暂态计算机可读存储介质，存储处理器可执行指令，处理器可执行指令在由包括至少一个处理器、摄像装置和显示器的单个移动装置执行时使得单个移动装置执行以下操作：至少部分地通过用单个移动装置的摄像装置对超声装置进行成像来自动识别超声装置的姿势；使用单个移动装置生成超声装置的
合成图像以及如何移动超声装置的指示，生成包括将指示叠加在超声装置的图像上，在图像中的使用所识别的超声装置的姿势确定的位置处；以及使用单个移动装置的显示器向超声装置的操作者呈现合成图像。
12.在一些实施方式中，提供了一种包括计算装置的设备，计算装置包括至少一个处理器。至少一个处理器被配置成：获得由超声装置捕获的对象的超声图像；使用自动图像处理技术确定超声图像是否包含目标解剖视图；响应于有关超声图像不包含目标解剖视图的确定，向超声装置的操作者提供指示如何重新定位超声装置以促进捕获对象的包含目标解剖视图的超声图像的至少一个指令；以及响应于有关超声图像包含目标解剖视图的确定，向操作者提供超声装置被适当地定位的指示。
13.在一些实施方式中，该设备还包括耦接至计算装置并且被配置成向操作者显示至少一个指令的显示器。在一些实施方式中，显示器与计算装置集成。
14.在一些实施方式中，计算装置被配置成至少部分地通过使用深度学习技术分析超声图像来确定超声图像是否包含目标解剖视图。在一些实施方式中，计算装置被配置成至少部分地通过将超声图像作为输入提供至多层神经网络来确定超声图像是否包含目标解剖视图。在一些实施方式中，计算装置被配置成至少部分地通过使用多层神经网络获得指示包含在超声图像中的解剖视图的输出来确定超声图像是否包含目标解剖视图。在一些实施方式中，计算装置被配置成至少部分地通过使用多层神经网络分析超声图像来确定超声图像是否包含目标解剖视图，该多层神经网络包括选自由以下层构成的组中的至少一个层：池化层、整流线性单元(relu)层、卷积层、稠密层、填充层(pad layer)、连结层和提升层(upscale layer)。
15.在一些实施方式中，计算装置被配置成至少部分地通过以下操作来确定超声图像是否包含目标解剖视图：使用自动图像处理技术识别包含在超声图像中的解剖视图；以及确定包含在超声图像中的解剖视图是否与目标解剖视图匹配。在一些实施方式中，计算装置被配置成：响应于有关包含在超声图像中的解剖视图与目标解剖视图不匹配的确定，使用包含在超声图像中的解剖视图生成至少一个指令。
16.在一些实施方式中，计算装置被配置成至少部分地通过提供沿平移方向和/或旋转方向移动超声装置的指令来提供至少一个指令。在一些实施方式中，计算装置被配置成至少部分地通过向对象提供至少一个指令来向操作者提供至少一个指令。
17.在一些实施方式中，提供了一种方法，该方法包括：使用至少一个包括至少一个处理器的计算装置来执行以下操作：获得由超声装置捕获的对象的超声图像；使用自动图像处理技术确定超声图像是否包含目标解剖视图；响应于确定超声图像不包含目标解剖视图，向超声装置的操作者提供指示如何重新定位超声装置以促进捕获对象的包含目标解剖视图的超声图像的至少一个指令；以及响应于确定超声图像包含目标解剖视图，向操作者提供超声装置被适当地定位的指示。
18.在一些实施方式中，确定超声图像是否包含目标解剖视图包括：使用深度学习技术分析超声图像。在一些实施方式中，确定超声图像是否包含目标解剖视图包括：将超声图像作为输入提供至多层神经网络。在一些实施方式中，确定超声图像是否包含目标解剖视图包括：使用多层神经网络来获得指示包含在超声图像中的解剖视图的输出。在一些实施方式中，确定超声图像是否包含目标解剖视图包括：使用多层神经网络分析超声图像，该多
层神经网络包括选自由以下层构成的组的至少一个层：池化层、整流线性单元(relu)层、卷积层、稠密层、填充层、连结层和提升层。
19.在一些实施方式中，确定超声图像是否包含目标解剖视图包括：使用自动图像处理技术识别包含在超声图像中的解剖视图；以及确定包含在超声图像中的解剖视图是否与目标解剖视图匹配。
20.在一些实施方式中，该方法还包括：响应于确定包含在超声图像中的解剖视图与目标解剖视图不匹配，使用包含在超声图像中的解剖视图来生成至少一个指令。
21.在一些实施方式中，提供至少一个指令包括：提供沿平移方向和/或旋转方向移动超声装置的指令。在一些实施方式中，向操作者提供至少一个指令包括：向对象提供至少一个指令。
22.在一些实施方式中，提供了一种系统，该系统包括：超声装置，其被配置成捕获对象的超声图像；以及计算装置，其通信地耦接至超声装置。计算装置被配置成：获得由超声装置捕获的对象的超声图像；使用自动图像处理技术确定超声图像是否包含目标解剖视图；响应于有关超声图像不包含目标解剖视图的确定，向超声装置的操作者提供指示如何重新定位超声装置以捕获对象的包含目标解剖视图的超声图像的至少一个指令；以及响应于有关超声图像包含目标解剖视图的确定，向操作者提供超声装置被适当地定位的指示。
23.在一些实施方式中，超声装置包括多个超声换能器。在一些实施方式中，多个超声换能器包括选自由以下超声换能器构成的组的超声换能器：电容式微机械超声换能器(cmut)、cmos超声换能器(cut)和压电式微机械超声换能器(pmut)。
24.在一些实施方式中，计算装置是移动智能电话或平板计算机。在一些实施方式中，计算装置被配置成至少部分地通过使用深度学习技术分析超声图像来确定超声图像是否包含目标解剖视图。在一些实施方式中，计算装置被配置成至少部分地通过将超声图像作为输入提供至多层神经网络来确定超声图像是否包含目标解剖视图。在一些实施方式中，计算装置被配置成至少部分地通过使用多层卷积神经网络获得指示包含在超声图像中的解剖视图的输出来确定超声图像是否包含目标解剖视图。
25.在一些实施方式中，计算装置被配置成至少部分地通过以下操作来确定超声图像是否包含目标解剖：使用自动图像处理技术识别包含在超声图像中的解剖视图；以及确定包含在超声图像中的解剖视图是否与目标解剖视图匹配。在一些实施方式中，计算装置被配置成：响应于有关包含在超声图像中的解剖视图与目标解剖视图不匹配的确定，使用包含在超声图像中的解剖视图生成至少一个指令。
26.在一些实施方式中，提供了至少一种存储处理器可执行指令的非暂态计算机可读存储介质。处理器可执行指令在由至少一个处理器执行时使所述至少一个处理器：获得由超声装置捕获的对象的超声图像；使用自动图像处理技术确定超声图像是否包含目标解剖视图；响应于有关超声图像不包含目标解剖视图的确定，向超声装置的操作者提供指示如何重新定位超声装置以促进捕获对象的包含目标解剖视图的超声图像的至少一个指令；以及响应于有关超声图像包含目标解剖视图的确定，向操作者提供超声装置被适当地定位的指示。
27.在一些实施方式中，提供了一种包括至少一个处理器的超声引导设备。至少一个处理器被配置成基于对另一超声图像的分析来引导对对象的包含目标解剖视图的超声图
像的捕获。
28.在一些实施方式中，至少一个处理器被配置成至少部分地通过生成针对如何引导超声装置的操作者捕获包含目标解剖视图的超声图像的引导计划来引导对超声图像的捕获。在一些实施方式中，至少一个处理器被配置成至少部分地通过基于所生成的引导计划向操作者提供至少一个指令来引导对超声图像的捕获。在一些实施方式中，该设备还包括耦接至至少一个处理器并且被配置成向操作者显示至少一个指令的显示器。在一些实施方式中，显示器和至少一个处理器被集成到计算装置中。在一些实施方式中，至少一个处理器被配置成至少部分地通过使用深度学习技术识别包含在另一超声图像中的解剖视图来引导对超声图像的捕获。在一些实施方式中，至少一个处理器被配置成至少部分地通过使用所识别的解剖视图来识别移动超声装置的方向来引导对超声图像的捕获。在一些实施方式中，至少一个处理器被配置成至少部分地通过确定另一超声图像是否包含对象的在对象的目标区域内的解剖视图来引导对超声图像的捕获。在一些实施方式中，至少一个处理器被配置成：响应于有关包含在另一超声图像中的解剖视图在目标区域之外的确定，至少部分地通过向操作者提供将超声装置朝向超声装置能够获得在对象的目标区域内的视图的图像的位置移动的指令来向操作者提供至少一个指令。在一些实施方式中，至少一个处理器被配置成：响应于有关包含在另一超声图像中的解剖视图在目标区域内的确定，至少部分地通过向操作者提供将超声装置朝向超声装置能够获得目标解剖视图的图像的位置移动的指令来向操作者提供至少一个指令。
29.在一些实施方式中，提供了一种系统，该系统包括：超声装置，其被配置成捕获对象的超声图像；以及至少一个处理器。至少一个处理器被配置成基于对由超声装置捕获的超声图像的分析来引导对对象的包含目标解剖视图的另一超声图像的捕获。
30.在一些实施方式中，超声装置包括选自由以下超声换能器构成的组的超声换能器：电容式微机械超声换能器(cmut)、cmos超声换能器(cut)和压电式微机械超声换能器(pmut)。在一些实施方式中，至少一个处理器被集成到移动智能电话或平板计算机中。
31.在一些实施方式中，至少一个处理器被配置成至少部分地通过以下操作来引导捕获：确定超声图像是否包含目标解剖视图；响应于确定超声图像不包含目标解剖视图，使用超声图像生成针对如何引导超声装置的操作者来捕获对象的包含目标解剖视图的超声图像的引导计划；以及基于所生成的引导计划来向操作者提供至少一个指令。在一些实施方式中，引导计划包括引导超声装置的操作者将超声装置移动至目标位置的指令序列。在一些实施方式中，指令序列中的每个指令是用于沿平移方向或旋转方向移动超声装置的指令。在一些实施方式中，至少一个处理器被配置成至少部分地通过确定超声图像是否包含对象的在对象的目标区域内的解剖视图来生成引导计划。在一些实施方式中，至少一个处理器被配置成：响应于有关包含在超声图像中的解剖视图不在目标区域内的确定，至少部分地通过向操作者提供将超声装置朝向超声装置能够获得在对象的目标区域内的视图的图像的位置移动的指令来向操作者提供至少一个指令。在一些实施方式中，至少一个处理器被配置成：响应于有关包含在超声图像中的解剖视图在目标区域内的确定，至少部分地通过向操作者提供将超声装置朝向超声装置能够获得目标解剖视图的图像的位置移动的指令来向操作者提供至少一个指令。
32.在一些实施方式中，提供了一种方法。该方法包括：使用至少一个包括至少一个处
理器的计算装置来执行以下操作：获得由超声装置捕获的对象的超声图像；确定超声图像是否包含目标解剖视图；响应于确定超声图像不包含目标解剖视图：使用超声图像生成针对如何引导超声装置的操作者捕获对象的包含目标解剖视图的超声图像的引导计划；以及基于所生成的引导计划来向操作者提供至少一个指令。
33.在一些实施方式中，生成引导计划包括：使用自动图像处理技术识别包含在超声图像中的解剖视图。在一些实施方式中，生成引导计划包括：使用所识别的解剖视图识别移动超声装置的方向，并且其中，向操作者提供至少一个指令包括：向操作者提供沿所识别的方向移动超声装置的指令。在一些实施方式中，识别移动超声装置的方向包括：识别移动超声装置的平移方向或旋转方向。
34.在一些实施方式中，生成引导计划包括：确定超声图像是否包含对象的在对象的目标区域内的解剖视图。在一些实施方式中，确定超声图像是否包含对象的在对象的目标区域内的解剖视图包括：确定超声图像是否包含对象的躯干的至少一部分的解剖视图。在一些实施方式中，该方法还包括：响应于有关包含在超声图像中的解剖视图不在目标区域内的确定，至少部分地通过向操作者提供将超声装置朝向超声装置能够获得在对象的目标区域内的视图的图像的位置移动的指令来向操作者提供至少一个指令。在一些实施方式中，向操作者提供将超声装置朝向该位置移动的指令包括：向操作者提供目标区域位于何处的视觉指示。在一些实施方式中，该方法还包括：响应于有关包含在超声图像中的解剖视图在目标区域内的确定，至少部分地通过向操作者提供将超声装置朝向超声装置能够获得目标解剖视图的图像的位置移动的指令来向操作者提供至少一个指令。在一些实施方式中，向操作者提供指示操作者将超声装置朝向该位置移动的指令包括：向操作者提供移动超声装置的方向的视觉指示。
35.在一些实施方式中，提供了至少一种存储处理器可执行指令的非暂态计算机可读存储介质。处理器可执行指令在由至少一个处理器执行时使所述至少一个处理器：获得由超声装置捕获的对象的超声图像；确定超声图像是否包含目标解剖视图；响应于有关超声图像不包含目标解剖视图的确定，使用超声图像生成针对如何引导超声装置的操作者来捕获对象的包含目标解剖视图的超声图像的引导计划；以及基于所生成的引导计划来向操作者提供至少一个指令。
36.在一些实施方式中，提供了一种超声引导设备，该超声引导设备包括至少一个处理器，至少一个处理器被配置成：获得由操作者使用的超声装置的图像；以及使用所获得的超声装置的图像生成用于引导操作者捕获包含目标解剖视图的超声图像的增强现实接口。
37.在一些实施方式中，该设备还包括耦接至至少一个处理器并且被配置成向操作者显示增强现实接口的显示器。在一些实施方式中，显示器和至少一个处理器被集成到计算装置中。
38.在一些实施方式中，至少一个处理器被配置成至少部分地通过将指示操作者要如何重新定位超声装置的至少一个指令叠加到超声装置的图像上以形成合成图像来生成增强现实接口。在一些实施方式中，至少一个处理器被配置成至少部分地通过识别超声装置的图像中的超声装置的姿势来生成增强现实接口。在一些实施方式中，至少一个处理器被配置成至少部分地通过使用超声装置的姿势将至少一个指令叠加到超声装置的图像上来叠加至少一个指令。在一些实施方式中，至少一个指令包括指示操作者要移动超声装置的
方向的箭头。
39.在一些实施方式中，至少一个处理器被配置成获得由超声装置捕获的超声图像。在一些实施方式中，至少一个处理器被配置成至少部分地通过识别超声装置的图像中的超声装置的位置来生成增强现实接口。在一些实施方式中，至少一个处理器被配置成至少部分地通过使用超声装置的位置将超声图像叠加到超声装置的图像上来生成增强现实接口。
40.在一些实施方式中，提供了一种方法，该方法包括：获得由操作者使用的超声装置的图像，该图像是由与超声装置不同的成像装置捕获的；至少部分地通过在超声装置的图像上叠加指示操作者要如何重新定位超声装置的至少一个指令来生成合成图像；以及将合成图像呈现给操作者。
41.在一些实施方式中，该方法还包括：识别超声装置的图像中的超声装置的姿势。在一些实施方式中，超声装置具有设置在其上的标记，并且其中，获得超声装置的图像包括：获得标记的图像。在一些实施方式中，识别超声装置的姿势包括：识别超声装置的图像中的标记的位置。
42.在一些实施方式中，将至少一个指令叠加到超声装置的图像上是使用超声装置的姿势执行的。在一些实施方式中，将至少一个指令叠加到超声装置的图像上包括：在超声装置的图像中的超声装置的至少一部分上叠加箭头，该箭头指示操作者要移动超声装置的方向。
43.在一些实施方式中，该方法还包括：获得由超声装置捕获的超声图像。在一些实施方式中，生成合成图像包括：将由超声装置捕获的超声图像叠加到超声装置的图像上。在一些实施方式中，该方法还包括：识别超声装置的图像中的超声装置的位置。在一些实施方式中，将超声图像叠加到超声装置的图像上是使用超声装置的位置执行的。
44.在一些实施方式中，提供了一种系统，该系统包括：成像装置，其与由操作者使用的超声装置不同；显示器；以及至少一个处理器。至少一个处理器被配置成：获得由成像装置捕获的操作者正使用的超声装置的图像；至少部分地通过在超声装置的图像上叠加指示操作者如何重新定位超声装置的至少一个指令来生成合成图像；以及使显示器将合成图像呈现给操作者。
45.在一些实施方式中，该系统还包括移动智能电话或平板计算机，移动智能电话或平板计算机包括显示器和至少一个处理器。在一些实施方式中，成像装置包括摄像机。在一些实施方式中，移动智能电话或平板计算机包括摄像机。
46.在一些实施方式中，至少一个处理器被配置成识别超声装置的图像中的超声装置的姿势。在一些实施方式中，超声装置包括设置在其上的标记，其中，超声装置的图像包括标记的图像，并且其中，至少一个处理器被配置成至少部分地通过识别超声装置的图像中的标记的位置来识别超声装置的姿势。在一些实施方式中，标记选自由以下标记构成的组：全息标记、色散(dispersive)标记和aruco标记。在一些实施方式中，至少一个处理器被配置成至少部分地通过使用超声装置的姿势将至少一个指令叠加到超声装置的图像上来生成合成图像。
47.在一些实施方式中，该系统还包括超声装置。在一些实施方式中，至少一个处理器被配置成至少部分地通过将由超声装置捕获的超声图像叠加到超声装置的图像上来生成合成图像。在一些实施方式中，至少一个处理器被配置成识别超声装置的图像中的超声装
置的位置，并且其中，至少一个处理器被配置成使用超声装置的位置将超声图像叠加到超声装置的图像上。
48.在一些实施方式中，提供了至少一种存储处理器可执行指令的非暂态计算机可读存储介质。处理器可执行指令在由至少一个处理器执行时使所述至少一个处理器：获得正由操作者使用的超声装置的图像，该图像由与超声装置不同的成像装置捕获；至少部分地通过在超声装置的图像上叠加指示操作者要如何重新定位超声装置的至少一个指令来生成合成图像；以及使显示器将合成图像呈现给操作者。
49.在一些实施方式中，提供了一种包括至少一个处理器的设备。至少一个处理器被配置成：获得由超声装置捕获的对象的超声图像，以及使用自动图像处理技术确定超声图像是否包含目标解剖视图。
50.在一些实施方式中，至少一个处理器被配置成至少部分地通过使用深度学习技术分析超声图像来确定超声图像是否包含目标解剖视图。在一些实施方式中，至少一个处理器被配置成至少部分地通过将超声图像作为输入提供至多层神经网络来确定超声图像是否包含目标解剖视图。在一些实施方式中，至少一个处理器被配置成至少部分地通过使用多层神经网络获得指示包含在超声图像中的解剖视图的输出来确定超声图像是否包含目标解剖视图。在一些实施方式中，至少一个处理器被配置成至少部分地通过使用多层神经网络分析超声图像来确定超声图像是否包含目标解剖视图，多层神经网络包括选自由以下层构成的组中的至少一个层：池化层、整流线性单元(relu)层、卷积层、稠密层、填充层、连结层和提升层。
51.在一些实施方式中，至少一个处理器被配置成至少部分地通过以下操作来确定超声图像是否包含目标解剖视图：使用自动图像处理技术识别包含在超声图像中的解剖视图；以及确定包含在超声图像中的解剖视图是否与目标解剖视图匹配。在一些实施方式中，至少一个处理器被配置成：响应于有关包含在超声图像中的解剖视图与目标解剖视图不匹配的确定，使用包含在超声图像中的解剖视图来生成指示如何重新定位超声装置以促进捕获对象的包含目标解剖视图的超声图像的至少一个指令。
52.在一些实施方式中，至少一个处理器被配置成：响应于有关超声图像不包含目标解剖视图的确定，向超声装置的操作者提供指示如何重新定位超声装置以促进捕获对象的包含目标解剖视图的超声图像的至少一个指令；以及响应于有关超声图像包含目标解剖视图的确定，向操作者提供超声装置被适当地定位的指示。在一些实施方式中，该设备还包括显示器，该显示器耦接至至少一个处理器并且被配置成向操作者显示至少一个指令。在一些实施方式中，至少一个处理器被配置成至少部分地通过提供用于沿平移方向和/或旋转方向移动超声装置的指令来提供至少一个指令。在一些实施方式中，至少一个处理器被配置成至少部分地通过向对象提供至少一个指令来向操作者提供至少一个指令。
53.根据至少一个方面，提供了一种方法。该方法包括：使用至少一个包括至少一个处理器的计算装置来执行如下操作：获得由超声装置捕获的对象的超声图像；使用自动图像处理技术确定超声图像是否包含目标解剖视图；响应于确定超声图像不包含目标解剖视图，向超声装置的操作者提供指示如何重新定位超声装置以促进捕获对象的包含目标解剖视图的超声图像的至少一个指令；以及响应于确定超声图像包含目标解剖视图，向操作者提供超声装置被适当地定位的指示。
54.在一些实施方式中，确定超声图像是否包含目标解剖视图包括：使用深度学习技术分析超声图像。在一些实施方式中，确定超声图像是否包含目标解剖视图包括：将超声图像作为输入提供至多层神经网络。在一些实施方式中，确定超声图像是否包含目标解剖视图包括：使用多层神经网络来获得指示包含在超声图像中的解剖视图的输出。在一些实施方式中，确定超声图像是否包含目标解剖视图包括：使用多层神经网络分析超声图像，该多层神经网络包括选自由以下层构成的组的至少一个层：池化层、整流线性单元(relu)层、卷积层、稠密层、填充层、连结层和提升层。
55.在一些实施方式中，确定超声图像是否包含目标解剖视图包括：使用自动图像处理技术识别包含在超声图像中的解剖视图；以及确定包含在超声图像中的解剖视图是否与目标解剖视图匹配。在一些实施方式中，该方法还包括：响应于确定包含在超声图像中的解剖视图与目标解剖视图不匹配，使用包含在超声图像中的解剖视图来生成至少一个指令。
56.在一些实施方式中，提供至少一个指令包括：提供沿平移方向和/或旋转方向移动超声装置的指令。在一些实施方式中，向操作者提供至少一个指令包括：向对象提供至少一个指令。
57.在一些实施方式中，提供了一种系统，该系统包括：超声装置，其被配置成捕获对象的超声图像；以及计算装置，其通信地耦接至超声装置。计算装置被配置成：获得由超声装置捕获的对象的超声图像；使用自动图像处理技术确定超声图像是否包含目标解剖视图；响应于有关超声图像不包含目标解剖视图的确定，向超声装置的操作者提供指示如何重新定位超声装置以捕获对象的包含目标解剖视图的超声图像的至少一个指令；以及响应于有关超声图像包含目标解剖视图的确定，向操作者提供超声装置被适当地定位的指示。
58.在一些实施方式中，超声装置包括多个超声换能器。在一些实施方式中，多个超声换能器包括选自由以下超声换能器构成的组的超声换能器：电容式微机械超声换能器(cmut)、cmos超声换能器(cut)和压电式微机械超声换能器(pmut)。
59.在一些实施方式中，计算装置是移动智能电话或平板计算机。在一些实施方式中，计算装置被配置成至少部分地通过使用深度学习技术分析超声图像来确定超声图像是否包含目标解剖视图。在一些实施方式中，计算装置被配置成至少部分地通过将超声图像作为输入提供至多层神经网络来确定超声图像是否包含目标解剖视图。在一些实施方式中，计算装置被配置成至少部分地通过使用多层卷积神经网络获得指示包含在超声图像中的解剖视图的输出来确定超声图像是否包含目标解剖视图。
60.在一些实施方式中，计算装置被配置成至少部分地通过以下操作来确定超声图像是否包含目标解剖：使用自动图像处理技术识别包含在超声图像中的解剖视图；以及确定包含在超声图像中的解剖视图是否与目标解剖视图匹配。在一些实施方式中，计算装置被配置成：响应于有关包含在超声图像中的解剖视图与目标解剖视图不匹配的确定，使用包含在超声图像中的解剖视图生成至少一个指令。
61.在一些实施方式中，提供了至少一种存储处理器可执行指令的非暂态计算机可读存储介质。处理器可执行指令在由至少一个处理器执行时使所述至少一个处理器：获得由超声装置捕获的对象的超声图像；使用自动图像处理技术确定超声图像是否包含目标解剖视图；响应于有关超声图像不包含目标解剖视图的确定，向超声装置的操作者提供指示如何重新定位超声装置以促进捕获对象的包含目标解剖视图的超声图像的至少一个指令；以
及响应于有关超声图像包含目标解剖视图的确定，向操作者提供超声装置被适当地定位的指示。
62.在一些实施方式中，提供了一种包括至少一个处理器的设备，至少一个处理器被配置成：获得正由操作者使用的超声装置上的标记的图像；以及使用基于标记识别的超声装置的姿势来生成被配置成引导操作者的增强现实接口。
63.在一些实施方式中，该设备还包括耦接至至少一个处理器并且被配置成向操作者显示增强现实接口的显示器。在一些实施方式中，显示器和至少一个处理器被集成到计算装置中。在一些实施方式中，至少一个处理器被配置成至少部分地通过使用超声装置的姿势将给超声装置的操作者的指令叠加到图像上来生成增强现实接口。在一些实施方式中，至少一个处理器被配置成获得由超声装置捕获的超声图像以及使用超声图像生成给操作者的指令。在一些实施方式中，至少一个处理器被配置成至少部分地通过识别图像中的标记的位置来识别图像中的超声装置的姿势。在一些实施方式中，至少一个处理器被配置成至少部分地通过分析图像中的标记的至少一个特性来识别超声装置的姿势。在一些实施方式中，至少一个处理器被配置成至少部分地通过识别图像中的标记的颜色来分析图像中的标记的至少一个特性。在一些实施方式中，至少一个处理器被配置成至少部分地通过使用图像中的标记的颜色识别图像中的超声装置的取向来识别超声装置的姿势。在一些实施方式中，标记包括全息图或单色图案。
64.在一些实施方式中，提供了一种方法，该方法包括：使用至少一个包括至少一个处理器的计算装置来执行以下操作：获得正由操作者使用的超声装置上的标记的图像，该图像由与超声装置不同的成像装置捕获；至少部分地通过分析图像中的标记的至少一个特性来自动识别超声装置的姿势；以及使用所识别的超声装置的姿势向超声装置的操作者提供指令。
65.在一些实施方式中，识别超声装置的姿势包括：识别图像中的标记的位置。在一些实施方式中，识别超声装置的姿势包括：使用图像中的标记的识别位置来识别图像中的超声装置的位置。
66.在一些实施方式中，识别超声装置的姿势包括：识别图像中的标记的颜色。在一些实施方式中，识别超声装置的姿势包括：使用标记的颜色来识别图像中的超声装置的取向。
67.在一些实施方式中，获得标记的图像包括：获得全息图或单色图案的图像。在一些实施方式中，该方法还包括：获得由超声装置捕获的超声图像；以及使用超声图像生成指令。在一些实施方式中，该方法还包括：使用所识别的超声装置的姿势将超声图像叠加到图像上。
68.在一些实施方式中，提供指令包括：使用超声装置的姿势来确定指令要被叠加到图像上的位置。
69.在一些实施方式中，提供了一种系统，该系统包括：成像装置，其与正在由操作者使用的超声装置不同；以及至少一个处理器。至少一个处理器被配置成：获得由成像装置捕获的操作者正使用的超声装置上的标记的图像；至少部分地通过分析所获得的图像中的标记的至少一个特性来自动识别超声装置的姿势；以及使用所识别的超声装置的姿势向超声装置的操作者提供指令。
70.在一些实施方式中，该系统还包括移动智能电话或平板计算机，移动智能电话或
平板计算机包括成像装置和至少一个处理器。在一些实施方式中，该系统还包括其上设置有标记的超声装置。在一些实施方式中，标记选自由以下标记构成的组：全息标记、色散标记和aruco标记。
71.在一些实施方式中，该系统还包括耦接至至少一个处理器的显示器。在一些实施方式中，至少一个处理器被配置成至少部分地通过使显示器向操作者提供指令来提供指令。
72.在一些实施方式中，至少一个处理器被配置成至少部分地通过识别图像中的标记的位置来识别超声装置的姿势。在一些实施方式中，至少一个处理器被配置成至少部分地通过使用图像中的标记的识别位置识别所捕获的图像中的超声装置的位置来识别超声装置的姿势。
73.在一些实施方式中，至少一个处理器被配置成至少部分地通过识别图像中的标记的颜色来识别超声装置的姿势。在一些实施方式中，至少一个处理器被配置成至少部分地通过使用标记的颜色识别所捕获的图像中的超声装置的取向来识别超声装置的姿势。
74.在一些实施方式中，至少一个处理器被配置成获得由超声装置捕获的超声图像以及使用超声图像生成指令。
75.在一些实施方式中，提供了至少一种存储处理器可执行指令的非暂态计算机可读存储介质。处理器可执行指令在由至少一个处理器执行时使所述至少一个处理器：获得正在由操作者使用的超声装置上的标记的图像，该图像由与超声装置不同的成像装置捕获；至少部分地通过分析所获得的图像中的标记的至少一个特性来自动识别超声装置的姿势；以及使用所识别的超声装置的姿势向超声装置的操作者提供指令。
76.在一些实施方式中，提供了一种包括至少一个处理器的设备，至少一个处理器被配置成：获得对象的超声图像；以及至少部分地通过使用深度学习技术分析超声图像来识别对象的至少一个医学参数。
77.在一些实施方式中，至少一个处理器被配置成至少部分地通过使用深度学习技术识别对象的在超声图像中的至少一个解剖特征来识别对象的至少一个医学参数。在一些实施方式中，至少一个处理器被配置成至少部分地通过将超声图像作为输入提供至多层神经网络来识别对象的至少一个解剖特征。在一些实施方式中，至少一个处理器被配置成至少部分地通过使用多层神经网络获得指示对象的在超声图像中的至少一个解剖特征的输出来识别对象的至少一个解剖特征。在一些实施方式中，至少一个处理器被配置成至少部分地通过使用多层神经网络分析超声图像来识别对象的至少一个解剖特征，该多层神经网络包括选自由以下层构成的组的至少一个层：池化层、整流线性单元(relu)层、卷积层、稠密层、填充层、连结层和提升层。在一些实施方式中，至少一个解剖特征包括选自由以下解剖特征构成的组的解剖特征：心脏心室、心脏瓣膜、心脏间隔、心脏乳头肌、心脏心房、主动脉和肺。
78.在一些实施方式中，至少一个医学参数包括选自由以下参数构成的组的医学参数：射血分数、缩短分数、心室直径、心室容积、舒张末期容积、收缩末期容积、心输出量、每搏输出量、室间隔厚度、心室壁厚度和脉搏率。在一些实施方式中，至少一个处理器被配置成将至少一个医学参数叠加到对象的超声图像上以形成合成图像。在一些实施方式中，该设备还包括显示器，该显示器耦接至至少一个处理器并且被配置成向操作者显示合成图
像。在一些实施方式中，显示器和至少一个处理器被集成到计算装置中。
79.在一些实施方式中，提供了一种方法，该方法包括：使用至少一个包括至少一个处理器的计算装置来执行如下操作：获得由超声装置捕获的对象的超声图像；使用自动图像处理技术识别对象的在超声图像中的至少一个解剖特征；以及使用超声图像中的所识别的解剖特征来识别对象的至少一个医学参数。
80.在一些实施方式中，识别对象的至少一个解剖特征包括：使用深度学习技术分析超声图像。在一些实施方式中，识别对象的至少一个解剖特征包括：将超声图像作为输入提供至多层神经网络。在一些实施方式中，识别对象的至少一个解剖特征包括：使用多层神经网络获得指示对象的在超声图像中的至少一个解剖特征的输出。在一些实施方式中，识别对象的至少一个解剖特征包括：使用多层神经网络分析超声图像，该多层神经网络包括选自由以下层构成的组中的至少一个层：池化层、整流线性单元(relu)层、卷积层、稠密层、填充层、连结层和提升层。
81.在一些实施方式中，识别至少一个解剖特征包括：识别选自由以下解剖特征构成的组的解剖特征：心脏心室、心脏瓣膜、心脏间隔、心脏乳头肌、心脏心房、主动脉和肺。在一些实施方式中，识别至少一个医学参数包括：识别选自由以下参数构成的组的医学参数：射血分数、缩短分数、心室直径、心室容积、舒张末期容积、收缩末期容积、心输出量、每搏输出量、室间隔厚度、心室壁厚度和脉搏率。在一些实施方式中，获得对象的超声图像包括：获得对象的多个超声图像，并且其中，识别对象的至少一个解剖特征包括：使用多层神经网络识别多个超声图像中的至少一些图像中的每一个中的心室。在一些实施方式中，识别至少一个医学参数包括：估计多个图像中的至少一些图像中的每一个中的所识别心室的心室直径，以获得包括第一心室直径和与第一心室直径不同的第二心室直径的多个心室直径；使用第一心室直径估计舒张末期容积；以及使用第二心室直径估计收缩末期容积。在一些实施方式中，识别至少一个医学参数包括：使用所估计的舒张末期容积和所估计的收缩末期容积识别对象的射血分数。
82.在一些实施方式中，该方法还包括：将至少一个医学参数叠加到超声图像上以形成合成图像；以及呈现合成图像。
83.在一些实施方式中，获得超声图像包括：引导超声装置的操作者来捕获对象的超声图像。在一些实施方式中，引导超声装置的操作者包括：将超声图像作为输入提供至第一多层神经网络，并且其中，识别对象的至少一个解剖特征包括：将超声图像作为输入提供至与第一多层神经网络不同的第二多层神经网络。
84.在一些实施方式中，提供了一种系统，该系统包括：超声装置，其被配置成捕获对象的超声图像；以及计算装置，其通信地耦接至超声装置。计算装置被配置成：获得由超声装置捕获的超声图像；使用自动图像处理技术识别对象的在超声图像中的至少一个解剖特征；以及使用超声图像中的所识别的解剖特征来识别对象的至少一个医学参数。
85.在一些实施方式中，超声装置包括多个超声换能器。在一些实施方式中，多个超声换能器包括选自由以下超声换能器构成的组的超声换能器：电容式微机械超声换能器(cmut)、cmos超声换能器(cut)和压电式微机械超声换能器(pmut)。
86.在一些实施方式中，计算装置是移动智能电话或平板计算机。在一些实施方式中，计算装置包括显示器，并且其中，计算装置被配置成使用显示器来显示至少一个医学参数
的指示。
87.在一些实施方式中，超声图像包含选自由以下解剖视图构成的组的解剖视图：胸骨旁长轴(plax)解剖视图、胸骨旁短轴(psax)解剖视图、心尖四腔(a4c)解剖视图和心尖长轴(alax)解剖视图。
88.在一些实施方式中，提供了至少一种存储处理器可执行指令的非暂态计算机可读存储介质。处理器可执行指令在由至少一个处理器执行时使所述至少一个处理器：获得由超声装置捕获的对象的超声图像；使用自动图像处理技术识别对象的在超声图像中的至少一个解剖特征；以及使用超声图像中的所识别的解剖特征来识别对象的至少一个医学参数。
89.在一些实施方式中，提供了一种包括至少一个处理器的设备，至少一个处理器被配置成：获得对象的超声图像；以及至少部分地通过使用深度学习技术分析超声图像来生成对对象的医学病症(condition)的诊断。
90.在一些实施方式中，至少一个处理器被配置成至少部分地通过使用超声图像识别对象的至少一个医学参数来生成诊断。在一些实施方式中，对象的至少一个医学参数包括选自由以下参数构成的组的医学参数：射血分数、缩短分数、心室直径、心室容积、舒张末期容积、收缩末期容积、心输出量、每搏输出量、室间隔厚度、心室壁厚度和脉搏率。
91.在一些实施方式中，至少一个处理器被配置成至少部分地通过引导超声装置的操作者获得超声图像来获得超声图像。在一些实施方式中，至少一个处理器被配置成至少部分地通过向操作者提供用于重新定位超声装置的至少一个指令来引导超声装置的操作者。在一些实施方式中，操作者是对象。
92.在一些实施方式中，至少一个处理器被配置成：接收关于对象的医学信息，以及基于所接收的关于对象的医学信息来识别对象的要成像的目标解剖视图。在一些实施方式中，关于对象的医学信息包括选自由以下项构成的组的至少一项：心率、血压、体表面积、年龄、体重、身高和对象正在服用的药物。在一些实施方式中，至少一个处理器被配置成：响应于关于对象的医学信息指示对象经历阵发性夜间呼吸困难，至少部分地通过将对象的心脏的解剖视图识别为目标解剖视图来识别对象的要被成像的目标解剖视图。
93.在一些实施方式中，至少一个处理器被配置成使用对象的诊断的医学病症来向超声装置的操作者提供针对对象的推荐治疗。
94.在一些实施方式中，提供了一种方法，该方法包括：使用至少一个包括至少一个处理器的计算装置来执行以下操作：接收关于对象的医学信息；基于所接收的医学信息来识别对象的要由超声装置成像的目标解剖视图；获得由超声装置捕获的包含目标解剖视图的超声图像；以及使用包含目标解剖视图的超声图像来生成对对象的医学病症的诊断。
95.在一些实施方式中，获得包含目标解剖视图的超声图像包括：引导超声装置的操作者来获得包含目标解剖视图的超声图像。在一些实施方式中，引导超声装置的操作者来获得包含目标解剖视图的超声图像包括：向操作者提供用于重新定位超声装置的至少一个指令。在一些实施方式中，引导操作者包括：引导对象。
96.在一些实施方式中，接收关于对象的医学信息包括：接收选自由以下项构成的组的医学信息：心率、血压、体表面积、年龄、体重、身高和对象正在服用的药物。在一些实施方式中，识别对象的要被成像的目标解剖视图包括：响应于关于对象的医学信息指示对象经
历阵发性夜间呼吸困难，将对象的心脏的解剖视图识别为目标解剖视图。在一些实施方式中，诊断对象的医学病症包括：响应于关于对象的医学信息指示对象经历阵发性夜间呼吸困难，使用包含目标解剖视图的超声图像来识别对象的射血分数。
97.在一些实施方式中，生成对对象的医学病症的诊断包括：使用包含目标解剖视图的超声图像来识别对象的至少一个医学参数。在一些实施方式中，识别对象的至少一个医学参数包括：识别选自由以下参数构成的组的医学参数：射血分数、缩短分数，心室直径、心室容积、舒张末期容积、收缩末期容积、心输出量、每搏输出量、室间隔厚度、心室壁厚度和脉搏率。
98.在一些实施方式中，该方法还包括：使用对象的诊断的医学病症向超声装置的操作者提供针对对象的推荐治疗。
99.在一些实施方式中，该方法还包括：读取设置在超声装置上的条形码；以及将条形码发送至另一装置以使另一装置将关于对象的医学信息发送至至少一个计算装置。在一些实施方式中，该方法还包括：将包含目标解剖视图的超声图像发送至另一装置，以使另一装置将包含目标解剖视图的超声图像添加至与对象相关联的医学文件。
100.在一些实施方式中，提供了一种系统，该系统包括：超声装置，其被配置成捕获超声图像；以及计算装置，其通信地耦接至超声装置。计算装置被配置成：接收关于对象的医学信息；基于所接收的医学信息来识别对象的要由超声装置成像的目标解剖视图；获得由超声装置捕获的包含目标解剖视图的超声图像；以及使用包含目标解剖视图的超声图像来生成对对象的医学病症的诊断。
101.在一些实施方式中，超声装置包括多个超声换能器。在一些实施方式中，多个超声换能器包括选自由以下超声换能器构成的组的超声换能器：电容式微机械超声换能器(cmut)、cmos超声换能器(cut)和压电式微机械超声换能器(pmut)。
102.在一些实施方式中，计算装置是移动智能电话或平板计算机。在一些实施方式中，计算装置被配置成：响应于关于对象的医学信息指示对象经历阵发性夜间呼吸困难，至少部分地通过将对象的心脏的解剖视图识别为目标解剖视图来识别目标解剖视图。在一些实施方式中，计算装置被配置成：响应于关于对象的医学信息指示对象经历阵发性夜间呼吸困难，使用包含目标解剖视图的超声图像来识别对象的射血分数。
103.在一些实施方式中，计算装置被配置成至少部分地通过使用包含目标解剖视图的超声图像识别对象的至少一个医学参数来生成对对象的医学病症的诊断。
104.在一些实施方式中，提供了至少一种存储处理器可执行指令的非暂态计算机可读存储介质。处理器可执行指令在由至少一个处理器执行时使所述至少一个处理器：接收关于对象的医学信息；基于所接收的医学信息来识别对象的要由超声装置成像的目标解剖视图；获得由超声装置捕获的包含目标解剖视图的超声图像；以及使用包含目标解剖视图的超声图像来生成对对象的医学病症的诊断。
105.在一些实施方式中，提供了一种用于评估超声探头的位置和取向的方法。该方法包括：(a)由主装置接收由被定位成对对象的期望特征进行成像的超声探头生成的超声图像数据，其中，主装置包括处理器和存储器；以及(b)提供用于重新定位超声探头以便捕获期望特征的指令，其中，至少基于期望特征确定指令。
106.在一些实施方式中，提供了一种用于超声成像的实时测量预测的方法。该方法包
括：(a)由主装置接收由被定位成对对象的期望特征进行成像的超声探头生成的超声图像数据，其中，主装置包括处理器和存储器；以及(b)将所接收的超声图像数据与训练的模型数据进行比较，以实时预测所接收的超声图像数据的标志。
107.在一些实施方式中，提供了一种用于提供实时超声图像获取辅助的方法。该方法包括：(a)接收患者的初始超声图像；(b)将初始超声图像的属性与高质量超声图像的标准进行比较；以及(c)引导超声探头的移动以获得符合高质量超声图像的标准的后续超声图像。
108.在一些实施方式中，提供了一种用于提供实时超声图像获取辅助的方法。该方法包括：(a)接收针对最终超声图像的获取意图指令；(b)从超声探头接收第一超声图像，第一超声图像包括对象的视角；(c)通过将第一超声图像与获取意图指令进行比较来识别第一超声图像的缺点；(d)基于获取意图指令来识别用于操纵超声探头以补救第一超声成像的缺点的补救措施；以及(e)显示所识别的补救措施以协助最终超声图像的获取。
109.在一些实施方式中，提供了一种临床诊断和治疗决策支持系统。该系统包括处理器，该处理器被配置成：(a)获取要被诊断的对象的医学超声图像数据；(b)显示至少基于医学超声图像数据确定的诊断；以及(c)基于诊断来显示针对对象的推荐治疗。
110.在一些实施方式中，提供了一种提供临床诊断和治疗决定的方法。该方法包括：(a)利用处理器获取要被诊断的对象的医学超声图像数据；(b)显示至少基于医学超声图像数据确定的诊断；以及(c)显示针对对象的推荐治疗，其中，推荐治疗是基于诊断而确定的。
111.在一些实施方式中，一种用于使用统计先验知识训练卷积神经网络的方法。该方法包括：(a)接收训练集，训练集包括多个对象的多个医学图像和与多个医学图像中的每一个相关联的训练注释；(b)接收多个医学图像的统计先验知识，其中，统计先验知识包括与源于多个对象的自然存在的结构的医学图像的可变性相关联的统计数据；以及(c)使用该训练集通过结合统计先验知识来训练卷积神经网络。
112.在一些实施方式中，一种用于执行对医学图像的分割的方法。该方法包括：(a)提供对象的特征的医学图像；以及(b)使用训练的卷积神经网络来执行对医学图像的图像分割，其中，训练的卷积神经网络是使用统计先验知识而训练的。
113.在一些实施方式中，一种用于执行对医学图像的标志定位的方法。该方法包括：(a)提供对象的特征的医学图像；以及(b)使用训练的卷积神经网络来执行对医学图像的标志定位，其中，训练的卷积神经网络是使用统计先验知识而训练的。
114.在一些实施方式中，提供了一种方法，该方法包括：(a)捕获相对于患者定位的超声探头的图像；(b)捕获患者身体的一部分的体内超声图像；(c)识别所捕获的超声探头的图像中的超声探头的位置，该位置相对于患者身体被识别；(d)通过以下操作来形成合成图像：至少部分地通过将体内超声图像定位在超声探头的图像的附近来将体内超声图像叠加到超声探头的图像上以形成合成图像；以及(e)显示合成图像。
115.在一些实施方式中，该方法还包括：实时地显示多个合成图像。在一些实施方式中，合成图像显示在增强现实显示器上。在一些实施方式中，该方法还包括：基于多个合成图像实时提供指令，其中，指令引导超声探头的用户获取患者身体的一部分的后续超声图像。
116.在一些实施方式中，提供了一种方法，该方法包括：(a)捕获相对于患者定位的超
声探头的图像；(b)捕获患者身体的一部分的体内超声图像；(c)识别所捕获的超声探头的图像中的超声探头的位置，该位置相对于患者身体被识别；(d)通过以下操作来形成合成图像：至少部分地通过将体内超声图像定位在超声探头的图像的附近来将体内超声图像叠加到超声探头的图像上以形成合成图像；以及(e)显示合成图像。
117.在一些实施方式中，提供了一种超声装置的基于消费者使用的方法。该方法包括：(a)由用户操作便携式超声装置；(b)使用图像捕获装置来捕获便携式超声装置的图像；(c)响应于由处理装置提供的反馈来调节超声装置的位置和/或取向，其中，处理装置至少基于对由用户使用便携式超声装置捕获的超声数据的分析来生成反馈；以及(d)存储由用户使用便携式超声装置捕获的超声数据。
118.在一些实施方式中，操作便携式超声装置是在用户家中执行的。在一些实施方式中，实时提供反馈。在一些实施方式中，使用增强现实来提供反馈。在一些实施方式中，反馈包括关于以下中的一个或更多个的指令：(i)用户应当将便携式超声装置放置在何处，(ii)用户应当如何重新定位或定向便携式超声装置，(iii)用户应当如何线性地平移便携式超声装置，以及(iv)用户应当如何行动以便于捕获超声数据。在一些实施方式中，该方法还包括：显示至少基于医学图像数据确定的诊断。在一些实施方式中，该方法还包括：显示针对对象的推荐治疗，其中，推荐治疗是基于诊断确定的。
119.在一些实施方式中，提供了一种用于针对标志定位来训练卷积神经网络的方法。该方法包括：(a)接收训练集，该训练集包括多个对象的多个医学图像和与多个医学图像中的每一个相关联的训练注释；以及(b)至少基于该训练集来训练卷积神经网络以对一个或更多个标志位置进行回归(regress)。
120.在一些实施方式中，提供了一种用于执行对对象的医学图像的标志定位的方法。该方法包括：(a)提供对象的医学图像；以及(b)使用训练的卷积神经网络来执行对对象的医学图像的标志定位，其中，训练的卷积神经网络是使用训练集进行训练的，该训练集包括多个对象的多个医学图像和与多个医学图像中的每一个相关联的训练注释。
附图说明
121.将参照下面的示例性且非限制性附图来描述各个方面和实施方式。应当理解的是，附图不一定按比例绘制。出现在多个附图中的项在它们出现的所有附图中通过相同或相似的附图标记指示。
122.图1示出了根据本公开内容的一些实施方式的示例性超声系统；
123.图2示出了根据本公开内容的一些实施方式的示例性引导路径，沿该引导路径将超声装置从对象上的初始位置移动至对象上的目标位置；
124.图3a示出了根据本公开内容的一些实施方式的要被提供至操作者的示例性粗略指令；
125.图3b示出了根据本公开内容的一些实施方式的要被提供至操作者的示例性精细指令；
126.图3c示出了根据本公开内容的一些实施方式的要被提供至操作者的示例性确认；
127.图4示出了根据本公开内容的一些实施方式的叠加在超声图像上的示例性医学参数；
128.图5a和图5b示出了根据本公开内容的一些实施方式的被配置成向操作者提供增强现实接口的示例性超声系统；
129.图6示出了根据本公开内容的一些实施方式的示例性增强现实接口；
130.图7a至图7h示出了根据本公开内容的一些实施方式的用于诊断应用的示例性用户接口；
131.图8a至图8d示出了根据本公开内容的一些实施方式的用于在家诊断应用的示例性用户接口；
132.图9示出了根据本公开内容的一些实施方式的引导超声装置的操作者捕获包含目标解剖视图的超声图像的示例性方法；
133.图10示出了向本公开内容的超声装置实施方式的操作者提供增强现实接口的示例性方法；
134.图11示出了根据本公开内容的一些实施方式的跟踪超声装置的位置的示例性方法；
135.图12示出了根据本公开内容的一些实施方式的使用超声图像识别对象的医学参数的示例性方法；
136.图13示出了根据本公开内容的一些实施方式的生成对对象的医学病症的诊断的示例性方法；
137.图14示出了根据本公开内容的一些实施方式的示例性卷积神经网络；
138.图15a示出了根据本公开内容的一些实施方式的示例性超声系统的框图；
139.图15b示出了根据本公开内容的一些实施方式的另一示例性超声系统的框图；
140.图16示出了根据本公开内容的一些实施方式的示例性超声装置的框图；
141.图17示出了根据本公开内容的一些实施方式的图16所示的示例性超声装置的详细框图；
142.图18a至图18b示出了根据本公开内容的一些实施方式的包括超声装置和显示器的示例性手持装置；
143.图18c至图18e示出了根据本公开内容的一些实施方式的包括超声装置的示例性贴片(patch)；以及
144.图18f示出了根据本公开内容的一些实施方式的包括超声装置的示例性手持装置。
具体实施方式
145.常规的超声系统是通常仅由具有显著财力的大型医疗设施购置的大型、复杂且昂贵的系统。最近，已经引入了更便宜且更简单的超声成像装置。这样的成像装置可以包括被单片集成到单个半导体管芯上以形成单片超声装置的超声换能器。在于2017年1月25日提交的题为“universal ultrasound device and related apparatus and methods”的美国专利申请第15/415,434号(并转让给本技术的受让人)中描述了这样的片上超声装置的各方面，该美国申请的全部内容通过引用并入本文。这些新超声装置的降低的成本和增加的便携性可以使它们与常规的超声装置相比对于普通公众而言更容易得到。
146.本发明人已经认识并理解的是，虽然超声成像装置的降低的成本和增加的便携性
使得他们对于普通公众而言更容易得到，但是可能使用这样的装置的人很少或没有受到过如何使用它们的训练。例如，职员中没有经过训练的超声技术人员的小诊所可能购买超声装置来帮助诊断患者。在该示例中，小诊所的护士可能熟悉超声技术和人体生理学，但是可能既不知道患者的哪些解剖视图需要被成像以便识别关于患者的医学相关信息，也不知道如何使用超声装置获得这样的解剖视图。在另一示例中，超声装置可以由医师发出给患者以供在家使用以监测患者的心脏。在很可能的情况下，患者既不了解人体生理学，也不了解如何利用超声装置对其自己的心脏进行成像。
147.因此，本发明人已经开发了用于引导超声装置的操作者正确地使用超声装置的辅助超声成像技术。该技术使得具有很少或没有操作超声装置的经验的操作者能够捕获医学相关超声图像，并且可以进一步帮助操作者解释所获得的图像的内容。例如，本文中公开的一些技术可以被用于：(1)识别要利用超声装置进行成像的对象的特定解剖视图；(2)引导超声装置的操作者来捕获对象的包含特定解剖视图的超声图像；以及(3)分析所捕获的超声图像以识别关于对象的医学信息。
148.应当理解的是，本文中描述的实施方式可以以多种方式中的任何形式来实现。以下仅出于说明性目的提供了特定实现的示例。应当理解的是，所提供的这些实施方式和特征/能力可以单独使用、一起使用、或者以两个或更多个的任何组合使用，因为本文中描述的技术的各方面在该方面不受限制。
149.a.指示超声装置的操作者如何定位装置
150.本公开内容提供了用于指示超声装置的操作者如何将超声装置定位在对象上以捕获医学相关超声图像的技术。捕获对象的包含特定解剖视图的超声图像对于新手超声装置操作者可能是具有挑战性的。操作者(例如，护士、技术人员或外行)不仅需要知道最初将超声装置定位在对象(例如，患者)上的位置，还需要知道如何调整装置在对象上的位置以捕获包含目标解剖视图的超声图像。在对象也是操作者的情况下，操作者识别适当的视图可能甚至更具挑战性，因为操作者可能没有超声装置的清晰视图。因此，某些公开的实施方式涉及用于引导操作者捕获包含目标解剖视图的超声图像的新技术。可以经由安装在操作者的计算装置(例如：移动装置、智能电话或智能装置、平板计算机等)上的软件应用(在下文中被称为“app”)来提供引导。例如，操作者可以将app安装在计算装置上并且(例如，使用无线连接如蓝牙或有线连接如避雷线缆)将计算装置连接至超声装置。然后，操作者可以将超声装置定位在对象上，并且软件应用(经由计算装置)可以向操作者提供反馈，该反馈指示操作者是否应该重新定位超声装置以及他/她应该如何继续这样做。遵循指令允许新手操作者捕获包含目标解剖视图的医学相关超声图像。
151.在一些实施方式中，可以至少部分地通过使用最先进的图像处理技术例如深度学习来生成提供至操作者的指令。例如，计算装置可以使用深度学习技术分析捕获的超声图像，以确定超声图像是否包含目标解剖视图。如果超声图像包含目标解剖视图，则计算装置可以向操作者提供超声装置被适当地定位在对象上以及/或者自动地开始记录超声图像的确认。否则，计算装置可以指示操作者如何重新定位超声装置(例如，“向上移动”、“向左移动”、“向右移动”、“顺时针旋转”、“逆时针旋转”或“向下移动”)以捕获包含目标解剖视图的超声图像。
152.本文中描述的深度学习技术可以以硬件、软件或硬件和软件的组合来实现。在一
种实施方式中，深度学习技术在能够在操作者可访问的智能装置上执行的app中实现。例如，app可以利用集成到智能装置中的显示器来向操作者显示用户接口屏幕。在另一实施方式中，app可以在云上被执行并且通过智能装置被传送至操作者。在又一实施方式中，app可以在超声装置本身上被执行，并且可以通过超声装置本身或与超声装置相关联的智能装置将指令传送至用户。因此，应当注意的是，在没有脱离所公开的原理的情况下，对app的执行可以在本地装置或远程装置处进行。
153.在一些实施方式中，用于向超声装置的操作者提供关于如何重新定位超声装置以捕获对象的包含目标解剖视图的超声图像的指令的技术可以被呈现为由例如通信地耦接至超声装置的计算装置执行的方法。计算装置可以是移动智能电话、平板计算机、膝上型计算机、工作站或任何其他合适的计算装置。超声装置可以被配置成：使用超声换能器将声波发送至对象中，检测反射的声波，以及使用反射的声波来生成超声数据。示例超声换能器包括电容式微机械超声换能器(cmut)、cmos超声换能器(cut)和压电式微机械超声换能器(pmut)。超声换能器可以与超声装置的半导体衬底单片集成。超声装置可以被实现为例如手持装置或被实现为被配置成粘附至对象的贴片。
154.在一些实施方式中，示例性方法可以包括：获得使用超声装置捕获的对象的超声图像。例如，超声装置可以生成超声数据并且(经由有线或无线通信链路)将超声数据发送至计算装置。计算装置又可以使用接收的超声数据生成超声图像。该方法还可以包括：使用自动图像处理技术确定超声图像是否包含目标解剖视图。例如，可以使用自动图像处理技术分析超声图像，以识别包含在超声图像中的解剖视图。可以将所识别的解剖视图与目标解剖视图进行比较，以确定所识别的解剖视图是否与目标解剖视图匹配。如果所识别的解剖视图与目标解剖视图匹配，则确定超声图像确实包含目标解剖视图。否则，确定超声图像不包含目标解剖视图。
155.应当理解的是，任何种类的自动图像处理技术可以被用于确定超声图像是否包含目标解剖视图。示例自动图像处理技术包括诸如深度学习技术的机器学习技术。在一些实施方式中，可以采用卷积神经网络来确定超声图像是否包含目标解剖视图。例如，可以利用用超声图像中描绘的特定解剖视图标记的一组超声图像来训练卷积神经网络。在该示例中，可以提供超声图像作为训练的卷积神经网络的输入，并且可以提供包含在输入超声图像中的特定解剖视图的指示作为输出。
156.在另一示例中，可以利用一组超声图像来训练卷积神经网络，该组超声图像被利用关于如何移动超声装置以捕获包含目标解剖视图的超声图像的一个或更多个指令或者超声图像包含目标解剖视图的指示而标记。在该示例中，可以将超声图像作为输入提供至训练的卷积神经网络，并且可以将超声图像包含目标解剖视图的指示或者提供至操作者的指令提供为输出。可以使用任何合适组合的多个层来实现卷积神经网络。可以在卷积神经网络中采用的示例层包括：池化层、整流线性单元(relu)层、卷积层、稠密层、填充层、连结层和提升层。本文在示例深度学习技术部分中提供了特定神经网络架构的示例。
157.在一些实施方式中，该方法还可以包括：在确定超声图像不包含目标解剖视图的情况下，向超声装置的操作者提供指示如何重新定位超声装置以促进捕获对象的包含目标解剖视图的超声图像的至少一个指令(或一组指令)。可以以各种方式中的任何一种向操作者提供指令。例如，可以使用显示器(例如，集成到计算装置例如操作者的移动装置中的显
示器)向操作者显示指令，或者使用扬声器(例如，集成到计算装置中的扬声器)将指令可听地提供至操作者。示例指令包括“顺时针转动”、“逆时针转动”、“向上移动”、“向下移动”、“向左移动”和“向右移动”。
158.在一些实施方式中，该方法还可以包括：在确定超声图像包含目标解剖视图的情况下，向操作者提供超声装置被适当地定位的指示。给操作者的超声装置被适当地定位的指示可以采用多种形式中的任何一种。例如，可以向操作者显示符号，例如勾选标记。可替选地(或另外地)，可以向操作者显示和/或可听地播放消息，例如“定位完成”。
159.可以基于超声装置相对于对象身体的当前位置来计算指令。可以通过比较超声装置相对于产生目标超声图像的超声装置的一个或更多个先前位置的当前定位来预先记录和确定指令。
160.b.确定如何引导超声装置的操作者来捕获医学相关超声图像
161.本公开内容提供了用于引导超声装置的操作者来捕获对象的医学相关超声图像的技术。教导个体如何执行新任务，例如如何使用超声装置，是一项具有挑战性的努力。个体在被提供过于复杂或混乱的指令的情况下可能会变得沮丧。因此，某些公开的实施方式涉及用于提供清晰且简明的指令以引导超声装置的操作者来捕获包含目标解剖视图的超声图像的新技术。在一些实施方式中，操作者可以将超声装置定位在对象上并且计算装置(例如，移动智能电话或平板计算机)可以生成针对如何引导操作者将超声装置从对象上的初始位置移动至对象上的目标位置的引导计划。引导计划可以包括一系列简单的指令或步骤(例如，“向上移动”、“向下移动”、“向左移动”或“向右移动”)以引导操作者从初始位置到目标位置。
162.引导计划可以可选地避免使用可能使操作者混淆的更复杂的指令，例如指示操作者对角地移动超声装置。一旦生成了引导计划，就可以以串行的方式向操作者提供来自引导计划的指令，以避免由于信息而使操作者负担过重。因此，操作者可以容易地遵循简单指令序列来捕获包含目标解剖视图的超声图像。
163.在一种实施方式中，可以通过以下操作来设计引导计划：将当前超声图像与目标超声图像进行比较，并且确定应当如何改变超声装置相对于对象的定位以接近目标超声图像。
164.在一些实施方式中，用于确定如何引导超声装置的操作者来捕获包含目标解剖视图的超声图像的技术可以被呈现为由例如通信地耦接至超声装置的计算装置执行的方法。该方法可以包括：获得使用超声装置捕获的对象的超声图像。例如，计算装置可以与超声装置通信以生成超声数据并且将所生成的超声数据发送至计算装置。计算装置又可以使用所接收的超声数据来生成超声图像。
165.在一些实施方式中，该方法还可以包括：在确定超声图像不包含目标解剖视图的情况下，使用超声图像生成针对如何引导操作者捕获对象的包含目标解剖视图的超声图像的引导计划。引导计划可以包括例如引导路径，可以沿该引导路径在超声装置在对象上的初始位置与超声装置在对象上的目标位置之间引导操作者，在目标位置处，可以捕获包含目标解剖视图的超声图像。例如，可以使用超声图像来识别超声装置的初始位置，并且可以使用目标解剖视图来识别超声装置的目标位置。一旦识别出超声装置的初始位置和目标位置，就可以确定两个位置之间的引导路径。
166.在一些实施方式中，超声装置的初始位置与超声装置的目标位置之间的引导路径可以不是两个位置之间的最直接的路径。例如，可以选择形成“l”的比两个点之间的直对角线更长的引导路径，因为“l”形引导路径可以更容易地传达给操作者。在一些实施方式中，引导路径可以有利地使超声装置在对象的包含硬组织(例如，骨)的区上的行进最小化。捕获骨的超声图像可以产生空白(或几乎空白)超声图像，因为由超声装置发射的声波通常不穿透硬组织。结果，超声图像中所包含的计算装置可以用来确定超声装置在对象上的位置的信息可能很少或者没有这样的信息。使在这些硬组织上的行进最小化可以有利地使计算装置能够：随着操作者沿引导路径移动超声装置，通过分析所捕获的超声图像来更容易地跟踪超声装置的进展。
167.该方法还可以包括：基于所确定的引导计划来向操作者提供至少一个指令。例如，可以生成指示操作者沿引导计划中的确定的引导路径移动超声装置的指令。可替选地(或另外地)，引导计划可以包括用于引导超声装置的操作者移动装置的指令序列，并且指令可以直接从引导计划提供。可以从引导计划以串行方式(例如，一次一个)提供指令。
168.应当理解的是，可以基于由操作者实际采取的行动来更新(例如，不断更新)引导计划。在一些实施方式中，在由操作者采取的行动与提供至操作者的指令不匹配的情况下，可以更新引导计划。例如，计算装置可能向操作者发出用于向左移动超声装置的指令，并且操作者可能无意中向上移动了超声装置。在该示例中，计算装置可以在超声装置的当前位置与超声装置的目标位置之间生成新的引导计划。
169.c.创建用于引导超声装置的操作者的增强现实接口
170.本公开内容提供了用于创建引导超声装置的操作者的增强现实接口的技术。提供书面指令和/或口头指令对于操作者理解可能是具有挑战性的。例如，传送在特定方向上移动超声装置(例如，“向左移动”)的指令可能是模糊的，因为由操作者使用的参考点可能不同。因此，操作者可能在认为他们正确地遵循指令的同时沿不正确的方向移动超声装置。因此，某些公开的实施方式涉及用于通过增强现实接口向超声装置的操作者提供指令的新技术。在增强现实接口中，指令可以叠加在操作者的现实世界环境的视图上。例如，增强现实接口可以包括定位在对象上的超声装置的视图和指示超声装置应该移动的特定方向的箭头。因此，操作者可以通过在与增强接口中的箭头一致的方向上在对象上移动超声装置来容易地重新定位超声装置。
171.在一些实施方式中，用于提供增强现实接口以引导操作者来捕获包含目标解剖视图的超声图像的技术可以被实现为例如由计算装置执行的方法，该计算装置具有非声学成像装置(或者正与非声学成像装置通信)，例如，被配置成检测光的成像装置。该方法可以包括：使用非声学成像装置来捕获超声装置的图像。例如，可以捕获定位在对象上的超声装置的图像。
172.在一些实施方式中，该方法还可以包括：至少部分地通过在超声装置的图像上叠加指示操作者要如何重新定位超声装置的至少一个指令来生成合成图像。例如，可以使用自动图像处理技术(例如，深度学习技术)来识别所捕获的图像中的超声装置的姿势(例如，位置和/或取向)，并且关于超声装置的姿势的信息可以被用于将指令叠加到所捕获的图像中的超声装置的至少一部分上。可以被叠加在超声装置的图像上的示例指令包括：指示操作者要移动装置的方向的符号(例如箭头)。
173.应当理解的是，可以使用超声装置的所识别的姿势将附加元素叠加在超声装置的图像上。例如，使用超声装置捕获的超声图像可以以如下方式叠加在超声装置的图像上：使超声图像看起来好像它从超声装置向外延伸到对象中。因此，在给定超声装置在对象上的当前位置的情况下，操作者可以获得对对象的正在被成像的特定区域的更好的了解。
174.在一些实施方式中，该方法还可以包括：向操作者呈现合成图像。例如，计算装置可以包括集成显示器，并且可以使用显示器向操作者显示合成图像。
175.d.使用超声装置上的标记来跟踪超声装置的位置
176.本公开内容提供了用于使用设置在超声装置上的标记来跟踪超声装置的位置的技术。如以上所描述的，通过增强现实接口向超声装置的操作者提供指令可以使指令更清楚且更容易被理解。增强现实接口可以包括真实世界环境的捕获图像(例如，由移动智能电话上的摄像机捕获的)以及叠加在捕获图像上的关于如何移动超声装置的一个或更多个指令。在指令相对于捕获图像中的真实世界对象定位的情况下，这样的增强现实接口可以甚至更直观。例如，指示操作者向左移动超声装置的箭头在箭头位于捕获图像中的超声装置的附近时对于操作者而言可以更清楚。因此，本文中描述的技术的各方面涉及用于在捕获图像中跟踪超声装置使得指令可以被适当地定位在增强现实接口中的新技术。可以通过在超声装置上放置在捕获图像中可见的独特标记来减轻识别捕获图像中的超声装置的位置的问题。标记可以具有例如可以使用自动图像处理技术(例如，深度学习技术)容易地识别的独特图案、颜色和/或图像。因此，可以通过将标记定位在捕获图像中来识别捕获图像中的超声装置的位置。一旦已经识别出捕获图像中的超声装置的位置，就可以将指令叠加到捕获图像上在靠近超声装置的位置处以形成更直观的增强现实接口。
177.在一些实施方式中，用于使用设置在超声装置上的标记来跟踪捕获图像中的超声装置的位置的技术可以被实现为由例如通信地耦接至超声装置的计算装置执行的方法。可以跟踪捕获图像中的超声装置的位置，以例如在捕获图像上适当地定位指令，以形成增强现实接口。例如，指令可以定位在捕获图像中的超声装置附近。在一些实施方式中，这些技术可以被呈现为由例如计算装置执行的方法，该计算装置具有非声学成像装置(或者与非声学成像装置通信)，例如，被配置成检测光的成像装置。可以采用非声学成像装置来捕获超声装置上的标记的图像。标记可以被构造成具有可以被识别的独特图案、颜色和/或图像。标记可以以各种方式中的任何一种来实现。例如，标记可以是：单色标记、全息标记和/或色散标记。单色标记可以包括单色图案，例如aruco标记。全息标记可以包括取决于观察全息图的特定角度而呈现不同的图像的全息图。色散标记可以包括取决于观察色散元素的特定角度而呈现不同颜色的色散元素。
178.在一些实施方式中，该方法还可以包括：至少部分地通过分析捕获图像中的标记的至少一个特性来自动识别超声装置的姿势。例如，可以识别图像中的标记的位置以确定图像中的超声装置的位置。另外地(或可替选地)，可以分析标记的一个或更多个特性以确定图像中超声装置的的取向。例如，标记可以是色散标记，并且可以分析标记的颜色以确定超声装置的取向。在另一示例中，标记可以是全息标记，并且可以分析由标记呈现的特定图像以确定超声装置的取向。
179.在一些实施方式中，该方法还可以包括：使用超声装置的所识别的姿势来向超声装置的操作者提供指令。例如，指令可以包括叠加在呈现给操作者的捕获图像上的符号(例
如，箭头)。在该示例中，可以采用图像中的超声装置的所识别的姿势来将符号精确地定位在捕获图像中的超声装置的至少一部分上。
180.e.自动地解释捕获的超声图像
181.本公开内容提供了用于自动地解释捕获的超声图像以识别对象的医学参数的技术。超声装置的新手操作者可能不能解释捕获的超声图像以收集关于对象的医学相关信息。例如，新手操作者可能不知道如何根据捕获的超声图像来计算对象的医学参数(例如，对象的心脏的射血分数)。因此，某些公开的实施方式涉及用于自动地分析捕获的超声图像以识别对象的这样的医学参数的新技术。在一些实施方式中，可以使用诸如深度学习的最先进的图像处理技术来识别医学参数。例如，可以采用深度学习技术来识别超声图像中的特定器官(例如，心脏或肺)的存在。一旦识别出超声图像中的器官，就可以分析器官的特性(例如，形状和/或大小)以确定对象的医学参数(例如，对象心脏的射血分数)。
182.在一些实施方式中，用于使用捕获的超声图像来识别对象的医学参数的技术可以被实现为例如由通信地耦接至超声装置的计算装置执行的方法。该方法可以包括：获得使用超声装置捕获的对象的超声图像。例如，计算装置可以与超声装置通信以生成超声数据并且将所生成的超声数据发送至计算装置。计算装置又可以使用接收的超声数据生成超声图像。
183.在一些实施方式中，该方法还可以包括：使用自动图像处理技术识别对象的在超声图像中的解剖特征。对象的可以被识别的示例解剖特征包括：心脏心室、心脏瓣膜、心脏间隔、心脏乳头肌、心脏心房、主动脉和肺。可以使用诸如深度学习技术的各种自动图像处理技术中的任何一种来识别这些解剖特征。
184.在一些实施方式中，该方法还可以包括：使用超声图像中的所识别的解剖特征来识别对象的医学参数。例如，可以捕获心脏的超声图像，并且可以将超声图像中的心室识别为解剖特征。在该示例中，可以使用超声图像的被识别为心脏心室的一部分来计算心脏心室的一个或更多个尺寸，以识别与心脏相关联的医学参数。与心脏相关联的示例医学参数包括：射血分数、缩短分数、心室直径、心室容积、舒张末期容积、收缩末期容积、心输出量、每搏输出量、室间隔厚度、心室壁厚度和脉搏率。
185.f.自动地生成医学病症的诊断
186.本公开内容提供了用于使用所捕获的超声图像来生成对对象的医学病症的诊断的技术。超声装置的新手操作者可能不知道如何使用超声装置来诊断对象的医学病症。例如，操作者可能不确定要对对象的哪个解剖视图进行成像来诊断医学病症。另外，操作者可能不确定如何解释捕获的超声图像以诊断医学病症。因此，某些公开的实施方式涉及用于辅助超声装置的操作者诊断对象的医学病症的新技术。在一些实施方式中，这些技术可以用在可以被安装在健康护理专业人员的计算装置(例如，智能电话)上的诊断app中。诊断app可以在诊断对象的医学病症的整个过程中陪伴健康护理专业人员。例如，诊断app可以向健康护理专业人员提示关于对象的可以被用于确定对象的要使用超声装置成像的特定解剖视图的医学信息(例如，年龄、体重、身高、静息心率、血压、体表面积等)。然后，诊断app可以引导健康护理专业人员捕获解剖视图的超声图像。诊断app可以采用来自超声装置的原始超声数据和/或捕获的超声图像(或超声图像序列)。应当理解的是，可以采用其他信息(例如，关于对象的医学信息)结合超声图像和/或原始超声数据来诊断对象的医学病症。
187.在一些实施方式中，用于使用超声装置诊断对象的医学病症的技术可以被实现为例如由通信地耦接至超声装置的计算装置执行的方法。该方法可以包括：接收关于对象的医学信息。关于对象的示例医学信息包括：心率、血压、体表面积、年龄、体重、身高和对象正在服用的药物。可以通过例如向操作者提出一个或更多个调查问题来从操作者接收医学信息。可替选地(或另外地)，可以从诸如外部服务器的外部装置获得医学信息。
188.在一些实施方式中，该方法还可以包括：基于所接收的医学信息来识别对象的要使用超声装置捕获的目标解剖视图。可以被识别的示例解剖视图包括：胸骨旁长轴(plax)解剖视图、胸骨旁短轴(psax)解剖视图、心尖四腔(a4c)解剖视图和心尖长轴(alax)解剖视图。在一些实施方式中，可以分析医学信息以确定对象是否具有与可以被成像的特定器官——例如心脏或肺——相关联的任何健康问题。如果医学信息指示对象具有这样的健康问题，则可以识别与器官相关联的解剖视图。例如，医学信息可以包括对象具有充血性心力衰竭的症状(例如，最近经历阵发性夜间呼吸困难)的指示。在该示例中，可以将与心脏相关联的解剖视图(例如，plax解剖视图)识别为要被捕获的适当视图。
189.在一些实施方式中，该方法还可以包括：获得对象的包含目标解剖视图的超声图像。例如，可以从对象的电子健康记录获得超声图像。另外地(或可替选地)，可以引导操作者获得包含目标解剖视图的超声图像。例如，可以向操作者提供用于将超声装置重新定位在对象上的一个或更多个指令(例如，指令序列)，使得超声装置被适当地定位在对象上以捕获目标解剖视图。
190.在一些实施方式中，该方法还可以包括：使用包含目标解剖视图的超声图像来生成对对象的医学病症的诊断。例如，一个或更多个医学参数(例如，射血分数)可以被从超声图像(或超声图像序列)中提取并且被采用以生成诊断。应当理解的是，可以采用与包含目标解剖视图的超声图像不同的附加信息来识别对对象的医学病症的诊断。例如，关于对象的医学信息可以与从超声装置提取的一个或更多个医学参数结合采用以生成诊断。
191.在一些实施方式中，该方法还可以包括：生成针对对象的一个或更多个推荐治疗。可以基于对象的诊断的医学病症来生成推荐治疗。例如，对象可能被诊断患有心脏病(例如，充血性心力衰竭)，并且推荐治疗可能包括用于治疗心脏病的药物(例如，贝塔阻滞剂药物)。
192.g.另外的说明
193.图1示出了被配置成引导超声装置102的操作者获得对象101的目标解剖视图的超声图像的示例超声系统100。如所示出的，超声系统100包括通过通信链路112通信地耦接至计算装置104的超声装置102。计算装置104可以被配置成从超声装置102接收超声数据并且使用所接收的超声数据来生成超声图像110。计算装置104可以分析超声图像110以向超声装置102的操作者提供关于如何重新定位超声装置102以捕获包含目标解剖视图的超声图像的引导。例如，计算装置104可以分析超声图像110以确定超声图像110是否包含目标解剖视图，例如plax解剖视图。如果计算装置104确定超声图像110包含目标解剖视图，则计算装置104可以使用显示器106向操作者提供超声装置102被适当地定位的指示。否则，计算装置104可以使用显示器106向操作者提供关于如何重新定位超声装置102的指令108。
194.超声装置102可以被配置成生成超声数据。超声装置102可以被配置成通过例如将声波发射到对象101中并且检测所反射的声波来生成超声数据。可以分析检测到的反射声
波以识别声波所通过的组织的各种特性，例如组织的密度。超声装置102可以以各种方式中的任何一种来实现。例如，超声装置102可以被实现为手持装置(如图1所示)或者实现为使用例如粘合剂耦接至患者的贴片。下面在示例超声装置部分中详细描述了示例超声装置。
195.超声装置102可以使用通信链路112将超声数据发送至计算装置104。通信链路112可以是有线(或无线)通信链路。在一些实施方式中，通信链路112可以被实现为诸如通用串行总线(usb)线缆或避雷线缆的线缆。在这些实施方式中，线缆还可以被用于将电力从计算装置104传送至超声装置102。在其他实施方式中，通信链路112可以是无线通信链路，例如蓝牙、wifi或zigbee无线通信链路。
196.计算装置104可以包括一个或更多个处理元件(例如处理器)，以例如对从超声装置102接收到的超声数据进行处理。另外地，计算装置104可以包括一个或更多个存储元件(例如，非暂态计算机可读介质)，以例如存储可以由处理元件执行的指令并且/或者存储从超声装置102接收到的超声数据的全部或任何部分。应当理解的是，计算装置104可以以各种方式中的任何一种来实现。例如，计算装置104可以被实现为具有如图1所示的集成显示器106的移动装置(例如，移动智能电话、平板计算机或膝上型计算机)。在其他示例中，计算装置104可以被实现为固定装置，例如台式计算机。下面在示例超声系统部分中描述了计算装置的附加示例实现。
197.计算装置104可以被配置成使用从超声装置102接收的超声数据来向超声装置102的操作者提供引导。在一些实施方式中，计算装置104可以使用所接收的超声数据来生成超声图像110，并且使用自动图像处理技术分析超声图像110，以生成关于操作者应当如何重新定位超声装置102以捕获包含目标解剖视图的超声图像的指令108。例如，计算装置104可以使用机器学习技术(例如，深度学习技术)识别包含在超声图像110中的解剖视图，并且确定包含在超声图像110中的解剖视图是否与目标解剖视图匹配。如果所识别的解剖视图与目标解剖视图匹配，则计算装置104可以经由显示器106提供超声被适当地定位的指示。否则，计算装置104可以识别要提供给操作者以重新定位超声装置102的指令并且经由显示器106提供该指令。在另一示例中，计算装置104可以生成指令108，而不执行确定超声图像110是否包含目标解剖视图的中间步骤。例如，计算装置104可以使用机器学习技术(例如，深度学习技术)将超声图像110直接映射到输出以向用户提供，例如适当地定位的指示或重新定位超声装置102的指令(例如，指令108)。
198.在一些实施方式中，计算装置104可以被配置成使用引导计划来生成用于操作者的关于如何将超声装置102定位在对象101上的指令108。引导计划可以包括指示应当如何引导操作者将超声装置102从对象101上的初始位置移动至对象101上的目标位置的引导路径，在目标位置处，可以捕获包含目标解剖视图的超声图像。关于对象的这样的引导路径的示例在图2中示出。如所示出的，超声装置可以最初定位在对象201上的初始位置202处(在对象201的下躯干上)，并且计算装置可以在初始位置202与目标位置204之间生成引导路径208。计算装置可以采用引导路径208来生成要向操作者提供的指令序列。例如，计算装置可以针对引导路径208生成“向右移动”的第一指令和“向上移动”的第二指令。所生成的指令还可以包括移动幅度的指示，例如“向右移动5厘米”。计算装置可以串行地(例如，一次一个)提供这些指令，以避免由于信息而使操作者负担过重。
199.计算装置可以通过使用自动图像处理技术(例如，深度学习技术)分析从超声装置
接收到的超声数据来识别初始位置202。例如，计算装置可以将(使用超声数据生成的)超声图像作为输入提供给神经网络，该神经网络被配置(例如，被训练)成将对包含在超声图像中的解剖视图的指示提供为输出。然后，计算装置可以将所识别的解剖视图映射到对象201上的位置。解剖视图与对象201上的位置之间的映射可以例如本地存储在计算装置上。
200.计算装置可以基于目标解剖视图来识别目标位置204。例如，计算装置可以将目标解剖视图映射到对象201上的位置。目标解剖视图与对象201上的位置之间的映射可以例如本地存储在计算装置上。
201.一旦已经识别出初始位置202和目标位置204，计算装置就可以识别操作者应该遵循以将超声装置从初始位置202移动到目标位置204的引导路径208。计算装置可以例如通过识别初始位置202与目标位置204之间的最短路径(例如，对角线路径)来生成引导路径208。可替选地，计算装置可以通过识别初始位置202与目标位置204之间的满足一个或更多个约束的最短路径来生成引导路径208。可以选择一个或更多个约束以例如易于用于操作者沿引导路径208移动超声装置的指令的传送。例如，对于精确地传送给操作者而言，在特定方向(例如对角线方向)上的移动可能更具挑战性。因此，计算装置可以将忽略对角线移动的最短路径识别为引导路径，如由图2中的“l”形引导路径208所示的。另外地(或可替选地)，可以选择引导路径208以使对象的硬组织(例如，骨)上的遍历最小化。使这样的硬组织上的行进最小化可以有利地使计算装置能够更容易地跟踪超声装置沿引导路径208的移动。例如，骨的超声图像可以是空白的(或几乎空白的)，因为由超声装置发射的声波通常不会穿透硬组织。计算装置可能无法分析这样的超声图像以确定它们属于哪个解剖视图，并且从而失去对超声装置在对象201上的位置的跟踪。使在这些硬组织上的行进最小化可以有利地使计算装置能够：随着操作者沿引导路径208移动超声装置，通过分析所捕获的超声图像来更容易跟踪超声装置的进展。
202.计算装置可以本地地存储所生成的引导路径208并且使用引导路径来生成要提供给操作者的指令序列。例如，计算装置可以使用引导路径208来生成指令序列：(1)“横向移动”，(2)“向上移动”，以及(3)“顺时针扭转”。这些指令又可以以串行方式被提供至操作者，以引导操作者将超声装置从初始位置202移动至目标位置204。
203.如上所述，超声装置的新手操作者可以具有很少或没有人体生理学的知识。从而，初始位置202可以远离目标位置204。例如，在目标位置204在对象201的上躯干上的情况下，操作者可能最初将超声装置放置在对象201的腿上。提供将超声装置从远离的初始位置202移动至目标位置204的各个指令序列可能是耗时的过程。因此，计算装置可以最初向操作者提供粗略指令以将超声装置移动至对象201的大致区域(例如，对象201的上躯干)，并且随后提供一个或更多个精细指令以在特定方向上移动(例如“向上移动”)超声装置。
204.在一些实施方式中，计算装置可以基于关于超声装置是否被定位在对象上在对象201的预定区206内的确定来做出关于是发出粗略指令还是精细指令的确定。预定区206可以是对象201上的包括目标位置204并且易于使操作者识别的区。例如，目标位置204可以在对象201的心脏上方，并且预定区206可以包括对象的上躯干。计算装置可以响应于超声装置的位置在预定区206内来提供精细指令，并且响应于超声装置在预定区206之外来提供粗略指令。例如，操作者可能最初将超声装置定位在对象201的腿上并且计算装置可以提供指示操作者将超声装置移动到对象201的上躯干(例如，预定区206)的粗略指令。一旦操作者
已经将超声装置定位在对象201的上躯干上(并且从而在预定区206内)，计算装置可以提供包括对用于将超声装置朝向目标位置204移动的特定方向的指示的精细指令。
205.提供粗略指令可以有利地加速引导超声装置的操作者的过程。例如，操作者可能不熟悉人体生理学并且在操作者试图捕获包含对象201的心脏的解剖视图的超声图像的情况下最初将超声装置放置在对象201的腿上。在该示例中，可以向操作者提供包括将超声装置放置在何处(例如，在对象的上躯干上)的指示的粗略指令，而不是向操作者提供(1)从大腿向下躯干以及(2)从下躯干向上躯干移动超声装置的指令集合。
206.图3a示出了可以经由计算装置304上的显示器306提供给操作者的示例粗略指令302。在超声装置定位在对象上的预定区之外的情况下，可以提供粗略指令302。如图所示，粗略指令302包括操作者应将超声装置定位在对象上的位置以在预定区内的指示。特别地，粗略指令302包括示出预定区域位于对象301的图形图像上的位置的符号308(例如，星形)。粗略指令302还包括具有指向符号308的箭头的消息310，该消息指示操作者“将超声装置定位在这里”以向操作者传达超声装置应该被放置在符号308位于对象301的图形图像上的位置。
207.图3b示出了可以经由计算装置304上的显示器306提供给操作者的示例精细指令312。在超声装置被定位在对象上的预定区内的情况下，可以提供精细指令312。如图所示，精细指令312包括符号314，符号314指示操作者应该移动超声装置的方向。在一些实现中，符号314可以是动画。例如，符号314(例如，箭头和/或超声装置的模型)可以在超声装置要移动的方向上移动。精细指令312还可以包括补充符号314的消息316，例如消息“顺时针转动”。符号314和/或消息316可以叠加在背景图像311上。背景图像311可以是例如使用从超声装置接收的超声数据生成的超声图像。
208.图3c示出了可以经由计算装置304上的显示器306提供给操作者的示例确认318。在超声装置被适当地定位在对象上以捕获包含目标解剖视图的超声图像时，可以提供确认318。如图所示，确认318包括指示超声装置被适当地定位的符号320(例如，勾选标记)。确认318还可以包括补充符号320的消息322，例如消息“保持”。符号320和/或消息322可以叠加在背景图像311上。背景图像311可以是例如使用从超声装置接收的超声数据生成的超声图像。
209.一旦操作者已经成功捕获包含目标解剖视图的超声图像，计算装置可以被配置成分析所捕获的超声图像。例如，计算装置可以使用自动图像处理技术来分析所捕获的超声图像以识别对象的医学参数。可以根据超声图像获得的对象的示例医学参数包括：射血分数、缩短分数、心室直径、心室容积、舒张末期容积、收缩末期容积、心输出量、每搏输出量、室间隔厚度、心室壁厚度和脉搏率。计算装置可以通过例如识别超声图像中的解剖特征(例如心脏心室、心脏瓣膜、心脏间隔、心脏乳头肌、心脏心房、主动脉以及肺)并分析所识别的解剖特征来识别这些医学参数。计算装置可以使用自动成像处理技术(诸如深度学习技术)来识别解剖特征。例如，计算装置可以将所捕获的超声图像提供给神经网络，该神经网络被配置(例如，训练)成将超声图像中的哪些像素与特定解剖特征相关联的指示提供为输出。应当理解，该神经网络可以与用于引导操作者的任何神经网络分开并且不同。
210.如图4所示，所生成的医学参数可以叠加在所捕获的超声图像上。如图所示，计算装置404可以(经由集成显示器406)显示超声图像408和叠加在超声图像408上的医学参数
集合410。超声图像408可以包含包括对象的心脏的视图的对象的plax视图。在超声图像408中，计算装置可以将左心室识别为解剖特征402并分析左心室的特性(诸如示为解剖特征特性404的左心室直径)以识别医学参数410。图4中所示的医学参数410包括：左心室直径(lvd)为38.3毫米(mm)、左心室收缩末期直径(lvesd)为38.2mm、左心室舒张末期直径(lvedd)为49.5mm、缩短分数(fs)为23％、射血分数(ef)为45％。
211.应当理解，计算装置可以使用多于一个包含目标解剖视图的超声图像来识别医学参数410。在一些实施方式中，可以捕获心脏的跨越至少一个完整心跳的超声图像序列以生成医学参数。例如，可以分析超声图像以确定在心脏心室收缩末期捕获了哪个超声图像(被称为收缩末期图像)以及在心脏心室收缩开始紧之前捕获了哪个超声图像(被称为舒张末期图像)。可以通过例如识别序列中的具有最小心室容积(或直径)的超声图像来识别收缩末期图像。类似地，可以通过例如识别序列中的具有最大心室容积(或直径)的超声图像来识别舒张末期图像。可以分析收缩末期图像以确定在心脏收缩末期测量的一个或更多个医学参数，例如收缩末期直径(esd)和/或收缩末期容积(esv)。类似地，可以分析舒张末期图像以确定在心脏收缩开始紧之前测量的一个或更多个医学参数，例如舒张末期直径(edd)和/或舒张末期容积(edv)。一些医学参数可能需要对收缩末期图像和舒张末期图像两者的分析。例如，对ef的识别可能需要：(1)使用舒张末期图像识别的edv和(2)使用收缩末期图像识别的esv，如下面的等式(1)所示：
[0212][0213]
类似地，对fs的识别可能需要：(1)使用舒张末期图像识别的edd和(2)使用收缩末期图像识别的esd，如下面的等式(2)所示：
[0214][0215]
在一些实施方式中，计算装置可以基于医学参数的值来改变显示器406中示出的医学参数410的颜色。例如，医学参数410可以：以第一颜色(例如，绿色)显示以指示值在正常范围内、以第二颜色(例如，橙色)显示以指示值在边界异常范围内以及以第三颜色(例如，红色)显示以指示值在异常范围内。
[0216]
示例增强现实接口
[0217]
发明人已经认识到，通过增强现实接口向操作者提供指令可以有利地使操作者更容易理解指令。图5a示出了示例性超声系统，其被配置成向操作者提供增强现实接口。如图所示，超声系统包括经由通信链路512通信地耦接至计算装置504的超声装置502。超声装置502、通信链路512和/或计算装置504可以分别与如上参照图1描述的超声装置102、通信链路112和/或计算装置104类似(或相同)。超声系统还包括设置在超声装置502上的标记510。标记有利地使得计算装置504能够更容易地跟踪由(例如，集成到计算装置504中的)成像装置506捕获的非声学图像中的超声装置的位置。计算装置504可以使用非声学图像中的超声装置的跟踪位置来将一个或更多个元素(例如，指令)叠加到非声学图像上以形成增强现实接口。这样的增强现实接口可以经由显示器508(例如，集成到计算装置502中并且设置在相对于成像装置506的相对侧)显示。
[0218]
应当理解，计算装置504不需要实现为手持装置。在一些实施方式中，计算装置504
可以实现为可穿戴装置，其具有用于向操作者显示指令的机构。例如，计算装置504可以实现为可穿戴耳机和/或一副智能眼镜(例如，谷歌眼镜、苹果ar眼镜和微软hololens)。
[0219]
图5b从操作者的角度示出了超声系统的另一视图。如图所示，计算装置504中的显示器508显示增强现实接口，该增强现实接口包括在对象501上使用的超声装置502的非声学图像512(例如，由成像装置506捕获)和叠加在图像512上的一个或更多个元素。例如，指示操作者移动超声装置502的方向的指令516、指示目标解剖平面的位置的符号和/或由超声装置502捕获的超声图像514可以叠加在图像512上。这些元素可以被实现为例如：不透明元素(以遮蔽图像512的在元素下方的一部分)、透明元素(以不遮蔽图像512的在元素下方的一部分)、伪彩色化元素和/或切除元素。
[0220]
在一些实施方式中，指令516可以叠加在图像512上，使得指令516的至少一部分叠加在图像512中的超声装置502上。计算装置504可以例如使用标记510来识别图像512中的超声装置502的姿势(例如，位置和/或取向)，并使用所识别的姿势将指令516定位在增强现实接口中。标记510可以被构造成具有在图像512中可以容易识别的一个或更多个区别特性。示例标记包括：单色标记、全息标记和色散标记。单色标记可以包括单色图案，例如aruco标记。全息标记可以包括全息图，取决于观察全息图的特定角度，全息图呈现不同的图像。色散标记可以包括色散元素，取决于观察色散元素的特定角度，色散元素呈现不同的颜色。计算装置504可以以各种方式中的任何方式识别超声装置502的姿势。在一些实施方式中，计算装置可以通过识别标记510的位置来识别图像512中的超声装置502的位置。可以通过在图像512中搜索标记510的一个或更多个不同特性来识别标记510的位置。另外(或可替选地)，计算装置可以通过分析标记512的一个或更多个特性来识别图像512中的超声装置502的取向。例如，标记510可以是色散标记，并且计算装置可以通过识别图像512中的标记510的颜色来识别图像512中的超声装置502的取向。在另一示例中，标记510可以是全息标记，并且计算装置可以通过识别由图像512中的标记510呈现的图像来识别图像512中的超声装置502的取向。在又一示例中，标记510可以是图案化单色标记，并且计算装置可以通过识别图像512中的标记510上的图案的取向来识别图像512中的超声装置502的取向。
[0221]
应当理解，可以在没有标记510的情况下识别超声装置502的姿势。例如，超声装置502可以具有在图像512中可以容易地识别的区别特性(例如，形状和/或颜色)。因此，计算装置504可以通过分析图像510中的超声装置502的一个或更多个特性来识别图像510中的超声装置502的姿势。
[0222]
在一些实施方式中，可以采用图像512中的超声装置502的识别姿势来将与指令516不同的其他元素叠加到图像512上。例如，可以采用超声装置502的识别姿势来将超声图像514叠加在图像512上，使得超声图像514看起来像从超声装置502延伸到对象501中。这样的配置可以有利地向操作者提供对对象的正由超声装置502成像的特定部分的指示。图6示出了显示在计算装置604的显示器606上的这种增强现实接口的示例。增强现实接口将超声图像610和超声装置符号608叠加在正用于对对象601成像的超声装置602的图像(例如，从手持装置即计算装置604中的前置摄像机捕获)上。如图所示，超声图像610叠加在对象601的正由超声装置602成像的一部分上。特别地，超声图像610被定位和定向成从超声装置602延伸到对象601中。超声图像610的该定位和取向可以向操作者指示对象601的正被成像的特定部分。例如，超声装置602可以定位在对象601的上躯干上，并且超声图像610可以从超
声装置602的与对象601接触的一端延伸到对象601的上躯干中。由此，可以向操作者通知所捕获的图像是对象601的上躯干中的身体组织的2d横截面的图像。
[0223]
应当理解，附加(或更少)元素可以叠加在图6中的在对象601上使用的超声装置602的图像上。例如，可以省略叠加在超声装置602上的超声装置符号608。此外(或可替选地)，用户接口可以将指令(例如，增强现实箭头)叠加在对象601上的超声装置602的图像上，以向操作者提供引导。
[0224]
示例诊断应用
[0225]
发明人已经认识到，超声成像技术可以有利地与诊断和治疗建议相结合，以提供具有智能且价格合理的产品和服务的生态系统，产品和服务使对医学成像的访问大众化并且将成像加速到常规临床实践和/或患者监测中。这可以通过以下操作来提供常规临床决策支持(cds)应用的进步：使医疗保健专业人员和/或患者能够在早期疾病状态下做出诊断和治疗决策以及帮助新手成像用户(例如，消费者)更早地检测各种病症并监测患者对治疗的反应。
[0226]
本文描述的技术改进可以通过超声系统实现对病症的集中诊断、早期检测和治疗以及其他能力。超声系统可以包括被配置成捕获对象的超声图像的超声装置以及与超声装置通信的计算装置。计算装置可以执行诊断应用，该诊断应用被配置成执行例如以下功能中的一个或更多个：(1)获取关于对象的医学信息，(2)基于所获取的关于对象的医学信息来识别要利用超声装置成像的对象的解剖视图，(3)引导操作者捕获包含所识别的解剖视图的一个或多个超声图像，(4)基于所捕获的超声图像提供对对象的医学病症的诊断(或预诊断)，以及(5)基于诊断提供一个或更多个推荐的治疗。
[0227]
图7a至图7h示出了用于诊断应用的示例用户接口，该诊断应用被配置成帮助操作者确定对象是否正在经历心力衰竭。诊断应用可以被设计成由例如医疗保健专业人员例如医生、护士或医师助理等使用。诊断应用可以由例如计算装置704执行。计算装置704可以包括集成显示器706，集成显示器706被配置成显示诊断应用的一个或更多个用户接口屏幕。计算装置704可以使用有线通信链路或无线通信链路通信地耦接至超声装置(未示出)。
[0228]
图7a示出了可以在启动诊断应用时显示的示例主屏幕。可以在主屏幕上呈现的信息包括应用标题702、应用描述703以及赞助者区域708。赞助者区域708可以显示信息，例如，指示提供诊断应用的任何赞助实体的名称、符号或徽标的信息。在心力衰竭诊断应用的情况下，提供一种或更多种用于治疗这种病症的药物或疗法的药物制造商可以赞助该应用。主屏幕还可以包括选择区域，该选择区域使得操作者能够在诊断应用内执行各种功能，例如：安排与对象的后续检查，访问更多医学资源或开始新诊断。
[0229]
响应于在图7a所示的主屏幕中激活选择区域710中的“开始新诊断”按钮，计算装置704可以从主屏幕转换到图7b中所示的临床问与答屏幕。临床问与答屏幕可以向操作者提出一个或更多个临床问题712。对于心力衰竭诊断应用，向操作者提出的适当的临床问题712可以是：“患者是否正在经历阵发性夜间呼吸困难？”阵发性夜间呼吸困难可以是通常发生在夜间的严重的呼吸急促和咳嗽的发作。这种发作可能是充血性心力衰竭的症状。诊断应用可以在响应区域712中接收针对临床问题的答案。还将从图7b中注意到，可以继续在诊断应用中提供赞助者区域708。赞助者区域708可以包括用于将诊断应用退出到由赞助者托管的站点的链接。
[0230]
响应于在响应区域714中激活“是”按钮，计算装置704可以从临床q&a屏幕转换到检查屏幕。检查屏幕可以向操作者提出一个或更多个检查问题718。对于心力衰竭诊断应用，检查问题718可以是确定要诊断的对象的当前心率。诊断应用可以通过响应区域720接收响应。例如，操作者可以在响应区域720中指示：对象的心率低于第一值(例如，小于91次每分钟(bpm))、在第一值与第二值之间的范围内(例如，在91bpm与110bpm之间)或者高于第二值(例如，大于110bpm)。
[0231]
一旦计算装置704已经接收到对检查问题718的响应，计算装置704可以从图7c所示的检查屏幕转换到图7d所示的超声图像获取屏幕。超声图像获取屏幕可以向操作者呈现成像指令722。对于心力衰竭诊断应用，成像指令722可以指示操作者开始对对象的辅助射血分数(ef)测量。ef可以是每次收缩时心脏心室泵出的血液量的度量。可以通过例如分析对象的心脏的一个或更多个超声图像来计算ef。响应于激活选择区域724中的“开始测量”按钮，计算装置704可以开始辅助ef测量过程。
[0232]
响应于在选择区域724中激活“开始测量”按钮，计算装置702可以与超声装置通信以捕获超声图像。计算装置702还可以从图7d中所示的图像获取屏幕转换至图7e所示的图像获取辅助屏幕。图像获取辅助屏幕可以显示使用超声装置捕获的超声图像726。在一些实施方式中，图像获取辅助屏幕可以显示关于如何重新定位超声装置以获得包含目标解剖视图(例如，plax视图)的超声图像的一个或更多个指令。一旦超声装置已被适当地定位，图像获取辅助屏幕可以显示超声装置被适当地定位的指示。当获得一个或更多个合适的(临床相关)图像时，操作者可以经由“确认”按钮确认获取。
[0233]
一旦操作者确认了超声图像，计算装置704可以从图7e所示的图像获取辅助屏幕转换到图7f所示的诊断结果屏幕。诊断结果屏幕可以显示根据分析所捕获的超声图像730确定的诊断结果728、732。如图所示，诊断结果屏幕可以显示：对象的ef为30％，并且关联的纽约心脏协会(nyha)分类为iv。该分类系统使用四类心力衰竭：从i到iv，其中iv最严重。
[0234]
响应于在选择区域734中激活“查看可能治疗”按钮，计算装置704可以从图7f中所示的诊断结果屏幕转换到图7g和图7h中所示的一个或更多个治疗屏幕。图7g中所示的治疗屏幕可以显示关于提供给对象的当前治疗的治疗问题736和基于例如以下响应中的任何一个确定的建议治疗738：(1)对治疗问题736的响应，(2)诊断结果，(3)捕获的超声图像，(4)对身体检查问题的响应，和/或(5)对临床问题的响应。图7h中所示的治疗屏幕可以是图7g中的治疗屏幕的扩展。例如，操作者可以通过从图7g所示的治疗屏幕向下滚动来访问图7h中的治疗屏幕。图7h中的治疗屏幕可以显示治疗选择740，在治疗选择740中操作者可以选择他们想要向对象提供哪种治疗。如图所示，治疗选择740可以使得操作者能够在一个或更多个治疗心力衰竭的药物之间进行挑选，上述药物例如血管紧张素转换酶抑制剂(ace抑制剂)、血管紧张素受体阻滞剂(arb)或其他替代物。然后，诊断应用可以基于所选择的治疗显示一个或更多个外部链接742，以向操作者提供更多关于治疗的信息。
[0235]
应当理解，图7a至图7h中所示的诊断应用仅是一个示例实现方式，并且可以针对与充血性心力衰竭不同和区分的其他病症创建其他诊断应用。此外，可以创建诊断应用以供在家的对象(而不是医师)使用。例如，医师可以分发超声装置，该超声装置被配置用于对象在家中使用以使用超声装置监测对象的病症。还可以向对象提供诊断应用以与超声装置一起使用。这种诊断应用可以安装在对象的个人移动智能电话或平板计算机上。诊断应用
可以被配置成帮助对象操作超声装置并存储(和/或上传)捕获的超声图像以供医师分析。因此，医师可能能够远程监测对象的病症，而无需使对象保持在住院治疗中。
[0236]
图8a至图8d示出了用于这种诊断应用的示例用户接口，该用户接口被设计成由对象在家庭环境中使用。诊断应用可以被配置成在家庭设置中帮助操作者(例如，对象)使用超声装置捕获超声图像。诊断应用可以由例如计算装置804(诸如对象的移动智能电话或平板计算机)执行。计算装置804可以包括被配置成显示诊断应用的一个或更多个用户接口屏幕的集成显示器806。计算装置804可以使用有线通信链路或无线通信链路通信地耦接至超声装置(未示出)。计算装置还可以包括被配置成捕获非声学图像的成像装置805(例如，摄像机)。成像装置805可以设置在与显示器806相同的一侧，以使得操作者能够在观看显示器806上显示的一个或更多个指令的同时捕获持有超声装置的他们自己的图像。
[0237]
图8a示出了可以在启动诊断应用时显示的示例主屏幕。主屏幕包括给操作者的指示操作者扫描与超声装置相关联的快速响应(qr)码的消息808。qr码可以例如设置在超声装置本身上和/或设置在与超声装置相关联的包装上。主屏幕还可以显示由成像装置(例如，集成到计算装置804中并且设置在与显示器806相对的一侧)捕获的图像。主屏幕可以在所捕获的图像中示出扫描区域810，以示出用户应该将qr码放置在成像装置的视野中以使qr码被读取的位置。
[0238]
一旦计算装置804读取了qr码，计算装置804就可以从图8a所示的主屏幕转换到图8b所示的对象信息屏幕。对象信息屏幕可以包括由计算装置804使用所扫描的qr码获得的对象信息810的显示。例如，计算装置804可能已经采用所扫描的qr码来访问远程服务器中的对象的医学记录。一旦操作者确认对象信息810正确，操作者就可以激活选择区域812中的确认按钮。
[0239]
应当理解，可以采用与qr码不同的其他类型的条形码。其他示例条形码包括：maxicode条形码、codabar条形码和aztec条形码。
[0240]
响应于在选择区域812中激活“确认”按钮，计算装置804可以从图8b所示的对象信息屏幕转换到图8c所示的图像获取屏幕。如图所示，图像获取屏幕包括用于操作者将胶剂(gel)应用于超声装置的消息814和包括用于操作者开始获取超声图像的开始按钮的选择区域816。
[0241]
响应于在选择区域816中激活“开始”按钮，计算装置804可以从图8c所示的图像获取屏幕转换到图8d所示的图像获取辅助屏幕。如图所示，图像获取辅助屏幕可以包括持有超声装置820的对象818的非声学图像(例如，由成像装置805捕获)。指令822可以叠置在所捕获的非声学图像上以引导操作者(例如，对象)捕获包含目标解剖视图的超声图像。一旦计算装置804捕获了包含目标解剖视图的超声图像，计算装置804就可以本地存储捕获的超声图像以供医师稍后检索和/或将图像上传至外部服务器以添加到与对象相关联的一组医学记录。计算装置804还可以向操作者显示已经成功捕获超声图像的确认。
[0242]
示例过程
[0243]
图9示出了用于引导超声装置的操作者捕获包含目标解剖视图的超声图像的示例过程900。过程900可以由例如超声系统中的计算装置执行。如图所示，过程900包括：获得超声图像的动作902、确定超声图像是否包含目标解剖视图的动作904、生成引导计划的动作906、提供重新定位超声装置的指令的动作908以及提供适当定位的指示的动作910。
[0244]
在动作902中，计算装置可以获得对象的超声图像。计算装置可以通过与通信地耦接至计算装置的超声装置通信来获得超声图像。例如，计算装置可以向超声装置发送用于生成超声数据并将超声数据发送至计算装置的指令。计算装置又可以使用所接收的超声数据来生成超声图像。另外(或可替选地)，超声图像可以由超声装置生成，并且计算装置可以从超声装置获得超声图像。
[0245]
在动作904中，计算装置可以确定超声图像是否包含目标解剖视图。如果计算装置确定超声图像包含目标解剖视图，则计算装置可以进行动作910并提供适当定位的指示。否则，系统可以进行至动作906以生成用于操作者移动超声装置的引导计划。
[0246]
在一些实施方式中，计算装置可以采用自动图像处理技术例如深度学习技术来确定超声图像是否包含目标解剖视图。例如，可以将超声图像作为输入提供给神经网络，该神经网络被训练成识别包含在超声图像中的解剖视图。这种神经网络的输出可以是包含在超声图像中的特定解剖视图的指示。在该示例中，可以将所识别的解剖视图与目标解剖视图进行比较以确定它们是否匹配。如果所识别的解剖视图与目标解剖视图匹配，则计算装置可以确定超声图像包含目标解剖视图。否则，计算装置可以确定超声图像不包含解剖视图。在另一示例中，神经网络可以被配置成基于所输入的超声图像直接向操作者提供指令的指示。因此，神经网络可以将超声装置被适当地定位的确认或者在特定方向上移动超声装置的指令提供为输出。在该示例中，计算装置可以响应于神经网络将确认提供为输出而确定超声图像包含目标解剖视图。否则，计算装置可以确定超声图像不包含解剖视图。
[0247]
在动作906中，计算装置可以生成关于如何引导操作者移动超声装置的引导计划。在一些实施方式中，引导计划可以包括引导路径，操作者应该沿着引导路径将超声装置从初始位置移动到目标位置，在目标位置处可以捕获包含目标解剖视图的超声图像。在这些实施方式中，计算装置可以至少部分地通过以下方式来识别超声装置在对象上的初始位置：识别包含在超声图像中的解剖视图(例如，使用深度学习技术)并将识别的解剖视图映射到对象上的位置。可以通过例如将目标解剖视图映射到对象上的位置来识别目标位置。一旦识别出初始位置和目标位置，计算装置就可以识别超声装置应该移动的初始位置与目标位置之间的引导路径。引导路径可以包括超声装置沿其行进以到达目标位置的一系列方向(例如，平移方向或旋转方向)。所生成的引导路径可以不是超声装置的初始位置与超声装置的目标位置之间的最短路径。例如，所生成的路径可以避免使用对于正确地传达给操作者而言可能有挑战性的对角线移动。可替选地(或另外地)，所生成的路径可以避开对象的某些区，例如包括硬组织的区。一旦确定了超声装置的初始位置与目标位置之间的引导路径，计算装置可以生成一个或更多个指令的序列以提供给操作者来指示操作者沿着引导路径移动超声装置。
[0248]
在动作908中，计算装置可以提供向操作者提供重新定位超声装置的指令。该指令可以是例如通过扬声器播放的可听指令、使用显示器显示的可视指令和/或使用振动装置(例如，集成到计算装置和/或超声装置中)提供的触觉指令。可以基于例如在动作906中生成的引导计划中的指令序列来提供指令。例如，计算装置可以从指令序列中识别单个指令并提供所识别的指令。应当理解，该指令不需要源自引导计划。例如，如上所述，神经网络可以被配置成基于所接收的超声图像直接输出指令。在该示例中，可以直接提供输出指令，并且可以省略生成引导计划的动作906。
[0249]
一旦计算装置提供了重新定位超声装置的指令，计算装置就可以重复动作902、904、906和/或908中的一个或更多个以向操作者提供另外的指令。
[0250]
在动作910中，计算装置可以提供适当定位的指示。例如，计算装置可以提供通过扬声器播放的可听确认、使用显示器显示的视觉确认或通过振动装置提供的触觉确认。
[0251]
图10示出了用于向操作者提供增强现实接口的示例过程1000。增强现实接口可以包括真实世界环境的非声学图像，包括叠加在非声学图像上的超声装置和一个或更多个元素(诸如指令)。过程1000可以由例如超声系统中的计算装置执行。如图10所示，过程1000包括：获得超声装置的图像的动作1002、生成合成图像的动作1003以及呈现合成图像的动作1008。生成合成图像的动作1003可以包括：识别图像中的超声装置的姿势的动作1004和使用所识别的姿势将指令叠加到图像上的动作1006。
[0252]
在动作1002中，计算装置可以捕获超声装置的图像(例如，非声学图像)。非声学图像可以由集成到计算装置中的成像装置(例如，摄像机)捕获。例如，在操作者也是对象的情况下，可以使用移动智能电话的前置摄像机(例如，在与显示器在同一侧上)来捕获非声学图像。在另一示例中，在操作者是与对象不同的人(或一群人)的情况下，可以使用移动智能电话的后置摄像机(例如，在与显示器相对的一侧上)来捕获非声学图像。
[0253]
在动作1003中，计算可以生成合成图像。合成图像可以包括在动作1002中捕获的非声学图像和叠加在非声学图像上的一个或更多个元素。叠加在非声学图像上的一个或更多个元素可以是例如一个或更多个指令，所述一个或更多个指令被设计成向操作者提供关于如何重新定位超声装置以获得包含目标解剖视图的超声图像的反馈。计算装置可以以各种方式中的任何方式生成合成图像。在一些实施方式中，计算装置可以被配置成通过执行动作1004和1006来生成合成图像。
[0254]
在动作1004中，计算装置可以识别非声学图像中的超声装置的姿势(例如，位置和/或取向)。计算装置可以使用自动图像处理技术(例如，深度学习技术)来识别所捕获的图像中的超声装置的姿势。例如，非声学图像可以被作为输入提供给神经网络，神经网络被配置成识别非声学图像中的哪些像素与超声装置相关联。在该示例中，计算装置可以使用所识别的像素来确定非声学图像中的超声装置的位置。在一些实施方式中，超声装置可以具有设置在其上的标记，该标记在图像中是可见的，以便于对非声学图像中的超声装置的识别。标记可以具有使用自动图像处理技术易于识别的不同形状、颜色和/或图像。还可以采用另外的信息来结合(或代替)从非声学图像提取的信息来识别超声装置的姿势。例如，超声装置可以包括被配置成检测移动的一个或更多个传感器(例如，加速计、陀螺仪、罗盘和/或惯性测量单元)。在该示例中，可以采用来自超声装置中的这些传感器的移动信息来确定超声装置的姿势。在另一示例中，超声装置(例如，超声装置502)和连接至超声装置的计算装置(例如，计算装置504)可以包括被配置成检测移动的传感器。在该示例中，来自超声装置和计算装置两者中的传感器的移动信息可以一起用于识别超声装置相对于计算装置的姿势，从而识别所捕获的非声学图像中的超声装置的姿势。
[0255]
在动作1006中，计算装置可以使用所识别的姿势将指令叠加到非声学图像上以形成增强现实接口。例如，计算装置可以将关于如何移动超声装置的指令(例如，方向箭头)叠加到非声学图像上，以接近和/或部分地覆盖超声装置。另外(或可替选地)，可以采用姿势来将其他元素定位在增强现实接口中。例如，可以采用超声装置的姿势来将超声图像定位
在增强现实接口中。在该示例中，超声图像可以定位在增强现实接口中，以看起来像从非声学图像中的超声装置延伸到对象中。因此，操作者可以获得对对象的用超声装置成像的特定部分的了解。
[0256]
在动作1008中，计算装置可以向操作者呈现合成图像。例如，计算装置可以使用集成在计算装置中的显示器将合成图像呈现给操作者。可替选地(或另外地)，计算装置可以将合成图像发送至另一装置(例如，以呈现在另一装置的显示器上)。
[0257]
图11示出了用于使用设置在超声装置上的标记来跟踪非声学图像中的超声装置的位置的示例过程1100。过程1100可以由例如超声系统中的计算装置执行。如图所示，过程1100包括：获得设置在超声装置上的标记的图像的动作1102、识别超声装置的姿势的动作1103以及使用所识别的姿势呈现指令的动作1108。识别超声装置的姿势的动作1103可以包括：识别图像中的标记的位置的动作1104和分析标记的特性的动作1106。
[0258]
在动作1102中，计算装置可以捕获超声装置上的标记的非声学图像。非声学图像可以由集成到计算装置中的成像装置(例如，摄像机)捕获。例如，在操作者也是对象的情况下，可以使用移动智能电话的前置摄像机(例如，与显示器在同一侧)来捕获非声学图像。在另一示例中，在操作者是与对象不同的人(或一群人)的情况下，可以使用移动智能电话的后置摄像机(例如，在与显示器相对的一侧)来捕获非声学图像。
[0259]
在动作1103中，计算装置可以使用标记来识别所捕获的图像中的超声装置的姿势(例如，位置和/或取向)。计算装置可以以各种方式中的任何方式来识别所捕获的图像中的超声装置的姿势。在一些实施方式中，计算装置可以通过执行动作1104和1106来识别非声学图像中的超声装置的姿势。
[0260]
在动作1104中，计算装置可以识别非声学图像中的标记的位置。计算装置可以使用所识别的标记的位置来识别设置有标记的超声装置的位置。标记的位置可以通过例如使用自动图像处理技术定位图像中的标记的一个或更多个特征特性例如形状、颜色和/或图像来确定。
[0261]
在动作1106中，计算装置可以分析标记的特性。计算装置可以分析标记的特性，以例如确定所捕获图像中的超声装置的取向。计算装置使用标记的特性确定取向的特定方式可以取决于例如所采用的特定标记。在一个示例中，标记可以是包括图案的单色标记。在该示例中，可以分析图案以确定图案的取向，从而确定非声学图像中的超声装置的取向。在另一示例中，标记可以是色散标记，其被配置成取决于视角而呈现不同的颜色。在该示例中，计算装置可以识别非声学图像中的标记的颜色，并使用所识别的颜色来确定标记的取向，从而确定超声装置的取向。在又一示例中，标记可以是全息标记，其被配置成取决于视角而呈现不同的图像。在该示例中，计算装置可以识别由全息标记呈现的图像，并使用所识别的图像来确定标记的取向，从而确定超声装置的取向。
[0262]
在动作1108中，计算装置可以使用所识别的姿势来呈现指令。在一些实施方式中，计算装置可以使用所识别的姿势将指令叠加到在动作1102中获得的非声学图像上，以形成用于增强现实接口的合成图像。例如，计算装置可以将关于如何移动超声装置的指令(例如，方向箭头)叠加到非声学图像上，以接近和/或部分地覆盖超声装置。另外(或可替选地)，可以采用姿势来将其他元素定位在增强现实接口中。例如，可以采用超声装置的姿势来将超声图像定位在增强现实接口中。在该示例中，超声图像可以定位在增强现实接口中，
以看起来像从非声学图像中的超声装置延伸到对象中。因此，操作者可以获得对对象的用超声装置成像的特定部分的了解。
[0263]
图12示出了用于分析所捕获的超声图像以识别对象的医学参数的示例过程1200。过程1200可以由例如超声系统中的计算装置执行。如图所示，过程1200包括：获得超声图像的动作1202、识别超声图像中的解剖特征的动作1204以及使用所识别的解剖特征识别医学参数的动作1206。
[0264]
在动作1202中，计算装置可以获得对象的超声图像。计算装置可以通过与通信地耦接至计算装置的超声装置进行通信来获得超声图像。例如，计算装置可以向超声装置发送用于生成超声数据并将超声数据发送至计算装置的指令。计算装置又可以使用所接收的超声数据生成超声图像。
[0265]
在动作1204中，计算装置可以识别超声图像中的解剖特征。例如，计算装置可以将心脏心室、心脏瓣膜、心脏间隔、心脏乳头肌、心脏心房、主动脉或肺识别为超声图像中的解剖特征。计算装置可以使用自动图像处理技术例如深度学习技术来识别解剖特征。例如，计算装置可以将超声图像作为输入提供给神经网络，该神经网络被配置(例如，训练)成将超声图像中的哪些像素与解剖特征相关联的指示提供为输出。应当理解，该神经网络可以与用于引导操作者获得包含目标解剖视图的超声图像的任何神经网络(例如上述过程900中采用的那些神经网络)分离和不同。
[0266]
在动作1206中，计算装置可以使用所识别的解剖特征来识别医学参数。例如，计算装置可以确定对象的射血分数、缩短分数、心室直径、心室容积、舒张末期容积、收缩末期容积、心输出量、每搏输出量、室间隔厚度、心室壁厚度或脉搏率。在一些实施方式中，计算装置可以通过分析所识别的解剖特征的一个或更多个特性来识别医学参数。例如，计算装置可以识别超声图像中的心脏心室，并且可以从超声图像中提取心脏心室的尺寸以确定心室容积和/或心室直径。应当理解，计算装置可以分析多于一个超声图像以识别医学参数。例如，计算装置可以识别多个超声图像中的每一个超声图像中的心室容积，并选择最小心室容积作为收缩末期容积，并选择最高心室容积作为舒张末期容积。此外，收缩末期容积和舒张末期容积可以用于确定另外的医学参数，例如ef。
[0267]
图13示出了用于生成对象的医学病症的诊断的示例过程1300。过程1300可以由例如超声系统中的计算装置执行。如图所示，过程1300包括：接收关于对象的医学信息的动作1302、识别目标解剖视图的动作1304、获得包含目标解剖视图的超声图像的动作1306、生成对象的医学病症的诊断的动作1308以及为对象生成推荐的治疗的动作1310。
[0268]
在动作1302中，计算装置可以接收关于对象的医学信息。可以接收的关于对象的示例性医学信息包括：心率、血压、体表面积、年龄、体重、身高和对象正在服用的药物。计算装置可以通过例如向操作者提出一个或更多个问题并接收响应来接收医学信息。另外(或可替选地)，计算装置可以与外部系统进行通信以获得医学信息。例如，操作者可以使用计算装置扫描超声装置上的条形码(例如，qr码)，并且计算装置可以使用从条形码获得的信息来访问远程服务器上的与对象相关联的医学记录。
[0269]
在动作1304中，计算装置可以基于所接收的医学信息来识别目标解剖视图。计算装置可以分析所接收的医学信息以识别可能异常工作的一个或更多个器官。然后，计算装置可以识别包含所识别的一个或更多个器官的解剖视图。例如，关于对象的医学信息可能
指示对象的心脏异常工作(例如，患者患有充血性心力衰竭的症状)并且将plax视图识别为要成像的解剖视图。
[0270]
在动作1306中，计算装置可以获得包含目标解剖视图的超声图像。例如，计算装置可以从患者的电子健康记录中获得对象的包含目标解剖视图的超声图像。可替选地(或另外地)，计算装置可以引导操作者获得包含目标解剖视图的超声图像。例如，计算装置可以发出关于操作者应该如何将超声装置定位在对象上以获得包含目标解剖视图的超声图像的一个或更多个指令。计算装置可以以各种方式中的任何方式生成和/或提供这些指令。例如，计算装置可以执行与上述过程900类似(或相同)的过程。
[0271]
在动作1308中，计算装置可以使用包含目标解剖视图的超声图像来生成对象的医学病症的诊断。在一些实施方式中，计算装置可以分析包含目标解剖视图的超声图像以识别一个或更多个医学参数(例如，对象的ef)并使用所识别的一个或更多个医学参数(单独或与其他信息例如对象的医学信息结合)来生成诊断。在这些实施方式中，计算装置可以执行过程1200中的一个或更多个动作以识别对象的医学参数。例如，计算装置可以通过执行动作1202、1204和/或1206来确定对象的射血分数，并将得到的射血分数值与阈值进行比较，以确定对象是否可能患有充血性心力衰竭。计算装置可以将关于医学参数的信息与其他信息(例如在动作1302中接收到的关于对象的医学信息)进行组合以诊断对象的医学病症。例如，响应于计算装置确定对象的射血分数低于阈值并且对象已经报告充血性心力衰竭的症状(例如经历阵发性夜间呼吸困难)，计算装置可以诊断患者患有充血性心力衰竭。应当理解，计算装置可以被配置成诊断各种医学病症中的任何一种，例如：心脏病(例如，充血性心力衰竭、冠状动脉疾病和先天性心脏病)、肺病(例如，肺癌)、肾脏病(例如，肾结石)和/或关节病(例如，关节炎)。
[0272]
在动作1310中，计算装置可以为对象生成一个或更多个推荐治疗。计算装置可以基于对对象的诊断生成一个或更多个推荐治疗。示例推荐治疗包括：饮食改变、运动常规改变、药物、生物疗法(例如疫苗、基因疗法、细胞疗法)、放射疗法、化学疗法和外科手术。例如，对象可能被诊断患有充血性心力衰竭，并且计算装置生成以下推荐治疗：血管紧张素转换酶抑制剂(ace抑制剂)、血管紧张素受体阻滞剂(arb)或其他替代物。
[0273]
应当理解，计算装置可以使用除诊断之外的信息——例如对象的医学信息和/或从超声图像提取的一个或更多个医学参数——来生成推荐治疗。例如，对象的医疗信息可能指示对象是吸烟者，并且在对象被诊断患有充血性心力衰竭的情况下，计算装置可以包括戒烟的推荐治疗。在另一示例中，对象的医学信息可能包括对象的一个或更多个药物过敏，并且计算装置可以不推荐涉及施用对象过敏的药物的任何治疗。在又一示例中，对象的医学信息可能包括对象服用的一种或更多种药物，并且计算装置可以不推荐将与对象已经服用的一种或更多种药物不利地相互作用的任何治疗。
[0274]
各种发明构思可以体现为一个或更多个过程，已经提供了过程的示例。作为每个过程的一部分执行的动作可以以任何合适的方式排序。因此，可以构造以与所示的顺序不同的顺序执行动作的实施方式，其可以包括同时执行某些动作，即使某些动作在说明性实施方式中被示出为顺序动作。此外，可以组合过程中的一个或更多个过程。例如，基于关于对象的医学信息来识别要成像的解剖视图的过程1300可以与用于分析所捕获的超声图像以识别对象的医学参数的过程1200组合。因此，计算装置可以(1)识别要成像的解剖视图，
(2)引导操作者捕获包含解剖视图的超声图像，以及(3)分析所捕获的超声图像以识别对象的医学参数。在该示例中，超声装置可以基于所识别的医学参数和/或关于对象的医学信息来另外做出一个或更多个治疗推荐。
[0275]
示例深度学习技术
[0276]
本文描述的技术的各方面涉及自动图像处理技术在分析图像例如超声图像和非声学图像上的应用。在一些实施方式中，自动图像处理技术可以包括机器学习技术，例如深度学习技术。机器学习技术可以包括试图识别一组数据点中的图案并使用所识别的图案来对新数据点进行预测的技术。这些机器学习技术可以涉及使用训练数据组训练(和/或构建)模型以进行这样的预测。所训练的模型可以用作例如分类器，该分类器被配置成接收数据点作为输入并且提供数据点可能属于的类的指示作为输出。
[0277]
深度学习技术可以包括采用神经网络进行预测的那些机器学习技术。神经网络通常包括神经单元(称为神经元)的集合，每个神经单元可以被配置成接收一个或更多个输入并提供作为输入的函数的输出。例如，神经元可以对输入求和并将转移函数(有时称为“激活函数”)应用于求和的输入以生成输出。神经元可以对每个输入应用权重，以例如使一些输入的权重高于其他输入。可以采用的示例传递函数包括阶梯函数、分段线性函数和s形函数。这些神经元可以组织成多个相继层，每个相继层包括一个或更多个神经元。多个相继层可以包括：接收神经网络的输入数据的输入层、提供神经网络的输出数据的输出层以及连接在输入层与输出层之间的一个或更多个隐藏层。隐藏层中的每个神经元可以从先前层(例如输入层)中的一个或更多个神经元接收输入，并向后续层(例如输出层)中的一个或更多个神经元提供输出。
[0278]
可以使用例如标记的训练数据来训练神经网络。标记的训练数据可以包括一组示例输入和与每个输入相关联的答案。例如，训练数据可以包括各自用包含在相应超声图像中的解剖视图标记的多个超声图像。在该示例中，可以将超声图像提供给神经网络以获得可以与和超声图像中的每个超声图像相关联的标签进行比较的输出。可以调整神经网络的一个或多个特性(诸如不同层中的神经元之间的互连(称为边缘)和/或与边缘相关联的权重)，直到神经网络对大多数(或全部)输入图像正确地分类。
[0279]
在一些实施方式中，标记的训练数据可以包括获得的样本患者图像，其不必全部是解剖结构的“标准”或“良好”图像。例如，出于训练目的，一个或更多个样本患者图像可能是“非理想的”。这些样本患者图像中的每一个可以由受过训练的临床医生评估。受过训练的临床医生可以为样本患者图像中的每一个添加定性标签。在plax图像的具体示例中，临床医生可以确定给定图像是“正常的”(即，出于分析目的而描绘结构的良好视图)。在替选方案中，如果图像不理想，则临床医生可以为图像提供描述其问题的特定标签。例如，图像可以表示拍摄的图像，因为超声装置在患者上被定向得“太逆时针”或可能“太顺时针”。可以将任意数量的特定错误分配给样本给定图像。
[0280]
一旦创建了训练数据，训练数据就可以被加载到数据库(例如，图像数据库)并用于使用深度学习技术训练神经网络。一旦训练了神经网络，就可以将训练的神经网络部署到一个或更多个计算装置。应当理解，可以用任何数量的样本患者图像来训练神经网络。例如，可以用少至7个左右样本患者图像来训练神经网络，但是应当理解，使用的样本图像越多，所训练的模型数据可以越鲁棒。
[0281]
卷积神经网络
[0282]
在一些应用中，可以使用一个或更多个卷积层来实现神经网络以形成卷积神经网络。图14中示出了示例卷积神经网络，其被配置成分析图像1402。如图所示，卷积神经网络包括：用于接收图像1402的输入层1404、用于提供输出的输出层1408以及连接在输入层1404与输出层1408之间的多个隐藏层1406。多个隐藏层1406包括卷积层和池化层1410以及稠密层1412。
[0283]
输入层1404可以接收对卷积神经网络的输入。如图14所示，卷积神经网络的输入可以是图像1402。图像1402可以是例如超声图像或非声学图像。
[0284]
输入层1404之后可以是一个或更多个卷积层和池化层1410。卷积层可以包括一组滤波器，该组滤波器在空间上比卷积层的输入(例如，图像1402)小(例如，具有较小的宽度和/或高度)。可以将滤波器中的每一个与卷积层的输入进行卷积，以产生指示该滤波器在每个空间位置处的响应的激活图(例如，2维激活图)。卷积层之后可以是池化层，该池化层对卷积层的输出进行下采样以减小其尺寸。池化层可以使用各种池化技术中的任何一种，例如最大池化和/或全局平均池化。在一些实施方式中，可以由卷积层本身使用跨步(striding)(例如，没有池化层)来执行下采样。
[0285]
卷积层和池化层1410之后可以是稠密层1412。稠密层1412可以包括各自具有一个或更多个神经元的一个或更多个层，神经元接收来自先前层(例如，卷积层或池化层)的输入，并向后续层(例如，输出层1408)提供输出。稠密层1412可以被描述为“稠密的”，因为给定层中的神经元中的每一个可以从先前层中的每个神经元接收输入并且向后续层中的每个神经元提供输出。稠密层1412之后可以是输出层1408，输出层1408提供卷积神经网络的输出。输出可以是例如对图像1402(或图像1402的任何部分)属于一组类中的哪个类的指示。
[0286]
应当理解，图14中所示的卷积神经网络仅是一个示例实现，并且可以采用其他实现。例如，可以将一个或更多个层添加到图14中所示的卷积神经网络或者从图14所示的卷积神经网络移除一个或更多个层。可以添加到卷积神经网络的另外的示例层包括：整流线性单元(relu)层、填充层、连结层和提升层。提升层可以被配置成对该层的输入进行上采样。relu层可以被配置成将整流器(有时称为斜坡函数)作为传递函数应用于输入。填充层可以被配置成通过填充输入的一个或更多个维度来改变层的输入的大小。连结层可以被配置成将多个输入组合(例如，将来自多个层的输入组合)成单个输出。
[0287]
可以采用卷积神经网络来执行本文描述的各种功能中的任何功能。例如，卷积神经网络可以用于：(1)识别包含在超声图像中的解剖视图，(2)识别用于提供给操作者的指令，(3)识别超声图像中的解剖特征，或(4)识别非声学图像中的超声装置的姿势。应当理解，可以采用多于一个卷积神经网络来执行这些功能中的一个或更多个。例如，可以采用第一卷积神经网络来基于输入超声图像来识别用于提供给操作者的指令，并且可以采用第二不同卷积神经网络来识别超声图像中的解剖特征。第一神经网络和第二神经网络可以包括不同的层布置和/或被使用不同的训练数据训练。
[0288]
卷积网络的示例实现如下表1所示。表1中所示的卷积神经网络可以用于对输入图像(例如，超声图像)进行分类。例如，表1中示出的卷积网络可以被配置成接收输入的超声图像并且提供输出，该输出指示应该向操作者提供一组指令中的哪个指令以适当地定位超
声装置。指令集可以包括：(1)将超声装置向下倾斜，(2)逆时针旋转超声装置，(3)顺时针旋转超声装置，(4)将超声装置向下移动一个肋间隙，(5)将超声装置向上移动一个肋间隙，(6)朝内侧滑动超声装置。在表1中，层的序列由“层号”列表示，层的类型由“层类型”列表示，层的输入由“层的输入”列表示。
[0289][0290][0291]
表1：卷积神经网络的示例层配置
[0292]
卷积神经网络的另一示例实现如下表2所示。表2中的卷积神经网络可以用于识别超声图像中的左心室的基底段上的两个点。在表2中，层的序列由“层号”列表示，层的类型由“层类型”列表示，层的输入由“层的输入”列表示。
[0293]
层号层类型层的输入1输入层输入图像2卷积层层1的输出
3卷积层层2的输出4池化层层3的输出5卷积层层4的输出6卷积层层5的输出7池化层层6的输出8卷积层层7的输出9卷积层层8的输出10池化层层9的输出11卷积层层10的输出12卷积层层11的输出13卷积层层12的输出14全连接层层13的输出15全连接层层14的输出16全连接层层15的输出
[0294]
表2：卷积神经网络的示例层配置
[0295]
卷积神经网络的又一示例实现如下表3所示。表3中示出的卷积神经网络可以被配置成接收超声图像并将输入图像中的每个像素分类为属于前景(解剖结构，例如，左心室)或属于背景。相对于表1和表2中所示的卷积神经网络，引入了上采样层以增加分类输出的分辨率。上采样层的输出与其他层的输出进行组合以提供对各个像素的准确分类。在表3中，层的序列由“层号”列表示，层的类型由“层类型”列表示，层的输入由“层的输入”列表示。
[0296]
[0297][0298]
表3：卷积神经网络的示例层配置
[0299]
将统计知识集成到卷积神经网络中
[0300]
在一些实施方式中，统计先验知识可以集成到卷积神经网络中。例如，通过主分量分析(pca)获得的先前统计知识可以被集成到卷积神经网络中，以便即使在处理损坏的数据或噪声数据时也能获得鲁棒的预测。在这些实施方式中，网络架构可以被端到端地训练并且包括专门设计的层，该层集成经由pca发现的数据集变化模式并且通过线性组合该数据集变化模式来产生预测。此外，可以包括一种机制，以将卷积神经网络的注意力集中在输入图像的特定感兴趣区域上，以获得改进的预测。
[0301]
解剖结构的复杂性以及噪声、伪影、视觉混乱和定义不良的图像区域的存在经常导致图像分析中的模糊和错误。在医学领域，许多这些错误可以通过依赖统计先验知识来解决。例如，在分割中，结合关于分割轮廓的先验知识是有用的。标志定位任务可以受益于不同标志之间的语义关系以及如何使它们的位置能够相对于彼此改变。最后，已经示出捕获所选区域的外观的统计模型在许多情况下改善了结果。
[0302]
形状模型也被用于约束基于机器学习的分割算法。这通过学习pca系数的后验分布并通过将真实状况(ground truth)轮廓的一部分重新投影到未看见的示例上来完成。这些模型依赖于浅层架构、手动设计或学习的特征以及作为正则化或后处理步骤的一部分强加的形状约束。
[0303]
特别是，深度学习方法和卷积神经网络已经显示出直接从原始数据学习特征的层次结构的惊人能力。深度学习模型组织为多个层，其中特征以级联方式提取。随着网络深度的增加，所提取的特征涉及更大的图像区域，因此与早期层中提取的概念相比，可以识别更高级别的概念。
[0304]
不幸的是，深度学习方法在医学图像分析中的应用性通常受到使用大注释数据集进行训练的要求的限制。在学习过程期间提供更多注释数据使得能够捕获更大量的具有挑
战性的现实世界情况，因此部分地克服了将先前统计知识集成到学习过程中的困难。在医学领域，由于对数据使用和循环的限制以及注释过程的繁琐，通常难以获得大的注释数据集。此外，在不同扫描中医学图像通常呈现出质量和结构的外观的大的可变性，这进一步妨碍了机器视觉算法的性能。特别地，超声图像经常被噪声、阴影、信号下降区域和其他伪像破坏，这使得超声图像的解释甚至对人类观察者而言也具有挑战性。此外，即使由专家扫描，超声扫描也呈现出高的操作者内和操作者间的获取可变性。
[0305]
在一些实施方式中，可以采用pca来有利地发现训练数据的主要变化模式。这种发现的主要变化模式可以集成到卷积神经网络中。通过利用通过对训练数据进行统计分析而提取的先验知识来约束网络预测来增加结果的鲁棒性。该方法使得可以处理以下情况：感兴趣的解剖结构仅部分出现、其外观不清晰或者在视觉上与观察到的训练示例不同。
[0306]
可以采用包括新pca层的卷积网络架构，新pca层集成数据集变化模式并根据模式的线性组合产生预测。该过程用在将后续卷积神经网络层的注意力集中在特定感兴趣的区域上以获得改进的预测的过程中。重要的是，网络是端到端训练的，其中，形状在pca层中编码，并且损失强加在点的最终位置上。端到端训练使得可以从网络参数的随机配置开始，并根据估计任务和训练数据找到最佳的滤波器集和偏差。该方法可以应用于例如根据胸骨旁长轴视图获取的2d超声心动图图像中的标志定位以及根据心尖四腔视图获取的扫描中的心脏的左心室分割。
[0307]
将通过pca获得的统计先验知识集成到卷积神经网络中可以有利地克服缺乏强形状先验的先前深度学习方法的限制和缺乏高级图案识别能力的活动形状模型的限制。这种方法可以是完全自动的，因此不同于大多数先前基于需要人类交互的asm的方法。神经网络在单个步骤中输出预测，而不需要任何优化循环。
[0308]
在一些实施方式中，可以采用包含n个图像的训练集和关联的真实状况注释，真实状况注释由参考描述标志位置的p个关键点的坐标组成。训练集可以用于首先获得y中坐标的主要变化模式，然后训练利用它的卷积神经网络。用于制定预测的信息是在多次卷积和池化操作之后获得的，因此在各层之间可能丢失细粒度、高分辨率的细节。出于这个原因，可以采用这样的机制，该机制通过裁剪图像的部分来将网络的注意力集中在全分辨率细节上，以改进预测。可以端到端地训练该架构，并且可以在每次迭代时更新网络的所有参数。
[0309]
自然存在的结构例如器官的大部分可变性和身体的解剖细节并非是任意的。例如，通过简单地观察代表群体的形状的数据集，可以注意到不同形状部分之间的对称性和相关性的存在。以相同的方式，通常可以观察身体的不同标志的位置的相关性，因为它们彼此紧密地缠绕在一起。pca可以用于发现手头数据集的主要变化模式。在形状被描述为整个数据集中的对齐点集的情况下，pca揭示不同点之间存在的相关性，并定义新的坐标系，其中，主要变化模式对应于轴。具有包含数据集的矩阵y，其中，每个观察y
i
构成其列之一，其主要分量可以通过以下过程来获得：首先通过等式(3)对y去均值(de
‑
mean)：
[0310]
其中
[0311]
然后，计算协方差矩阵的特征向量。这对应于等式(4)中的u：
[0312]
[0313]
这是经由奇异值分解(svd)获得的。矩阵是对角线的并且包含协方差矩阵的特征值，并且表示与特征库(eigenbase)中的每个主分量相关联的方差。
[0314]
数据集中的任何示例都可以合成为主分量的线性组合，如等式(5)所示：
[0315]
y
i
＝uw+μ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0316]
线性组合的每个系数不仅控制一的位置，而且控制可以描述手头形状的多个相关点。对衡量每个主分量的影响的系数强加约束，或减少它们的数量，直到达到保留方差百分比与主分量数量之间的正确平衡，就可以合成遵守之前介绍过的“合法形状(legal shape)”概念的形状。
[0317]
可以不训练卷积神经网络以对等式5中的权重w执行回归。替代地，可以使用端到端架构，其中网络直接使用pca特征库来以关键点位置的形式根据图像进行预测。这对训练过程有直接影响。网络通过使损失最小化来学习，以在“了解”系数对结果的影响的同时操控系数。权重中的每一个同时控制多个相关关键点的位置。由于预测是作为主分量的线性组合获得的，因此它们遵守“合法形状”的概念，并且因此对于丢失数据、噪声和伪像更加鲁棒。
[0318]
网络可以包括两个分支。第一分支采用卷积层、池化层和稠密层，并经由pca产生关键点位置的粗略估计。第二分支对在粗略关键点位置周围从输入图像裁剪的全分辨率补片进行操作。第二网络的输出通过使用更细粒度的视觉信息来改进第一网络进行的预测。这两个分支都是同时训练的，并且是完全不同的。所有卷积都是在没有填充的情况下应用的，卷积在第一卷积神经网络分支中使用大小为3
×
3的内核，在第二较浅的分支中使用大小为5
×
5的内核。整个网络中使用的非线性是修正的线性函数。pca层的所有输入都不通过非线性处理。
[0319]
pca层实现了在合成等式5中的略微修改。除了由网络的稠密层提供的权重w之外，还提供应用于所有预测点的全局移位s。通过二维向量s，能够处理感兴趣的解剖结构的平移。稍微滥用符号，可以重写等式5，如等式(6)所示：
[0320]
y
i
＝uw+μ+s.
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0321]
执行裁剪的层遵循受空间变换器启发的实现，这确保了差异性。将规则采样图案转换成粗略关键点位置，并使用双线性插值对周围区域的强度值进行采样。具有p个关键点，可以为小批量中的k个图像中的每一个获得p个补片。然后通过3层深度卷积神经网络使用8个滤波器而不使用填充来处理所得到的kp个补片，这将其尺寸减小总共12个像素。在卷积层之后，将补片再次布置成具有p
×
8个通道的一批k个元素，并且进一步通过三个稠密层处理，这最终计算具有相同维度w的w
a
。在pca层中采用以获得更准确的关键点预测的改进的权重w
f
被获得为w
f
＝w
a
+w。
[0322]
这种方法已在描绘人类心脏的两个不同的超声数据集上进行了测试，目的是以良好的结果来解决两个不同的任务。第一任务是从心尖视图获取的心脏形式扫描的左心室(lv)的分割，而第二任务是标志定位问题，其目的是定位从胸骨旁长轴视图获取的图像中的14个关注点。在第一情况下，该模型利用关于感兴趣的结构的形状的先验统计知识，而在第二情况下，该模型捕获跨不同患者的心动周期的标志之间的时空关系。对于分割任务，采用总共1100个带注释的图像，其中，953个用于训练，147个用于测试。
[0323]
用于使用卷积神经网络进行标志定位的技术
[0324]
发明人已经意识到，由于噪声、阴影、解剖差异和扫描平面变化，因此超声视频序列中的准确标志定位是具有挑战性的。因此，发明人构思并开发了一种完全卷积神经网络，该卷积神经网络经过训练以回归可以解决这些挑战的标志位置。在该卷积神经网络中，一系列卷积层和池化层之后是一组具有从先前层转发的特征的上采样层和卷积层。通过计算最后一层中回归图的质心来产生最终位置估计。此外，估计的不确定性被计算为预测的标准偏差。估计的时间一致性由长短期记忆单元实现，该长短期记忆单元处理若干个先前帧以改进当前帧中的估计。关于胸骨旁长轴视图中的左心室的自动测量和随后的射血分数计算的结果示出与用户间可变性相当的准确性。
[0325]
回归建模是一种用于描述自变量与一个或更多个因变量之间关系的方法。在机器学习中，这种关系由这样的函数描述，该函数的参数是根据训练示例学习的。在深度学习模型中，此函数是在网络的每一层上的逻辑(s形)函数、双曲正切函数或最近修正的线性函数的组合。在许多应用中，该函数学习输入图像补片与连续预测变量之间的映射。
[0326]
回归建模已被用于检测图像中的器官或标志位置、可视地跟踪对象和特征以及估计身体姿势。深度学习方法优于以前的技术，特别是在大量注释的训练数据集可用时。所提出的架构使用回归器级联，改进定位阶段，并结合来自多个标志的提示来定位标志。在医学图像中，由于标志被用作测量点以帮助诊断，因此对准确定位的要求很高。当跟踪视频序列中的测量时，必须在每个帧中准确地检测点，同时确保检测的时间一致性。
[0327]
已经设计了用于准确定位视频序列中的解剖标志点的完全卷积网络架构。完全卷积网络的优点是可以在单个步骤中计算来自覆盖输入图像的多个窗口的响应。网络被端到端训练并输出标志的位置。最后一个卷积层处的回归位置的聚合由新的质心层确保，该质心层计算预测的平均位置。该层使得可以使用基于预测候选的方差的新正则化技术，并基于标志的相对位置来定义新的损失。评估很快以接近帧速率的速度来处理视频序列的每个帧。通过卷积长短期记忆(clstm)单元改善测量的时间一致性，卷积长短期记忆单元处理来自若干先前帧的特征图并产生当前帧的更新特征以改进估计。
[0328]
将宽度为w和高度为h的输入图像表示为i(自变量)，将以列堆叠的k个标志的位置表示为p(因变量)。回归的目标是学习由θ参数化的函数f(i；θ)＝p。f可以通过卷积神经网络近似，并使用图像数据库及其相应的注释训练参数params。通常，欧几里德损失用于使用每个注释图像来训练f。
[0329]
先前，回归估计是直接从网络的最后一层获得的，网络的最后一层完全连接至前一层。这是一种高度非线性映射，其中估计是根据卷积块之后的完全连接层计算的。建议使用完全卷积架构(fcnn)而不是完全连接的网络来回归标志位置。它们的优点是可以在单个评估步骤中计算估计。在所提出的架构中，可以在每个图像位置处获得标志坐标估计。
[0330]
根据每个预测位置l
ij
处的输入在新的质心层中计算聚合的标志坐标估计：
[0331][0332]
递归神经网络(rnn)可以通过在每个时间步t处接受输入x
t
并更新隐藏向量h
t
来学习序列上下文依赖性。rnn网络可以由长短期记忆(lstm)单元组成，每个单元由具有三种类型更新的门机制(gating mechanism)i
t
、f
t
、o
t
控制，其中，i
t
、f
t
、o
t
的范围在0与1之间。值i
t
控制每个记忆单元的更新，f
t
控制每个记忆单元的遗忘，并且o
t
控制记忆状态对隐藏向量的影响。在卷积lstm(clstm)中，输入权重和隐藏向量权重被卷积而不是相乘以对空间约束建模。该函数引入了非线性，其可以被选择为tanh。对于等式8至等式10，将卷积算子表示为*，门的值被计算如下：
[0333]
遗忘门：f
t
＝sigm(w
f
*[h
t
‑1，x
t
]+b
f
)
ꢀꢀꢀꢀꢀ
(8)
[0334]
输入门：i
t
＝sigm(w
i
*[h
t
‑1，x
t
]+b
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0335]
输出门：o
t
＝sigm(w
o
*[h
t
‑1，x
t
]+b
o
)
ꢀꢀꢀꢀꢀꢀ
(10)
[0336]
根据训练序列来学习权重w和偏差b的参数。除了门值之外，每个clstm单元还计算状态候选值：
[0337]
g
t
＝tanh(w
g
*[h
t
‑1，x
t
]+b
g
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0338]
其中，g
t
的范围在
‑
1与1之间，并且会影响记忆内容。记忆单元由以下等式更新：
[0339]
c
t
＝f
t
⊙
c
t
‑1+i
t
⊙
g
t
ꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0340]
其可以附加地修改每个记忆单元。更新过程导致在反向传播期间分布梯度。符号表示hadamard乘积。最后，隐藏状态被更新为：
[0341]
h
t
＝o
t
⊙
tanh(c
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0342]
在图像序列的顺序处理中，lstm的输入由根据卷积神经网络计算的特征图组成。在该工作中，提出了两种架构来计算特征图。第一架构是具有卷积层和池化层的神经网络。在clstm中对特征图进行顺序处理之后，将输出馈送至完全连接的层以计算标志位置估计。在第二架构中，clstm输入是完全卷积架构(fcn)的卷积路径的最后一层。根据通过fcn网络的转置卷积部分处理的clstm输出来计算标志位置估计。
[0343]
示例超声系统
[0344]
图15a是示出可以在其上实践本文描述的技术的各个方面的示例性超声系统1500a的各方面的示意性框图。例如，超声系统1500a的一个或更多个部件可以执行本文描述的任何过程。如图所示，超声系统1500a包括处理电路1501、输入/输出装置1503、超声电路1505和存储器电路1507。
[0345]
超声电路1505可以被配置成生成可以用于生成超声图像的超声数据。超声电路1505可以包括单片集成到单个半导体管芯(die)上的一个或更多个超声换能器。超声换能器可以包括例如一个或更多个电容式微机械超声换能器(cmut)、一个或更多个cmos超声换能器(cut)、一个或更多个压电式微机械超声换能器(pmut)和/或一个或更多个其他合适的超声换能器单元。在一些实施方式中，超声换能器可以与超声电路1505中的其他电子部件(例如，发送电路、接收电路、控制电路、电力管理电路和处理电路)形成同一芯片，以形成单片超声装置。
[0346]
处理电路1501可以被配置成执行本文描述的任何功能。处理电路1501可以包括一个或更多个处理器(例如，计算机硬件处理器)。为了执行一个或更多个功能，处理电路1501可以执行存储在存储器电路1507中的一个或更多个处理器可执行指令。存储器电路1507可以用于在超声系统1500b的操作期间存储程序和数据。存储器电路1507可以包括一个或更多个存储装置，例如非暂态计算机可读存储介质。处理电路1501可以以任何合适的方式控制向存储器电路1507写入数据和从存储器电路1507读取数据。
[0347]
在一些实施方式中，处理电路1501可以包括专门编程的和/或专用的硬件，例如专
用集成电路(asic)。例如，处理电路1501可以包括一个或更多个张量处理单元(tpu)。tpu可以是专门为机器学习(例如，深度学习)而设计的asic。tpu可以用于例如加速神经网络的推断阶段。
[0348]
输入/输出(i/o)装置1503可以被配置成促进与其他系统和/或操作者的通信。可以促进与操作者通信的示例i/o装置包括：键盘、鼠标、轨迹球、麦克风、触摸屏、打印装置、显示屏、扬声器和振动装置。可以促进与其他系统通信的示例i/o装置包括有线通信电路和/或无线通信电路，诸如蓝牙、zigbee、wifi和/或usb通信电路。
[0349]
应当理解，可以使用任何数量的装置来实现超声系统1500a。例如，超声系统1500a的部件可以集成到单个装置中。在另一示例中，超声电路1505可以集成到超声装置中，超声装置与包括处理电路1501、输入/输出装置1503和存储器电路1507的计算装置通信地耦接。
[0350]
图15b是示出可以在其上实践本文描述的技术的各个方面的另一示例性超声系统1500b的各方面的示意性框图。例如，超声系统1500b的一个或更多个部件可以执行本文描述的任何过程。如图所示，超声系统1500b包括与计算装置1502进行有线通信和/或无线通信的超声装置1514。计算装置1502包括音频输出装置1504、成像装置1506、显示屏1508、处理器1510、存储器1512和振动装置1509。计算装置1502可以通过网络1516与一个或更多个外部装置通信。例如，计算装置1502可以与一个或更多个工作站1520、服务器1518和/或数据库1522通信。
[0351]
超声装置1514可以被配置成生成可以用于生成超声图像的超声数据。超声装置1514可以以多种方式中的任何一种来构造。在一些实施方式中，超声装置1514包括发送器，发送器将信号发送至发送波束形成器，发送波束形成器又驱动换能器阵列内的换能器元件以将脉冲超声信号发射至诸如患者的结构中。脉冲超声信号可以从身体中的结构例如血细胞或肌肉组织反向散射，以产生返回至换能器元件的回波。然后，这些回波可以通过换能器元件转换成电信号或超声数据，并且电信号由接收器接收。表示接收到的回波的电信号被发送至输出超声数据的接收波束形成器。
[0352]
计算装置1502可以被配置成处理来自超声装置1514的超声数据以生成超声图像以用于在显示屏1508上显示。该处理可以由例如处理器1510执行。处理器1510还可以适于控制利用超声装置1514对超声数据的获取。在扫描会话期间，随着接收到回波信号，可以实时处理超声数据。在一些实施方式中，所显示的超声图像可以以至少5hz、至少10hz、至少20hz的速率，以5hz至60hz之间的速率，以大于20hz的速率更新。例如，即使在基于先前获取的数据生成图像并且正在显示实时超声图像时，也可以获取超声数据。随着另外的超声数据被获取，依次显示根据最近获取的超声数据生成的另外的帧或图像。另外或可替选地，可以在扫描会话期间将超声数据临时存储在缓冲器中并且以比实时差的方式处理。
[0353]
另外(或可替选地)，计算装置1502可以被配置成执行本文描述的任何过程(例如，使用处理器1510)和/或显示本文描述的任何用户接口(例如，使用显示屏1508)。例如，计算装置1502可以被配置成向超声装置1514的操作者提供指令以帮助操作者选择要成像的对象的目标解剖视图并且引导操作者捕获包含目标解剖视图的超声图像。如图所示，计算装置1502可以包括可以在执行这样的过程期间使用的一个或更多个元素。例如，计算装置1502可以包括一个或更多个处理器1510(例如，计算机硬件处理器)和一个或更多个制品，一个或更多个制品包括非暂态计算机可读存储介质诸如存储器1512。处理器1510可以以任
何合适的方式控制向存储器1512写入数据和从存储器1512读取数据。为了执行本文描述的任何功能，处理器1510可以执行存储在一个或更多个非暂态计算机可读存储介质(例如，存储器1512)中的一个或更多个处理器可执行指令，所述一个或更多个非暂态计算机可读存储介质可以用作存储用于由处理器1510执行的处理器可执行指令的非暂态计算机可读存储介质。
[0354]
在一些实施方式中，计算装置1502可以包括一个或更多个输入和/或输出装置，诸如音频输出装置1504、成像装置1506、显示屏1508和振动装置1509。音频输出装置1504可以是被配置成发出可听声音的装置，例如扬声器。成像装置1506可以被配置成检测光(例如，可见光)以形成图像，诸如摄像机。显示屏1508可以被配置成显示图像和/或视频，诸如液晶显示器(lcd)、等离子显示器和/或有机发光二极管(oled)显示器。振动装置1509可以被配置成使计算装置1502的一个或更多个部件振动以提供触觉反馈。这些输入和/或输出装置可以通信地耦接至处理器1510和/或在处理器1510的控制下。处理器1510可以根据由处理器1510执行的过程(诸如图9至图13中所示的任何过程)来控制这些装置。例如，处理器1510可以控制显示屏1508以显示任何上述用户接口、指令和/或超声图像。类似地，处理器1510可以控制音频输出装置1504以发出可听指令和/或控制振动装置1509以改变触觉反馈(例如，振动)的强度来发出触觉指令。另外(或可替选地)，处理器1510可以控制成像装置1506以捕获在对象上使用的超声装置1514的非声学图像，以向超声装置1514的操作者提供增强现实接口(例如，如图5b和图6所示)。
[0355]
应当理解，计算装置1502可以以各种方式中的任何一种来实现。例如，计算装置1502可以实现为手持装置，诸如移动智能电话或平板计算机。因此，超声装置1514的操作者可以能够用一只手操作超声装置1514并用另一只手保持计算装置1502。在其他示例中，计算装置1502可以被实现为并非手持装置的便携式装置，诸如膝上型计算机。在其他示例中，计算装置1502可以实现为固定装置，诸如台式计算机。
[0356]
在一些实施方式中，计算装置1502可以经由网络1516与一个或更多个外部装置通信。计算装置1502可以通过有线连接(例如，经由以太网电缆)和/或无线连接(例如，通过wifi网络)连接至网络1516。如图15b所示，这些外部装置可以包括服务器1518、工作站1520和/或数据库1522。计算装置1502可以与这些装置通信，以例如卸载计算密集型任务。例如，计算装置1502可以通过网络1516向服务器1518发送超声图像以进行分析(例如，识别超声图像中的解剖特征和/或识别提供给操作者的指令)并接收来自服务器1518的分析的结果。另外(或可替选地)，计算装置1502可以与这些装置通信以访问本地不可用的信息和/或更新中央信息库。例如，计算装置1502可以从存储在数据库1522中的文件访问用超声装置1514成像的对象的医疗记录。在该示例中，计算装置1502还可以向数据库1522提供对象的一个或更多个捕获超声图像以添加到对象的医疗记录中。
[0357]
本文在一般意义上使用术语“程序”、“应用”或“软件”来指代可以用于对计算机或其他处理器进行编程以实现如上所述的实施方式的各个方面的任何类型的计算机代码或处理器可执行指令集。另外，根据一个方面，在运行时执行本文提供的公开内容的方法的一个或更多个计算机程序不需要驻留在单个计算机或处理器上，而是可以以模块化方式分布在不同的计算机或处理器中，以实现本文所提供的公开内容的各个方面。
[0358]
处理器可执行指令可以有由一个或更多个计算机或者其他装置执行的许多形式，
例如程序模块。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。通常，程序模块的功能可以组合或分布。
[0359]
此外，数据结构可以以任何合适的形式存储在一个或更多个非暂态计算机可读存储介质中。为了简化说明，数据结构可以被示为具有通过数据结构中的位置相关的字段。同样可以通过为字段的存储分配非暂态计算机可读介质中的传达字段之间的关系的位置来实现这样的关系。然而，可以使用任何合适的机制——包括通过使用指针、标签或者建立数据元素之间的关系的其他机制——来建立数据结构的字段中的信息之间的关系。
[0360]
示例超声装置
[0361]
图16示出了单片超声装置1600的说明性实例，单片超声装置1600可以用作上文所描述的超声装置中的任何超声装置例如超声装置102、502、602和1514或者本文中所描述的超声电路中的任何超声电路例如超声电路1505。如图所示，超声装置1600可以包括：一个或更多个换能器布置(例如，阵列)1602、发送(tx)电路1604、接收(rx)电路1606、定时和控制电路1608、信号调节/处理电路1610、电力管理电路1618和/或高强度聚焦超声(hifu)控制器1620。在所示的实施方式中，所有示出的元件形成在单个半导体管芯1612上。然而，应当理解，在替选实施方式中，所示元件中的一个或更多个元件可以替代地位于芯片外。此外，尽管示出的示例示出了tx电路1604和rx电路1606，然而，在可替选的实施方式中，可以仅采用tx电路或者仅采用rx电路。例如，这种实施方式可以在下述情况下采用：使用一个或更多个仅发送装置1600来发送声学信号，并且使用一个或更多个仅接收装置1600来接收已经通过正在进行超声成像的对象发送的或者被该对象反射的声学信号。
[0362]
应当理解，可以以多种方式中的任何一种来执行一个或更多个所示部件之间的通信。在一些实施方式中，例如可以使用一个或更多个高速总线(未示出)——例如由统一北桥所采用的高速总线——来实现高速芯片内的通信或者与一个或更多个芯片外部件的通信。
[0363]
一个或更多个换能器阵列1602可以采取多种形式中的任何一种形式，并且本技术的各个方面并不一定要求使用任何特定类型或特定布置的换能器单元或换能器元件。实际上，尽管在本说明书中使用术语“阵列”，但是应当理解，在一些实施方式中，换能器元件可以不以阵列形式组织，而是可以以某种非阵列方式布置。在各种实施方式中，阵列1602中的每个换能器元件可以例如包括：一个或更多个电容式微机械超声换能器(cmut)、一个或更多个cmos超声换能器(cut)、一个或更多个压电式微机械超声换能器(pmut)和/或一个或更多个其他合适的超声换能器单元。在一些实施方式中，换能器阵列102的换能器元件可以与tx电路1604和/或rx电路1606的电子器件形成在相同的芯片上。在一些实施方式中，换能器元件1602、tx电路1604和rx电路1606可以集成在单个超声装置中。在一些实施方式中，单个超声装置可以是手持装置。在其他实施方式中，单个超声装置可以包含在可以耦接至患者的贴片中。贴片可以被配置成将由贴片收集的数据无线地发送至一个或更多个外部装置以用于进一步处理。
[0364]
cut可以例如包括形成在cmos晶片中的腔，在该腔上叠加有膜，并且在一些实施方式中，膜将该腔密封。可以设置电极以从覆盖的腔结构创建换能器单元。coms晶片可以包括集成电路，换能器单元可以连接至该集成电路。换能器单元和coms晶片可以单片地集成，从而在单个衬底(coms晶片)上形成集成超声换能器单元和集成电路。
[0365]
tx电路1604(如果包括)可以例如生成脉冲，脉冲驱动换能器阵列1602的各个元件或换能器阵列1602内的一个或更多个元件组，以生成用于成像的声学信号。另一方面，rx电路1606可以在声学信号撞击(impinge)换能器阵列102的各个元件时，接收并且处理由这些元件生成的电信号。
[0366]
在一些实施方式中，定时和控制电路1608可以例如负责生成用于同步和协调装置1600中的其他元件的操作的所有定时和控制信号。在所示的示例中，定时和控制电路1608由提供至输入端口1616的单个时钟信号clk驱动。时钟信号clk可以例如是用于驱动一个或更多个片上电路部件的高频时钟。在一些实施方式中，时钟信号clk可以例如是用于驱动信号调节/处理电路1610中的高速串行输出装置(未在图16中示出)的1.5625ghz或2.5ghz时钟或者用于驱动半导体管芯1612上的其他数字部件的20mhz或40mhz时钟，并且定时和控制电路1608可以在必要时对时钟clk进行分频或倍增(divide or multiply)以驱动管芯1612上的其他部件。在其他实施方式中，可以从片外源向定时和控制电路1608单独地提供不同频率的两个或更多个时钟(例如上面提及的那些)。
[0367]
电力管理电路1618可以例如负责将来自片外源的一个或更多个输入电压vin转换成进行芯片操作所需的电压，以及另外负责管理装置1600内的电力消耗。在一些实施方式中，例如可以将单个电压(例如，12v、80v、100v、120v等)提供至芯片，并且电力管理电路1618可以在需要时使用电荷泵电路或经由其他一些dc
‑
dc电压转换机构来升高或降低该电压。在其他实施方式中，可以将多个不同电压单独地提供至电力管理电路1618以用于处理和/或分配给其他片上部件。
[0368]
如图16所示，在一些实施方式中，可以将hifu控制器1620集成在半导体管芯1612上，以经由换能器阵列1602的一个或更多个元件实现对hifu信号的生成。在其他实施方式中，用于驱动换能器阵列1602的hifu控制器可以位于片外，或甚至位于与装置1600分离的装置内。也就是说，本公开内容的各方面涉及提供具有或不具有超声成像能力的片上超声hifu系统。然而，应当理解，一些实施方式可以不具有任何hifu能力，因此可以不包括hifu控制器1620。
[0369]
此外，应当理解，在提供hifu功能的那些实施方式中，hifu控制器1620可以不表示不同的电路。例如，在一些实施方式中，图16的其余电路(除了hifu控制器1620)可以适于提供超声成像功能和/或hifu，即，在一些实施方式中同一共享电路可以作为成像系统操作和/或被操作成用于hifu。是否表现出成像功能或hifu功能可以取决于提供给系统的电力。hifu通常在比超声成像更高的电力下操作。因此，向系统提供适于成像应用的第一电力电平(或电压电平)可以使系统作为成像系统操作，而提供更高的电力电平(或电压电平)可以使系统操作成用于hifu。在一些实施方式中，可以由片外控制电路来提供这种电力管理。
[0370]
除了使用不同的电力电平以外，成像应用和hifu应用还可以使用不同的波形。因此，可以使用波形生成电路来提供合适的波形以使系统作为成像系统或hifu系统进行操作。
[0371]
在一些实施方式中，系统可以作为成像系统和hifu系统二者进行操作(例如，能够提供图像引导的hifu)。在一些这样的实施方式中，可以使用相同的片上电路来提供两种功能，其中，使用合适的定时序列来控制两种模式之间的操作。
[0372]
在所示的示例中，一个或更多个输出端口1614可以输出由信号调节/处理电路
1610的一个或更多个部件生成的高速串行数据流。这种数据流可以例如由集成在半导体管芯1612上的一个或更多个usb 3.0模块和/或一个或更多个10gb、40gb或100gb以太网模块生成。在一些实施方式中，可以将在输出端口1614上产生的信号流馈送至计算机、平板计算机或智能电话以生成和/或显示2维图像、3维图像和/或断层图像。在将图像形成能力并入信号调节/处理电路1610中的实施方式中，即使相对较低功率的装置——例如仅具有可用于应用执行的有限量的处理能力和存储器的智能电话或平板计算机——也可以仅使用来自输出端口1614的串行数据流来显示图像。如上所述，使用片上模数转换和高速串行数据链路来卸载数字数据流是有助于促进根据本文描述的技术的一些实施方式的“片上超声”解决方案的特征之一。
[0373]
诸如图16中所示的装置1600可以用于多种成像和/或治疗(例如，hifu)应用中的任何一种，并且本文讨论的特定示例不应被视为限制。在一种说明性实施方式中，例如，包括n
×
m平面或基本平面的cmut元件阵列的成像装置本身可以用于通过以下操作来获取对象例如人腹部的超声图像：在一个或更多个发送阶段期间激励(一起或者单独地)阵列1602中的一些或所有元件，在一个或更多个接收阶段期间接收并处理由阵列1602中的一些或所有元件生成的信号，使得在每个接收阶段期间，cmut元件感测由对象反射的声学信号。在其他实现方式中，阵列1602中的一些元件可以仅用于发送声学信号，并且同时同一阵列1602中的其他元件可以仅用于接收声学信号。此外，在一些实现方式中，单个成像装置可以包括各个装置的p
×
q阵列或者各个n
×
m平面cmut元件阵列的p
×
q阵列，这些部件可以并行、串行或根据一些其他定时方案来操作，以使得能够从比在单个装置1600中或单个管芯1612上可以包含的cmut元件更多的cmut元件累积数据。
[0374]
在又一些实现方式中，可以将一对成像装置定位成跨越对象，使得在对象一侧上的成像装置的装置1600中的一个或更多个cmut元件可以感测由在对象另一侧上的成像装置的装置1600中的一个或更多个cmut元件生成的声学信号，以达到这种脉冲基本上不被对象衰减的程度。此外，在一些实现方式中，可以使用同一装置1600来测量来自其自身的一个或更多个cmut元件的声学信号的散射以及来自设置在对象的相对侧上的成像装置中的一个或更多个cmut元件的声学信号的发送二者。
[0375]
图17是示出在一些实施方式中可以如何使用用于给定换能器元件1702的tx电路1604和rx电路1606来激励超声元件1702以发射超声脉冲或者接收并处理来自超声元件1702的表示其感测到的超声脉冲的信号的框图。在一些实现方式中，可以在“发送”阶段中使用tx电路1604，并且可以在与发送阶段不交叠的“接收”阶段中使用rx电路。在其他实现方式中，例如在一对超声单元仅用于透射成像的情况下，在给定的装置1600中可以简单地不使用tx电路1604和rx电路1606中的一个。如上所述，在一些实施方式中，超声装置1600可以替选地仅使用tx电路1604或仅使用rx电路1606，并且本技术的各方面不一定需要存在这两种电路。在各种实施方式中，tx电路1604和/或rx电路1606可以包括：与单个换能器单元(例如，cut或cmut)、单个换能器元件1702内的两个或更多个换能器单元的组、包括换能器单元组的单个换能器元件1702、阵列1602内的两个或更多个换能器元件1702的组或者换能器元件1702的整个阵列1602相关联的tx电路和/或rx电路。
[0376]
在图17所示的示例中，对于阵列1602中的每个换能器元件1702，tx电路1604/rx电路1606包括单独的tx电路和单独的rx电路，但是仅存在定时和控制电路1608和信号调节/
处理电路1610中的每一个的一个实例。因此，在这种实施方式中，定时和控制电路1608可以负责同步和协调管芯1612上的所有tx电路1604/rx电路1606组合的操作，并且信号调节/处理电路1610可以负责处理来自管芯1612上的所有rx电路1606的输入。在其他实施方式中，可以为每个换能器元件1702或为换能器元件1702的组复制定时和控制电路1608。
[0377]
如图17所示，除了生成和/或分配时钟信号以驱动装置1600中的各种数字部件以外，定时和控制电路1608还可以输出“tx使能”信号以使能tx电路1604的每个tx电路的操作，或者输出“rx使能”信号以使能rx电路1606的每个rx电路的操作。在所示的示例中，在使能tx电路1604之前，可以始终断开rx电路1606中的开关1716，从而防止tx电路1604的输出驱动rx电路1606。在使能rx电路1606的操作时可以闭合开关1716，从而使得rx电路1606能够接收并处理由换能器元件1702生成的信号。
[0378]
如图所示，用于相应换能器元件1702的tx电路1604可以包括波形生成器1714和脉冲发生器1712二者。波形生成器1714可以例如负责生成要应用于脉冲发生器1712的波形，以使脉冲发生器1712将与所生成的波形对应的驱动信号输出至换能器元件1702。
[0379]
在图17所示的示例中，用于相应换能器元件1702的rx电路1606包括模拟处理块1718、模数转换器(adc)1720和数字处理块1722。adc1720可以例如包括10位或12位、20msps、25msps、40msps、50msps或80msps adc。
[0380]
在数字处理块1722中进行处理之后，将半导体管芯1612上的所有rx电路(在本示例中，rx电路的数量等于片上换能器元件1702的数量)的输出馈送至信号调节/处理电路1610中的多路复用器(mux)1724。在其他实施方式中，换能器元件的数量大于rx电路的数量，并且多个换能器元件向单个rx电路提供信号。mux 1724对来自rx电路的数字数据进行多路复用，并且将mux 1724的输出馈送至信号调节/处理电路1610中的多路复用数字处理块1726，以用于在例如经由一个或更多个高速串行输出端口1614将数据从半导体管芯1612输出之前进行最后处理。mux1724是可选的，并且在一些实施方式中执行并行信号处理。可以在块之间或块内的任何接口处、在芯片之间的任何接口处和/或主机的任何接口处设置高速串行数据端口。模拟处理块1718和/或数字处理块1722中的各种部件可以减少需要经由高速串行数据链路或以其他方式从半导体管芯1612输出的数据量。在一些实施方式中，例如，模拟处理块1718和/或数字处理块1722中的一个或更多个部件可以因此用于使rx电路1606能够以改进的信噪比(snr)并且以与多种波形兼容的方式来接收透射的和/或散射的超声压力波。因此，在一些实施方式中，包括这样的元件可以进一步促进和/或增强所公开的“片上超声”解决方案。
[0381]
本文描述的超声装置可以以各种物理配置中的任何一种来实现，配置包括作为手持装置的一部分(其可以包括用于显示所获得的图像的屏幕)或者作为被配置成贴附至对象的贴片的一部分。
[0382]
在一些实施方式中，超声装置可以包含在图18a和图18b中所示的手持装置1802中。手持装置1802可以靠着(或靠近)对象1800保持并用于对对象成像。手持装置1802可以包括超声装置和显示器1804，在一些实施方式中，显示器1804可以是触摸屏。显示器1804可以被配置成显示对象的图像(例如，超声图像)，对象的图像是在手持装置1802内使用由装置1802内的超声装置收集的超声数据而生成的。
[0383]
在一些实施方式中，手持装置1802可以以类似于听诊器的方式使用。医疗专业人
员可以将手持装置1802放置在沿患者身体的各种位置。手持装置1802内的超声装置可以对患者成像。由超声装置获得的数据可以被处理并用于生成患者的图像，该图像可以经由显示器1804显示给医疗专业人员。这样，医疗专业人员可以携带手持装置1802(例如，围绕他们的脖子或在他们的口袋中)而不是携带多个常规装置，携带多个常规装置是繁重且不切实际的。
[0384]
在一些实施方式中，超声装置可以包含在可以耦接至患者的贴片中。例如，图18c和图18d示出了耦接至患者1812的贴片1810。贴片1810可以被配置成将由贴片1810收集的数据无线地发送至一个或更多个外部装置以用于进一步处理。图18e示出了贴片1810的分解图。
[0385]
在一些实施方式中，超声装置可以包含在图18f中所示的手持装置1820中。手持装置1820可以被配置成将由装置1820收集的数据无线地发送至一个或更多个外部装置以用于进一步处理。在其他实施方式中，手持装置1820可以被配置成使用一个或更多个有线连接将由装置1820收集的数据发送至一个或更多个外部装置，因为本文描述的技术的各方面在这方面不受限制。
[0386]
本公开内容的各个方面可以单独使用、组合使用、或者以前面所述的实施方式中没有具体讨论的多种布置使用，因此在其应用上不限于前面的描述中阐述的或附图中示出的部件的细节和布置。例如，一个实施方式中描述的各方面可以与其他实施方式中描述的各方面以任何方式组合。
[0387]
此外，一些动作被描述为由“操作者”或“对象”采取。应当理解，“操作者”或“对象”不必是单个个体，并且在一些实施方式中，可归因于“操作者”或“对象”的动作可以由个体和/或个体的团队与计算机辅助工具或其他机构相结合来执行。此外，应当理解，在某些情况下，“对象”可以是与“操作者”相同的人。例如，个体可以用超声装置对自身进行成像，从而充当被成像的“对象”和超声装置的“操作者”。
[0388]
在权利要求中使用诸如“第一”、“第二”、“第三”等的序数术语来修饰权利要求要素本身并不意味着一个权利要求要素相对于另一权利要求要素的任何优先级、优先次序或顺序或者执行方法的动作的时间顺序，而仅仅用作用于区分具有某个名称的一个权利要求要素与具有同一名称的另一要素(但是针对序数术语的使用)的标签以区分权利要求要素。
[0389]
术语“大约”和“约”在一些实施方式中可以用于意指在目标值的
±
20％内，在一些实施方式中用于意指在目标值的
±
10％内，在一些实施方式中用于意指在目标值的
±
5％内，而在一些实施方式中用于意指在目标值的
±
2％内。术语“大约”和“约”可以包括目标值。
[0390]
此外，本文使用的措辞和术语是为了描述的目的，而不应被视为限制。本文中的“包括(including)”、“包括(comprising)”、或“具有”、“包含”、“涉及”及其变型的使用意在包括其后列出的项及其等同物以及附加项。
[0391]
上面已经描述了至少一个实施方式的若干方面，应当理解的是，本领域的技术人员将容易想到各种改变、修改和改进。这些改变、修改和改进意在成为本公开内容的目的。因此，前述描述和附图仅作为示例。
[0392]
另外，本技术还可以配置如下：
[0393]
(1)一种超声引导设备，包括：
[0394]
至少一个处理器，其被配置成基于对对象的另一超声图像的分析来引导对包含目标解剖视图的超声图像的捕获。
[0395]
(2)根据(1)所述的设备，其中，所述至少一个处理器被配置成至少部分地通过生成针对如何引导超声装置的操作者捕获包含所述目标解剖视图的所述超声图像的引导计划来引导对所述超声图像的捕获。
[0396]
(3)根据(2)所述的设备，其中，所述至少一个处理器被配置成至少部分地通过基于所生成的引导计划向所述操作者提供至少一个指令来引导对所述超声图像的捕获。
[0397]
(4)根据(3)所述的设备，还包括显示器，所述显示器耦接至所述至少一个处理器并且被配置成向所述操作者显示所述至少一个指令。
[0398]
(5)根据(4)所述的设备，其中，所述显示器和所述至少一个处理器被集成到计算装置中。
[0399]
(6)根据(3)所述的设备，其中，所述至少一个处理器被配置成至少部分地通过使用深度学习技术识别包含在所述另一超声图像中的解剖视图来引导对所述超声图像的捕获。
[0400]
(7)根据(6)所述的设备，其中，所述至少一个处理器被配置成至少部分地通过使用所识别的解剖视图来识别移动所述超声装置的方向来引导对所述超声图像的捕获。
[0401]
(8)根据(3)所述的设备，其中，所述至少一个处理器被配置成至少部分地通过确定所述另一超声图像是否包含所述对象的在所述对象的目标区域内的解剖视图来引导对所述超声图像的捕获。
[0402]
(9)根据(8)所述的设备，其中，所述至少一个处理器被配置成：响应于有关包含在所述另一超声图像中的所述解剖视图在所述目标区域之外的确定，至少部分地通过向所述操作者提供将所述超声装置朝向这样的位置移动的指令来向所述操作者提供所述至少一个指令，在所述位置处，所述超声装置能够获得所述对象的所述目标区域内的视图的图像。
[0403]
(10)根据(8)所述的设备，其中，所述至少一个处理器被配置成：响应于有关包含在所述另一超声图像中的所述解剖视图在所述目标区域内的确定，至少部分地通过向所述操作者提供将所述超声装置朝向这样的位置移动的指令来向所述操作者提供所述至少一个指令，在所述位置处，所述超声装置能够获得所述目标解剖视图的图像。
[0404]
(11)一种系统，包括：
[0405]
超声装置，其被配置成捕获对象的超声图像；以及
[0406]
至少一个处理器，其被配置成基于对由所述超声装置捕获的所述超声图像的分析来引导对对象的包含目标解剖视图的另一超声图像的捕获。
[0407]
(12)根据(11)所述的系统，其中，所述超声装置包括选自由以下超声换能器构成的组的超声换能器：电容式微机械超声换能器(cmut)、cmos超声换能器(cut)和压电式微机械超声换能器(pmut)。
[0408]
(13)根据(11)所述的系统，其中，所述至少一个处理器被集成到移动智能电话或平板计算机中。
[0409]
(14)根据(11)所述的系统，其中，所述至少一个处理器被配置成至少部分地通过以下操作来引导捕获：
[0410]
确定所述超声图像是否包含目标解剖视图；
[0411]
响应于确定所述超声图像不包含所述目标解剖视图，
[0412]
使用所述超声图像来生成针对如何引导所述超声装置的操作者捕获所述对象的包含所述目标解剖视图的超声图像的引导计划；以及
[0413]
基于所生成的引导计划来向所述操作者提供至少一个指令。
[0414]
(15)根据(14)所述的系统，其中，所述引导计划包括用于引导所述超声装置的所述操作者将所述超声装置移动至目标位置的指令序列。
[0415]
(16)根据(15)所述的系统，其中，所述指令序列中的每个指令是沿平移方向或旋转方向移动所述超声装置的指令。
[0416]
(17)根据(14)所述的系统，其中，所述至少一个处理器被配置成至少部分地通过确定所述超声图像是否包含所述对象的在所述对象的目标区域内的解剖视图来生成所述引导计划。
[0417]
(18)根据(17)所述的系统，其中，所述至少一个处理器被配置成：响应于有关包含在所述超声图像中的所述解剖视图不在所述目标区域内的确定，至少部分地通过向所述操作者提供将所述超声装置朝向这样的位置移动的指令来向所述操作者提供所述至少一个指令，在所述位置处，所述超声装置能够获得所述对象的所述目标区域内的视图的图像。
[0418]
(19)根据(17)所述的系统，其中，所述至少一个处理器被配置成：响应于有关包含在所述超声图像中的所述解剖视图在所述目标区域内的确定，至少部分地通过向所述操作者提供将所述超声装置朝向这样的位置移动的指令来向所述操作者提供所述至少一个指令，在所述位置处，所述超声装置能够获得所述目标解剖视图的图像。
[0419]
(20)一种方法，包括：
[0420]
使用至少一个包括至少一个处理器的计算装置来执行：
[0421]
获得由超声装置捕获的对象的超声图像；
[0422]
确定所述超声图像是否包含目标解剖视图；
[0423]
响应于确定所述超声图像不包含所述目标解剖视图：
[0424]
使用所述超声图像来生成针对如何引导所述超声装置的操作者捕获所述对象的包含所述目标解剖视图的超声图像的引导计划；以及
[0425]
基于所生成的引导计划来向所述操作者提供至少一个指令。
[0426]
(21)根据(20)所述的方法，其中，生成所述引导计划包括：使用自动图像处理技术来识别包含在所述超声图像中的解剖视图。
[0427]
(22)根据(21)所述的方法，其中，生成所述引导计划包括：使用所识别的解剖视图来识别移动所述超声装置的方向，并且其中，向所述操作者提供所述至少一个指令包括：向所述操作者提供沿所识别的方向移动所述超声装置的指令。
[0428]
(23)根据(22)所述的方法，其中，识别移动所述超声装置的方向包括：识别移动所述超声装置的平移方向或旋转方向。
[0429]
(24)根据(20)所述的方法，其中，生成所述引导计划包括：确定所述超声图像是否包含所述对象的在所述对象的目标区域内的解剖视图。
[0430]
(25)根据(24)所述的方法，其中，确定所述超声图像是否包含所述对象的在所述对象的所述目标区域内的解剖视图包括：确定所述超声图像是否包含所述对象的躯干的至少一部分的解剖视图。
[0431]
(26)根据(24)所述的方法，还包括：
[0432]
响应于有关包含在所述超声图像中的所述解剖视图不在所述目标区域内的确定，至少部分地通过向所述操作者提供将所述超声装置朝向这样的位置移动的指令来向所述操作者提供所述至少一个指令，在所述位置处，所述超声装置能够获得所述对象的所述目标区域内的视图的图像。
[0433]
(27)根据(26)所述的方法，其中，向所述操作者提供将所述超声装置朝向所述位置移动的所述指令包括：向所述操作者提供所述目标区域位于何处的视觉指示。
[0434]
(28)根据(24)所述的方法，还包括：
[0435]
响应于有关包含在所述超声图像中的所述解剖视图在所述目标区域内的确定，至少部分地通过向所述操作者提供将所述超声装置朝向这样的位置移动的指令来向所述操作者提供所述至少一个指令，在所述位置处，所述超声装置能够获得所述目标解剖视图的图像。
[0436]
(29)根据(28)所述的方法，其中，向所述操作者提供指示所述操作者将所述超声装置朝向所述位置移动的所述指令包括：向所述操作者提供移动所述超声装置的方向的视觉指示。
[0437]
(30)至少一种非暂态计算机可读存储介质，其存储有处理器可执行指令，所述处理器可执行指令在由至少一个处理器执行时使所述至少一个处理器：
[0438]
获得由超声装置捕获的对象的超声图像；
[0439]
确定所述超声图像是否包含目标解剖视图；
[0440]
响应于有关所述超声图像不包含所述目标解剖视图的确定，
[0441]
使用所述超声图像来生成针对如何引导所述超声装置的操作者捕获所述对象的包含所述目标解剖视图的超声图像的引导计划；以及
[0442]
基于所生成的引导计划来向所述操作者提供至少一个指令。