基于智能超声的生育力监测的制作方法

相关申请

本申请要求于2017年10月11日提交的美国临时申请no.62/570951的权益和优先权，其以整体内容通过引用并入本文。

本公开属于用于使用神经网络来识别超声图像中的特征的超声系统和方法。特定实现方式涉及被配置为通过对超声图像进行预处理并且将其输入到经训练的神经网络中来识别所述图像中的卵泡的系统。

背景技术：

不孕症是估计在其生命中的某一时刻影响8％至12％的夫妇的全球性问题。不孕症的原因是广泛的并且包括诸如多囊卵巢综合征(pcos)、卵巢功能低下、输卵管因素、甲状腺功能减退的状况以及各种男性状况。为了生育，不孕患者可能平均经历三个子宫腔内受精(iui)处置周期和大约1.6个体外受精(ivf)处置周期，每个周期都要求对生育诊所的大约四到五次访问。在每次访问期间，可能执行超声成像以最经常经由对卵巢的经阴道超声扫描监测生育力状态来搜索卵泡，在排卵期间释放的成熟卵的充满液体的液囊。卵泡超声扫描可以在整个排卵诱导过程中(尤其是在卵泡阶段(例如，诱导的前两周)期间)连续地执行。重复的扫描常常被实施为随时间监测卵泡计数和大小，该信息然后被用于根据发育状态对卵泡进行分类并且根据需要而调整患者特定处置计划。通常，可以定期地执行这样的监测，直到卵泡中的至少一些卵泡在直径方面达到约17-18mm。

因此，监测卵泡发育是常常要求频繁诊所访问的迭代过程。这样的访问可能是耗费时间并且昂贵的，对于距离最近的生育诊所较远的农村患者而言尤其如此。经训练以执行卵泡扫描的超声专家的广泛短缺不过是加重了对于使用人工生殖技术的患者的进入壁垒。为了减少在诊所花费的时间以及相关联的旅行和医学费用，可能期望远程实施的生育力监测和管理系统。

技术实现要素：

本公开描述了用于监测生育力的系统和方法。在一些范例中，监测可以远离诊所位置(例如，在用户家中)执行。在本文中所描述的方法可以由在超声成像技术中未经训练的初学者用户来实践。所公开的系统被配置为通过首先预处理超声图像数据以突出卵泡来改善卵泡检测的准确度和效率。预处理可以涉及对图像帧进行阈值化以区分表示来自其他特征的卵泡的像素。低于和/或高于所述阈值的像素的颜色或亮度能够被反转以增强所述卵泡的外观，由此将其与其他背景特征区分开。在预处理之后，所公开的超声成像系统可以被配置为实施被机器训练为识别生育力状态指示器的神经网络，诸如在预处理期间突出显示的卵泡。预处理所述图像数据改善了所述神经网络肯定地识别卵泡的能力，并且还降低了所述神经网络的所要求的处理，由此使得所述系统能够在远程定点护理设备上实时地实施。尽管各种特征可以被识别为根据在本文中所描述的系统来监测和管理生育力状态，但是为了一致性而描述了卵泡。在由神经网络造成的卵泡识别之后，传达(一个或多个)卵泡的存在的指示器可以经由显示在超声扫描期间所收集到的实况超声图像的用户界面来呈现给用户。引导所述用户完成所述超声扫描的指令还可以生成并且通过所述用户界面来显示或发射。这样的指令可以辅助所述用户操作所述超声成像系统以确保包含卵泡的质量超声图像在扫描期间捕获，即使没有由经训练的专家的确认或监督。包含所述卵泡的图像可以被传送给专家以用于额外分析。

根据一些范例，一种超声成像系统可以包括超声换能器，所述超声换能器被配置为响应于朝向靶区域发射的超声脉冲而获取回波信号。所述系统还可以包括与所述超声换能器通信的一个或多个处理器。所述处理器可以被配置为：根据超声回波来生成至少一个图像帧；将阈值应用到所述图像帧，这将表示存在于所述靶区域中的卵泡的像素与所述靶区域中的其他主题区分开；将神经网络应用到经阈值化的图像帧，其中，所述神经网络确定在所述经阈值化的图像帧中的卵泡的存在；基于所述卵泡的所确定的存在来生成指示器；并且在与所述处理器通信的用户界面上显示所述指示器。

在一些范例中，所述处理器还可以被配置为根据经阈值化的图像帧来生成超声图像并将所述超声图像显示在所述用户界面上。在一些实施例中，所述处理器还可以被配置为增强在所述经阈值化的图像帧中的卵泡的外观。在一些范例中，所述阈值可以是otsu阈值，并且所述卵泡的外观可以通过反转低于和高于所述otsu阈值的像素的颜色来增强。在一些实施例中，所述用户界面可以被配置为响应于所述指示器而引导用户完成超声扫描。在一些实施例中，所述用户界面可以被配置为通过在所述扫描期间向所述用户提供指令来引导所述用户完成所述超声扫描。所述指令可以包括至少一个感观提示。在一些范例中，所述用户界面可以被配置为根据所述经阈值化的图像帧来生成超声图像并且将所述超声图像发送到远程接收器。

在一些实施例中，所述神经网络可以是深度神经网络(dnn)或卷积神经网络(cnn)。在一些范例中，所述神经网络可以是包括一个或多个卷积神经网络层以及一个或多个完全连接层的卷积神经网络(cnn)。在一些实施例中，所述神经网络可以与被配置为接收训练输入和已知输出的阵列的训练算法可操作地相关联。所述训练输入可以包括卵泡超声图像帧，并且所述已知输出可以包括包含卵泡的卵巢超声图像帧。在一些范例中，所述神经网络可以至少部分地在包括可执行指令的计算机可读介质中实施，所述可执行指令当在由被耦合到所述超声换能器的处理器运行时，令所述处理器执行经机器训练的算法以基于所获取获得的回波信号来产生所述指示器。

根据本公开的一种方法可以涉及：通过被可操作地耦合到超声系统的换能器响应于被发射到靶区域中的超声脉冲而获取回波信号；根据所述超声回波来生成至少一个图像帧；将阈值应用到所述图像帧，这将表示存在于所述靶区域中的卵泡的像素与所述靶区域中的其他主题区分开；将神经网络应用到所述经阈值化的图像帧，其中，所述神经网络确定在所述经阈值化的图像帧中的卵泡的存在；基于所述卵泡的所确定的存在来生成指示器；并且在用户界面上显示所述指示器。

在一些范例中，所述方法还可以涉及根据经阈值化的图像帧来生成超声图像并且将所述超声图像显示在所述用户界面上。在一些实施例中，所述方法还可以包含反转高于和低于所述阈值的像素的颜色。在一些范例中，所述方法还可以涉及响应于所述卵泡的存在或缺失而提供用户指令。所述用户指令可以包括用于执行对卵巢的超声扫描的引导。

在一些实施例中，所述神经网络可以是卷积神经网络(cnn)。在一些范例中，所述方法还可以涉及使用包含卵巢的超声图像帧来训练所述神经网络。在一些实施例中，所述方法还可以涉及根据所述经阈值化的图像帧来生成超声图像并且将所述超声图像发送给临床医师，其中，所述临床医师位于远程位置处。在一些范例中，所述指示器可以响应于所述换能器的移动而被实时地更新。

在本文中所描述的任何方法或者其步骤可以被实施在包括可执行指令的非瞬态计算机可读介质中，所述可执行指令当被运行时可以令医学成像系统的处理器执行在本文中所体现的方法或步骤。

附图说明

图1是根据本发明的原理的超声系统的框图。

图2是根据本发明的原理的另一超声系统的框图。

图3是根据本发明的原理的被训练为识别超声图像中的卵泡的卷积神经网络的框图。

图4a是根据本发明的原理的正在被执行的超声扫描和所产生的对应的超声图像的照片。

图4b是根据本发明的原理的正在被执行的超声扫描和所产生的对应的超声图像的另一照片。

图5是根据本发明的原理的在用户界面上显示的超声图像和卵泡指示器的照片。

图6a是根据本发明的原理的尚未被预处理的卵泡的超声图像的照片。

图6b是根据本发明的原理的已经被预处理的卵泡的超声图像的照片。

图7是根据本发明的原理而执行的超声成像的方法的流程图。

具体实施方式

对特定实施例的以下描述实际上仅仅是示范性的并且决不旨在限制本发明或者其应用或用途。在本系统和方法的实施例的以下详细描述中，对形成其一部分的附图以及在通过图示示出了在其中可以实践所描述的系统和方法的特定实施例的附图进行参考。这些实施例以足够的细节进行描述以使得本领域技术人员能够实践目前所公开的系统和方法，并且将理解，可以利用其他实施例并且可以做出结构和逻辑改变而不脱离本系统的精神和范围。此外，出于清晰的目的，当特定特征对于本领域技术人员而言将是明显的时，将不讨论对特定特征的详细描述，以便不使本系统的描述模糊。以下详细描述因此将不以限制性意义理解，并且本系统的范围仅仅由随附的权利要求来限定。

根据本公开的超声系统可以利用神经网络(例如，深度神经网络(dnn)、卷积神经网络(cnn)等)来识别经由超声成像检测到的各种特征，例如，卵泡。在一些范例中，神经网络可以使用任何各种当前已知或以后开发的机器学习技术来训练以获得能够分析超声图像帧形式的输入数据并且识别特定特征(包括一个或多个卵泡的存在或缺失)的神经网络(例如，机器训练的算法或节点的基于硬件的系统)。神经网络可以提供优于传统形式的计算机编程算法的优点，即：其能够被一般化并训练以通过分析数据集样本而不是通过依赖于专用计算机代码来识别数据集特征。通过将适当的输入和输出数据呈现给神经网络训练算法，根据本公开的超声系统的神经网络能够被训练以识别卵泡并且基于卵泡识别来引导用户通过对卵巢的超声扫描。

根据本发明的原理的超声系统可以包括或者被可操作地耦合到超声换能器，所述超声换能器被配置为朝向介质(例如，人体或者其特定部分)发射超声脉冲，并且响应于超声脉冲而生成回波信号。所述超声系统可以包括：波束形成器，其被配置为执行发射和/或接收波束形成；以及显示器，其被配置为在一些范例中显示由超声成像系统所生成的超声图像。所述超声成像系统可以包括一个或多个处理器和神经网络，其可以被实施在硬件和/或软件组件中。神经网络能够是经训练以识别一个或多个身体特征(诸如卵泡)的机器，并且输出其存在和/或缺失的指示。

根据本公开的神经网络可以是基于硬件的(例如，神经元由物理组件来表示)或基于软件的(例如，在软件应用中实施的神经元和路径)，并且能够使用用于训练神经网络的各种拓扑和学习算法以产生期望的输出。例如，基于软件的神经网络可以使用被配置为运行指令的处理器(例如，单核或多核cpu、单个gpu或gpu集群、或者被布置用于并行处理的多个处理器)，所述指令可以被存储在计算机可读介质中，并且所述指令当被运行时令处理器执行用于识别超声图像内的卵泡的机器训练的算法，并且在一些范例中，输出卵泡的存在或缺失的指示。所述超声系统可以包括显示器或图形处理器，其可操作用于将超声图像和/或额外的图形信息(其可以包括注释、组织信息、患者信息、指示器和其他图形组件)布置在用于在超声系统的用户界面上显示的显示窗口中。在一些实施例中，超声图像和组织信息(包括关于卵泡的存在或缺失的信息)可以被提供给存储装置和/或存储器设备，诸如用于报告目的或者未来机器训练的图片存档和通讯系统(pacs)(例如，以继续增强神经网络的性能)。在一些范例中，在扫描期间所获得的超声图像可以不被显示给操作所述超声系统的用户，而是可以选择性地或自动地传送(例如，通过通信网络)给被训练以解读图像中体现的信息的专家，例如，不孕专家、超声专家、内科医师、或其他临床医师，由此允许用户在不访问诊所的情况下执行对于生育力监测、管理和/或诊断所必须的超声扫描。操作所述超声成像系统的用户和专家可以在超声扫描期间位于不同的位置，使得超声图像以及从超声图像收集到的信息的传输可以在一定地理距离上发生。在一些范例中，用户可以位于家中，而专家位于诊所。在本文中所描述的系统和方法可以被实施为监测由各种状况引起的不孕症。女性状况可以包括排卵障碍(例如，pcos和卵巢功能低下)、输卵管因素(例如，输卵管积水和盆腔炎疾病)、和激素因素(例如，甲状腺功能减退和乳素血症)。不孕症的男性原因也可以适用于在本文中所公开的系统。

图1示出了根据本公开的原理的范例超声系统。超声系统100可以包括超声数据采集单元110。超声数据采集单元110可以包括超声探头，所述超声探头包括：超声传感器阵列112，其被配置为将超声脉冲114发射到对象的区域116(例如，下腹部)中，并且响应于被发射的脉冲而接收超声回波118。如进一步示出的，超声数据采集单元110可以包括波束形成器120和信号处理器122，其可以被配置为根据在阵列112处接收到的超声回波来生成多个离散的超声图像帧124。所述系统还可以包括数据处理器126(例如，计算模块或电路)，其被配置为预处理图像帧124并且实施神经网络128。神经网络128可以被配置为要么直接从信号处理器122要么经由数据处理器126接收图像帧124，并且确定每个帧内的至少一个卵泡的存在或缺失。在一些范例中，系统100还包括与神经网络128和用户界面132相耦合的显示处理器130。在一些范例中，显示处理器130可以被配置为根据图像帧124来生成超声图像134并且生成传达图像帧124中的每个图像帧内的卵泡的存在或缺失的指示器136。用户界面132可以被配置为当超声扫描正在被执行时，连同指示器136一起实时显示区域116的超声图像134。在一些实施例中，用户界面132可以不显示超声图像，但是可以显示指示器136，使得用户可能不能够看检测到的卵泡，但是将仍然通知其超声检测。用户界面132还可以被配置为在超声扫描之前、期间或之后的任何时间接收用户输入138。在图1中所示的系统100的配置可以变化。例如，系统100可以是便携式或固定的。各种便携式设备(例如，膝上型电脑、平板电脑、智能电话等)可以被用于实施系统100的一项或多项功能。在包含这样的设备的范例中，超声传感器阵列112例如可以经由例如usb接口可连接。

超声数据采集单元110可以被配置为获取来自一个或多个感兴趣区域(其可以包括一个或多个卵巢)的超声数据。超声传感器阵列112可以包括被配置为发射和接收超声能量的至少一个换能器阵列。可以使用各种换能器阵列，例如，线性阵列、凸阵列或相控阵列。在不同的范例中，在传感器阵列112中所包括的换能器元件的数量和布置可以变化。例如，超声传感器阵列112可以包括分别对应于线性阵列和矩阵阵列探头的换能器元件的1d阵列或2d阵列。2d矩阵阵列可以被配置为在仰角和方位角维度上电子地扫描(经由相控阵列波束形成)以用于2d或3d成像。

各种用户可以处理并且操作超声数据采集单元110。在一些范例中，用户可以包括执行自我评价的患者。在各种实施例中，用户可能在临床实践和/或超声技术方面未经训练。因此，数据采集单元110可以是由初学者用户实施的家庭监测系统的部分。

如在图1中进一步示出的，数据采集单元110还可以包括波束形成器120(例如，包括微波束形成器或者微波束形成器与主波束形成器的组合)，其被耦合到超声传感器阵列112。波束形成器120可以例如通过将超声脉冲形成为聚焦波束来控制超声能量的传输。波束形成器120还可以被配置为控制超声信号的接收，使得可辨别的图像数据可以在其他系统部件的辅助下产生并且处理。波束形成器120的角色可以在不同的超声成像探头种类中变化。在一些实施例中，波束形成器120可以包括两个分离的波束形成器：发射波束形成器，其被配置为接收并且处理用于传输到对象中的超声能量的脉冲序列；以及分离的接收波束形成器，其被配置为放大、延迟和/或求和所接收到的超声回波信号。在一些实施例中，波束形成器120可以包括在用于发射和接收波束形成的传感器元件组上操作的微波束形成器，其被耦合到分别在用于发射和接收波束形成的组输入和输出上操作的主波束形成器。

信号处理器122可以与传感器阵列112和/或波束形成器120通信地、操作地和/或物理地耦合。在图1中所示的范例中，信号处理器122被包括作为数据采集单元110的一体部件，但是在其他范例中，信号处理器122可以是分离的部件。信号处理器122可以被配置为接收体现在传感器阵列122处接收到的超声回波118的未过滤并无组织的超声数据。根据该数据，信号处理器122可以在用户扫描区域116时连续地生成多个超声图像帧124。

补充或者代替由信号处理器122执行的一个或多个操作，与信号处理器122通信地耦合的数据处理器126可以执行一个或多个操作。例如，信号处理器126和/或信号处理器122可以被配置为预处理图像帧124并且将经预处理的图像帧发送或输入到神经网络128。预处理能够在神经网络处的输入之前加强或增强靶特征以改善在识别这样的特征的过程中的神经网络128的灵敏度。由数据处理器126执行的特定预处理步骤可以变化并且可以取决于由系统100靶向的特定特征。例如，在包含卵泡识别的实施例中，可以执行预处理以增强卵泡相对于给定图像帧124中的非靶特征和背景强度的外观。在超声图像中，卵泡可以在形状方面近似为椭圆形并且相对于周围特征是暗的；然而，图像内的其他暗特征或区域可以使个体卵泡的边界模糊，使卵泡在当神经网络128处理时容易遗漏或误算。因此，为了改善神经网络的灵敏度并且降低神经网络的所要求的处理，预处理可以涉及针对超声图像数据的背景强度来增强(一个或多个)卵泡的图像强度特性。预处理的范例方法可以涉及确定包括每个超声图像帧的像素的强度并且将亮度阈值应用到像素。在一些实施例中，亮度阈值可以是otsu阈值，其将图像帧降低到像素的二进制集合。高于otsu阈值的所有像素可以被分配值(例如，零)，而剩余的像素值可以反转。因此，暗的卵泡区域可以在阈值化之后变得更亮(例如，几乎白色)，或者反之亦然，由此通过锐化卵泡与周围特征之间的对比度来增加存在于给定图像帧中的任何卵泡的可见性。采用预处理和神经网络处理的组合能够相对于依赖于仅经由神经网络执行的卵泡识别的实施例来优化或者至少改善卵泡识别。特别地，预处理能够增加神经网络128肯定地识别卵泡并且显著地降低神经网络的所要求的处理的能力，使得与医院成像系统相反，整个卵泡识别过程能够通过定点护理设备来实时地执行。在一些范例中，与经由将神经网络直接应用到尚未预处理的超声图像达到的大约85％的灵敏度相比较，卵泡识别的灵敏度在将神经网络应用到经预处理的图像之后可以是大约91％。

在各种实施例中，神经网络128可以被嵌入在信号处理器122和/或数据处理器126内或者至少与信号处理器122和/或数据处理器126通信。神经网络128可以被配置为要么直接从信号处理器122要么在由数据处理器126、信号处理器或者这两者执行的预处理之后接收并且输入超声图像帧124，并且确定一个或多个卵泡是否存在于图像帧124中的每个图像帧内。如上文所讨论的，在神经网络128处的输入之前预处理图像帧124能够增加神经网络的效率和准确度。在一些范例中，神经网络128可以是包括不同地组织的神经层和共同地训练以识别超声图像内的卵泡的子层的卷积神经网络(cnn)。神经网络128可以自动地检测在每个接收到的图像帧124内的卵泡的存在或缺失，并且可以利用二维或三维超声成像系统来实施。

在一些范例中，系统100还可以被配置为对在一个或多个图像帧中所识别的卵泡的数量进行计数。卵泡计数可以使用各种系统部件来执行，诸如一个或多个处理器(例如，数据处理器126)和/或神经网络128。神经网络128可以被配置为根据各种技术来对卵泡进行计数，例如经由在“learningtocountwithdeepobjectfeatures”(seguí等人)中所描述的监督的学习概念，其以整体内容通过引用并入本文。由seguí所描述的技术包含在第一处理阶段中捕获关于卵泡的区别信息并且计算后续完全连接的处理阶段中的卵泡的数量。另外地或备选地，神经网络128可以被配置为根据在“count-ception:countingbyfullyconvolutionalredundantcounting”(cohen等人)中所描述的技术来对卵泡进行计数，其也以整体内容通过引用并入本文。由cohen所公开的方法包含合并利用对象强度映射的由seguí所描述的概念的冗余卵泡计数技术。在一些实现方案中，一个或多个处理器可以被配置为通过在包括至少一个卵泡的来自神经网络128的一个或多个选定的图像帧上执行图像分割计数技术来对卵泡进行计数，例如，如于2017年2月17日提交的欧洲专利申请no.17305188.9中所描述的，其也以整体内容通过引用并入本文。这样的图像分割技术可以涉及在2-d超声图像帧中检测到的卵泡的自动化分割以确定每个卵泡的平均直径。在各种实施例中，可以采用一个或多个额外或备选的卵泡计数技术，其结果可以被显示或者以其他方式传送到用户或远程定位的临床医师。

与神经网络128通信地耦合的显示处理器130可以被配置为基于由神经网络128做出的确定来生成指示器136。例如，指示器136可以指示至少一个卵泡的存在或缺失。在接收到超声图像134和/或指示器136时，用户界面132然后可以显示图像和/或指示器。当获得图像时，指示器136可以与超声图像134实时并行地显示，例如，被叠加在超声图像134的顶部上或附近。因此，指示器136可以立即通知用户一个或多个卵泡的存在或缺失。在一些范例中，指示器136可以包括不被可见地显示的感官提示，诸如超声探头的振动或者从与超声系统100耦合的扬声器发射的可听提示。指示器136还可以包括打开和关闭或者改变颜色的光。例如，卵泡的存在可以经由绿光来指示，而卵泡的缺失可以经由红光或光的缺失来指示。在一些实施例中，可以在没有超声图像的并行显示的情况下来显示指示器136。假如指示器通知用户卵泡的存在或缺失，指示器136的特定性质不是关键的。

在一些范例中，用户界面132还可以被配置为引导或辅助用户完成超声扫描。这样的引导可以响应于由神经网络128和显示处理器130所生成的指示器136。例如，用户界面132可以响应于接收传达卵泡的存在的指示器136而向用户提供第一指令，并且响应于接收传达卵泡的缺失的指示器136，可以向用户提供第二不同的指令。这样的指令可以提示用户以确保所有卵泡(如果存在的话)在扫描期间被检测的特定方式来执行超声扫描。指令可以包括方向性命令，例如，“横向移动超声探头”。指令还可以包括基于技术的命令，例如，“更慢地移动超声探头”；“减速”；“停止”；或“继续”。在一些范例中，所述指令可以命令用户在卵泡被检测到的时刻将超声探头保持稳定在一个位置处，因此确保卵泡的至少一个图像被捕获。指令还可以提示用户在卵泡被检测到的时刻对超声探头的位置和/或取向做出轻微调节，从而增加卵泡的图像清晰度足以用于由查看图像的专家后续分析的可能性。指令可以通知用户扫描完成，例如，基于一个或多个卵泡的成功识别。

图2是根据本发明的原理的另一超声系统200的框图。图2中所示的一个或多个部件可以被包括在一系统内，所述系统被配置为：识别对象区域内的卵泡，提供卵泡的存在或缺失的指示，引导操作所述系统的用户完成超声扫描来搜索这样的卵泡，和/或将包含卵泡的一幅或多幅超声图像传送给专家。例如，信号处理器122的上文所描述的功能中的任何功能可以由在图2中所示的处理部件中的一个或多个处理部件来实施和/或控制，包括例如信号处理器226、b模式处理器228、扫描转换器230、多平面重新格式化器232、体积绘制器234和/或图像处理器236。

在图2的超声成像系统中，超声探头212包括用于将超声波发射到包含卵巢的区域中并且响应于被发射的波而接收回波信息的换能器阵列214。在各种实施例中，换能器阵列214可以是矩阵阵列或一维线性阵列。换能器元件214可以被耦合到探头212中的微波束形成器216，其可以控制通过阵列中的换能器元件对信号的发射和接收。在所示的范例中，微波束形成器216通过探头线缆被耦合到发射/接收(t/r)开关218，其在发射与接收之间切换并且使主波束形成器222免受高能量发射信号影响。在一些实施例中，t/r开关218以及系统的其他元件能够被包括在换能器探头中而不是在分离的超声系统部件中。在微波束形成器216的控制下，来自换能器阵列214的超声波束的发射可以由被耦合到t/r开关218和波束形成器222的发射控制器220来引导，其例如从用户界面或控制面板224的用户的操作接收输入。可以由发射控制器220控制的功能是波束被转向的方向。波束可以从(正交于)换能器阵列向前或者针对较宽的视场在不同的角度处转向。由微波束形成器216产生的部分地波束形成的信号被耦合到主要波束形成器222，其中，来自换能器元件的个体补片的部分地波束形成的信号被组合为完全地波束形成的信号。

波束形成的信号可以被传送到信号处理器226。信号处理器226可以以各种方式来处理接收到的回波信号，诸如带通滤波、抽样、i和q分量分离和/或谐波信号分离。信号处理器226还可以经由相干斑抑制、信号复合和/或噪声消除来执行额外的信号增强。在一些范例中，信号处理器226可以执行上文所描述的图像帧预处理步骤中的一个或多个步骤以增强包括在给定图像中的卵泡的外观。在一些范例中，通过由信号处理器226采用的不同处理技术生成的数据可以由数据处理器和/或神经网络用于识别一个或多个卵泡。经处理的信号可以被耦合到b模式处理器228，其可以采用幅度检测以用于对身体中的结构(包括例如卵巢和其附近的任何卵泡)进行成像。由b模式处理器228产生的信号可以被耦合到扫描转换器230和多平面重新格式化器232。扫描转换器230以其以期望的图像格式接收的空间关系来布置回波信号。例如，扫描转换器230可以将所述回波信号布置为二维(2d)扇形格式。多平面重新格式化器232可以将从身体的体积区域中的共同平面中的点接收到的回波转换为该平面的超声图像，如在美国专利us6443896(detmer)中所描述的。在一些范例中，体积绘制器234可以将3d数据集的回波信号转换为如从给定参考点查看的投影3d图像，例如，如在美国专利us6530885(entrekin等人)中所描述的。2d或3d图像可以从扫描转换器230、多平面重新格式化器232和体积绘制器234传送到图像处理器236以用于进一步增强、缓存和/或暂时存储以用于在图像显示器237上显示。在其显示之前，所述图像可以被预处理以突出卵泡，并且神经网络238可以被实施为识别每幅图像是否包含一个或多个卵泡。在实施例中，神经网络238可以在各种处理阶段处实施，例如，在由图像处理器236、体积绘制器234、多平面重新格式化器232和/或扫描转换器230执行的处理之前。图形处理器240能够生成用于与超声图像一起显示的图形覆盖层。这些图形覆盖层可以包含例如标准识别信息(诸如患者名字、图像的日期和时间、成像参数等)，并且还有神经网络238生成的各种输出(诸如传达卵泡的存在或缺失的一个或多个指示器)。图形覆盖层还可以包括视觉指令(例如，文本和/或符号)，用于引导系统200的用户完成超声扫描。在一些范例中，所述图形处理器可以接收来自用户界面224的输入，诸如键入的患者名字或者从界面显示或发出的指令已经由系统200的用户接受的确认。用户界面224还可以接收提示对由系统200使用的设置和/或参数的调节的输入、请求用于执行超声扫描的额外指令或辅助的输入、和/或请求一幅或多幅超声图像被保存和/或发射到远程接收器的输入。所述用户界面还可以被耦合到多平面重新格式化器232以用于对多个多平面重定格式(mpr)图像的显示的选择和控制。

图3是根据本发明的原理的训练用于识别超声图像数据中的卵泡的神经网络300的框图。在所示的范例中，神经网络300是卷积神经网络(cnn)。在一些实施例中，神经网络300可以是深度学习或简单地深度神经网络(dnn)和/或自适应神经网络。在一些范例中，dnn(诸如深度卷积神经网络(深度cnn)，还被称为完全卷积网络(fnc))也可以被用于识别超声图像内的卵泡的存在。在图3中所示的用于执行在经预处理的超声图像中的卵泡识别而定制的网络架构仅表示可以根据本发明的实施例实施的神经层和子层的布置以及其之间的连接性的一个范例。例如，卷积神经网络层和/或完全连接层的数量可以更大以用于识别尚未被预处理的超声图像中的卵泡。类似地，卷积神经网络层和/或完全连接层的数量可以针对广泛地预处理的图像减小。

在图3中所示的cnn被训练为以超声图像帧的形式接收输入302，其可以在到达神经网络之前进行预处理。输入302可以由并行布置在第一卷积神经网络层305(其可以被称为“输入层”)内的两组卷积神经元304a、304b来接收。在一些范例中，第一卷积神经网络层305可以被训练以识别在每个接收到的图像帧内的各种特征的边缘和/或强度水平。在由第一卷积神经网络层305处理之后，处理可以在并行布置在第二卷积神经网络层307内的另两组卷积神经元306a、306b中继续，其可以被训练以将卵泡与具有类似强度水平的其他特征分离。第三卷积神经网络层309中的额外的一组卷积神经元308可以从先前的卷积神经网络层307被耦合到每组卷积神经元306a、306b。第三卷积神经网络层309可以被训练以突出或者以其他方式强调在第二卷积神经网络层307中所识别的(一个或多个)卵泡。在图3中所示的每个卷积神经网络层可以包括一个或多个子层，例如，卷积子层、标准化子层、和/或池化层。

卷积神经网络层可以跟随有分别被布置在完全连接层311、313和315中的三组完全连接神经元310、312、314。每组完全连接神经元可以完全连接到其之前和之后的神经层。从最后一组完全连接神经元314可以产生输出316。出于该原因，在一些范例中，最后一层完全连接层315也可以被称为“输出层”。输出316可以包括存在于原始输入302内的一个或多个卵泡的存在或缺失的指示。例如，输出316可以被耦合到显示处理器(例如，在图1中所示的显示处理器130)，其可以将所述指示转换为被配置例如用于在用户界面上显示的指示器。

神经网络300可以至少部分地实施在包括可执行指令的计算机可读介质中，所述可执行指令当由被耦合到超声换能器的处理器(诸如数据处理器126)运行时可以令所述处理器执行机器训练的算法以基于所获取的回波信号来产生卵泡的存在或缺失的指示器。神经网络300可以被配置为在特征检测上操作并且特别地被训练为识别卵泡。为了训练神经网络300，包括输入阵列和输出分类的多个实例的训练集可以被呈现给神经网络300的(一个或多个)训练算法(例如，alexnet训练算法，如由krizhevsky,a.,sutskever,i.和hinton,g.e.的“imagenetclassificationwithdeepconvolutionalneuralnetworks”，nips2012或其子代所描述的)。在训练数据集中，输入数据可以包括经由监测卵泡扫描的iui和ivf所生成的超声图像，并且输出数据可以包括包含在超声图像内的已知特征，例如，卵泡。在各种范例中，输入数据可以包括包含一个或多个卵泡的超声图像帧，以及不包含卵泡的超声图像帧。在一些实施例中，训练过程的输出可以是一组权重，其可以在操作期间由神经网络300使用。在一些实施例中，训练数据集的输入和输出数据可以通过具有用于卷积超声成像的部件的超声成像系统来获取。被配置为实现神经网络300的超声成像系统可以包括卷积波束形成、信号和成像处理部件，使得其在常规模式中操作时可以被用于获取用于用作训练算法的训练集的额外输入和输出数据集。

与神经网络300相关联的神经网络训练算法可以利用数千或者甚至数百万训练数据集来呈现以便训练神经网络以识别卵巢的超声图像内的卵泡。例如，cnn的权重可以使用30个时期训练，每个时期表示单次通过训练集，以及监测卵泡扫描的iui和ivf的大约70000幅超声图像。图3中所示的神经网络300的图示是简化的表示。在一些范例中，神经网络300可以包括数十万到数百万神经元或节点以及其之间的连接。神经网络300中的人工神经元的信号和状态可以是实数(例如，在0与1之间)，并且阈值函数或极限函数可以与每个连接和/或节点自己相关联，使得信号必须在传播之前等于或超过阈值/极限。例如，一旦神经网络300被训练并固定，则android兼容的深度学习库可以被用于实施经训练的cnn模型。

图4a是根据在本文中所公开的系统和方法执行的超声扫描的照片。如所示的，用户402可以操纵手持式超声探头404以扫描对象的区域406，区域406可以跨下腹部。探头404可以被耦合到用户界面408，其在一些范例中可以被配置为显示被扫描区域的实况超声图像。在所示的特定范例中，当前超声图像410a不包含卵泡。因此，用户界面408可以显示负指示器412a，或者根本无指示器，传达图像内的卵泡的缺失。基于探头404的移动，指示器412a可能消失或者由于后续显示的图像内的一个或多个卵泡的发现而改变。同时，探头404和用户界面408可以包括移动超声成像系统414，其被配置为监测患者的生育力状态。

图4b是根据在本文中所公开的系统和方法执行的超声扫描的另一照片。如所示的，探头404的移动可以生成包含至少一个卵泡的不同的超声图像410b，由此提示所述系统生成并且显示卵泡的存在的正指示器412b。在负指示器与正指示器之间的差可以变化。例如，所述指示器可以基于颜色、形状和/或亮度来区分。在一些范例中，对一个或多个卵泡的识别可以向用户402指示扫描成功完成。

在图4a和图4b中所示的系统414可以特别适于远程使用(例如，在用户402的家内)。针对由探头404所生成的每幅超声图像，由在系统414内运行的神经网络组成的背景智能可以检测卵泡的缺失或存在并且立即通知用户402该内容。在实施例中，系统414可以被配置为通过在扫描期间向用户提供周期性指令以引导和/或辅助用户402完成超声扫描。所述指令可以包括各种感官提示。例如，所述指令可以包括通过扬声器发射的音频提示，诸如多个声音、蜂鸣或者振动指令。另外地或备选地，指令可以包括在用户界面408上显示的可读文本提示，和/或其他感官提示，例如，探头404的振动。

在向用户402显示图像和/或(一个或多个)指示器之后或同时地，系统414的部件可以被配置为自动地将超声图像或图像数据存储在存储器中和/或将超声图像或图像数据发送到远程接收器以用于由专家进一步分析。专家可以分析来自各个位置在各个时间处接收到的信息。在一些范例中，仅与正指示器(诸如指示器412b)相关联的图像数据可以被自动地存储和/或发送到远程接收器，使得可用存储空间被保留和/或接收端处的用户(例如，临床医师)不必通过多幅图像进行分类以消除包含零卵泡或缺乏清晰度的卵泡的图像。在一些实施例中，图像传输可以由用户402引导，使得用户可以在执行卵泡被识别的成功扫描之后将选定的超声图像或图像数据发送到远程接收器。在一些实施例中，用户402可以在没有监督或亲自训练的情况下第一次使用系统414。系统414可以被实施在各个位置(例如，与医院或诊所分离的)处，并且因此可以提供在家生育力监测方案。

图5是根据在本文中所公开的系统和方法生成的超声图像的照片。如所示的，用户界面502可以被配置为显示由与一个或多个处理器耦合的超声换能器所生成的实况超声图像504，所述一个或多个处理器被配置为预处理图像数据并且实施经训练的神经网络。在所示的特定图像内，卵泡506是可见的。因此，正指示器508也被显示在用户界面502上。该特定范例中，所示的正指示器508包括邻近超声图像504所显示的圆点。该点可以是绿色的以指示卵泡存在并且可以切换到红色以指示卵泡缺失，但是在范例中颜色可以变化。在其他实施例中，指示器508可以包括各种各样的感官提示，例如，视觉文本或符号、可听声音和/或在用户界面502处表达的振动或其他系统部件，诸如超声探头。在一些范例中，用户界面502还可以被配置为显示各种卵泡统计结果。例如，可以显示存在于给定超声图像内的(一个或多个)卵泡的数量和/或尺寸。

图6a是根据本发明的原理的尚未被预处理的卵泡604a的超声图像602a的照片。如所示的，卵泡604a可以显得比在预处理之前的图像中的周围像素更暗。卵泡604a可能难以当以这种方式描绘时经由神经网络一致地识别，尤其在包含更大数量的暗像素和/或紧密接近于(一个或多个)卵泡定位的暗像素的超声图像中。

除了图像已经被预处理以产生卵泡604b的增强图像之外，图6b是在图6a中所示的图像中捕获的相同卵泡的超声图像602b的照片。在预处理期间，亮度阈值被应用于原始超声图像602a。低于所应用的亮度阈值的所有图像像素被分配零值并且被反转为白色，并且高于所述阈值的所有图像像素被反转为黑色。由于卵泡604a的原始图像几乎是黑色，因而包括卵泡的像素低于亮度阈值，提示一个或多个处理器分析图像以将像素反转为白色。因此，卵泡604b与在经预处理的图像602b中所捕获的周围特征形成鲜明对比，使得能够通过定点护理系统上的神经网络对卵泡的可靠的实时检测。

图7是根据本公开的原理的超声成像方法的框图。图7的范例方法700示出了可以以任意序列由在本文中所描述的系统和/或装置用于在超声扫描期间识别卵泡的步骤，其可以由经由由系统和/或装置实时提供的指令由初学者用户来执行。方法700可以由超声成像系统来执行，诸如系统700、或其他系统，包括例如移动系统，诸如koninklijkephilipsn.v.(“philips”)的lumify。额外范例系统可以包括也由philips生产的sparq和/或epiq。

在所示的实施例中，方法700通过“通过操作地耦合到超声系统的换能器响应于被发射到靶区域中的超声脉冲而获得回波信号”在框702处开始。回波信号可以经由超声数据采集单元来收集，其可以包含传感器阵列和部件的各种配置，诸如上文相对于图1所描述的配置。在一些范例中，所述超声数据采集单元可以是便携式的并且具有能由用户操纵的手持式超声探头。所述超声探头可以包括用户界面和/或可以被耦合到台式计算机、便携式膝上电脑、或智能电话。用户可能缺乏在超声操作中的正式训练。

在框704处，所述方法涉及“根据超声回波来生成至少一个图像帧”。可以使用一个或多个处理器来生成图像帧。在一些范例中，可以包括分立的信号处理器和数据处理器。

在框706处，所述方法涉及“将阈值应用到图像帧，这将表示存在于靶区域中的卵泡的像素与靶区域中的其他主题区分开”。在一些范例中，在经阈值化的图像帧中的区分的像素的颜色或者亮度能够被反转。

在框708处，所述方法涉及“将神经网络应用到经阈值化的图像帧，其中，神经网络确定经阈值化的图像帧中的卵泡的存在”。在一些范例中，所述神经网络是卷积神经网络。所述神经网络可以使用包含卵巢的超声图像来训练。

在框710处，所述方法涉及“基于卵泡的所确定的存在来生成指示器”。在一些范例中，所述指示器能够响应于换能器的移动而被实时地更新。所述指示器能够是二进制打开或关闭指示器，或者所述指示器能够基于例如检测到的卵泡的数量逐渐地改变。

在框712处，所述方法涉及“在用户界面上显示指示器”。在一些范例中，所述方法还可以涉及根据经阈值化的图像帧来生成超声图像并将所述超声图像显示在用户界面上。根据这样的范例，所述指示器可以邻近超声图像显示或者被叠加在超声图像上。实施例还可以涉及将超声图像发送给专家，诸如临床医师。专家可以位于相对于扫描被执行的位置的远程位置。

在其中部件、系统和/或方法使用可编程设备(诸如基于计算机的系统或可编程逻辑)实施的各种实施例中，应当意识到，上文所描述的系统和方法能够使用各种已知或以后开发的编程语言(诸如“c”、“c++”、“fortran”、“pascal”、“vhdl”等)中的任一个来实施。因此，能够准备能够包含能够指导设备(诸如计算机)实施上文所描述的系统和/或方法的信息的各种存储介质(诸如磁性计算机盘、光盘、电子存储器等)。一旦适当的设备具有对被包含在存储介质上的信息和程序的访问权时，存储介质能够将信息和程序提供给所述设备，因此使得所述设备能够执行在本文中所描述的系统和/或方法的功能。例如，如果包含适当的材料(诸如源文件、目标文件、可执行文件等)的计算机盘被提供给计算机，则所述计算机可以接收信息、适当地配置自身并且执行以上示图和流程图中概述的各种系统和方法的功能来实施各种功能。亦即，计算机可以从与上文所描述的系统和/或方法的不同元件有关的磁盘接收信息的各部分，实施个体系统和/或方法并且协调上文所描述的个体系统和/或方法的功能。

鉴于本公开，应当注意到，在本文中所描述的各种方法和设备可以以硬件、软件和固件来实施。此外，仅通过范例的方式而非以任何限制性意义包括各种方法和参数。鉴于本公开，本领域普通技术人员能够实施在确定其自身的技术和实现这些技术的所需要的设备时的本教导，同时保持在本发明的范围之内。在本文中所描述的处理器中的一个或多个处理器的功能可以被并入到更少数量或单个处理单元(例如，cpu)中并且可以使用响应于可执行指令而被编程以执行在本文中所描述的功能的专用集成电路(asic)或通用处理电路来实施。

尽管已经特别参考超声成像系统描述了本系统，但是还应当设想到，本系统能够被扩展到其中以系统方式获得一幅或多幅图像的其他医学成像系统。因此，本系统可以被用于获得和/或记录涉及但不限于肾、睾丸、乳房、卵巢、子宫、甲状腺、肝、肺、肌骨胳、脾、心脏、动脉和血管系统的图像信息，以及涉及超声引导式介入的其他成像应用。此外，本系统还可以包括可以供常规成像系统使用使得可以提供本系统的特征和优点的一个或多个程序。在研究本公开时，本公开的特定额外优点和特征可以对于本领域技术人员而言是明显的，或者可以由采用本公开的新颖系统和方法的人体验。本系统和方法的另一优点可以在于：常规医学图像系统能够被容易地升级以包含本系统、设备和方法的特征和优点。

当然，将意识到，在本文中所描述的范例、实施例或过程中的任一个可以与一个或多个其他范例、实施例和/或过程组合或者在根据本系统、设备和方法的分离的设备或者设备部分中间分离和/或执行。

最后，以上讨论旨在仅说明本系统并且不应当被解读为将权利要求书限于任何特定实施例或者实施例组。因此，尽管已经参考示范性实施例以特定细节描述了本系统，但是还应当理解，在不脱离如下文的权利要求中阐述的本系统的较宽和预期精神和范围的情况下，可以由本领域普通技术人员设想到许多修改和备选实施例。因此，说明书和附图将以说明性方式看待而并不旨在限制权利要求书的范围。