生成医学影像报告的方法和电子设备

1.本技术涉及医学影像报告生成，更具体地，涉及生成医学影像报告的方法、电子设备、计算机可读存储介质及计算机程序产品。


背景技术：

2.全膝关节置换术(tka)是骨科领域最大型的手术方式之一，并且逐渐成为最常见的外科手术。现在，仅在美国每年就会进行120万个这样的手术，并且数量还在增加。由于一些常见的并发症(例如，松动和磨损)在多年后才会出现，因此，需要对经历过tka的患者进行不断的随访，而这通常伴随患者的终生。由此，tka数量的不断增加将使得待随访的tka患者的数量呈指数增长。
3.以作为最常见术后问题的松动为例，通常通过闪烁扫描术、关节造影、mri、fdg-pet扫描等成像方法来辅助诊断。然而，这些方法通常是昂贵的、不敏感的，甚至是侵入性的，而所带来的在有效性和准确性上的提升通常是有限的，因此可能还需要进一步进行血液测试、成像或甚至手术来确认诊断。早期检测到松动对于患者是有益的，其允许较早地进行修正，避免松动晚期发生的骨块丢失，也可避免患者长时间的痛苦。
4.在医学领域中，机器学习已经被越来越多地应用，例如，在对中风、视网膜疾病和癌性组织等自动检测方面都取得了成功，并且展现出与相关领域专家相等或甚至更高的准确度。借助于目前计算设备先进的计算能力，机器学习能够通过读取大量相关的标记图像和/或数据来自我学习或自我开发模式识别，并且这样的学习可不必遵循先前人类开发的临床标准。
5.基于以上问题和机器学习的发展，需求一种基于机器学习生成医学影像报告的技术方案。
6.应当理解，本背景技术部分旨在部分地为理解本技术提供有用的背景，而并不意味着这些内容在本技术之前已经必然是本领域技术人员已知的现有技术。


技术实现要素：

7.根据本技术的一个方面，公开了一种基于机器学习生成医学影像报告的方法，所述方法包括：将医学影像输入医学影像报告生成卷积神经网络；利用所述医学影像报告生成卷积神经网络获得所述医学影像的特征图；以及基于所述特征图生成医学影像报告，所述医学影像报告中以不同的显示属性示出预测分类的位置分布，其中，所述医学影像报告生成卷积神经网络至少包括：输入层，所述输入层包括分别对应不同通道的多个卷积核；以及输出层，与所述输入层连接以融合对应不同通道的特征。
8.根据本技术的另一个方面，公开了一种基于机器学习生成医学影像报告的电子设备，所述电子设备包括：至少一个处理器；以及存储器，其与所述至少一个处理器通信连接；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以下操作：将医学影像输入医学影像报告
生成卷积神经网络；利用所述医学影像报告生成卷积神经网络获得所述医学影像的特征图；以及基于所述特征图生成医学影像报告，所述医学影像报告中以不同的显示属性示出预测分类的位置分布，其中，所述医学影像报告生成卷积神经网络至少包括：输入层，所述输入层包括分别对应不同通道的多个卷积核；以及输出层，与所述输入层连接以融合对应不同通道的特征。
9.根据本技术的另一个方面，公开了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述方法。
10.根据本技术的另一个方面，公开了一种计算机程序产品，其包括计算机程序，所述计算机程序在被处理器执行时实现上述方法。
附图说明
11.通过参考附图详细描述本公开的示例性实施方式，本公开的以上和其他优点和特征将变得更加明显。
12.图1是示出根据本技术实施方式的基于机器学习生成医学影像报告的方法的流程图。
13.图2是示出根据本技术实施方式的医学影像报告生成卷积神经网络的示意图。
14.图3是示出根据本技术实施方式的医学影像报告的示意图。
15.图4是示出根据本技术实施方式的用决策树的示意图。
16.图5示出了适于用来实现本技术的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
17.现在将在下文中参考附图更全面地描述本发明的示例性实施方式，在附图中示出了本发明的优选实施方式。然而，本发明可以以不同的形式来实施，并且不应被解释为限于本文中阐述的示例性实施方式。相反，提供这些实施方式使得本发明将是透彻的和完整的，并将向本领域技术人员充分传达本发明的范围。
18.还应当理解，应该理解，当元件或层被称为“在”另一元件或层“上”、“连接到”或者“联接到”另一元件或层时，其可以直接在另一元件或上或者直接连接到另一元件或层，或者在它们之间可以存在元件或层。而当元件或层被称为“直接在”另一元件或层“上”、“直接连接到”或“直接联接到”另一元件或层时，不存在介于中间的元件或层。为此，术语“连接”可以指具有或不具有居间元件的物理连接、电连接和/或流体连接。
19.在整个说明书中，相同的附图标记表示相同的组件。在附图中，为了清楚起见，夸大了层和区域的厚度。
20.虽然术语“第一”、“第二”等可以在本文中用来描述各种元件，但是这些元件不应该被这些术语限制。这些术语可用于将一个元件与另一元件区分开。因此，在不脱离一个或多个实施方式的教导的情况下，下面讨论的第一元件可以被称为第二元件。将元件描述为“第一”元件可以不需要或暗示第二元件或其他元件的存在。术语“第一”、“第二”等也可在本文中用于区分不同类或组的元件。为了简明起见，术语“第一”、“第二”等可以分别表示“第一类(或第一组)”、“第二类(或第二组)”等。
21.本文中所使用的术语仅用于描述特定实施方式的目的，并且不旨在进行限制。如本文中所使用的，术语“和/或”包括相关列出项目中的一个或多个的任何和所有组合。还应理解的是，当在本说明书中使用时，术语“包括”指定所阐述的特征、区域、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、区域、步骤、操作、元件、组件和/或其群组的存在或添加。
22.此外，可在本文中使用相对术语，诸如“下”或“底”以及“上”或“顶”来描述如图中所示的一个元件与另一元件的关系。应当理解，除了图中描绘的定向之外，相对术语旨在包含设备的不同定向。在示例性实施方式中，当图之一中的设备被翻转时，被描述为在其他元件的“下”侧上的元件将随之被定向在其他元件的“上”侧上。因此，取决于图的特定定向，示例性术语“下”可以包含“下”和“上”两种定向。类似地，当图之一中的设备被翻转时，被描述为在其他元件“下方”或“下面”的元件将随之被定向在其他元件“上方”。因此，示例性术语“下方”或“下面”可以包含上方和下方两种定向。
23.如本文中所使用的，“约”或“近似”包括所述值以及如由本领域普通技术人员在考虑到所讨论的测量和与特定量的测量相关的误差(即，测量系统的限制)时所确定的特定值的可接受偏差范围内的平均值。例如，“约”可表示在一个或多个标准偏差内。
24.除非另有定义，否则本文中使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员所通常理解的含义相同的含义。还应理解的是，术语，诸如在常用字典中定义的那些术语，应被解释为具有与其在相关领域和本发明的上下文中的含义一致的含义，并且除非在本文中明确地如此定义，否则将不以理想化或过于形式化的含义进行解释。
25.如本领域中惯用的那样，针对功能性块、单元和/或模块，附图中描述和示出了一些示例性实施方式。本领域技术人员将理解，这些块、单元和/或模块通过可利用基于半导体的制造技术或其他制造技术形成的、诸如逻辑电路、离散组件、微处理器、硬布线电路、存储器元件、布线连接器等的电气电路(或光学电路)物理上地实现。在块、单元和/或模块通过微处理器或其他相似硬件实现的情况下，可利用软件(例如，微代码)对它们进行编程并控制它们以执行本文所讨论的各种功能，并且可选择性地通过固件和/或软件来驱动它们。还可设想到，每个块、单元和/或模块可通过专用硬件来实现，或者可实现为用于执行一些功能的专用硬件与用于执行其他功能的处理器(例如，一个或多个编程式微处理器和关联的电路)的组合。另外，在没有脱离发明构思的范围的情况下，一些示例性实施方式中的每个块、单元和/或模块可在物理上分离成两个或更多个交互且离散的块、单元和/或模块。此外，在没有脱离发明构思的范围的情况下，一些示例性实施方式中的块、单元和/或模块可在物理上组合成更复杂的块、单元和/或模块。
26.下面将参照图1-5详细描述本发明的具体实施方式。
27.图1是示出根据本技术实施方式的基于机器学习生成医学影像报告的方法的流程图，图2是示出根据本技术实施方式的医学影像报告生成卷积神经网络的示意图。
28.参照图1，根据本发明的基于机器学习生成医学影像报告的方法100包括：步骤s101，将医学影像输入医学影像报告生成卷积神经网络；步骤s102，利用所述医学影像报告生成卷积神经网络获得所述医学影像的特征图；以及步骤s103，基于所述特征图生成医学影像报告，所述医学影像报告中以不同的显示属性示出预测分类的位置分布。
29.对于步骤s101，医学影像可以为患者的x光片，例如，经历过全膝关节置换术的患者的膝关节x光片，而该x光片可以包括股骨远端区域和胫骨近端区域。但是，应注意的是，本技术中的医学影像不限于此。根据实施方式的医学影像报告生成卷积神经网络可以通过xception vgg resnet inception densenet及其变种网络架构的网络来实现。如图2所示，以xception架构为例，医学影像报告生成卷积神经网络200包括输入层201和输出层202。输入层201包括对应于不同通道的多个卷积核201-1至201-n，这些卷积核在输入图像的每个通道上独立执行空间卷积。输出层202融合通过卷积核201-1至201-n得到的空间特征。输出层202包括的卷积核的尺寸可与卷积核201-1至201-n的尺寸不同，例如，卷积核201-1至201-n的尺寸可为3
×
3，而输出层202中的卷积核的尺寸可为1
×
1。本领域技术人员在理解本技术的公开内容后应认识到，此处示出的医学影像报告生成卷积神经网络200仅仅是示例，医学影像报告生成卷积神经网络可以具有其他合适的结构。例如，医学影像报告生成卷积神经网络可以包括多个图2中所示的结构以及其它卷积层、池化层等。医学影像在步骤s101中被输入至医学影像报告生成卷积神经网络200的输入层201。
30.在步骤s102中，被输入的医学影像经过输入层201后，可以得到与不同通道对应的特征信息，而这些信息通过输出层202融合后输出为与医学影像对应的特征图。
31.在步骤s103，在得到与医学影像对应的特征图后，可基于该特征图生成医学影像报告，该医学影像报告中以不同的显示属性示出了预测分类的位置分布。具体而言，特征图中可包括医学影像中与待预测分类相关的特征。对于经历过全膝关节置换术的患者而言，可以是与全膝关节置换术有关的并发症(例如，假体松动)的特征。基于该特征在特征图中的位置与医学影像的对应关系，可以在医学影像报告中标记出与预测分类相关的位置分布，例如，标记出假体松动的位置；并且根据图像中不同位置对于预测分类的贡献不同，可以使用不同的显示属性来显示不同的位置。如图3所示，将全膝关节置换术后的假体松动例示为预测分类。区域301示出了患者x光片中假体松动的位置，该区域的显示颜色(即，显示属性)比x光片的其他位置更深。而在该区域中，越靠近假体松动精确位置的区域显示颜色越深。例如区域302的颜色要比区域301中的其余位置更深。在其它实施方式中，显示属性可以是显示颜色，例如，越靠近假体松动精确位置的区域的颜色越接近红色，而越远离假体松动精确位置的区域的颜色越接近绿色。
32.在一些实施方式中，基于机器学习生成医学影像报告的方法包括训练医学影像报告生成卷积神经网络的步骤。具体而言，可以首先对医学影像报告生成卷积神经网络进行预训练，例如，通过imagenet对医学影像报告生成卷积神经网络进行预训练。imagenet包括大量不同分类的、具有标注或不具有标注的图像，利用imagenet预训练医学影像报告生成卷积神经网络能够使得该网络具有对图像的初步识别能力。接下来，可以针对医学影像进一步训练医学影像报告生成卷积神经网络。可以使用医学机构数据库中的x光片组成训练集，其中可以包括具有标注的x光片。在一个实施方式中，训练集可以包括例如4781张经历过全膝关节置换术的患者的x光片，这些x光片可以包括股骨远端区域和胫骨近端区域，并且可以包括假体松动患者的x光片和假体未松动患者的x光片。例如，4781张x光片中可以包括1380张假体松动患者的x光片和3401张假体未松动患者的x光片。利用医学影像报告生成卷积神经网络分别对这些x光片进行预测，并且根据预测结果和图像标注的差异来调整医学影像报告生成卷积神经网络的参数。例如，可以使用随机梯度下降方法对医学影像报告
生成卷积神经网络进行优化，使得医学影像报告生成卷积神经网络的参数朝向使得预测结果与实际标注差异(例如损失函数)的梯度减小的方向进行调整，直到结果不能一进步优化为止，例如，直到损失函数的值无法继续减小，或者直到所述梯度无法继续减小。
33.经过预训练和进一步医学影像训练后的医学影像报告生成卷积神经网络可以用于生成指示分类位置分布的医学影像报告。在一些实施方式中，该医学影像报告还可以包括分类的预测概率(例如，图3中的303)，例如显示假体松动的概率是多少。对于医学影像报告生成卷积神经网络的预测结果，在一些实施方式中可以通过患者信息来对预测结果进行补充，例如，可以利用决策树基于患者信息生成补充预测结果。
34.图4是示出根据本技术实施方式的用决策树的示意图。
35.决策树可以包括多层，每层具有至少一个节点，并且前一层节点与至少两个位于后一层的节点连接，且后一层节点是否参与决策由与之相连的前一层节点处的判断结果确定。如图4所述，决策树401包括两层，第一层包括节点a，并且第二层包括节点b和c。以全膝关节置换术后的假体松动为例，a节点可以表示性别，b节点可以表示吸烟者，c节点可以表示术前畸形。应注意，此处示出的决策树以及节点内容仅为示例，根据本技术的决策树可以具有其它合适的结构以及不同的节点内容。例如，决策树可以具有更多层，并且每个节点所代表的患者信息也可以与此处示出的不同。
36.在使用决策树进行决策时，首先将患者信息输入至决策树401的第一层的节点a，例如，对患者的性别进行判断，如果患者性别为男性，则在第二层的节点b处进行判断，如果患者的性别为女性，则在第二层的节点c处进行判断。在第二层中，在节点b处可以判断患者是否是吸烟者，如果是，则预测出现假体松动；在节点c处可以判断患者是否术前畸形，如果是，则预测出现假体松动。通过决策树的上层节点的判断来确定下层节点中的哪个用于进一步的判断，直到最下层的节点得出判断后，可以得到决策树的决策结果。
37.在一些实施方式中，可以包括多个决策树。如图4所示，可以包括决策树401、402和403，这些决策树中的节点可以不同。例如，决策树402中的节点a-c所代表的患者信息可以与决策树401中的节点a-c所代表的患者信息不同，而决策树403中的节点a-c所代表的患者信息又可以与决策树401和402中的节点a-c所代表的患者信息不同。最后可以将被多个决策树中的多数决策树所确定的决策结果作为多个决策树的共同的决策结果。例如，决策树401和402预测出现假体松动，而决策树403预测未出现假体松动，则决策树401-403的共同决策结果为出现假体松动。在一些实施方式中，患者信息可以包括以下中的至少一种：性别、年龄、体重、使用的类固醇、吸烟者、前膝关节手术、手术前畸形、畸形程度、手术前屈曲挛缩、手术前屈曲、诊断、侧位、插入、股骨远端切开、侧位释放、ot时间、排泄、手术后输血、术前hb、hb下降、术后抗生素的持续时间、并发症、出院状况、膝关节评分、功能评分、fu的持续时间、最新膝关节评分、最新功能评分、最新弯曲状态、患者类别、总体ap对准、股骨ap对准、胫骨ap对准、股骨横向对准和胫骨横向对准。
38.在一些实施方式中，基于机器学习生成医学影像报告的方法还包括基于决策结果调整预测概率。例如，在上述实施例中，决策树401-403可以根据判断出现假体松动的决策树的比例而预测出现假体松动的概率为66％，而该概率可以与通过医学影像报告生成卷积神经网络预测出的出现假体松动的概率相组合而得出最终的预测概率。例如，如果通过医学影像报告生成卷积神经网络预测的概率高于66％，则可以根据决策树的预测概率相应降
低通过医学影像报告生成卷积神经网络预测的概率，以得到最终的预测概率；如果通过医学影像报告生成卷积神经网络预测的概率低于66％，则可以根据决策树的预测概率相应提高通过医学影像报告生成卷积神经网络预测的概率，以得到最终的预测概率。
39.根据本技术的另一方面，公开了一种基于机器学习生成医学影像报告的电子设备，所述电子设备包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器，存储器存储有可被所述至少一个处理器执行的指令，指令可被所述至少一个处理器执行以使所述至少一个处理器能够执行根据图1至图4描述的方法。
40.根据本技术的另一方面，公开了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据图1至图4描述的方法。
41.根据本技术的另一方面，公开了一种计算机程序产品，其包括计算机程序，所述计算机程序在被处理器执行时实现根据图1至图4描绘的方法。
42.本技术还提供了一种计算机系统，例如可以是移动终端、个人计算机(pc)、平板电脑、服务器等。下面参考图5，其示出了适于用来实现本技术的终端设备或服务器的计算机系统500的结构示意图：如图5所示，计算机系统500包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(cpu)501，和/或一个或多个图像处理器(gpu)513等，处理器可以根据存储在只读存储器(rom)502中的可执行指令或者从存储部分508加载到随机访问存储器(ram)503中的可执行指令而执行各种适当的动作和处理。通信部512可包括但不限于网卡，所述网卡可包括但不限于ib(infiniband)网卡。
43.处理器可与只读存储器502和/或随机访问存储器503中通信以执行可执行指令，通过总线504与通信部512相连、并经通信部512与其他目标设备通信，从而完成本技术实施例提供的任一项方法对应的操作。
44.此外，在ram 503中，还可存储有装置操作所需的各种程序和数据。cpu 501、rom 502以及ram 503通过总线504彼此相连。在有ram 503的情况下，rom 502为可选模块。ram 503存储可执行指令，或在运行时向rom 502中写入可执行指令，可执行指令使处理器501执行上述通信方法对应的操作。输入/输出(i/o)接口505也连接至总线504。通信部512可以集成设置，也可以设置为具有多个子模块(例如多个ib网卡)，并在总线链接上。
45.以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
46.需要说明的，如图5所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图5的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如gpu和cpu可分离设置或者可将gpu集成在cpu上，通信部可分离设置，也可集成设置在cpu或gpu上，等等。这些可替换的实施方式均落入本技术公开的保护范围。
47.另外，根据本技术的实施方式，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本技术提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存
储介质存储有机器可读指令，所述机器可读指令能够由处理器运行以执行与本技术提供的方法步骤对应的指令。
48.在这样的实施方式中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(cpu)501执行时，执行本技术的方法中限定的上述功能。
49.可能以许多方式来实现本技术的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本技术的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本技术的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本技术实施为记录在记录介质中的程序，这些程序包括用于实现根据本技术的方法的机器可读指令。因而，本技术还覆盖存储用于执行根据本技术的方法的程序的记录介质。
50.在结束详细描述时，本领域技术人员将理解，在基本上不脱离本发明的原理的情况下，可以对优选实施方式进行许多变化和修改。因此，本发明的所公开的优选实施方式仅在一般性和描述性意义上使用，而不是出于限制的目的。