本申请涉及计算机技术领域,具体涉及一种分诊方法、装置、设备以及介质。
背景技术:
随着医学领域专业化和智能化的发展,越来越多的医疗企业开始提供医学影像云平台服务,通过医学影像云平台在患者与医生之间搭建智能化沟通桥梁,为患者提供专业的影像诊断服务。医学影像云平台发展初期的主要工作任务在于,帮助解决从上传医学影像文件至云端到影像诊断过程中的一系列问题,之后逐渐发展成为涵盖影像管理、在线阅片、影像大数据挖掘、智能分诊等业务的平台。
目前,基于医学影像云平台处理分诊业务时,影像医学科室的医生需要先将医学影像文件上传至医学影像云平台,然后由分诊医生根据上传至平台的医学影像文件,人工确定分诊结果,将该医学影像文件相应地分配至相关专业科室。
这种分诊方式对于分诊医生的专业水平要求较高,当医学影像云平台获取到大量医学影像文件时,分诊医生通常难以快速地针对各医学影像文件确定其对应的分诊结果,分诊效率较低,且需要耗费大量的人工劳动力。
技术实现要素:
本申请实施例提供了一种分诊方法、装置、设备及介质,能够有效地提高分诊效率,减少分诊过程需要耗费的人工劳动力。
有鉴于此,本申请第一方面提供了一种分诊方法,所述方法包括:
获取目标影像图片集,所述目标影像图片集中包括至少一张目标影像图片;
利用分类模型确定所述目标影像图片集对应的目标部位标签,所述目标部位标签用于标识所述目标影像图片集所属的检查部位;其中,所述分类模型是以影像图片作为输入,以该影像图片对应的部位标签作为输出的神经网络;
根据所述目标部位标签以及各诊室各自对应的部位标签,确定分诊结果。
可选的,所述分类模型包括一级分类模型和多个二级分类模型;其中,所述一级分类模型是以影像图片作为输入,以该影像图片对应的一级部位标签作为输出的神经网络;
其中,各所述二级分类模型各自对应不同的一级部位标签;所述二级分类模型是以影像图片作为输入,以该影像图片对应的二级部位标签作为输出的神经网络;其中,所述二级分类模型输出的二级部位标签所标识的检查部位,是所述二级分类模型对应的一级部位标签所标识的检查部位的局部部位;
则所述利用分类模型确定所述目标影像图片集对应的目标部位标签,包括:
利用所述一级分类模型确定所述目标影像图片集对应的目标一级部位标签;
根据所述目标一级部位标签对应的目标二级分类模型,确定所述目标影像图片集对应的目标二级部位标签;
根据所述目标一级部位标签和所述目标二级部位标签,确定所述目标部位标签。
可选的,所述神经网络包括:级联的输入层、卷积层、池化层、失活层、全局平均池化层和输出层。
可选的,所述神经网络包括多层卷积层,所述多层卷积层用于提取影像图片中的边缘轮廓特征、阴影面积分布特征、影像质地特征、肌肉骨骼分布特征中至少一种。
可选的,当所述目标影像图片集中包括多张目标影像图片时,所述利用分类模型确定所述目标影像图片集对应的目标部位标签,包括:
利用所述分类模型确定各张所述目标影像图片各自对应的部位标签;
将出现次数最多的部位标签作为所述目标部位标签。
可选的,所述方法还包括:
获取医学影像文件;
则所述获取目标影像图片集,包括:
将所述医学影像文件转换为医学影像图片,对所述医学影像图片进行裁剪、压缩以及灰度处理,得到所述目标影像图片,利用所述目标影像图片构成所述目标影像图片集。
本申请第二方面提供了一种模型训练方法,所述方法包括:
确定训练样本集,所述训练样本集中的训练样本包括:影像图片以及影像图片对应的部位标签;
利用所述训练样本集,训练预先构建的初始神经网络得到分类模型;所述分类模型以影像图片作为输入,以该影像图片对应的部位标签作为输出。
可选的,所述确定训练样本集,包括:
获取多个医学影像文件;
根据各个所述医学影像文件分别生成影像图片,获取各张所述影像图片各张对应的部位标签;
根据各张所述影像图片与其各自对应的部位标签,确定所述训练样本集。
可选的,所述部位标签包括一级部位标签和二级部位标签;
所述初始神经网络包括:一级初始神经网络和多个二级初始神经网络;其中,各所述二级初始神经网络各自对应不同的一级部位标签;
则利用所述训练样本集,训练预先构建的初始神经网络得到分类模型,包括:
利用训练样本集中的影像图片和影像图片对应的一级部位标签,训练所述一级初始神经网络得到一级分类模型;
针对每种一级部位标签对应的二级初始神经网络,获取包含该一级部位标签的训练样本,组成二级训练样本集;
利用所述二级训练样本集中的影像图片和影像图片对应的二级部位标签,训练所述二级初始神经网络得到二级分类模型。
可选的,所述初始神经网络包括:级联的输入层、卷积层、池化层、失活层、全局平均池化层和输出层。
可选的,所述初始神经网络包括多层卷积层,所述多层卷积层用于提取影像图片中的边缘轮廓特征、阴影面积分布特征、影像质地特征、肌肉骨骼分布特征中至少一种。
本申请第三方面提供了一种分诊装置,所述装置包括:
获取模块,用于获取目标影像图片集,所述目标影像图片集中包括至少一张目标影像图片;
处理模块,用于利用分类模型确定所述目标影像图片集对应的目标部位标签,所述目标部位标签用于标识所述目标影像图片集所属的检查部位;其中,所述分类模型是以影像图片作为输入,以该影像图片对应的部位标签作为输出的神经网络;
确定模块,用于根据所述目标部位标签以及各诊室各自对应的部位标签,确定分诊结果。
本申请第四方面提供了一种模型训练装置,所述装置包括:
样本确定模块,用于确定训练样本集,所述训练样本集中的训练样本包括:影像图片以及影像图片对应的部位标签;
训练模块,用于利用所述训练样本集,训练预先构建的初始神经网络得到分类模型;所述分类模型以影像图片作为输入,以该影像图片对应的部位标签作为输出。
本申请第五方面提供了一种设备,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行上述第一方面所述的分诊方法,或者执行上述第二方面所述的模型训练方法。
本申请第六方面提供了一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如上述第一方面所述的分诊方法,或者执行上述第二方面所述的模型训练方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例提供了一种分诊方法,该方法利用分类模型,针对上传至医学影像云平台的影像图片集,确定其对应的部位标签,进而根据该分类模型确定出的部位标签以及各诊室各自对应的部位标签,确定分诊结果。上述分类模型是利用机器学习算法训练得到的神经网络,其以影像图片为输入,以影像图片对应的部位标签为输出,将影像图片输入至该分类模型后,该分类模型可以自动地确定影像图片对应的部位标签,由此不再需要分诊医生人工确定分诊结果,减少了分诊过程需要耗费的人工劳动力,提高了医学影像云平台的分诊效率。
附图说明
图1为本申请实施例提供的分诊方法的应用场景示意图;
图2为本申请实施例提供的一种分诊方法的流程示意图;
图3为本申请实施例提供的分类模型的结构示意图;
图4为本申请实施例提供的一种模型训练方法的流程示意图;
图5为本申请实施例提供的一种模型训练架构示意图;
图6为本申请实施例提供的一种分类装置的结构示意图;
图7为本申请实施例提供的一种模型训练装置的结构示意图;
图8为本申请实施例提供的服务器的结构示意图;
图9为本申请实施例提供的终端的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
现有技术中,基于医学影像云平台确定分诊结果时,需要分诊医生人工针对各上传至医学影像云平台的医学影像文件确定分诊结果,将医学影像文件相应地分配至各个专业诊室。这种方式对于分诊医生的专业水平较高,当医学影像云平台获取到大量的医学影像文件时,需要耗费大量的人工劳动力,且效率较低。
针对上述现有技术存在的技术问题,本申请实施例提供了一种分诊方法,该方法利用分类模型,针对上传至医学影像云平台的影像图片集确定其对应的部位标签,进行,根据该部位标签以及各个诊室各自对应的部位标签,确定分诊结果。如此,利用分类模型实现分诊的智能化,无需分诊医生人工根据由医学影像文件生成的影像图片集,确定对应的分诊结果,减少了分诊过程需要耗费的人工劳动力,且提高了医学影像云平台的分诊效率。
应理解,本申请实施例提供的分诊方法可以应用于具有数据处理功能的设备,如终端设备、服务器等。其中,终端设备具体可以为计算机、个人数字助理(personaldigitalassitant,pda)等;服务器具体可以为应用服务器,也可以为web服务器,在实际应用部署时,该服务器可以为独立服务器,也可以为集群服务器。
为了便于理解本申请实施例提供的技术方案,下面以服务器作为执行主体,结合实际应用场景对本申请实施例提供的分诊方法进行介绍。参见图1,图1为本申请实施例提供的分诊方法的应用场景示意图。
如图1所示,该应用场景中包括终端设备110、医学影像云平台120以及多台终端设备130;其中,终端设备110面向影像医学科室的医生,影像医学科室的医生可以通过终端设备110上传医学影像文件至医学影像云平台120;医学影像云平台120中包括服务器121,服务器121中运行有分类模型,该服务器121用于执行本申请实施例提供的分诊方法;终端设备130分别面向其他专业诊室的医生,如图1所示,各个终端设备130分别对应头部诊室的医生、脊柱诊室的医生和胸部诊室的医生;待服务器121确定出分诊结果后,医学影像云平台120将根据所确定的分诊结果,将终端设备110上传的医学影像文件相应地发送至终端设备130。
应理解,在实际应用中,终端设备130所对应的诊室不仅限于头部、脊柱和胸部,图1所示仅为示例,终端设备130还可以对应用于诊断其他部位的诊室,此处不对终端设备130所对应的诊室做具体限定。
具体的,影像医学科室的医生拍摄患者获得医学影像文件后,通过终端设备110将该医学影像文件上传至医学影像云平台120;医学影像云平台120中运行的服务器121获取该医学影像文件,并对该医学影像文件进行相应地处理,生成目标影像图片集;然后,利用分类模型确定该目标影像图片集对应的目标部位标签,该目标部位标签能够标识目标影像图片集所属的检查部位;进而,服务器121根据分类模型确定出的目标部位标签以及各个诊室各自对应的部位标签,确定分诊结果,将终端设备110上传的医学影像文件相应地分配至终端设备130,以便专业诊室的医生根据终端设备130接收的医学影像文件进行相关诊断;例如,假设服务器121确定出的目标部位标签为头部,则医学影像云平台120可以相应地将该头部医学影像文件发送至标签为头部的诊室。
需要说明的是,服务器121中运行的分类模型是以影像图片作为输入,以该影像图片对应的部位标签作为输出的神经网络,将目标影像图片集中的目标影像图片输入该分类模型后,该分类模型即可自动地确定各目标影像图片对应的部位标签,进而根据各目标影像图片各自对应的部位标签确定目标部位标签;由此不再需要分诊医生人工根据上传至医学影像云平台120的医学影像文件确定分诊结果,大大减少了分诊过程需要耗费的人工劳动力,并且提高了医学影像云平台的分诊效率。
应理解,在实际应用中,面向影像医学科室的医生的终端设备110可以存在多台,医学影像云平台120中运行的服务器也可以包括多台;此外,本申请实施例提供的分诊方法除了可以应用于服务器外,还可以应用于终端设备,上述图1所示的应用场景仅为一种示例,在此不对本申请实施例提供的分诊方法的应用场景做具体限定。
下面通过实施例对本申请提供的分诊方法进行介绍。
参见图2,图2为本申请实施例提供的一种分诊方法的流程示意图。为了便于描述,下述实施例以服务器作为执行主体进行描述,应理解,该分诊方法的执行主体并不仅限于服务器,还可以应用于终端设备等具备数据处理功能的设备。如图2所示,该分诊方法包括以下步骤:
步骤201:获取目标影像图片集,所述目标影像图片集中包括至少一张目标影像图片。
利用医学影像设备拍摄患者的患处时,会相应地生成一张或多张显示有患处情况的影像图片,影像医学科室的医生可以将这一张或多张影像图片上传至医学影像云平台,以利用医学影像云平台根据这一张或多张影像图片确定分诊结果;医学影像云平台中运行的服务器接收到终端设备上传的影像图片后,可以将这一张或多张影像图片作为目标影像图片,利用这一张或多张目标影像图片构成目标影像图片集。
需要说明的是,为了保证后续基于分类模型确定的分诊结果的准确性,服务器在获取到影像图片后,可以先对所获取的影像图片进行预处理,将预处理后的影像图片作为目标影像图片,保证分类模型可以根据标准格式下的影像图片确定分诊结果,在一定程度上提高所确定的分诊结果的准确度。
具体的,可以先将影像图片转换为特定的图片格式,例如,将影像图片均转换为jpg格式的图片;然后,对该图片格式下的影像图片进行裁剪、压缩以及灰度等操作处理,如此获得目标影像图片。
应理解,除了可以进行上述预处理操作外,服务器还可以根据实际需求,进行其他预处理操作,在此不对针对影像图片做的预处理操作做任何限定。
在很多应用场景中,利用医学影像设备拍摄患者时所生成的医学影像文件并不是图片格式的文件,而是其他格式的文件,如dicom(digitalimagingandcommunicationsinmedicine)文件;此时,利用医学影像云平台确定分诊结果,服务器需要先获取该医学影像文件,进而,将该医学影像文件转换为医学影像图片,对该医学影像图片进行裁剪、压缩以及灰度处理,得到目标影像图片,利用该目标影像图片构成目标影像图片集。
需要说明的是,对于患者的一套医学影像可以包括一个或多个医学影像文件,相应地,转换医学影像文件得到的医学影像图片,通常可以为一张也可以为多张;对医学影像图片所做的处理与上述对影像图片所做的预处理操作相类似,在此不再赘述。
步骤202:利用分类模型确定所述目标影像图片集对应的目标部位标签,所述目标部位标签用于标识所述目标影像图片集所属的检查部位;其中,所述分类模型是以影像图片作为输入,以该影像图片对应的部位标签作为输出的神经网络。
获取到目标影像图片集后,将目标影像图片集中的目标影像图片输入至分类模型,分类模型通过对输入的目标影像图片进行分析处理,相应地输出与该目标影像图片对应的部位标签,进而,根据目标影像图片集中目标影像图片集对应的部位标签,确定目标部位标签;该目标部位标签能够标识目标影像图片集所属的检查部位。
需要说明的是,分类模型是以影像图片作为输入,以该影像图片对应的部位标签作为输出的神经网络;将目标影像图片集中的目标影像图片输入该分类模型中后,其可以自动地对目标影像图片的特征进行分析,从而根据特征分析结果确定目标影像图片所标识的检查部位,即确定目标影像图片对应的部位标签。
当目标影像图片集中包括一张目标影像图片时,将该目标影像图片输入分类模型,分类模型输出的部位标签,即为目标影像图片集对应的目标部位标签。
当目标影像图片集中包括多张目标影像图片时,需要逐一将目标影像图片集中的目标影像图片输入至分类模型,利用分类模型确定各张目标影像图片各自对应的部位标签,进而将出现次数最多的部位标签作为该目标影像图片集对应的目标部位标签。例如,假设目标影像图片集中包括100张目标影像图片,将这100张目标影像图片输入至分类模型,确定其中80张目标影像图片对应的部位标签均为头部,10张目标影像图片对应的部位标签为腹部,10张目标影像图片对应的部位标签为胸部,由于头部这一部位标签出现次数最多,因此,将头部作为目标影像图片集所对应的目标部位标签。
为了保证分类模型确定的结果更加细致,即分类模型确定的目标影像图片集对应的部位标签所标识的检查部位更加细致,分类模型具体可以包括一级分类模型和二级分类模型,其中,一级分类模型用于确定影像图片所属的大致部位即一级部位,二级分类模型用于确定影像图片所属的详细部位即二级部位。一级部位与二级部位中具体包括的部位如表1所示:
表1
如表1所示,二级部位与一级部位之间呈所属关系,即在每个一级部位下均包括若干个二级部位,例如,针对一级部位头部,所属于该一级部位的二级部位包括:颅脑、脑动脉、颅底、眼眶、鼻骨、鼻窦、鼻咽部以及颞骨。
应理解,在实际应用中,分类模型所能识别的部位不仅限于上述表1所示的一级部位与二级部位,上述表1所示的一级部位与二级部位仅为示例。
为了使得分类模型确定的目标影像图片对应的部位标签可以细化到二级部位,分类模型中可以包括一级分类模型和多个二级分类模型;其中,一级分类模型是以影像图片作为输入,以该影像图片对应的一级部位标签作为输出的神经网络;各二级分类模型各自对应不同的一级部位标签,二级分类模型是以影像图片作为输入,以该影像图片对应的二级部位标签作为输出的神经网络;其中,二级分类模型输出的二级部位标签所标识的检查部位,是该二级分类模型对应的一级部位标签所标识的检查部位的局部部位。
当分类模型中包括一级分类模型和多个二级分类模型时,利用该分类模型确定目标影像图片集对应的目标部位标签,可以先利用一级分类模型确定目标影像图片集对应的目标一级部位标签;然后利用该目标一级部位标签对应的目标二级分类模型,确定目标影像图片集对应的目标二级部位标签;进而根据目标一级部位标签和目标二级部位标签,确定目标部位标签。
若目标影像图片集中仅包括一张目标影像图片,则可以直接先将该目标影像图片输入一级分类模型,一级分类模型输出的一级部位标签即为目标一级部位标签;然后,确定与该目标一级部位标签对应的二级分类模型,作为目标二级分类模型,将该目标影像图片输入该目标二级分类模型,该目标二级部位输出的二级部位标签即为目标二级部位标签;进而,将目标一级部位标签与目标二级部位标签组合起来,即可得到目标部位标签。
若目标影像图片集中包括多张目标影像图片,则可以先将该目标影像图片集中这多张目标影像图片逐一输入一级分类模型,一级分类模型将相应地确定各张目标影像图片所对应的一级部位标签,将出现次数最多的一级部位标签作为目标一级部位标签;然后,确定与该目标一级部位标签对应的二级分类模型,作为目标二级分类模型,将目标影像图片集中各张目标影像图片逐一输入该目标二级分类模型,目标二级分类模型相应地确定各张目标影像图片各自对应的二级部位标签,将出现次数最多的二级部位标签作为目标二级部位标签;进而,将目标一级部位标签与目标二级部位标签组合起来,得到目标部位标签。
步骤203:根据所述目标部位标签以及各诊室各自对应的部位标签,确定分诊结果。
利用分类模型确定出目标部位标签后,服务器可以进一步根据该目标部位标签以及各诊室各自对应的部位标签,确定分诊结果,即确定将影像医学科室医生上传的影像图片或医学影像文件具体分配至哪个诊室。
具体的,医学影像云平台上存储有诊室关系对照表,该诊室关系对照表中存储有各个诊室各自对应的部位标签,以表征各个诊室各自负责检查部位;服务器利用分类模型确定出目标部位标签后,获取该诊室关系对照表,进而将目标部位标签与诊室关系对照表中保存的各诊室对应的部位标签进行匹配,匹配成功的部位标签所对应的诊室即为最终的分诊结果;医学影像云平台可以相应地将影像医学科室医生上传的影像图片或医学影像文件分配至该诊室。
可选的,医学影像云平台还可以进一步向面向患者的终端设备发送该分诊结果,以通知患者其具体被分配至哪个诊室。
上述分诊方法利用分类模型,针对上传至医学影像云平台的影像图片集,确定其对应的部位标签,进而根据该分类模型确定出的部位标签以及各诊室各自对应的部位标签,确定分诊结果。上述分类模型是利用机器学习算法训练得到的神经网络,其以影像图片为输入,以影像图片对应的部位标签为输出,将影像图片输入至该分类模型后,该分类模型可以自动地确定影像图片对应的部位标签,由此不再需要分诊医生人工确定分诊结果,减少了分诊过程需要耗费的人工劳动力,提高了医学影像云平台的分诊效率。
如上文所述,本申请实施例提供的分诊方法主要依赖于分类模型,下面对分类模型的模型结构进行介绍。分类模型是以影像图片作为输入,以影像图片对应的部位标签作为输出的神经网络,该神经网络中包括级联的输入层、卷积层、池化层、失活层、全局平均池化层和输出层。
为了保证分类模型具备较好的模型性能,其中通常包括多层卷积层和多层池化层,以利用多层卷积层提取输入至分类模型的影像图片中的边缘轮廓特征、阴影面积分布特征、影像质地特征、肌肉骨骼分布特征中至少一种;利用多层卷积层可以充分提取影像图片中的上述特征,进而能够保证分类模型基于所提取的特征能够较为准确地确定影像图片对应的部位标签;同时,为了保证影像图片位移不变性,降低参数数量,还可以在每隔一层或多层卷积层设置一层池化层。
下面结合图3,介绍一种本申请实施例提供的分类模型的模型结构。如图2所示,该神经网络中包括1层输入层、9层卷积层、4层池化层、1层失活层、1层全局平均池化层以及1层输出层;其中,前8层卷积层可以采用relu作为激活函数,以对输入分类模型的影像图片进行特征提取;每两层卷积层中间穿插一层池化层,以保证影像图片位移不变性,同时降低参数数量;经过八次卷积操作后进行一次随机失活操作,最后进行全局平均池化操作,将影像图片的特征按照部位进行分类。
应理解,在神经网络的前几层,其所学习到的特征通常是较为简单的特征,如边缘轮廓特征等;随着神经网络层数的深入,其所学习到的特征为更抽象更深入的特征,如肌肉骨骼分布特征等。
需要说明的是,当分类模型中包括一级分类模型和多个二级分类模型时,一级分类模型和多个二级分类模型的模型结构可以相同,如均为图3所示的模型结构;当然,一级分类模型和多个二级分类模型的模型结构也可以不同,在此不对一级分类模型和二级分类模型的模型结构做具体限定。
应理解,上述分类模型是否能够准确地确定出影像图片对应的部位标签,依赖于分类模型的模型性能,而该分类模型的模型性能的好坏取决于该分类模型的训练过程。
下面将对上述分类模型的模型训练方法进行介绍,参见图4,图4为本申请实施例提供的模型训练方法的流程示意图。如图4所示,该模型训练方法包括以下步骤:
步骤401:确定训练样本集,所述训练样本集中的训练样本包括:影像图片以及影像图片对应的部位标签。
对分类模型进行训练时,需要先获取用于训练分类模型的训练样本集,该训练样本集中通常包括大量训练样本,每个训练样本由影像图片以及该影像图片对应的部位标签构成。
具体获取训练样本集时,可以从历史数据库中采集大量的影像图片,并针对所采集的影像图片标注部位标签,所标注的部位标签用于表征影像图片所对应的检查部位,将影像图片及其对应的部位标签作为训练样本;如此,生成大量训练样本,利用这些训练样本构成训练样本集。
在很多情况下,医学影像拍摄设备所生成的文件并非图片格式的文件,而是其他格式的医学影像文件,如dicom文件;利用非图片格式的医学影像文件生成训练样本集时,可以先获取大量医学影像文件,然后将所获取的医学影像文件转换成图片格式,即转换为影像图片;针对每张影像图片标注用于表征其对应的检查部位的部位标签,将影像图片及其对应的部位标签作为训练样本;如此,生成大量训练样本,利用这些训练样本构成训练样本集。
为了保证训练得到的分类模型能够更准确地确定影像图片对应的部位标签,在获取到影像图片后,还可以进一步对所获取的影像图片进行预处理,以防止影像图片中的某些干扰特征对模型训练产生干扰。
具体的,可以将所获取的影像图片统一转换为特定的图片格式,如jpg格式等;可以将影像图片均裁剪为特定大小的图片,例如,将所有影像图片均裁剪为92*92像素的图片等;还可以将影像图片均做灰度处理等。
应理解,上述预处理方式可以根据实际需求进行设定,在此不对影像图片的预处理方式做任何限定。
步骤402:利用所述训练样本集,训练预先构建的初始神经网络得到分类模型;所述分类模型以影像图片作为输入,以该影像图片对应的部位标签作为输出。
训练分类模型时,需要预先构建初始神经网络作为被训练的分类模型,该初始神经网络的结构通常与投入实际应用的分类模型的结构相同。具体训练时,可以利用在步骤401中确定的训练样本集中的训练样本,对该预先构建的初始神经网络进行迭代训练,在训练过程中不断优化调整各个网络层的权重,以学习影像图片的图片特征,待该神经网络满足训练结束条件时,即可根据此时的神经网络模型结构以及模型参数,构建可以投入实际应用的分类模型,该分类模型以影像图片作为输入,以影像图片对应的部位标签作为输出。
上述初始神经网络模型中可以包括级联的输入层、卷积层、池化层、失活层、全局平均池化层和输出层,其中,卷积层和池化层均可以包括多层,多层卷积层可用于提取影像图片中的边缘轮廓特征、阴影面积分布特征、影像质地特征、肌肉骨骼分布特征中至少一种,多层池化层可以保证影像图片的位移不变性,降低参数数量。
初始神经网络的模型结构具体可以为图3所示的模型结构,其中包括1层输入层、9层卷积层、4层池化层、1层失活层、1层全局平均池化层以及1层输出层;其中,前8层卷积层可以采用relu作为激活函数,以对输入分类模型的影像图片进行特征提取;每两层卷积层中间穿插一层池化层,以保证影像图片位移不变性,同时降低参数数量;经过八次卷积操作后进行一次随机失活操作,在这一步训练过程中,可以关闭一部分神经元以避免训练得到的分类模型过拟合;最后进行全局平均池化操作,将影像图片的特征按照部位进行分类。
在训练过程中,影像图片经网络模型的一系列计算后确定影像图片所对应的部位标签,然后通过反向传播,不断地调整各个网络层的权重大小,让网络模型能够更适应当前训练数据,即使得网络模型可以尽量准确地确定正确的部位标签。在这个过程中,神经网络会获取到影像图片的很多特征,这些特征包含影像图片从简单到复杂的不同特征点,比如影像图片的边界轮廓、阴影面积分布、影像质地均匀程度、肌肉与骨骼分布等。
应理解,上述初始神经网络也可以为其他模型结构,图3所示的模型结构仅为一种示例,在此不对初始神经网络模型的模型结构做任何限定。
判断上述神经网络是否满足训练结束条件时,可以利用测试样本对第一模型进行验证,该第一模型是利用训练样本集中的训练样本对初始神经网络进行特定次数的迭代训练得到的模型;具体的,将测试样本中的影像图片输入该第一模型,利用该第一模型对输入的能量图进行相应地处理,得到预测部位标签;进而,根据测试样本中的部位标签和该第一模型输出的部位标签计算预测准确率,当该预测准确率大于预设阈值时,即可认为该第一模型的模型性能较好已能够满足需求,则可以根据该第一模型的模型参数以及模型结构,生成分类模型。
需要说明的是,上述预设阈值可以根据实际情况进行设定,在此不对该预设阈值做具体限定。
此外,判断神经网络模型是否满足训练结束条件时,还可以根据经多轮训练得到的多个模型,确定是否继续对模型进行训练,以获得模型性能最优的分类模型。具体的,可以利用测试样本分别对经多轮训练得到的多个神经网络模型进行验证,若判断经各轮训练得到的模型的预测准确率之间的差距较小,则认为神经网络的性能已经没有提升空间,可以选取预测准确率最高的神经网络模型,根据该神经网络模型的模型参数和模型结构,确定分类模型;若经各轮训练得到的神经网络的预测准确率之间具有较大的差距,则认为该神经网络的性能还有提升的空间,可继续对该神经网络模型进行训练,直到获得模型性能最稳定且最优的分类模型。
需要说明的是,为了保证训练得到的分类模型能够较为精细地确定影像图片对应的部位标签,在生成训练样本时,可以针对训练样本中的影像图片设置一级部位标签和二级部位标签,一级部位标签表征该影像图片所对应的大体部位即一级部位,二级部位标签表征该影像图片所对应的详细部位即二级部位,一级部位和二级部位详细参见上述表1;相应地,可以分别构建一级初始神经网络和多个二级初始神经网络,各个二级初始神经网络各自对应不同的一级部位标签;通过训练该一级初始神经网络生成一级分类模型,通过训练各个二级初始神经网络生成各个二级分类模型。
需要说明的是,一级初始神经网络和各个二级初始神经网络的模型结构可以相同,例如,均为图3所示神经网络结构;当然,一级初始神经网络与各个二级初始神经网络的模型结构也可以不同,在此不对一级初始神经网络与二级初始神经网络的模型结构做具体限定。
利用训练样本集对一级分类模型和二级分类模型进行训练时,可以先利用训练样本集中的影像图片和影像图片对应的一级部位标签,训练一级初始神经网络,待一级初始神经网络达到训练结束条件后,根据该一级初始神经网络的模型结构和模型参数生成一级分类模型。进而,训练各一级部位标签各自对应的二级分类模型;训练某种一级部位标签对应的二级初始神经网络时,获取包含该一级部位标签的训练样本,组成对应于该一级部位标签的二级训练样本集;利用该二级训练样本集中的影像图片和影像图片对应的二级部位标签,训练二级初始神经网络,待该二级初始神经网络达到训练结束条件时,根据该二级初始神经网络的模型结构和模型参数生成二级分类模型;如此,训练得到各一级部位标签各自对应的二级分类模型。
以训练与表1所示的一级部位和二级部位对应的分类模型为例,如图5所示,获取医学影像文件,先利用所有医学影像文件对一级初始神经网络进行训练,即将各个医学影像文件分别转换为影像图片,并标注其各自对应的一级部位标签和二级部位标签;利用影像图片以及影像图片对应的一级部位标签,对一级初始神经网络进行训练,以得到一级分类模型。
对与一级部位标签头部对应的二级初始神经网络进行训练时,获取所有一级部位标签为头部的训练样本,利用这些训练样本组成二级训练样本集;然后,利用该二级训练样本集中的影像图片和二级部位标签,对该二级初始神经网络进行训练,以得到对应于头部的二级分类模型。如此,按照上述方式,训练得到各个一级部位标签对应的二级分类模型。
具体判断一级初始神经网络与多个二级初始神经网络是否满足训练结束条件时,可以参照上述判断初始神经网络是否满足训练结束条件的判断方式进行判断,此处不再赘述。
上述模型训练方法中,先获取训练样本集,该训练样本集中的训练样本包括影像图片以及影像图片对应的部位标签;进而,利用训练样本集训练预先构建的初始神经网络,以得到以影像图片作为输入、以影像图片对应的部位标签作为输出的分类模型。由于上述分类模型是利用机器学习算法训练得到的神经网络,该分类模型可以自动地确定影像图片对应的部位标签,由此不再需要分诊医生人工确定分诊结果,减少了分诊过程需要耗费的人工劳动力,提高了医学影像云平台的分诊效率。
针对上文描述的分诊方法,本申请还提供了对应的分诊装置,以使上述分诊方法在实际中得以应用和实现。
参见图6,图6是与上文图2所示的分诊方法对应的一种分诊装置500的结构示意图,该分诊装置600包括:
获取模块601,用于获取目标影像图片集,所述目标影像图片集中包括至少一张目标影像图片;
处理模块602,用于利用分类模型确定所述目标影像图片集对应的目标部位标签,所述目标部位标签用于标识所述目标影像图片集所属的检查部位;其中,所述分类模型是以影像图片作为输入,以该影像图片对应的部位标签作为输出的神经网络;
确定模块603,用于根据所述目标部位标签以及各诊室各自对应的部位标签,确定分诊结果。
可选的,所述分类模型包括一级分类模型和多个二级分类模型;其中,所述一级分类模型是以影像图片作为输入,以该影像图片对应的一级部位标签作为输出的神经网络;
其中,各所述二级分类模型各自对应不同的一级部位标签;所述二级分类模型是以影像图片作为输入,以该影像图片对应的二级部位标签作为输出的神经网络;其中,所述二级分类模型输出的二级部位标签所标识的检查部位,是所述二级分类模型对应的一级部位标签所标识的检查部位的局部部位;
则所述处理模块602具体用于:
利用所述一级分类模型确定所述目标影像图片集对应的目标一级部位标签;
根据所述目标一级部位标签对应的目标二级分类模型,确定所述目标影像图片集对应的目标二级部位标签;
根据所述目标一级部位标签和所述目标二级部位标签,确定所述目标部位标签。
可选的,所述神经网络包括:级联的输入层、卷积层、池化层、失活层、全局平均池化层和输出层。
可选的,所述神经网络包括多层卷积层,所述多层卷积层用于提取影像图片中的边缘轮廓特征、阴影面积分布特征、影像质地特征、肌肉骨骼分布特征中至少一种。
可选的,当所述目标影像图片集中包括多张目标影像图片时,则所述处理模块602具体用于:
利用所述分类模型确定各张所述目标影像图片各自对应的部位标签;
将出现次数最多的部位标签作为所述目标部位标签。
可选的,所述装置还包括:
文件获取模块,用于获取医学影像文件;
则所述获取模块601具体用于:
将所述医学影像文件转换为医学影像图片,对所述医学影像图片进行裁剪、压缩以及灰度处理,得到所述目标影像图片,利用所述目标影像图片构成所述目标影像图片集。
上述分诊装置利用分类模型,针对上传至医学影像云平台的影像图片集,确定其对应的部位标签,进而根据该分类模型确定出的部位标签以及各诊室各自对应的部位标签,确定分诊结果。上述分类模型是利用机器学习算法训练得到的神经网络,其以影像图片为输入,以影像图片对应的部位标签为输出,将影像图片输入至该分类模型后,该分类模型可以自动地确定影像图片对应的部位标签,由此不再需要分诊医生人工确定分诊结果,减少了分诊过程需要耗费的人工劳动力,提高了医学影像云平台的分诊效率。
针对上文描述的模型训练方法,本申请还提供了对应的模型训练装置,以使上述模型训练方法在实际中得以应用和实现。
参见图7,图7是与上文图4所示的模型训练方法对应的一种模型训练装置600的结构示意图,该模型训练装置700包括:
样本确定模块701,用于确定训练样本集,所述训练样本集中的训练样本包括:影像图片以及影像图片对应的部位标签;
训练模块702,用于利用所述训练样本集,训练预先构建的初始神经网络得到分类模型;所述分类模型以影像图片作为输入,以该影像图片对应的部位标签作为输出。
可选的,所述样本确定模块701具体用于:
获取多个医学影像文件;
根据各个所述医学影像文件分别生成影像图片,获取各张所述影像图片各张对应的部位标签;
根据各张所述影像图片与其各自对应的部位标签,确定所述训练样本集。
可选的,所述部位标签包括一级部位标签和二级部位标签;
所述初始神经网络包括:一级初始神经网络和多个二级初始神经网络;其中,各所述二级初始神经网络各自对应不同的一级部位标签;
则训练模块702具体用于:
利用训练样本集中的影像图片和影像图片对应的一级部位标签,训练所述一级初始神经网络得到一级分类模型;
针对每种一级部位标签对应的二级初始神经网络,获取包含该一级部位标签的训练样本,组成二级训练样本集;
利用所述二级训练样本集中的影像图片和影像图片对应的二级部位标签,训练所述二级初始神经网络得到二级分类模型。
可选的,所述初始神经网络包括:级联的输入层、卷积层、池化层、失活层、全局平均池化层和输出层。
可选的,所述初始神经网络包括多层卷积层,所述多层卷积层用于提取影像图片中的边缘轮廓特征、阴影面积分布特征、影像质地特征、肌肉骨骼分布特征中至少一种。
上述模型训练装置中,先获取训练样本集,该训练样本集中的训练样本包括影像图片以及影像图片对应的部位标签;进而,利用训练样本集训练预先构建的初始神经网络,以得到以影像图片作为输入、以影像图片对应的部位标签作为输出的分类模型。由于上述分类模型是利用机器学习算法训练得到的神经网络,该分类模型可以自动地确定影像图片对应的部位标签,由此不再需要分诊医生人工确定分诊结果,减少了分诊过程需要耗费的人工劳动力,提高了医学影像云平台的分诊效率。
本申请还提供了一种用于分诊的设备,该设备具体可以为服务器;参见图8,图8是本申请实施例提供的一种用于分诊的服务器结构示意图,该服务器800可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(centralprocessingunits,cpu)822(例如,一个或一个以上处理器)和存储器832,一个或一个以上存储应用程序842或数据844的存储介质830(例如一个或一个以上海量存储设备)。其中,存储器832和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器822可以设置为与存储介质830通信,在服务器800上执行存储介质830中的一系列指令操作。
服务器800还可以包括一个或一个以上电源826,一个或一个以上有线或无线网络接口850,一个或一个以上输入输出接口858,和/或,一个或一个以上操作系统841,例如windowsservertm,macosxtm,unixtm,linuxtm,freebsdtm等等。
上述实施例中由服务器所执行的步骤可以基于该图8所示的服务器结构。
其中,cpu822用于执行如下步骤:
获取目标影像图片集,所述目标影像图片集中包括至少一张目标影像图片;
利用分类模型确定所述目标影像图片集对应的目标部位标签,所述目标部位标签用于标识所述目标影像图片集所属的检查部位;其中,所述分类模型是以影像图片作为输入,以该影像图片对应的部位标签作为输出的神经网络;
根据所述目标部位标签以及各诊室各自对应的部位标签,确定分诊结果。
可选的,cpu822还可以执行本申请实施例中分诊方法任一具体实现方式的方法步骤。
本申请还提供了一种用于训练模型的设备,该设备具体可以为服务器;该设备的结构与图8所示的服务器的结构类似,此处不再赘述;其中,cpu用于执行如下步骤:
确定训练样本集,所述训练样本集中的训练样本包括:影像图片以及影像图片对应的部位标签;
利用所述训练样本集,训练预先构建的初始神经网络得到分类模型;所述分类模型以影像图片作为输入,以该影像图片对应的部位标签作为输出。
可选的,cpu还可以执行本申请实施例中模型训练方法任一具体实现方式的方法步骤。
本申请实施例还提供了另一种用于分诊的设备,该设备可以为终端设备,如图9所示,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端可以为包括计算机等终端设备,以终端为计算机为例:
图9示出的是与本申请实施例提供的终端相关的计算机的部分结构的框图。参考图9,计算机包括:射频(radiofrequency,rf)电路910、存储器920、输入单元930、显示单元940、传感器950、音频电路960、无线保真(wirelessfidelity,wifi)模块970、处理器980、以及电源990等部件;其中,输入单元930中包括输入面板931和其他输入设备932,显示单元940中包括显示面板941,音频电路960中包括扬声器961和传声器962。
本领域技术人员可以理解,图9中示出的计算机结构并不构成限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
在本申请实施例中,该终端所包括的处理器980具有以下功能:
获取目标影像图片集,所述目标影像图片集中包括至少一张目标影像图片;
利用分类模型确定所述目标影像图片集对应的目标部位标签,所述目标部位标签用于标识所述目标影像图片集所属的检查部位;其中,所述分类模型是以影像图片作为输入,以该影像图片对应的部位标签作为输出的神经网络;
根据所述目标部位标签以及各诊室各自对应的部位标签,确定分诊结果。
可选的,处理器980还可以执行本申请实施例中分诊方法任一具体实现方式的方法步骤。
本申请还提供了一种用于训练模型的设备,该设备具体可以为终端设备;该设备的结构与图9所示的终端设备的结构类似,此处不再赘述;其中,处理器用于执行如下步骤:
确定训练样本集,所述训练样本集中的训练样本包括:影像图片以及影像图片对应的部位标签;
利用所述训练样本集,训练预先构建的初始神经网络得到分类模型;所述分类模型以影像图片作为输入,以该影像图片对应的部位标签作为输出。
可选的,处理器还可以执行本申请实施例中模型训练方法任一具体实现方式的方法步骤。
本申请实施例还提供一种计算机可读存储介质,用于存储程序代码,该程序代码用于执行前述各个实施例所述的分诊方法中的任意一种实施方式,或模型训练方法中的任意一种实施方式。
本申请实施例还提供一种包括指令的计算机程序产品,当其在计算机上运行时,使得计算机执行前述各个实施例所述的分诊方法中的任意一种实施方式,或模型训练方法中的任意一种实施方式。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(英文全称:read-onlymemory,英文缩写:rom)、随机存取存储器(英文全称:randomaccessmemory,英文缩写:ram)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。