一种预测图像生成方法及装置与流程

本发明涉及医学技术领域，特别是涉及一种预测图像生成方法及装置。

背景技术：

目前的可视化医疗诊断领域中，病灶图像的处理和分析是常用的医疗技术手段之一，医生可以通过对病灶图像(如x光图像、b超图像、胃镜照片、核磁影像等等)的分析深入了解患者的病灶情况，并给出合理的治疗建议。

然而，大部分患者对医学专业知识掌握有限，患者本人所了解到的仅是医生依据病灶图像分析到的结果，患者不能准确和形象地预知自己未来的病灶演变情况。

因此，如何提供演变的病灶图像以供用户直接观看成为了亟待解决的问题。

技术实现要素：

本发明提供一种预测图像生成方法及装置，以解决现有的患者不能准确和形象地预知自己的病灶未来演变情况的的问题。

为了解决上述问题，本发明公开了一种预测图像生成方法，包括：获取患者的特征信息；根据所述患者的特征信息确定所述患者的病灶图像对应的病程阶段；将所述病灶图像及所述病程阶段输入预先建立的图像预测模型，生成所述患者的预测病灶图像；所述预测病灶图像为所述病程阶段的演进阶段对应的病灶图像。

优选地，所述图像预测模型通过以下方式获得：获取病程连续的样本病程阶段及对应的样本病灶图像；将所述病程连续的样本病程阶段及对应的样本病灶图像，输入预测模型进行训练，获得所述图像预测模型。

优选地，所述获取患者的特征信息包括：接收所述患者的病历数据；从所述病历数据中提取所述患者的特征信息。

优选地，所述根据所述患者的特征信息确定所述患者的病灶图像对应的病程阶段，包括：根据所述患者的特征信息，在患者聚类类型中确定所述患者所属的第一聚类类型；所述患者聚类类型为预先根据样本患者特征信息通过聚类算法获得的聚类类型，每种聚类类型对应有图像分类模型；将预先获得的所述患者的病灶图像输入所述第一聚类类型对应的第一图像分类模型，确定所述病灶图像对应的病程阶段。

优选地，所述图像分类模型通过以下方式获得：获取每种聚类类型下不同病程阶段对应的样本病灶图像；将所述不同病程阶段对应的样本病灶图像输入分类模型进行训练，获得所述每种聚类类型对应的图像分类模型。

优选地，所述根据所述患者的特征信息确定所述患者的病灶图像对应的病程阶段，还包括：根据所述患者的特征信息，在患者聚类类型中确定所述患者所属的第一聚类类型；所述患者聚类类型为预先根据样本患者特征信息通过聚类算法获得的聚类类型；根据所述患者的特征信息中包含的病程阶段信息，在所述第一聚类类型对应的图像信息中确定所述患者的病程阶段对应的病灶图像；所述图像信息包括病程阶段与病灶图像的对应关系。

为了解决上述问题，本发明还公开了一种预测图像生成装置，包括：特征信息获取模块，用于获取患者的特征信息；病程阶段确定模块，用于根据所述患者的特征信息确定所述患者的病灶图像对应的病程阶段；预测病灶图像生成模块，用于将所述病灶图像及所述病程阶段输入预先建立的图像预测模型，生成所述患者的预测病灶图像；所述预测病灶图像为所述病程阶段的演进阶段对应的病灶图像。

优选地，所述图像预测模型通过以下方式获得：获取病程连续的样本病程阶段及对应的样本病灶图像；将所述病程连续的样本病程阶段及对应的样本病灶图像，输入预测模型进行训练，获得所述图像预测模型。

优选地，所述特征信息获取模块包括：病历数据接收子模块，用于接收所述患者的病历数据；特征信息提取子模块，用于从所述病历数据中提取所述患者的特征信息。

优选地，所述病程阶段确定模块包括：第一聚类类型确定子模块，用于根据所述患者的特征信息，在患者聚类类型中确定所述患者所属的第一聚类类型；所述患者聚类类型为预先根据样本患者特征信息通过聚类算法获得的聚类类型，每种聚类类型对应有图像分类模型；病程阶段对应图像确定子模块，用于将预先获得的所述患者的病灶图像输入所述第一聚类类型对应的第一图像分类模型，确定所述病灶图像对应的病程阶段。

与现有技术相比，本发明包括以下优点：

通过本发明实施例提供的预测图像生成方法及装置，在确定的患者的病灶图像对应的病程阶段之后，将病灶图像即病程阶段输入预先建立的图像预测模型，生成患者的预测病灶图像，因此，患者可以根据生成的预测病灶图像可以直观地观察自己未来的病灶演变情况。

附图说明

图1示出了本发明实施例一的一种预测图像生成方法的步骤流程图；

图1a示出了本发明实施例一的一种自然发展情形下的演变预测图像的示意图；

图1b示出了本发明实施例一的一种采用治疗方案一的情形下的演变预测图像的示意图；

图1c示出了本发明实施例一的一种生成预测图像模型的流程图；

图1d示出了本发明实施例一的一种生成预测图像模型的流程图；

图1e示出了本发明实施例一的一种生成预测病灶图像的流程图；

图1f示出了本发明实施例一的一种生成预测病灶图像的流程图；

图1g示出了本发明实施例一的一种生成预测图像生成模型的流程图；

图2示出了本发明实施例二的一种预测图像生成方法的步骤流程图；

图2a示出了本发明实施例二的一种获取病灶图像所属阶段的流程图；

图3示出了本发明实施例三的一种预测图像生成装置的结构示意图；及

图4示出了本发明实施例四的一种预测图像生成装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

参照图1，示出了本发明实施例一的一种预测图像生成方法的步骤流程图，具体可以包括如下步骤：

步骤101：获取患者的特征信息。

本发明实施例中，患者的特征信息可以包括：患者的年龄、体重、症状、病例中的检验项目等等。

优选地，所述步骤101可以包括：接收所述患者的病历数据；从所述病历数据中提取所述患者的特征信息。

当患者去医院检查身体时，会按照医院要求填写病历数据表，该病历数据表中也需要患者填写个人信息，如姓名、年龄、身高、体重等等，并且，在每项体检项目检查完成之后，医生会将检查结果填入该患者的病历数据表中。在该患者体检完成之后，可以从患者的病历数据中提取出该患者的特征信息。

在获取患者的特征信息之后，则进入步骤102。

步骤102：根据所述患者的特征信息确定所述患者的病灶图像对应的病程阶段。

病灶图像可以为x光图像、b超图像、胃镜照片、核磁影像等等医学影像，其中，预测病灶图像为病程阶段的演进阶段对应的病灶图像。

病程阶段是基于年龄、身高、体重、患病类型及等等进行的阶段划分，例如，可以将年龄在25～35岁、身高在168～178cm、体重在65～78kg、患病类型相同、病情严重程度相似的患者的病灶图像划分为同一阶段。

不同阶段的病灶图像，其在自然发展情形下或在采用治疗方案的发展情形下的病灶图像演变预测结果是不相同的。

在本发明实施例中，可以根据患者的特征信息确定该患者的病灶图像对应的病程阶段，例如，可以根据患者的特征信息中的患者的年龄、身高、体重、患病类型、所患疾病的严重程度等等信息，确定患者的病灶图形对应的病程阶段。

而对于如何确定患者的病灶图像对应的病程阶段将在下述实施例中详细描述，在此不加以赘述。

优选地，所述步骤102还可以包括：根据所述患者的特征信息，在患者聚类类型中确定所述患者所属的第一聚类类型；所述患者聚类类型为预先根据样本患者特征信息通过聚类算法获得的聚类类型；根据所述患者的特征信息中包含的病程阶段信息，在所述第一聚类类型对应的图像信息中确定所述患者的病程阶段对应的病灶图像；所述图像信息包括病程阶段与病灶图像的对应关系。

在本发明实施例中，患者聚类类型为预先根据样本患者特征信息通过聚类算法获得的聚类类型，每种聚类类型对应有图像分类模型。

可以预先医疗大数据中获取患有某种疾病的多个患者的病历数据，并从多个患者的病历数据中提取相应的特征信息(如年龄、体重、症状、病例中的检验项目等)，然后依据提取的特征信息使用聚类算法对多个患者进行聚类，得到患者的聚类类型，一个聚类类型对应着该疾病的一个类型。

当接收到当前患者的特征信息，可以依据预先确定的患者聚类类型通过聚类算法获得该患者所属的第一聚类类型。

每种聚类类型的图像信息包含了病程阶段与病灶图像的对应关系，如果在第一聚类类型对应的图像信息中包含了患者未来某病程阶段的病灶图像时，则直接从该第一聚类类型的图像信息中确定出当前患者所需的病程阶段对应的病灶图像，而无需再利用图像预测模型对当前患者的病灶图像进行处理。

在确定患者的病灶图像的病程阶段之后，进入步骤103。

步骤103：将所述病灶图像及所述病程阶段输入预先建立的图像预测模型，生成所述患者的预测病灶图像。

在本发明实施例中，预测病灶图像可以为病程阶段的演进阶段对应的病灶图像。预测病灶图像可以包括病灶自然发展情形下的演变预测图像，即在不使用任何治疗方案的情况下，未来病灶的发展演变情况，如图1a所示，第一张图为患者当前的胃镜照片，此时患者胃部阴影块面积较小，而在不采取任何治疗方案的情况下，随着时间的推移，病情会逐渐加重，发展到第x阶段(即中间那张图所示)时，胃部阴影块面积与第一张图相比明显变大，表明了患者胃病加重，而如果继续不采用任何治疗方案，当发展到第x+n阶段(即最后一张图所示)时，患者的整个胃部遭受病毒的侵袭。由此，患者可以根据生成的预测病灶图像直观的观察自己在不进行任何治疗方案时未来病灶的演变情况。

相应地，预测病灶图像也可以包括在某种治疗方案下的演变预测图像，即采用了某种治疗方案的情况下，未来病灶的发展演变情况，如图1b所示，第一张图为患者当前的胃镜照片，此时患者胃部有部分面积阴影块，而在采用了治疗方案一之后，随着时间的推移，病情会得到缓解，发展到第x阶段(即中间那张图所示)时，胃部阴影块面积与第一张图相比明显变小，表明了患者胃病的减轻，而继续采用治疗方案一，当发展到第第x+n阶段(即最后一张图所示)时，患者的整个胃部已没有任何阴影块，表明了患者的胃病痊愈。由此，患者可以根据生成的预测病灶图像直观的观察自己在采用治疗方案一时未来病灶的演变情况。

可以理解地，不同病程阶段的病灶图像在自然发展状况下或者在采用相同治疗方案的情形下，其病灶演变预测的结果是不相同的。并且，相同病程阶段的病灶图像在不同治疗方案的情形下，其病灶图像演变预测的结果也是不相同的，具体地，将在下述实施例中详细说明，在此不再加以赘述。

优选地，所述图像预测模型可以通过以下方式获得：

步骤n1：获取病程连续的样本病程阶段及对应的样本病灶图像；

步骤n2：将所述病程连续的样本病程阶段及对应的样本病灶图像，输入预测模型进行训练，获得所述图像预测模型。

在本发明实施例中，病程连续的样本病程阶段及对应的样本病灶图像可以从医疗大数据中获取，在医疗大数据中存储了所有患者在医院检查时的详细信息，如年龄、身高、体重、性别、以及各项检查数据等等，进而在医疗大数据中就存储了各类型疾病的病程阶段及对应的病灶图像。

通过医疗大数据可以获取各类型疾病的病程连续的样本病程阶段及对应的样本病灶图像，通过将病程连续的样本病程阶段及对应的样本病灶图像，输入预测模型进行训练，可以获得图像预测模型。

例如，获取图像预测模型的方式如图1c～图1d所示，首先，如图1c所示，从医疗大数据中获取同一类型疾病的多个患者的病历数据，分别从各个患者的病历数据中提取出患者的特征信息，如图所示，获取患者年龄、病史、同期其他疾病情况、体征参数、血常规等化验数据，并获取各病程阶段的病灶图像。然后，如图1d所示，依据获取的在该类型疾病下多个患者的特征信息及病灶图像，生成病程阶段1～n的预测图像，由此建立该类型疾病在相应病程阶段的图像预测模型，通过此种方式可以建立不同类型疾病不同病程阶段的图像预测模型。

在获取到图像预测模型之后，可以将当前患者的病灶图像及对应的病程阶段输入预先建立的图像预测模型，生成患者的预测病灶图像，例如，如1e所示，将当前患者的病历数据、年龄体重等相关体征参数输入图像预测模型中，首先进行患者类型的匹配，在获取到匹配的患者类型之后，输入该患者的当前病灶图像并进行匹配，以获取与该病灶图像匹配的图像预测模型。然后，如图1f所示，依据患者当前的病灶图像及其对应的病程阶段x，由匹配的图像预测模型输出对应的未来病程阶段的演变预测图像，如输出病程阶段x+1的演变预测图像，也可以输出病程阶段x+1的演变预测图像，可以根据患者的需求输出所要获取到的某阶段的演变预测图像。

相应地，将病程连续的样本病程阶段及对应的样本病灶图像，输入目前常用的预测模型(如灰色预测模型等等)进行训练，获得图像预测模型，可以通过如图1g所示的方式进行：

步骤m1：对每个类型的每个阶段的病灶图像建立一个图像生成模型，其中，图像生成模型可以包括：编码器和解码器(编码器和解码器均可以采用现有技术中常用的cnn模型)；

步骤m2：将患者的类型i中的第i阶段的病灶图像输入编码器；

步骤m3：编码器将输入的图像编码成为固定长度的向量d；

步骤m4：将向量d输入解码器，并将类型i中第i+1阶段对应的病灶图像作为输出。

通过上述方式来生成图像生成模型，在图像生成模型训练完成之后，则对于输入的患者的病灶图像则可以产生i+1阶段的病灶图像，进而以i+1阶段的病灶图像作为输入，进而产生i+2阶段的病灶图像，以此可以获取患者所需的当前阶段之后的连续i+1、i+2、…、i+n个阶段的病灶图像，进而以不同阶段的病灶图像作为训练数据以训练预测模型，得到图像预测模型。

在实际应用中，由于从医疗大数据中所获取的各类的相同病程阶段的病灶图像是相当多数量的，因此，本申请实施例可以通过图像生成模型将从医疗大数据中所获取的同一类型的相同病程阶段的病灶图像进行训练，以获取该类型的在当前阶段的统一的病灶图像，进而获取该类型的，不同阶段的同一的病灶图像进行训练以获取预测图像模型，以用于对患者的病灶图像对应的未来各个阶段的预测病灶图像进行预测。

本发明实施例通过在确定的患者的病灶图像对应的病程阶段之后，将病灶图像即病程阶段输入预先建立的图像预测模型，生成患者的预测病灶图像，因此，患者可以根据生成的预测病灶图像可以直观地观察自己未来的病灶演变情况。

实施例二

参照图2，示出了本发明实施例二的一种预测图像生成方法的步骤流程图，具体可以包括如下步骤：

步骤201：获取患者的特征信息。

在本发明实施例中，患者的特征信息可以包括：患者的年龄、体重、症状、病例中的检验项目等等。

在获取患者的特征信息之后，则进入步骤202。

步骤202：根据所述患者的特征信息，在患者聚类类型中确定所述患者所属的第一聚类类型。

在本发明实施例中，患者聚类类型为预先根据样本患者特征信息通过聚类算法获得的聚类类型，每种聚类类型对应有图像分类模型。

可以预先医疗大数据中获取患有某种疾病的多个患者的病历数据，并从多个患者的病历数据中提取相应的特征信息(如年龄、体重、症状、病例中的检验项目等)，然后依据提取的特征信息使用聚类算法对多个患者进行聚类，得到患者的聚类类型，一个聚类类型对应着该疾病的一个类型。

当接收到当前患者的特征信息，可以依据预先确定的患者聚类类型通过聚类算法获得该患者所属的第一聚类类型。

在确定了当前患者所属的第一聚类类型之后，进入步骤203。

步骤203：将预先获得的所述患者的病灶图像输入所述第一聚类类型对应的第一图像分类模型，确定所述病灶图像对应的病程阶段。

而由于不同的聚类类型对应有不同的图像分类模型，在确定当前患者所属的第一聚类类型之后，可以获取到与患者所属第一聚类类型对应的第一图像分类模型，确定该患者的病灶图像对应的病程阶段。

优选地，所属图像分类模型可以通过以下方式获得：

步骤s1：获取每种聚类类型下不同病程阶段对应的样本病灶图像；

步骤s2：将所述不同病程阶段对应的样本病灶图像输入分类模型进行训练，获得所述每种聚类类型对应的图像分类模型。

首先，从医疗大数据中获取m个患者的数据(如病例数据、医学图像数据、体征症状等等)，然后从这些患者的数据中提取出相应的特征信息(如年龄、体重、症状、病例中的检验项目等)，依据提取的这些特征信息使用聚类算法对m个患者进行聚类，得到相应的聚类类型，每种聚类类型对应着某种疾病的一个类型。然后针对每种聚类类型建立一个分类器，利用分类器对属于该聚类类型的患者的病灶图像所处的病程阶段进行分类，进而以该聚类类型下m个患者中所有的病灶图像及其所属阶段作为训练数据，训练生成对应的图像分类模型。

而对于采用分类对病灶图像所处的病程阶段进行分类以获取图像分类模型可以采用如下方式进行：

如图2a所示，首先，将所获取某类型疾病下的患者病灶图像，并将患者的病灶图像输入cnn模型，由cnn模型输出对应一个d维向量，其中d为大于等于2的正整数，该d维向量用于表示患者的病灶图像，然后，将该d维向量输入到svm分类器中以判断该d维向量所属的阶段，也即患者病灶图像所属的病程阶段。进而，在对所有患者的病灶图像所属的病程阶段进行确定之后，则以该类型疾病下的患者的病灶图像所属的病程阶段作为训练数据，以训练得到图像分类模型。

而对于cnn模型如何输出d维向量及svm分类器判断d维向量所属的阶段均属本领域现有技术，本发明实施例在此不再加以赘述。

步骤204：将所述病灶图像及所述病程阶段输入预先建立的图像预测模型，生成所述患者的预测病灶图像。

在本发明实施例中，预测病灶图像可以为病程阶段的演进阶段对应的病灶图像，例如，当前病灶图像的病程阶段为n，则预测病灶图像则为当前病程阶段下一阶段或下x阶段的预测病灶图像，如x+1病程阶段、…、x+n病程阶段。

而对于具体获取几个阶段的预测病灶图像可以根据患者的需求进行设置，本发明实施例对此不加以限制。

将所获取的当前患者的病灶图像及病灶图像对应的病程阶段输入预先建立的图像预测模型中，进而由预测模型输出当前患者的病灶图像对应的预测病灶图像。

本发明实施例通过在确定的患者的病灶图像对应的病程阶段之后，将病灶图像即病程阶段输入预先建立的图像预测模型，生成患者的预测病灶图像，因此，患者可以根据生成的预测病灶图像可以直观地观察自己未来的病灶演变情况。

实施例三

参照图3，示出了本发明实施例三的一种预测图像生成装置的结构示意图，具体可以包括如下模块：

特征信息获取模块301，用于获取患者的特征信息；

所述特征信息获取模块301可以包括：

病历数据接收子模块，用于接收所述患者的病历数据；

特征信息提取子模块，用于从所述病历数据中提取所述患者的特征信息。

病程阶段确定模块302，用于根据所述患者的特征信息确定所述患者的病灶图像对应的病程阶段；

预测病灶图像生成模块303，用于将所述病灶图像及所述病程阶段输入预先建立的图像预测模型，生成所述患者的预测病灶图像；所述预测病灶图像为所述病程阶段的演进阶段对应的病灶图像。

优选地，所述图像预测模型通过以下方式获得：

获取病程连续的样本病程阶段及对应的样本病灶图像；

将所述病程连续的样本病程阶段及对应的样本病灶图像，输入预测模型进行训练，获得所述图像预测模型。

实施例四

参照图4，示出了本发明实施例四的一种预测图像生成装置的结构示意图，具体可以包括如下模块：

特征信息获取模块401，用于获取患者的特征信息；

病程阶段确定模块402，用于根据所述患者的特征信息确定所述患者的病灶图像对应的病程阶段；

优选地，所述病程阶段确定模块402可以包括：

第一聚类类型确定子模块4022，用于根据所述患者的特征信息，在患者聚类类型中确定所述患者所属的第一聚类类型；所述患者聚类类型为预先根据样本患者特征信息通过聚类算法获得的聚类类型，每种聚类类型对应有图像分类模型；

病程阶段对应图像确定子模块4024，用于将预先获得的所述患者的病灶图像输入所述第一聚类类型对应的第一图像分类模型，确定所述病灶图像对应的病程阶段。

预测病灶图像生成模块403，用于将所述病灶图像及所述病程阶段输入预先建立的图像预测模型，生成所述患者的预测病灶图像；所述预测病灶图像为所述病程阶段的演进阶段对应的病灶图像。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种预测图像生成方法及装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。