本发明涉及放疗计划中的勾靶技术,尤其是一种放疗计划中的自动勾靶方法、装置和电子设备。
背景技术:
放疗计划系统是根据患者拍摄的定位图像,由医生进行外轮廓、重要器官勾画,物理师进行肿瘤靶区gtv、临床靶区ctv等靶区勾画,由物理师根据靶区、处方进行射野设置,剂量优化设计。
现有的计划系统中,靶区勾画消耗的精力巨大,部分厂家实现的自动勾画也难以达到医生要求,一般自动勾画完成后,需要进行大量的修改。
技术实现要素:
本发明实施例所要解决的一个技术问题是:提供一种减少医生、物理师手工操作的放疗计划中自动勾靶技术。
本发明实施例提供的一种疗计划中的自动勾靶方法,包括:
接收输入图像,通过预存的roi感兴趣区域列表对所述输入图像进行识别,获取所述输入图像中疑似区域,将所述疑似区域在所述输入图像中勾画出来;所述输入图像中包括至少一个器官图像;所述感兴趣区域列表中保存多个已知感兴趣区域的图像;
将所述已勾画疑似区域的输入图像输入预先训练的全卷积神经网络,输出勾画出至少一个感兴趣区域的勾靶图像。
基于上述方法的另一实施例中,所述输出的勾靶图像为rgb红绿蓝图像。
基于上述方法的另一实施例中,所述感兴趣区域列表中将所有图像基于已知的感兴趣区域所在的器官图像进行分类,将包含同一器官图像的所有图像聚集起来构成以所述器官图像为索引的感兴趣区域条目。
基于上述方法的另一实施例中,所述全卷积神经网络实现对输入图像进行自动勾画,将所有感兴趣区域通过不同色彩的线条在勾靶图像中突出显示。
基于上述方法的另一实施例中,所述全卷积神经网络的训练方法,包括:
将训练样本集中的样本图像输入待训练的全卷积神经网络;所述训练样本集中包括至少两个样本图像,所述样本图像中已知感兴趣区域;
经过所述待训练的全卷积神经网络的卷积计算,对所述样本图像进行感兴趣区域勾画,获得勾画出至少一个感兴趣区域的勾靶图像;
将所述勾靶图像中的感兴趣区域与样本图像中已知的感兴趣区域进行比对,根据比对结果对所述待训练的全卷积神经网络进行参数调整;
将调整后的全卷积神经网络作为待训练的全卷积神经网络,重复上述步骤,直到所述勾靶图像中的感兴趣区域与样本图像中已知的感兴趣区域之间的误差小于预设阈值;输出调整后的全卷积神经网络作为训练完成的全卷积神经网络。
基于上述方法的另一实施例中,所述训练样本集中的样本图像包括所有可勾画感兴趣区域的器官图像;所述每个样本图像中至少包括所有可勾画感兴趣区域的至少一个器官图像。
基于上述方法的另一实施例中,所述输出勾画出至少一个感兴趣区域的勾靶图像之后,还包括:
将所述勾靶图像存入训练样本集中。
根据本发明实施例的另一个方面,提供的一种放疗计划中的自动勾靶装置,包括:
区域识别单元,用于接收输入图像,通过预存的roi感兴趣区域列表对所述输入图像进行识别,获取所述输入图像中疑似区域,将所述疑似区域在所述输入图像中勾画出来;所述输入图像中包括至少一个器官图像;所述感兴趣区域列表中保存多个已知感兴趣区域的图像;
区域勾画单元,用于将所述已勾画疑似区域的输入图像输入预先训练的全卷积神经网络,输出勾画出至少一个感兴趣区域的勾靶图像。
根据本发明实施例的另一个方面,提供的一种电子设备,包括如上所述的放疗计划中的自动勾靶装置。
根据本发明实施例的另一个方面,提供的一种电子设备,包括存储器和处理器;
所述存储器用于存储如上任一项所述的放疗计划中的自动勾靶方法的程序;
所述处理器被配置用于执行所述存储器中存储的程序。
基于本发明上述实施例提供的放疗计划中的自动勾靶方法、装置和电子设备,接收提供的输入图像,通过预存的roi感兴趣区域列表对输入图像进行识别,获取输入图像中疑似区域,将疑似区域在输入图像中勾画出来;实现对输入图像的初步识别,将需勾画的区域进行缩小,而对疑似区域的确定时通过对大数据统计获得的,具有可靠的参考性;将已勾画疑似区域的输入图像输入预先训练的全卷积神经网络,输出勾画出至少一个感兴趣区域的勾靶图像;通过预先训练的全卷积神经网络可用快速准确的完成对感兴趣区域的勾画,此过程完全无需人为参与,避免了人为误差的产生。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例,并且连同描述一起用于解释本发明的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本发明,其中:
图1为本发明放疗计划中的自动勾靶方法一个实施例的流程图。
图2为本发明实施例中全卷积神经网络的训练方法流程图。
图3为本发明放疗计划中的自动勾靶在实际应用中的一个具体应用实例中的输入图像。
图4为经过全卷积神经网络进行勾画获得的勾靶图像。
图5为本发明放疗计划中的自动勾靶装置一个实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于计算机系统/服务器,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为本发明放疗计划中的自动勾靶方法一个实施例的流程图。如图1所示,该实施例方法包括:
步骤101,接收输入图像,通过预存的roi感兴趣区域列表对输入图像进行识别,获取输入图像中疑似区域,将疑似区域在输入图像中勾画出来。
其中,输入图像中包括至少一个器官图像;感兴趣区域列表中保存多个已知感兴趣区域的图像;通常输入图像是由医院的正规放射方法获得,该输入图像中包括患者疑似病灶部位的器官,因此,将疑似区域进行勾画的过程就是基于已知的大数据将疑似病灶的器官进行勾画,以使roi区域的勾画更准确,本发明所指大数据是基于各大医院提供的大量通过专业医生完成勾画roi区域的输入图像。
步骤102,将已勾画疑似区域的输入图像输入预先训练的全卷积神经网络,输出勾画出至少一个感兴趣区域的勾靶图像。
虽然步骤101中对疑似区域进行了勾画,但最后输出的感兴趣区域有可能在疑似区域内,也有可能不在疑似区域内。
基于本发明上述实施例提供的放疗计划中的自动勾靶方法,接收提供的输入图像,通过预存的roi感兴趣区域列表对输入图像进行识别,获取输入图像中疑似区域,将疑似区域在输入图像中勾画出来;实现对输入图像的初步识别,将需勾画的区域进行缩小,而对疑似区域的确定时通过对大数据统计获得的,具有可靠的参考性;将已勾画疑似区域的输入图像输入预先训练的全卷积神经网络,输出勾画出至少一个感兴趣区域的勾靶图像;通过预先训练的全卷积神经网络可用快速准确的完成对感兴趣区域的勾画,此过程完全无需人为参与,避免了人为误差的产生。
在本发明上述实施例方法的一个具体示例中,输出的勾靶图像为rgb红绿蓝图像。
本实施例中,通过输出rgb图像,实现了以roi为单位对输入图像进行分割勾画后,可以对不同的roi区域以不同颜色的轮廓线进行勾画,克服了现有技术中采用黑白线条难以辨别多个区域的弊端。
在本发明上述实施例方法的一个具体示例中,感兴趣区域列表中将所有图像基于已知的感兴趣区域所在的器官图像进行分类,将包含同一器官图像的所有图像聚集起来构成以器官图像为索引的感兴趣区域条目。
本实施例中,感兴趣区域列表以器官图像为索引,因此,当对输入图像进行识别时,首先将输入图像中所有包括的器官图像分解出来,分别以每个器官图像与感兴趣区域列表中的索引进行匹配,将匹配的索引对应的感兴趣区域作为输入图像的疑似区域在输入图像中进行勾画,此时可能存在对输入图像中的多个器官进行勾画,还可能不对输入图像进行勾画,即输入图像中可以存在零个或至少一个疑似区域。
在本发明上述实施例方法的一个具体示例中,全卷积神经网络实现对输入图像进行自动勾画,将所有感兴趣区域通过不同色彩的线条在勾靶图像中突出显示。
分别采用不同色彩的线条对不同感兴趣区域进行勾画,便于识别和区分每个感兴趣区域。
图2为本发明另一实施例中全卷积神经网络的训练方法流程图。在上述各实施例的基础上,该全卷积神经网络的训练方法,包括:
步骤201,将训练样本集中的样本图像输入待训练的全卷积神经网络。
其中,训练样本集中包括大量样本图像,样本图像中已知感兴趣区域。
步骤202,经过待训练的全卷积神经网络的卷积计算,对样本图像进行感兴趣区域勾画,获得勾画出至少一个感兴趣区域的勾靶图像。
步骤203,将勾靶图像中的感兴趣区域与样本图像中已知的感兴趣区域进行比对。
步骤204,判断勾靶图像中的感兴趣区域与样本图像中已知的感兴趣区域之间的误差是否小于预设阈值,如果是,输出调整后的全卷积神经网络作为训练完成的全卷积神经网络,结束训练;否则,执行操作205。
步骤205,根据比对结果对待训练的全卷积神经网络进行参数调整,将调整后的全卷积神经网络作为待训练的全卷积神经网络,执行操作201。
本实施例中,通过训练使全卷积神经网络更符合roi区域勾画的要求,使用训练出来的全卷积神经网络输出的勾靶图像中的roi区域更准确。全卷积神经网络可以包括8个卷积层,relu(rectifiedlinearunits)整流线性单位作为激活函数。以患者dicom图像(digitalimagingandcommunicationsinmedicine包含了以亨氏单位计量的组织密度值、图像在人体参考坐标系中的坐标值)、roi明细(左肺、右肺、心脏、肿瘤区gtv(grosstumorvolume)、临床靶区ctv(clinicaltumorvolume)、计划靶区ptv(planningtargetvolume))为输入,以roi为单位分割后(不同roi以不同颜色轮廓线包裹)的彩色rgb(red-green-blue)图像为输出。
设定一个训练样本集,以疾病标签(肺癌等)分组,根据已知的roi信息(具体包括左肺、右肺、心脏、肿瘤区gtv(grosstumorvolume)、临床靶区ctv(clinicaltumorvolume)、计划靶区ptv(planningtargetvolume)),将患者图像文件依据roi坐标(roi在人体图像的参考坐标系中的坐标)进行roi勾画生成rgb图像,roi以不同rgb颜色包裹。
用该训练集训练该神经网络模型,利用组织密度值分割图像,得到分割后的图像。当分割后的图像中的roi区域与样本图像中的roi区域之间的误差在容许范围内时,认为符合临床要求时,停止训练。
将分割后图像根据rgb提取roi信息生成放疗计划系统认可的放疗结构rs(radiationtreatmentstructure)文件。
在本发明上述实施例方法的一个具体示例中,训练样本集中的样本图像包括所有可勾画感兴趣区域的器官图像;每个样本图像中至少包括所有可勾画感兴趣区域的至少一个器官图像。
训练样本集至少包含几种人体常见检查部位:头部、胸部、腹部等各种器官或部位的图像。
在本发明上述实施例方法的一个具体示例中,在输出勾画出至少一个感兴趣区域的勾靶图像之后,还包括:将勾靶图像存入训练样本集中。
在本实施例中,将勾靶图像存入训练样本集中,使训练样本集中的样本图像数量在使用过程中不断累积,并且对输入图像进行勾画的过程中也同时是对全卷积神经网络进行训练的过程,使该全卷积神经网络的性能更佳。
图3为本发明放疗计划中的自动勾靶在实际应用中的一个具体应用实例中的输入图像。图4为经过全卷积神经网络进行勾画获得的勾靶图像。其中不同roi区域的勾画线条颜色不同,因为采用rgb图像显示勾靶图像,因此,图4中勾画出了左股骨头41、膀胱42、右股骨头43和直肠44四个roi区域,其中每个roi区域分别采用不同颜色进行勾画,以便于医生和物理师进行识别和操作。
对于本应用实例中采用的全卷积神经网络,其训练过程中采用的训练集的roi坐标为:
1:
-32.65;175.84;583.4;-34.53;196.1;583.4;-52.14;204.57;583.4;-79.24;201.03;583.4;-56.04;191.44;583.4;-38.5;174.62
171.86;583.4;-30.7;191.44;583.4;-45.38;203.48;583.4;-71.63;203.13;583.4;-61.89;194.89;583.4;-42.95;180.44;583.4
583.4;-28.75;183.68;583.4;-39.7;201.18;583.4;-63.84;205.4;583.4;-69.68;198.19;583.4;-48.24;185.59;583.4;-33.84
-30.7;176.72;583.4;-34.6;197.28;583.4;-54.09;204.76;583.4;-77.48;200.76;583.4;-54.09;190.59;583.4;-37.83;173.89
170.29;583.4;-32.19;191.5;583.4;-46.29;203.75;583.4;-73.58;201.75;583.4;-60.76;194.37;583.4;-42.4;179.74;583.4
583.4;-28.93;185.59;583.4;-40.45;201.46;583.4;-64.58;205.23;583.4;-67.74;197.28;583.4;-47.01;185.04;583.4;-32.73
-28.86;177.79;583.4;-36.28;197.85;583.4;-56.04;205.08;583.4;-76.59;200.46;583.4;-52.9;189.49;583.4;-36.93;171.94
171.94;583.4;-32.5;193.39;583.4;-48.24;204.23;583.4;-74.77;201.18;583.4;-59.94;193.39;583.4;-41.07;177.79;583.4
583.4;-30.14;187.54;583.4;-42.16;201.97;583.4;-65.79;205.08;583.4;-65.97;196.76;583.4;-46.29;183.64;583.4;
-28.75;179.74;583.4;-36.55;199.23;583.4;-57.99;205.35;583.4;-75.53;199.23;583.4;-52.14;188.89;583.4;-36.55;
172.53;583.4;-32.65;193.74;583.4;-49.94;204.53;583.4;-75.53;201.09;583.4;-57.99;192.82;583.4;-40.45;177.41;
583.4;-30.4;187.73;583.4;-42.4;203.13;583.4;-67.74;204.72;583.4;-65.79;196.51;583.4;-44.93;182.87;583.4;
-28.7;181.69;583.4;-38.04;199.37;583.4;-59.94;205.34;583.4;-73.58;199.1;583.4;-50.19;187.54;583.4;-35.12;
173.89;583.4;-34.03;195.33;583.4;-50.19;204.53;583.4;-77.48;200.96;583.4;-56.54;191.98;583.4;-39.31;175.84;
583.4;-30.66;189.49;583.4;-44.34;203.28;583.4;-69.68;204.04;583.4;-63.84;195.33;583.4;-44.34;181.69;583.4;
-28.68;183.64;583.4;-38.5;200.54;583.4;-61.89;205.45;583.4;-71.63;198.68;583.4;-49.58;186.95;583.4;-34.6;
2:
-22.9;149.33;586.4;-20.95;157.11;586.4;-23.93
150.41;586.4;-18.9;155.49;586.4;-25.03;152.45
586.4;-17.28;154.4;586.4;-24.85;154.4;586.4
-20.95;150.5;586.4;-22.13;157.6;586.4;-23
149.29;586.4;-19;156.35;586.4;-24.85;150.5
586.4;-17.34;154.51;586.4;-25.01;153.89;586.4
-19;152.45;586.4;-22.9;156.35;586.4;
3:
-50.19;-42.4;-38.5;-36.19;-40.45;-50.19;-57.99;-67.74;-75.53;-84.29;-87.55;-82.68;-76.56;-69.68;-61.89;-54.09
56.83;57.82;63.25;70.58;75.23;75.37;74.22;74.15;75.29;76.43;72.53;68.64;64.74;61.96;59.8;57.87
589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4
-48.24;-40.45;-37.98;-36.55;-42.4;-52.14;-59.94;-69.06;-77.48;-85.28;-87.23;-81.38;-75.53;-67.74;-60.31;-52.14
56.5;58.47;64.74;71.53;75.55;74.98;74.03;74.48;75.31;76.81;72.21;67.83;64.06;61.57;58.89;57.38
589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4
-46.29;-39.27;-36.95;-37.09;-44.34;-54.09;-61.89;-69.68;-79.43;-87.23;-85.74;-80.05;-73.58;-66.56;-59.94;-50.52
56.46;58.89;66.69;72.53;75.5;74.55;73.74;74.66;75.36;76.74;70.58;66.69;63.83;60.84;58.55;56.94
589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4
-44.34;-39.25;-36.55;-38.23;-46.29;-54.82;-63.84;-71.63;-81.38;-88.75;-85.28;-79.43;-71.93;-65.79;-57.99;
56.93;60.84;67.94;74.48;75.43;74.48;73.71;75.05;75.46;76.43;70.12;66.07;62.79;60.29;58.03;
589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;
-44.33;-38.7;-36.32;-38.5;-48.24;-56.04;-65.79;-73.58;-83.33;-89.11;-83.33;-77.48;-71.63;-63.84;-56.04;
56.94;62.79;68.64;74.75;75.33;74.38;73.95;75.25;75.99;74.48;69.23;65.42;62.5;59.97;57.92;
589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;589.4;
4:
-57.99;57.55;595.4;-33.19;72.53;595.4;-48.24;79.34;595.4;-77.48;80.33;595.4;-91.64;70.58;595.4;-71.63;60.84
58.12;595.4;-36.55;64.74;595.4;-39.8;81.61;595.4;-67.74;79.24;595.4;-95.26;74.48;595.4;-79.43;63.76;595.4
595.4;-46.29;58.35;595.4;-35.88;80.33;595.4;-57.99;78.64;595.4;-87.23;80.33;595.4;-85.28;66.63;595.4;-63.84
-56.04;57.46;595.4;-33.67;74.48;595.4;-50.19;79.27;595.4;-79.43;80.95;595.4;-91.13;69.77;595.4;-69.68;60.2
57.94;595.4;-35;66.69;595.4;-40.45;81.16;595.4;-69.68;79.23;595.4;-95.12;73.97;595.4;-77.48;63.76;595.4
595.4;-44.34;58.89;595.4;-36.55;80.83;595.4;-59.94;78.66;595.4;-89.18;78.38;595.4;-83.77;65.76;595.4;-61.89
-54.09;57.61;595.4;-33.82;75.72;595.4;-52.14;79.11;595.4;-81.38;81.09;595.4;-89.34;68.64;595.4;-68.63;59.86
57.94;595.4;-34.6;68.64;595.4;-42.4;81.03;595.4;-71.63;79.29;595.4;-95.02;72.53;595.4;-75.53;62.79;595.4
595.4;-42.4;59.29;595.4;-37.08;81.47;595.4;-61.89;78.93;595.4;-91.13;78.29;595.4;-83.33;65.71;595.4;-59.94
-52.14;57.72;595.4;-33.96;76.43;595.4;-53.44;78.99;595.4;-83.33;81.07;595.4;-89.18;68.19;595.4;-67.74;59.19
57.9;595.4;-34.06;70.58;595.4;-44.34;80.33;595.4;-73.58;79.37;595.4;-93.55;72.37;595.4;-73.88;61.9;595.4
595.4;-40.45;60.84;595.4;-37.98;82.02;595.4;-63.84;79.1;595.4;-93.08;76.43;595.4;-81.38;64.74;595.4;-59.51
-50.19;57.88;595.4;-34.6;78.38;595.4;-54.09;78.93;595.4;-85.28;81.73;595.4;-87.23;67.76;595.4;-65.79;58.89
57.67;595.4;-33.78;71.45;595.4;-46.29;79.91;595.4;-75.53;79.87;595.4;-93.08;71.42;595.4;-73.58;61.76;595.4
595.4;-38.5;62.79;595.4;-38.5;82.21;595.4;-65.79;79.22;595.4;-95.02;75.96;595.4;-79.48;64.44;595.4;
-48.24;58.08;595.4;-35.39;79.05;595.4;-56.04;78.72;595.4;-86.04;81.07;595.4;-86.29;66.69;595.4;-64.52。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
图5为本发明放疗计划中的自动勾靶装置一个实施例的结构示意图。该实施例的装置可用于实现本发明上述各方法实施例。如图5所示,该实施例的装置包括:
区域识别单元51,用于接收输入图像,通过预存的roi感兴趣区域列表对输入图像进行识别,获取输入图像中疑似区域,将疑似区域在所述输入图像中勾画出来。
其中,输入图像中包括至少一个器官图像;感兴趣区域列表中保存多个已知感兴趣区域的图像。
区域勾画单元52,用于将已勾画疑似区域的输入图像输入预先训练的全卷积神经网络,输出勾画出至少一个感兴趣区域的勾靶图像。
基于本发明上述实施例提供的放疗计划中的自动勾靶装置,接收提供的输入图像,通过预存的roi感兴趣区域列表对输入图像进行识别,获取输入图像中疑似区域,将疑似区域在输入图像中勾画出来;实现对输入图像的初步识别,将需勾画的区域进行缩小,而对疑似区域的确定时通过对大数据统计获得的,具有可靠的参考性;将已勾画疑似区域的输入图像输入预先训练的全卷积神经网络,输出勾画出至少一个感兴趣区域的勾靶图像;通过预先训练的全卷积神经网络可用快速准确的完成对感兴趣区域的勾画,此过程完全无需人为参与,避免了人为误差的产生。
在本发明上述实施例装置的一个具体示例中,输出的勾靶图像为rgb红绿蓝图像。
在本发明上述实施例装置的一个具体示例中,感兴趣区域列表中将所有图像基于已知的感兴趣区域所在的器官图像进行分类,将包含同一器官图像的所有图像聚集起来构成以器官图像为索引的感兴趣区域条目。
在本发明上述实施例装置的一个具体示例中,全卷积神经网络实现对输入图像进行自动勾画,将所有感兴趣区域通过不同色彩的线条在勾靶图像中突出显示。
本发明放疗计划中的自动勾靶装置的另一个实施例,在上述各实施例的基础上,该全卷积神经网络的训练装置,还包括:
训练单元,用于将训练样本集中的样本图像输入待训练的全卷积神经网络;训练样本集中包括至少两个样本图像,样本图像中已知感兴趣区域;
经过待训练的全卷积神经网络的卷积计算,对样本图像进行感兴趣区域勾画,获得勾画出至少一个感兴趣区域的勾靶图像;
将勾靶图像中的感兴趣区域与样本图像中已知的感兴趣区域进行比对,根据比对结果对待训练的全卷积神经网络进行参数调整;
将调整后的全卷积神经网络作为待训练的全卷积神经网络,重复上述步骤,直到勾靶图像中的感兴趣区域与样本图像中已知的感兴趣区域之间的误差小于预设阈值;输出调整后的全卷积神经网络作为训练完成的全卷积神经网络。
本实施例中,通过训练使全卷积神经网络更符合roi区域勾画的要求,使用训练出来的全卷积神经网络输出的勾靶图像中的roi区域更准确。全卷积神经网络可以包括8个卷积层,relu(rectifiedlinearunits)整流线性单位作为激活函数。以患者dicom图像(digitalimagingandcommunicationsinmedicine包含了以亨氏单位计量的组织密度值、图像在人体参考坐标系中的坐标值)、roi明细(左肺、右肺、心脏、肿瘤区gtv(grosstumorvolume)、临床靶区ctv(clinicaltumorvolume)、计划靶区ptv(planningtargetvolume))为输入,以roi为单位分割后(不同roi以不同颜色轮廓线包裹)的彩色rgb(red-green-blue)图像为输出。
设定一个训练样本集,以疾病标签(肺癌等)分组,根据已知的roi信息(具体包括左肺、右肺、心脏、肿瘤区gtv(grosstumorvolume)、临床靶区ctv(clinicaltumorvolume)、计划靶区ptv(planningtargetvolume)),将患者图像文件依据roi坐标(roi在人体图像的参考坐标系中的坐标)进行roi勾画生成rgb图像,roi以不同rgb颜色包裹。
在本发明上述实施例装置的一个具体示例中,训练样本集中的样本图像包括所有可勾画感兴趣区域的器官图像;每个样本图像中至少包括所有可勾画感兴趣区域的至少一个器官图像。
在本发明上述实施例方法的一个具体示例中,还包括:
存储单元,用于将勾靶图像存入训练样本集中。
根据本发明实施例的另一个方面,提供的一种电子设备,包括上述实施例中任意一个放疗计划中的自动勾靶装置。
根据本发明实施例的另一个方面,提供的一种电子设备,包括存储器和处理器;
存储器用于存储上述任意一个实施例放疗计划中的自动勾靶方法的程序;
处理器被配置用于执行所述存储器中存储的程序。
1、一种放疗计划中的自动勾靶方法,包括:
接收输入图像,通过预存的roi感兴趣区域列表对所述输入图像进行识别,获取所述输入图像中疑似区域,将所述疑似区域在所述输入图像中勾画出来;所述输入图像中包括至少一个器官图像;所述感兴趣区域列表中保存多个已知感兴趣区域的图像;
将所述已勾画疑似区域的输入图像输入预先训练的全卷积神经网络,输出勾画出至少一个感兴趣区域的勾靶图像。
2、根据1所述的方法,所述输出的勾靶图像为rgb红绿蓝图像。
3、根据1-2任一所述的方法,所述感兴趣区域列表中将所有图像基于已知的感兴趣区域所在的器官图像进行分类,将包含同一器官图像的所有图像聚集起来构成以所述器官图像为索引的感兴趣区域条目。
4、根据1-3任一所述的方法,所述全卷积神经网络实现对输入图像进行自动勾画,将所有感兴趣区域通过不同色彩的线条在勾靶图像中突出显示。
5、根据1-4任一所述的方法,所述全卷积神经网络的训练方法,包括:
将训练样本集中的样本图像输入待训练的全卷积神经网络;所述训练样本集中包括至少两个样本图像,所述样本图像中已知感兴趣区域;
经过所述待训练的全卷积神经网络的卷积计算,对所述样本图像进行感兴趣区域勾画,获得勾画出至少一个感兴趣区域的勾靶图像;
将所述勾靶图像中的感兴趣区域与样本图像中已知的感兴趣区域进行比对,根据比对结果对所述待训练的全卷积神经网络进行参数调整;
将调整后的全卷积神经网络作为待训练的全卷积神经网络,重复上述步骤,直到所述勾靶图像中的感兴趣区域与样本图像中已知的感兴趣区域之间的误差小于预设阈值;输出调整后的全卷积神经网络作为训练完成的全卷积神经网络。
6、根据5所述的方法,所述训练样本集中的样本图像包括所有可勾画感兴趣区域的器官图像;所述每个样本图像中至少包括所有可勾画感兴趣区域的至少一个器官图像。
7、根据5或6所述的方法,所述输出勾画出至少一个感兴趣区域的勾靶图像之后,还包括:
将所述勾靶图像存入训练样本集中。
8、一种放疗计划中的自动勾靶装置,包括:
区域识别单元,用于接收输入图像,通过预存的roi感兴趣区域列表对所述输入图像进行识别,获取所述输入图像中疑似区域,将所述疑似区域在所述输入图像中勾画出来;所述输入图像中包括至少一个器官图像;所述感兴趣区域列表中保存多个已知感兴趣区域的图像;
区域勾画单元,用于将所述已勾画疑似区域的输入图像输入预先训练的全卷积神经网络,输出勾画出至少一个感兴趣区域的勾靶图像。
9、根据8所述的装置,所述输出的勾靶图像为rgb红绿蓝图像。
10、根据8-9任一所述的装置,所述感兴趣区域列表中将所有图像基于已知的感兴趣区域所在的器官图像进行分类,将包含同一器官图像的所有图像聚集起来构成以所述器官图像为索引的感兴趣区域条目。
11、根据8-10任一所述的装置,所述全卷积神经网络实现对输入图像进行自动勾画,将所有感兴趣区域通过不同色彩的线条在勾靶图像中突出显示。
12、根据8-11任一所述的装置,还包括:
训练单元,用于将训练样本集中的样本图像输入待训练的全卷积神经网络;所述训练样本集中包括至少两个样本图像,所述样本图像中已知感兴趣区域;
经过所述待训练的全卷积神经网络的卷积计算,对所述样本图像进行感兴趣区域勾画,获得勾画出至少一个感兴趣区域的勾靶图像;
将所述勾靶图像中的感兴趣区域与样本图像中已知的感兴趣区域进行比对,根据比对结果对所述待训练的全卷积神经网络进行参数调整;
将调整后的全卷积神经网络作为待训练的全卷积神经网络,重复上述步骤,直到所述勾靶图像中的感兴趣区域与样本图像中已知的感兴趣区域之间的误差小于预设阈值;输出调整后的全卷积神经网络作为训练完成的全卷积神经网络。
13、根据12所述的装置,所述训练样本集中的样本图像包括所有可勾画感兴趣区域的器官图像;所述每个样本图像中至少包括所有可勾画感兴趣区域的至少一个器官图像。
14、根据12或13所述的装置,还包括:
存储单元,用于将所述勾靶图像存入训练样本集中。
15、一种电子设备,包括如8至14任意一项所述的放疗计划中的自动勾靶装置。
16、一种电子设备,包括存储器和处理器;
所述存储器用于存储如1至7中任一项所述的放疗计划中的自动勾靶方法的程序;
所述处理器被配置用于执行所述存储器中存储的程序。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本发明的方法和装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本发明的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本发明实施为记录在记录介质中的程序,这些程序包括用于实现根据本发明的方法的机器可读指令。因而,本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用,并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。