胚胎发育期的心脏断面智能识别和异常判断方法及装置

1.本发明涉及一种基于深度学习的疾病识别方法，尤其涉及一种针对胚胎发育期的心脏断面智能识别和异常判断的方法及装置。


背景技术：

2.先天性心脏发育异常占出生缺陷疾病一半以上的发生率。深入探究先天性心脏疾病发生机制，做到早期诊断和早期干预，对于胎儿围产保健和先天性畸形疾病防治等具有重要的现实意义和经济价值。
3.随着b型超声和核磁共振(mri)等影像技术的不断进步，以及发育生物学、组织胚胎学等研究手段的深入发展，现在已经能够突破子宫壁和羊膜等的限制，获取到胚胎发育期心脏断面的清晰影像，为胎儿发育评测、心脏畸形成因研究等提供肉眼可见的直接数据。但是由于胚胎期心脏发育速度较快、内外结构变化极其复杂、以及宫内时空位置不断变化等原因，造成获取到的胚胎发育期心脏断面二维数据具有多样性和复杂性的特点，导致临床围产检查医师和胚胎发育相关研究人员对发育中心脏断面结构的识别和判断难度较高。
4.尽管国内外也存在胚胎心脏发育图谱和胚胎心脏发育图像网站等资源，但由于胚胎发育知识的复杂性和小众性，以及知识呈现形式的单调性和非系统性，导致习得发育相关心脏断面知识且熟练运用的难度较高而性价比不高。再加上胚胎宫内旋转、探头(刀)角度偏差等因素导致的胚胎心脏断面二维图像的多样、复杂性，更增加辨别和判断的难度，严重影响临床围产检查医师对胚胎发育评价和畸形诊断的效率，增加了基础科研人员进行胚胎发育和畸形研究的难度，限制了相关学科的发展和进步。


技术实现要素：

5.本发明的目的在于针对上述已有技术的不足，提供一种针对胚胎发育期的心脏断面智能识别和异常判断的方法及装置。
6.该方法利用在胚胎心脏发育及畸形研究、和围产胎儿心脏发育影像检查积累的大量数据，通过三维图形软件amira对所得的胚胎发育期心脏断面二维图像数据进行校准、叠加、标注、分割和三维可视化处理，并依据发育时间轴构建胚胎心脏发育四维图像数据库，且允许后续不断添加和完善物种、畸形等数据。
7.该方法在所述胚胎心脏发育四维图像数据库基本建立完成后，对实时导入的检查或研究所得的胚胎心脏断面图像采用发育时间模糊匹配、生物医学关键结构匹配、计算机图像灰度匹配等多维度匹配技术，实现与库中心脏发育数据自动智能匹配，和对胚胎心脏断面结构识别、标注和三维化显示。
8.该方法在多维度匹配完成后，再通过与所述四维图像数据库中正常胚胎心脏发育数据和畸形胚胎发育数据的比对，实现对胚胎发育情况的评估和畸形的判断。
9.本发明所述的方法能够帮助临床围产检查医师和胚胎相关研究人员识别不同时期不同角度胚胎心脏的断面结构，提高工作效率和产检准确性，促进胚胎心脏发育机理研
究和先天畸形疾病研究。
10.本发明的目的是通过以下技术方案实现的：
11.一种胚胎发育期的心脏断面智能识别和异常判断方法，包含以下步骤：(1)收集和构建胚胎心脏发育四维图像数据库，(2)将目标胚胎心脏断面图像数据与所述数据库中数据进行匹配，对其进行识别、定位和测量，(3)创建faster-rcnn识别模型，(4)利用所述faster-rcnn识别模型得到目标胚胎心脏的检测结果。
12.优选的，所述步骤(1)收集和构建胚胎心脏发育四维图像数据库，包括：
13.(a)将已采集到的或者通过目标胚胎获得的胚胎心脏断面二维图像，按照胚胎从小到大的顺序进行分期排列；
14.(b)将排列整理后的所述胚胎心脏断面二维图像处理成三维图像，并对其中的重要结构部分进行勾画、叠加和标注；
15.(c)依据胚胎发育的时间轴进行排列，构建胚胎心脏发育四维图像数据库。
16.优选的，所述步骤(2)将目标胚胎心脏断面图像数据与所述数据库中数据进行匹配，对其进行识别、定位和测量，包括：
17.(a)通过注意力机制去除所述目标胚胎心脏断面图像数据中的无用信息，获取感兴趣区域图像；
18.(b)通过灰度匹配法以及几何匹配法将所述感兴趣区域图像与所述数据库中的四维图像数据的相应结构进行匹配；
19.(c)标示所述目标胚胎心脏断面图像数据的显示流出道、房室管、心瓣膜、房间隔和室间隔，并进行数据测量。
20.优选的，所述步骤(3)创建faster-rcnn识别模型，包含特征提取模块、rpn模块、proposal layer模块、roi align模块、分类回归模块和c-nms模块。
21.优选的，所述步骤(4)将处理后的所述目标胚胎心脏断面图像数据输入所述faster-rcnn识别模型以生成检测结果，将处理后的所述目标胚胎心脏断面图像数据输入所述faster-rcnn识别模型以生成检测结果，进一步包括：
22.(a)所述特征提取模块用一组基础的conv+relu+pooling层提取出特征图，包括convlayers、rpn层和全连接层；
23.(b)所述rpn模块将所述特征图输入rpn网络进行识别和筛选处理，从feaure map中获取目标的大致位置，获得待测目标位置的推荐框；
24.(c)所述proposal layer模块，利用所述rpn获得的大致位置，继续训练，从所述待测目标位置的推荐框中获得更精准的位置，即获得待测目标更精确位置的推荐框；
25.(d)所述roi align模块将获取到所述待测目标更精确位置的推荐框和所述特征图输入roi align网络进行映射及池化处理，获得特征推荐图；
26.(e)所述分类回归模块将所述获得的特征推荐图输入分类回归网络进行分类回归处理，获取预测框的初始坐标、初始类别及初始置信度；
27.(f)所述c-nms模块将所述预测框的初始坐标、初始类别及初始置信度输入c-nms模块进行筛选处理，获得预测框的目标坐标、目标类别及目标置信度。
28.将所述预测框的初始坐标、初始类别及初始置信度输入c-nms模块进行筛选处理，获得预测框的目标坐标、目标类别及目标置信度，步骤包括：
29.(a)所述预测框的初始坐标、初始类别及初始置信度输入c-nms网络；
30.(b)将所述初始置信度最大的预测框作为基准预测框；
31.(c)根据所述初始坐标分别计算每
‑‑
预测框与所述基准预测框的重叠比；
32.(d)将所述重叠比大于或等于预设置信度阙值的预测框作为待调整预测框；
33.(e)根据所述待调整预测框与基准预测框的重叠比及面积比更新所述待调整预测框的初始置信度；
34.(f)所述预测框将所述初始坐标作为目标坐标，将所述初始类别作为目标类别，将更新后的初始置信度作为目标置信度。
35.本发明还采用了如下方案：一种胚胎发育期的心脏断面智能识别和异常判断装置，所述装置包括扫描仪、智能图像处理装置、计算处理装置、置物台和显示仪，其中，所述扫描仪与所述智能图像处理装置连接，使目标胚胎心脏断面图像获取后迅速进行预处理；所述置物台与所述计算处理装置连接，便于将待测胚胎标本转化为三维结构数据进行分析；所述显示仪与所述智能图像处理装置连接，将处理得到的图像即时呈现；所述智能图像处理装置与所述计算处理装置连接，将预处理图像传输至计算机以进行图像数据匹配，利用faster-rcnn识别模型得到目标胚胎检测结果。
36.优选的，所述扫描仪用于将胚胎心脏切片或者心脏断面图像数字化处理；所述智能图像处理装置用于通过算法对扫描仪处理后的图像进行识别，并形成符合智能匹配要求的二维图像；所述计算处理装置用于为整个装置提供所需计算能力；所述显示仪用于通过屏幕进行交互式操作来控制整个装置，并显示所获图像以及识别结果；所述置物台用于放置所述待测胚胎标本，以便进行断层扫描，获取其三维结构数据。
37.优选的，所述智能图像处理装置由图像预处理模块、图像特征提取模块、图像识别模块、图像智能匹配模块，和结果显示模块组成。
38.优选的，所述图像预处理模块负责对传入的图像进行转化、调整和对齐；所述图像特征提取模块负责提取和收集二维图像中的特征结构、颜色、纹理等特征并传输给所述图像识别模块；所述图像识别模块负责根据图像特征信息进行再处理并呈现出符合智能匹配要求的图像；所述图像智能匹配模块负责根据所述图像特征提取模块和所述图像识别模块提供的信息，通过灰度匹配法以及几何匹配法进行匹配；所述结果显示模块负责根据上述匹配原则和算法以及以往学习经验智能选择出最适结果。
39.本发明的有益效果为：
40.本发明通过建立胚胎心脏发育四维图像数据库，并将胚胎心脏断面二维图像匹配到四维影像数据库中，将有助于快速识别胚胎心脏断面的结构及判断其所在的位置；同时根据四维数据库时间线的特性，显示该心脏断面未来可能的发育情况，有利于临床医生诊断以及科研工作者识别胚胎心脏断面结构，减轻其工作量，提供其工作效率。
41.此外，本发明通过将胚胎心脏关键结构测量数据与四维影像数据库中已收录典型样本的数据对比，即可初步判断有无畸形以及异常结构等，对于胎儿围产保健和先天性畸形疾病防治具有重要意义。
附图说明：
42.图1.胚胎发育期心脏断面智能识别和定位装置结构示意图；
43.图2.所述智能图像处理装置的结构示意图；
44.图3.所述智能图像处理装置的处理流程图；
45.图4.收集和构建胚胎心脏发育四维图像数据库方法示意图；
46.图5.一种基于深度学习的对胚胎心脏断面进行智能识别和初步判读的方法流程图。
具体实施方式
47.本发明所述优选实施例对不同发育期、不同位置水平和不同角度胚胎心脏断面图像进行自动识别、标注和异常判断。首先，通过构建胚胎心脏发育四维图像数据库，包含正常发育的胚胎心脏数据和心脏发育畸形的胚胎数据，且允许后续不断添加和完善种属和畸形等数据。其次，设置胚胎发育期心脏断面智能识别和定位装置，通过采用多种维度和原理的匹配技术，将临床产检或胚胎实验所获的心脏断面图像与库中数据进行匹配，实现对目标胚胎发育期心脏断面的识别、定位和标注。最后，通过设置胚胎发育期心脏发育综合评价和判断装置，在将目标胚胎发育期心脏断面进行三维重建后，标识和测量关键结构数据，通过与库中正常发育胚胎心脏数据和畸形发育胚胎心脏数据进行比对，综合评价该胚胎心脏发育情况，并初步判断是否畸形及何种畸形。
48.以下实施例和实验例用于说明本发明，但不用来限制本发明的范围。下面结合具体实施例和实验例对本发明作进一步说明。
49.实施例1:胚胎发育期心脏断面智能识别和定位装置。
50.如图1所示，胚胎发育期心脏断面智能识别和定位装置包含一套完善的交互式的设备——扫描仪、智能图像处理装置、计算处理装置、置物台和显示仪。
51.其中，所述扫描仪与所述智能图像处理装置连接，使目标胚胎心脏断面图像获取后迅速进行预处理，用于将胚胎心脏切片或者心脏断面图像数字化处理；所述置物台与所述计算处理装置连接，便于将待测胚胎标本转化为三维结构数据进行分析，其用于放置所述待测胚胎标本，以便进行断层扫描，获取其三维结构数据；所述显示仪与所述智能图像处理装置连接，将处理得到的图像即时呈现，用于通过屏幕进行交互式操作来控制整个装置，并显示所获图像以及识别结果；所述智能图像处理装置用于通过算法对扫描仪处理后的图像进行识别，并形成符合智能匹配要求的二维图像；所述计算处理装置用于为整个装置提供所需计算能力；所述智能图像处理装置与所述计算处理装置连接，将预处理图像传输至计算机以进行图像数据匹配，利用faster-rcnn识别模型得到目标胚胎检测结果。
52.如图2所示，其中所述智能图像处理装置由图像预处理模块、图像特征提取模块、图像识别模块、图像智能匹配模块，和结果显示模块组成。
53.如图3所示，所述智能图像处理装置的处理步骤如下。
54.首先，所述图像预处理模块负责对传入的图像进行转化、调整和对齐等。
55.其次，所述图像特征提取模块负责提取和收集二维图像中的特征结构、颜色、纹理等特征并传输给所述图像识别模块。
56.然后，所述图像识别模块负责根据图像特征信息进行再处理并呈现出符合智能匹配系统要求的图像，其内容结构与数据库图像保持一致，得到准确的图像及其结构特征。
57.所述图像智能匹配模块负责根据所述图像特征提取模块和所述图像识别模块提
供的信息，按照胚胎发育时间模糊匹配、生物医学关键结构匹配、计算机图像匹配等原则，通过灰度匹配法以及几何匹配法与数据库中的四维图像的相应结构进行匹配。
58.所述图像智能匹配模块的具体实现原理为：通过所述图像特征提取模块提取到的图像颜色以及图像纹理特征，将每个像素点分成不同的灰度值，并与四维图像的每一个像素点按某种相似度量方法进行搜索匹配，同时几个邻近像素点自动整合为一个像素块，并与数据库中的图像也进行同样匹配，所得匹配程度最高的即为匹配结果；几何匹配是指根据图像中提取的结构特征，通过分析此结构特征的实际构成含义，并进行边缘检测得到各个边缘拐点构成的点链，然后于图像数据库中图像按一定偏差值进行统计匹配。
59.而后，所述图像智能匹配模块将应用此两种方法，搜索匹配和几何匹配，将二维图像与数据库相匹配，筛选出最合适的结果。两种方式均存在一定误差，系统智能提供两种方式情况选择下的最优结果，同时给出所得结果与原有二维图像的匹配率，以百分比方式呈现。本领域人员可以根据匹配率考虑图像的价值。
60.最后，所述结果显示模块负责根据上述匹配原则和算法以及以往学习经验智能选择出最适结果。
61.实施例2:胚胎发育期心脏断面智能识别和异常判断方法。
62.1、收集和构建胚胎心脏发育四维图像数据库。
63.如图4所示，收集并排列胚胎心脏断面二维图像序列：将已有的系统采集到的胚胎心脏断面二维图像，或者通过医院产检对胚胎进行四维彩超或mri扫描获得的胚胎心脏断面二维图像，按照胚胎从小到大的顺序进行分期排列，并对排列整理后的结果进行连续命名。
64.对所述胚胎心脏断面二维图像进行预处理，并对预处理后的胚胎心脏三维图像进行标注处理：
65.1)将上述排列整理后的胚胎心脏断面二维图像数据导入amira三维图形软件中，通过设置通道及像素值，将同一胚胎的所有心脏断面图像进行调整排列及图像对齐。
66.2)将预处理后的每张胚胎心脏三维图像中的重要结构部分进行勾画，并用不同颜色标注，以便显示不同结构之间的对应关系。
67.3)然后，显示叠加和标注后的立体空间结构，也可对建好的胚胎心脏三维结构进行不同平面的切割和再叠加。
68.4)保存胚胎心脏三维图像和立体结构图像，并依据胚胎发育的时间轴进行排布，构建胚胎期心脏发育四维(三维空间+时间维度)图像数据库。
69.该胚胎期心脏发育四维图像数据库后继不断录入和更新临床或科研中的各种病例，以便完善种属和畸形病例等数据，动态调整减少误差。
70.2、评价和判断胚胎发育期的心脏发育。
71.1)标示和测量胚胎心脏关键结构；
72.通过amira三维图形软件将处理后的所述胚胎心脏三维图像进行切割，突出显示流出道、房室管、心瓣膜、房间隔和室间隔等胚胎心脏发育中的重要结构，并进行数据测量。
73.2)校准比对测量的数据；
74.通过与所述胚胎期心脏发育四维图像数据库收录的正常发育结构数据和典型畸形结构数据进行比对，对所述测量的数据进行校准。
75.3)结果判断；
76.多结构分析测量和比对数据结果，综合评价目标胚胎心脏发育情况。
77.实施例3:一种基于深度学习的对胚胎心脏断面进行智能识别和初步判读的方法。
78.如图5所示，所述基于深度学习的对胚胎心脏断面进行智能识别和初步判读的方法包含如下步骤：
79.首先，对胚胎心脏断面进行图像采集和图像预处理。
80.获取并接收待测患者心脏断面图像的方式包括超声、ct、mri等。将断面图像预处理，并对预处理后的胚胎图像进行标注处理。对所述图像的预处理，以ct图像为例，由于原始ct图像是12位数据，装换到计算机显示的8位图时会有信息损失，且原始图像中脏器组织、骨质、体液等密度信息接近。若未经预处理将图像信息映射到电脑，会有大量信息的丢失，故采用韩森费尔德发明的窗口法对图像进行预处理。对胚胎心脏图像的预处理能够提高所需信息的对比度，以达到减少无用信息的目的。
81.其次，通过注意力机制去除无用信息后，获取roi区域(感兴趣区域)图像，对比正常心脏胚胎断面图像数据库，检测心脏形态及结构是否异常，获取具有包含异常部位的组织结构图像。
82.其中，所述注意力机制，即利用各数据集的标签数据，制作一个经验模板，即目标分割在原图中的概率分布图，再将这个蒙版与原图像结合，去除大量无用信息即负样本后得到roi区域(感兴趣区域)图像，便于下一步送入faster-rcnn识别模型的目标检测神经网络中去，可以减少因类别不平衡导致的训练难度大，减少网络输出冗余，降低假阳性率。
83.其中，建立各时期的所述正常心脏胚胎断面图像数据库的方法包括但不限于选择待制备的标本，经mri扫描确认胚胎保存的完整性，经包埋、冷冻等过程，固定于数控铣床上，对胚胎标本进行连续断面切削，期间数码相机逐层连续拍摄断面，获得胚胎横断面结构的高清晰度二维图像，并进行结构的识别和标注，将图像数据存储于计算机存储器中。
84.其中，所述图像对比的方法，采用基于深度学习的图像识别算法，此方法相较于传统的基于模板的识别比对方式具有较高的图像法识别准确率。与正常心脏胚胎断面图像进行对比时，去除高度一致的图像区域，保留显示异常的图像区域后即可判断出心脏发育是否正常；
85.然后，将经过比对后保留的异常区域图像输入事先训练的faster-rcnn识别模型，生成组织异常预测结果。
86.无论所述正常胚胎心脏断面图像数据和所述faster-rcnn识别模型中用于与采集图像比对的异常胚胎心脏图像均来源于预先建立的胚胎心脏断面图像数据库中。
87.其中，所述faster-rcnn识别模型，包含特征提取模块、rpn模块、proposal layer模块、roi align模块、分类回归模块和c-nms模块。
88.将所述具有异常的胚胎断面图像数据输入事先训练的faster-rcnn识别模型以生成预测结果包括如下步骤：
89.1)用一组基础的conv+relu+pooling层从原图中提取出特征图，包括convlayers、rpn层和全连接层；
90.2)将所述特征图输入rpn网络进行识别和筛选处理，从feaure map中获取目标的大致位置，获得推荐框；
91.3)在proposal layer部分，利用rpn获得的大致位置，继续训练，获得更精准的位置，即获得推荐框；
92.4)将获取到的推荐框和特征图输入roi align网络进行映射及池化处理，获得特征推荐图；
93.5)将所述特征推荐图输入分类回归网络进行分类回归处理，获取预测框的初始坐标、初始类别及初始置信度；
94.6)将所述预测框的初始坐标、初始类别及初始置信度输入c-nms模块进行筛选处理，获得预测框的目标坐标、目标类别及目标置信度；
95.该步骤具体如下：将所述预测框的初始坐标、初始类别及初始置信度输入c-nms网络；将所述初始置信度最大的预测框作为基准预测框；根据所述初始坐标分别计算每
‑‑
预测框与所述基准预测框的重叠比；将所述重叠比大于或等于预设置信度阙值的预测框作为待调整预测框；根据所述待调整预测框与基准预测框的重叠比及面积比更新所述待调整预测框的初始置信度；所述预测框将所述初始坐标作为目标坐标，将所述初始类别作为目标类别，将更新后的初始置信度作为目标置信度。
96.最后，根据预测结果进行组织病变类型识别。
97.该实施例的有益效果为：该方法使用的所述faster-rcnn识别模型，能够有效提高心脏形态结构异常的检出率，并降低假阳性率。该方法利用注意力机制，对待测断面图像进行预处理，利用已有数据制作经验蒙版，即目标分割在原图中的概率分布图，与待测图像相结合，可去除原图像中大量无用信息(负样本)，能够减少在深度学习过程中因类别不平衡造成的训练难度增加，减少网络输出冗余。
98.本发明的有益效果为：当胎儿基因检测提示某心脏发育相关单基因遗传病率较高，或者专门制作沉默该基因的鼠模型时，通过组织学或者影像学技术可获取到胚胎标本发育中心脏断面的图像数据，利用本发明既可帮助临床医师或者研究人员快速确认胚胎心脏断面的各种结构，也可协助对目标胚胎心脏发育进行初步判断和评价。