本发明涉及人工智能和医学影像处理交叉领域，具体涉及一种多指标协同的oct视网膜图像病变演进预测方法。
背景技术：
1、oct视网膜图像病变演进预测是指通过已有的随访数据，预测患者视网膜病变的未来发展情况，即病变的增长区域。具体来说，是将前两次随访的oct视网膜图像的影像和临床指标与第三次随访的病变区域二值图像(即病变区域为1，正常区域为0)之间的关系建模，实现通过已有的oct视网膜图像的多种指标预测未来时刻视网膜病变的发展情况。临床上，大多数视网膜病变的增长难以逆转，抑制病变区域增长对于视力健康的挽救尤为关键。因此，如果能精准预测病变未来的增长情况，就可以调整治疗方案，实现提前干预，大大增加抑制病变区域增长的可能性。目前，已有大量的研究表明，oct视网膜图像的临床和影像指标与病变区域的增长有关，因此，实现高效精准的oct视网膜图像病变演进预测是一项有价值的技术。
2、目前，针对oct视网膜图像的病变演进预测大多分为两类：基于多指标的传统机器学习模型和基于oct视网膜图像的深度学习模型。
3、基于多指标的传统机器学习模型通过多种手段提取oct视网膜图像的影像指标，使用随机森林等传统的机器学习模型对oct视网膜图像的多种指标和视网膜病变发展情况的关系进行建模。虽然这种方式采用了多种指标来引导模型预测，但是传统机器学习模型很难处理高维数据和建立多次随访的时序关系，很难实现高效精准的预测。
4、近年来，随着深度学习的发展，大量研究开始探索基于oct视网膜图像的深度学习模型，即仅仅使用oct视网膜图像来预测病变的发展情况。尽管深度学习能提供更快的速率和更强大的特征提取能力，但是缺少影像和临床的多种指标这一重要信息，同时，现有的工作也仅仅关注oct视网膜图像的时序信息或者空间信息的某一方面，没有将二者进行结合，导致大量有价值的信息被丢失。
5、为此，为了解决上述问题，本发明提供了一种多指标协同的oct视网膜图像病变演进预测方法，该方法将oct视网膜图像及其影像和临床指标相结合，通过融合多指标信息的时序和空间特征，实现高效精准的视网膜病变演进预测。
技术实现思路
1、本发明的技术任务是针对上述存在的问题，提供了一种多指标协同的oct视网膜图像病变演进预测方法，通过融合前两次随访时间oct视网膜图像的影像及临床指标的空间和时序特征，预测后续随访时间视网膜病变发展情况。
2、为实现上述目的，本发明提供了如下技术方案：
3、一种多指标协同的oct视网膜图像病变演进预测方法，其特征在于，提取两次连续随访时间oct视网膜图像的多种影像及临床指标，构建空间时序特征融合网络，学习oct视网膜图像的多种影像及临床指标与病变区域发展的关系，所述方法的实现包括如下步骤：
4、a)收集oct视网膜图像及对应的临床指标，对oct视网膜图像进行预处理；
5、b)提取oct视网膜图像的影像指标；
6、c)构建空间特征提取模型，提取oct视网膜图像和对应临床与影像指标的空间特征；
7、d)构建时序特征提取模型，提取oct视网膜图像和对应临床与影像指标的时序特征；
8、e)构建空间时序特征融合预测模型，预测后续随访时间视网膜病变区域情况。
9、所述oct视网膜图像及其临床指标的收集和预处理过程包括：
10、a-1)通过成像设备采集同一患者三次以上随访时间的oct视网膜图像x，图像每个像素点的取值范围为0-255；
11、a-2)通过最邻近插值方法标准化采集的图像的空间分辨率和像素分辨率；
12、a-3)通过限制求和区域投影方法计算眼底血管投影图像，使用尺度不变特征转换流场技术依据眼底血管投影图像进行不同随访时间oct视网膜图像的配准；
13、a-4)收集与oct视网膜图像对应的性别，年龄，患病周期等临床指标，将临床指标处理为与oct视网膜图像相同分辨率的灰度图像。
14、所述提取oct视网膜图像的影像指标过程包括：
15、b-1)使用基于图的算法从oct视网膜图像中提取10层视网膜结构并计算厚度，10层视网膜结构为：色素上皮层、视杆视锥层、外界膜、外核层、外丛状层、内核层、内丛状层、神经节细胞层、神经纤维层和内界膜。将10层视网膜结构的厚度处理为与oct视网膜图像相同分辨率的灰度图像；
16、b-2)通过基于活动轮廓的算法从oct视网膜图像中提取病变区域，将其处理为与oct视网膜图像相同分辨率的二值图像，即病变区域为1，其它区域为0；
17、b-3)根据提取的病变区域计算病变深度、病变周长、病变面积、病变最大半径距离、病变区域离心率，将其处理为与oct视网膜图像相同分辨率的灰度图像；
18、b-4)将多种临床和影像指标图像在通道维度级联，组成多指标信息y；
19、b-5)将oct视网膜图像x和多种临床和多指标信息y在通道维度级联，组成单个随访时间的模型输入z。
20、所述构建空间特征提取模型，包括步骤如下：
21、c-1)构建双头编码网络ns，该网络拥有两个基于残差结构的编码分支，分别编码两个随访时间的输入z1和z2，得到两个特征图f1和f2；
22、c-2)将两个特征图在通道维度进行级联，获得多随访时间融合特征图fm；
23、c-3)使用带跳跃结构的全卷积网络上采样多随访时间融合特征图fm，输出对于病变发展的预测结果，即病变区域为1，正常区域为0；
24、c-4)使用交叉熵损失优化空间特征提取模型。
25、所述构建时序特征提取模型，包括步骤如下：
26、d-1)基于双向长短时记忆网络nt，构建时序关系预测模型；
27、d-2)将两个随访时间的输入z1和z2在通道维度级联，并以步长为1，大小为3的滑动窗口在长和宽维度逐像素序列化级联后的输入信息，得到每个像素的序列信息s；
28、d-3)将每个样本的所有序列信息送入双向长短时记忆网络nt，得到每个像素的预测结果；
29、d-4)使用交叉熵损失优化时序特征提取模型。
30、所述构建空间时序特征融合预测模型，包括步骤如下：
31、e-1)提取双向长短时记忆网络nt最后一层特征，并在长和宽维度扩展为与多随访时间融合特征图fm相同大小，得到特征图fe；
32、e-2)将特征图fm和fe在通道维度级联，得到融合特征图ff；
33、e-3)通过全卷积网络上采样融合特征图ff，获得最终的病变区域预测结果；
34、e-4)使用交叉熵损失优化空间时序特征融合预测模型。
35、e-5)模型总的优化目标为：
36、
37、其中，λ1、λ2和λ3为超参数，通常设置为λ1＝0.5、λ2＝0.5和λ3＝1，用于平衡不同损失之间的权重。
38、与现有技术相比，本发明一种多指标协同的oct视网膜图像病变演进预测方法具有以下突出的有益效果：
39、本发明基于oct视网膜图像的影像及临床指标，构建了多指标协同深度神经网络模型，融合时序和空间信息精准预测后续随访时间oct视网膜图像中病变发展的具体位置。