影像处理系统及影像处理方法与流程

1.本发明涉及一种处理系统，特别涉及一种应用于分析眼底图的影像处理 系统及影像处理方法。


背景技术：

2.青光眼为中国台湾或美国民众造成失明的第二大主因，且大约只有三分 之一的患者意识到自己罹患青光眼并前往诊断。青光眼的确诊方式为使用眼 科光学同调断层扫描(optical coherence tomography，oct)计算视网膜神 经纤维层厚度(retinal nerve fiber layer(rnfl)thickness map)。
3.然而，一般人不会刻意去拍摄光学同调断层扫描影像，且光学同调断层 扫描的拍摄成本高且不易取得，彩色眼底镜影像(color fundus photography) 相对容易获取。
4.因此，如何使用较低成本且便利的方法辅助医生判读彩色眼底镜影像， 已成为本领域需解决的问题之一。


技术实现要素：

5.为了解决上述的问题，本公开内容的一实施方式提供了一种影像处理系 统。影像处理系统包含一眼底镜装置以及一处理器。处理器用以接收彩色眼 底图，并通过一电脑视觉演算法或一深度学习模型产生对应彩色眼底图的一 血管切割图，将彩色眼底图及血管切割图进行一预处理，以得到一初始输入 图，将初始输入图输入到一卷积神经网络，卷积神经网络输出一数值；其中 处理器依据一杯盘比与数值生成一眼底图分析信息。
6.本发明的又一实施方式提供一种影像处理方法，影像处理方法的步骤包 含：通过一眼底镜装置以取得一彩色眼底图；以及通过一处理器接收彩色眼 底图，并通过一电脑视觉演算法或一深度学习模型产生对应彩色眼底图的一 血管切割图，将彩色眼底图及血管切割图进行一预处理，以得到一初始输入 图，将初始输入图输入到一卷积神经网络，卷积神经网络输出一数值；其中 处理器依据一杯盘比与数值生成一眼底图分析信息。
7.本发明所示的影像处理系统及影像处理方法，可以分析彩色眼底图，进 而计算出杯盘比及视神经纤维缺陷的几率，应用眼底图分析信息用以辅助医 生使用彩色眼底图作青光眼的判别，例如，当医生看到杯盘比落在正常人眼 的范围，且视神经纤维缺陷的几率低于50％，则医生可能初步认为此病人为 正常；当医生看到杯盘比并非落在正常人眼的范围，且视神经纤维缺陷的几 率低于50％，则医生可能初步认为此病人为疑似良性青光眼；当医生看到杯 盘比落在正常人眼的范围(例如小于0.7)，且视神经纤维缺陷的几率高于 50％，则医生可能初步认为此病人为疑似恶性青光眼，医生可建议病人拍摄 眼科光学同调断层扫描，通过断层扫描图判断是否确诊；当医生看到杯盘比 落并非落在正常人眼的范围，且视神经纤维缺陷的几率高于50％，则医生可 能初步认为此病人为疑似恶性青光眼，需要通过拍摄眼科光学同调断层扫描， 依据断层扫描图判断是否确诊。借此，影像处理系统及影像处理方法可以产 生许多信息，综和视神经纤维缺陷的几率及杯盘比，以协助医生
评估病人的 青光眼严重程度。
附图说明
8.图1是依照本发明一实施例示出影像处理系统的方框图。
9.图2是依照本发明一实施例示出影像处理方法的示意图。
10.图3是依照本发明一实施例示出血管切割图的生成方法的示意图。
11.图4是依照本发明一实施例示出视神经缺损状态的评估方法的示意图。
12.图5是依照本发明一实施例示出u-net深度学习分割网络的示意图。
13.图6是依照本发明一实施例示出影像处理方法的流程图。
14.图7是依照本发明一实施例示出的视神经杯盘系统模型的示意图。
15.图8是依照本发明一实施例示出的神经盘语意分析图的示意图。
16.图9是依照本发明一实施例示出的神经杯语意分析图的示意图。
17.附图标记说明：
18.100：影像处理系统
19.pt：病人
20.10：眼底镜装置
21.a：接目口
22.b：光色旋钮
23.c：钢圈旋钮
24.dr：医生
25.lk：数据传输线
26.20：处理器
27.200：影像处理方法
28.210～240：步骤 310：彩色眼底图
29.eb：眼球
30.od：视神经盘
31.oc：视神经杯
32.320：影像切割运算
33.330：血管切割图
34.l：最粗血管影像
35.w：垂直于长轴的另一最粗血管影像 410：初始输入图
36.420：深度学习模型
37.430：视神经缺损状态 u1、u2：深度学习分割网络
38.600：影像处理方法
39.610～670：步骤 800：神经盘语意分析图 pod：神经盘影像范围
40.900：神经杯语意分析图 poc：神经杯影像范围
具体实施方式
41.以下说明是为完成发明的优选实现方式，其目的在于描述本发明的基本 精神，但
并不用以限定本发明。实际的发明内容必须参考之后的权利要求范 围。
42.必须了解的是，使用于本说明书中的“包含”、“包括”等词，是用以表 示存在特定的技术特征、数值、方法步骤、作业处理、元件以及/或组件，但 并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件， 或以上的任意组合。
43.于权利要求中使用如“第一”、“第二”、“第三”等词是用来修饰权利要 求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元 件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具 有相同名字的元件。
44.请参照图1至图3，图1是依照本发明一实施例示出影像处理系统100 的方框图。图2是依照本发明一实施例示出影像处理方法200的示意图。图 3是依照本发明一实施例示出血管切割图330的生成方法的示意图。
45.如图1所示，影像处理系统100包含一眼底镜装置10及一处理器20。
46.于一实施例中，眼底镜装置10用以取得彩色眼底图。
47.于一实施例中，眼底镜装置10可以是直接眼底镜或间接眼底镜，以直接 眼底镜为例，眼底镜装置10可直接检查眼底，不必散大瞳孔，在暗室中进行 检查，医生dr将眼底镜装置10拿到靠近病人pt的眼睛右眼或左眼。眼底 镜装置10的正面接触病人pt，正面的接目口a用以对准病人眼睛，光色旋 钮b用以发光，在一些例子中，光色旋钮b可以让医生dr选择让眼底镜装 置10的正面发出绿光、白光或偏极光，绿光用以观察血管网膜出血、白光用 于一般检查，偏极光用于消除角膜反光，角膜反光消除后，更容易观察眼底， 钢圈旋钮c可以让医生dr选择让眼底镜装置10的正面采用小光圈，大光 圈、蓝色光圈等等，小光圈用于小瞳孔，大光圈用于大瞳孔，蓝色光圈用于 荧光染色。
48.眼底镜装置10的反面面对医生dr，有些眼底镜装置10的反面是一显 示器，可以医生dr可以直接由显示器看到病人pt的眼底。于一实施例中， 眼底镜装置10是一数字化眼底照相机，一般采用200万像素以上的数字照相 机，才能获得高清晰度的眼底图像，例如图3的彩色眼底图310。数字照相 机通过与眼底照相机的专用接口相连接，拍摄所需要的眼底图像，再通过数 据传输线lk传送至电脑系统后进行图像分析处理、保存及打印等。于一实 施例中，处理器20负责接收彩色眼底图并进行图像分析。
49.于一实施例中，眼底镜装置10拍摄到的眼底图像，例如彩色眼底图310， 可以由有线或无线的传输方式传送到电脑系统。
50.然而，市面上的眼底镜装置10有多种款式及型号，此处仅为一例，只要 是能拍摄出彩色眼底图的眼底镜装置都可应用于本公开。
51.于一实施例中，处理器20可以位于笔记本电脑、桌机、平板、手机或其 它电子装置。于一实施例中，处理器30可以被实施为例如为微控制单元 (microcontroller)、微处理器(microprocessor)、数字信号处理器(digital signalprocessor)、特殊应用集成电路(application specific integrated circuit，asic) 或一逻辑电路。
52.以下描述影像处理方法200，影像处理方法200可以由影像处理系统100 实现的。
53.于步骤210中，眼底镜装置10取得一彩色眼底图310。
54.于一实施例中，彩色眼底图310会是眼球eb影像，眼球eb影像整体 大致上为红色(或红橘色等近似色)在视神经盘(optic disc)od与视神经 杯(optic cup)oc会呈现稍微不同的颜色区块(例如为黄色)。
55.更具体而言，医师dr利用眼底镜装置10看入眼底，可看到一处形似圆 盘的构造，医学上称为视神经盘od，这是指视神经由眼球后方穿入眼球的 部位，临床上这是视神经的根部，也就由此部位视神经纤维像雨伞一般360 度四周放射(视神经纤维即彩色眼底图310中由视神经盘od网外扩且可能 有分支的部分)，而构成视网膜。视神经盘od会在中央形成一个凹陷，由于 形状像杯子，所以称为视神经杯oc。而所谓杯盘比(cup-to-disk ratio，cdr) 是指医师dr看入眼底，有如俯看一个杯子放在一个盘子上面，视神经杯oc 与视神经盘od直径的比，就称为杯盘比，一般杯盘比的比值约小于0.3。后 续会详述的。
56.于步骤220中，处理器20接收彩色眼底图310，并通过一影像切割运算 320产生对应彩色眼底图310的一血管切割图330，将彩色眼底图310及血管 切割图330进行一预处理，以得到一初始输入图410。
57.于一实施例中，影像切割运算320可以由一电脑视觉演算法或一深度学 习模型实现的。其中，电脑视觉演算法或深度学习模型(例如为卷积神经网 络(convolutional neural network、u-net模型)都可采用现有的方法实现的。
58.请参阅图3，处理器20接收彩色眼底图310后，需要将彩色眼底图310 中的血管部分切割(segmentation)出来，处理器200通过影像切割运算320 (电脑视觉演算法或深度学习模型)产生对应彩色眼底图310的一血管切割 图330，换言之，处理器20将彩色眼底图310中，除了血管以外的影像滤除， 以生成血管切割图330。
59.于一实施例中，血管切割图330为一灰阶图，预处理是指将彩色眼底图 310及血管切割图330相叠，以得到初始输入图410。
60.于一实施例中，处理器20滤除彩色眼底图310中的红色后，再将滤除红 色的彩色眼底图310及血管切割图330相叠，以得到初始输入图410。
61.于一实施例中，处理器20选择血管切割图330中一最粗血管影像l以 决定一视神经盘影像的长轴，选择垂直于长轴的另一最粗血管影像w以决定 视神经盘影像的短轴，视神经杯影像的长轴平行于视神经盘影像的长轴，视 神经杯影像的短轴平行于视神经盘影像的长轴，处理器20依据视神经盘影像 的长轴及视神经盘影像的短轴，应用一椭圆拟合演算法裁切出视神经盘影像， 依据视神经杯影像的长轴及该视神经杯影像的短轴，应用椭圆拟合演算法裁 切出视神经杯影像。关于神经盘影像将于后续详细叙述的。
62.于步骤230中，处理器20将初始输入图410输入到深度学习模型，深度 学习模型输出一数值。
63.于一实施例中，深度学习模型可以是神经网络，例如为卷积神经网络。
64.于一实施例中，深度学习模型可以应用u-net深度学习分割网络。请参 阅图5，图5是依照本发明一实施例示出u-net深度学习分割网络的示意图。 图5为一简化版的u-net深度学习分割网络，仅用于说明u-net深度学习分 割网络的概念，实作时可依出输结果的精准度调整u-net深度学习分割网络 中的各参数。u-net深度学习分割网络是在医学影像上常用于进行影像分割 的网络。于一实施例中，u-net深度学习分割网络由左侧解析路径(contractingpath)与右侧重组(expansive path)形成，左侧使用2x2的最大池化法(maxpooling)进行缩减像素采样(down sample)，原始图像中萃取出来的数据量 以长方形表示，因此会看到长方块面积越来越小，右侧则是使用2x2的上卷 积(up-convolution)进行上采样(up-sampling)，再合并(concatenate)低深 度的同维度特征张量，因此会看到代表
数据量的长方块越来越大，最后输出 分割图。此处仅为一例，u-net深度学习分割网络可以有许多种变化实施方 式，可以依据实际实作时调整u-net深度学习分割网络中的各参数或将各参 数(例如u-net深度学习分割网络在缩减像素采样时所获取的多个特征)取 出，做其他应用。
65.于一实施例中，于步骤230，u-net深度学习分割网络中的部分参数被取 出作应用，例如处理器20将u-net深度学习分割网络获取到的多个特征组成 神经网络，用以判断初始输入图410是否正常。
66.请参阅图4，图4是依照本发明一实施例示出视神经缺损状态430的评 估方法的示意图。于一实施例中，处理器20将初始输入图410输入到一深度 学习模型420，深度学习模型420输出视神经缺损状态430，视神经缺损状态 430可以是一个数值，代表几率，数值越大表示视神经缺损的几率越大，数 值越小表示视神经缺损的几率越小。然而，此处数值的定义仅为一例。于一 实施例中，深度学习模型420输出的视神经缺损状态430是框选出缺损的位 置或标示出面积，再由处理器20判断缺损状态，例如计算缺损面积占整体初 始输入图410的比值或判断缺损位置是在视神经末端或根部。
67.于一实施例中，处理器20将初始输入图410输入到一神经网络，神经网 络输出数值，其中神经网络是将尚未训练的u-net深度学习分割网络所获取 出的多个特征进行分类(classification)，再将分类后的多个特征组成神经网 络，处理器20将初始输入图410输入到此神经网络，此神经网络输出数值。 于一实施例中，处理器20是取出尚未训练的u-net深度学习分割网络在缩减 像素采样时，所获取的多个特征，将这些特征进行分类，再将分类后的多个 特征组成神经网络，处理器20将初始输入图410输入到此神经网络，此神经 网络输出数值。
68.于一实施例中，处理器20将初始输入图410输入到一神经网络，神经网 络输出数值，其中神经网络是将已训练的u-net深度学习分割网络所获取出 的多个特征取出，并固定此些特征各自对应的一权重，再调整一全连接层(fully connected layer)的权重以产生神经网络，处理器20将初始输入图 410输入到此神经网络，此神经网络输出数值。
69.于步骤240中，处理器20依据一杯盘比与数值生成一眼底图分析信息。
70.于一实施例中，处理器20更用以判断数值是否大于一门限值(例如为 0.5，即一几率值50％)，若数值大于门限值，则将色眼底图视为异常，当数 值不大于门限值，则将彩色眼底图310视为正常。因此，眼底图分析信息包 含彩色眼底图310为正常或异常的信息。其中，彩色眼底图310为正常，代 表彩色眼底图310中的神经纤维正常，彩色眼底图310为异常，代表彩色眼 底图310中的神经纤维缺损。
71.请参照图6，图6是依照本发明一实施例示出的影像处理方法600的流 程图。其中，步骤620、640可以平行处理、先后处理，并无一定处理顺序； 步骤650、655可以平行处理、先后处理，并无一定处理顺序；步骤660、630 都完成后，再进行步骤670。
72.于步骤610中，处理器20接收彩色眼底图310。
73.于步骤620中，处理器20通过一电脑视觉演算法或一深度学习模型产生 对应彩色眼底图310的一血管切割图330，将彩色眼底图310及血管切割图 330进行一预处理，以得到一初始输入图410。
74.于步骤630中，处理器20将初始输入图410输入到一卷积神经网络，卷 积神经网络
输出一数值。
75.请一并参照图6与图7至图9，图7是依照本发明一实施例示出的视神 经杯盘系统700模型的示意图。图8是依照本发明一实施例示出的神经盘语 意分析图的示意图。图9是依照本发明一实施例示出的神经杯语意分析图的 示意图。以下详述杯盘比的产生方式，即步骤640～670。
76.于一实施例中，处理器20定位彩色眼底图310中的一视神经盘影像(步 骤640)，并裁切(crop)出视神经盘影像(步骤645)。处理器20将被裁切 出来的视神经盘影像输入到视神经杯盘系统。
77.于一实施例中，如图3所示的血管切割图330，于此步骤中，处理器20 选择血管切割图330中一最粗血管影像以决定视神经盘影像的长轴，选择垂 直于长轴的另一最粗血管影像以决定视神经盘影像的短轴，处理器20依据视 神经盘影像的长轴及视神经盘影像的短轴，应用一椭圆拟合演算法裁切出视 神经盘影像。于一实施例中，处理器20依据视神经盘影像的长轴、短轴及椭 圆拟合演算法，能约略圈出视神经盘影像范围，可以找到框选出视神经盘影 像范围的最小正方形，在裁切时，可以将最小正方形的横轴与纵轴各自多放 大一些(例如横轴的左右各多5个像素，纵轴的上下各多5个像素)，以裁剪 出比最小正方形大一些的范围，确保视神经盘影像都在此范围中。
78.于一实施例中，处理器20将视神经盘影像输入深度学习分割网络u1， 深度学习分割网络u1输出一神经盘语意分析图800(步骤650)。
79.请参阅图8，神经盘语意分析图800为一灰阶图，中的白色面积代表神 经盘影像范围pod。于一实施例中，深度学习分割网络u1为一u-net深度 学习分割网络，当处理器20将视神经盘影像输入此u-net深度学习分割网络 后，此u-net深度学习分割网络输出的神经盘语意分析图800中，神经盘影 像范围pod为白色，其余部分为黑色。
80.于一实施例中，处理器20将视神经盘影像输入深度学习分割网络u2， 深度学习分割网络u2输出一神经杯语意分析图900(步骤655)。
81.请参阅图9，神经杯语意分析图900为一灰阶图，中的白色面积代表神 经杯影像范围poc。于一实施例中，深度学习分割网络u2为另一u-net深 度学习分割网络，当处理器20将视神经盘影像输入此另一u-net深度学习分 割网络，此另一u-net深度学习分割网络输出的该神经杯语意分析图800中， 神经杯影像范围poc为白色，其余部分为黑色。
82.于一实施例中，处理器20裁切出视神经盘影像后(步骤645)，视神经 盘影像的中心点视为原点，进行一极坐标转换，以产生一极坐标转换视神经 盘影像，将极坐标转换视神经盘影像输入深度学习分割网络u1，深度学习分 割网络u1输出神经盘语意分析图800(步骤650)，将极坐标转换视神经盘 影像输入深度学习分割网络u2，深度学习分割网络u2输出神经杯语意分析 图(步骤655)。由于极坐标转换视神经盘影像为长条图样式，相较于辨识圆 形图，深度学习分割网络u1、u2更善于辨识长条图，因此，将视神经盘影 像进行极坐标转换，所产生的极坐标转换视神经盘影像可以提升深度学习分 割网络u1、u2辨识的精准度。
83.于一实施例中，裁切出的视神经盘影像、神经盘语意分析图800及神经 杯语意分析图900的维度一样，深度学习分割网络u1、u2的输入都是同一 张裁切出的视神经盘影像，而深度学习分割网络u1输出神经盘语意分析图 800，深度学习分割网络u2输出神经杯语意
分析图900。
84.于步骤660中，处理器20将神经盘语意分析图800中的白色面积(即神 经盘影像范围pod)除以神经杯语意分析图900中的白色面积(即神经杯影 像范围poc)得到杯盘比(cdr)。
85.于步骤670中，处理器20依据杯盘比与数值生成一眼底图分析信息。
86.于一实施例中，眼底图分析信息包含杯盘比、杯盘比是否介于正常人眼 的范围内、视神经纤维是否缺陷(视神经纤维正常或异常)
……
等信息。
87.本发明所示的影像处理系统及影像处理方法，可以分析彩色眼底图，进 而计算出杯盘比及视神经纤维缺陷的几率，应用眼底图分析信息用以辅助医 生使用彩色眼底图作青光眼的判别，例如，当医生看到杯盘比落在正常人眼 的范围，且视神经纤维缺陷的几率低于50％，则医生可能初步认为此病人为 正常；当医生看到杯盘比并非落在正常人眼的范围，且视神经纤维缺陷的几 率低于50％，则医生可能初步认为此病人为疑似良性青光眼；当医生看到杯 盘比落在正常人眼的范围(例如小于0.7)，且视神经纤维缺陷的几率高于 50％，则医生可能初步认为此病人为疑似恶性青光眼，医生可建议病人拍摄 眼科光学同调断层扫描，通过断层扫描图判断是否确诊；当医生看到杯盘比 落并非落在正常人眼的范围，且视神经纤维缺陷的几率高于50％，则医生可 能初步认为此病人为恶似良性青光眼，需要通过拍摄眼科光学同调断层扫描， 依据断层扫描图判断是否确诊。借此，影像处理系统及影像处理方法可以产 生许多信息，综和视神经纤维缺陷的几率及杯盘比，以协助医生评估病人的 青光眼严重程度。
88.本发明的方法，或特定形态或其部分，可以以程序码的形态存在。程序 码可以包含于实体媒体，如软盘、光盘片、硬盘、或是任何其他机器可读取 (如电脑可读取)存储媒体，亦或不限于外在形式的电脑程序产品，其中， 当程序码被机器，如电脑载入且执行时，此机器变成用以参与本发明的装置。 程序码也可以通过一些传送媒体，如电线或电缆、光纤、或是任何传输形态 进行传送，其中，当程序码被机器，如电脑接收、载入且执行时，此机器变 成用以参与本发明的装置。当在一般用途处理单元实作时，程序码结合处理 单元提供一操作类似于应用特定逻辑电路的独特装置。
89.虽然本发明已以实施方式公开如上，然其并非用以限定本发明，任何本 领域技术人员，在不脱离本发明的精神和范围内，当可作各种的变动与润饰， 因此本发明的保护范围当视后附的权利要求所界定者为准。