一种智能辅助层级式眼科体征及疾病标注方法及系统

1.本发明属于医学影像处理技术领域，具体涉及一种眼科体征及疾病标注方法及系统。


背景技术：

2.近年来医疗机构积累了大量的医学图像，以眼科为例，眼底图是临床上眼科疾病诊断的重要和常用依据，眼科机构积累了海量的眼底图。然而，数据量大并不等同于大数据，未经过整理的海量眼底图价值密度低。因此，有必要提供一种系统对眼底图进行标注和管理，从而真正发挥数据量大的价值。例如，经过标注和整理后，可以轻松地针对每位患者建立病史索引，清楚地展示其疾病的发展脉络。另外，将眼底图结构化索引后，医生可以快速地获取某一类疾病的所有样本，进而深入了解该类疾病的病症。最后，人工智能技术的发展，也迫切需要高质量标注的眼底图数据集，进而开发出高性能人工智能诊断模型，辅助眼科医生进行临床诊断，降低漏诊率和提高诊断效率。
3.眼科体征及疾病标注系统要求高精度、高效率、多人协作以及自动比对与确认。常见的人工标注方式效率较低、人力成本高，完全依赖医生个人的专业知识与临床经验，容易产生个人标注偏差(bias)，且长时间标注无法保证标注精度。中国专利(cn104462738)公开了一种标注医学图像的方法，该方法数据集划分成多个数据子集，然后将各数据子集分配给各终端进行标注，实现多人共同标注。虽然该专利能够使多人协作，分工完成对一个大的数据集标注，但纯手动的标注高度依赖用户的专业知识和经验，无法保证标注质量。此外，标注用户之间的差异性容易导致标注质量参差不齐，难以控制标注质量。针对该专利公布技术的不足，国际专利wo 2017/101142 a1公布了一种基于待标注医学图像的关键字与标签本体库中的标签的匹配值向至少两个标注终端推荐至少两个可供标注操作人脸选择的选择标签，这种根据关键字匹配和标签推荐的方式在一定程度上方便了用户标注的效率，但当待标注医学图像自身缺乏关键词、只有图像内容时，该方法将失效。
4.眼底图像标注是指对给定的眼底图像数据集进行疾病分类标记的过程，标注后的图像可以用于识别、分类等后续任务。
5.针对眼科中的眼底图标注，只标注几种简单的疾病类型而不标注该疾病所对应的眼科体征，会造成以下问题：1)只标注结果而不标注眼科体征依据，对后续的复查带来重复的工作量，需要其他医生再次细查眼底图中的各个区域；2)缺乏眼科疾病对应的眼科体征标注，对数据管理和分析带来非常大的不便，医生想要研究某种眼科体征可能引起的眼科疾病以及这些眼科疾病之间的演变关系，则无法实现；3)当前人工智能模型只知其然但不知其所以然，因而建立因果推断的人工智能模型也迫切需要眼科体征和对应疾病的同时标注；4)由于缺乏疾病与体征之间的关联关系，导致数据管理难度更大，不方便建立高性能索引系统。


技术实现要素：

6.针对现有技术之不足，特别是眼科疾病标注系统的不足，本发明提出一种智能辅助层级式眼科体征及疾病标注方法和系统，以提高眼科图像的标注效率和精度。
7.本发明提供的智能辅助层级式眼科体征及疾病标注方法，具体包括：
8.(1)进行关联标注；
9.即将未标注的眼底图像分配给多个标注终端，以供各标注终端的医生对未标注的眼底图像进行眼科疾病和对应的眼科疾病体征进行关联标注；
10.本发明中，所述眼科疾病有61种，对应的眼科疾病体征有99种，见表1；该61种眼科疾病与其专属的疾病体征以相互关联的方式显示在医生的标注终端设备上；
11.(2)进行血管分割：
12.由于眼底图像中血管与疾病密切相关，其不容易被医生量化；因此需要对眼底图像进行血管分割，得到血管分割后的眼底图像，并计算血管面积，以辅助疾病诊断，为医生判别提供辅助依据；医生可查看眼底图像血管分割所得到的原图像(3000x 3000)。
13.本发明中，通过调节，可增强眼底图像，包括增强眼底图像局部对比度、局部亮度等。
14.本发明中，可进行层级式多级标注，并比对显示前后级的眼科疾病与体征标注结果。这里，层级式多级标注，是指标注过程根据医生年资的等级进行划分，标注顺序先低年资医生标注，后高年资医生标注，层级之间会自动比对标注结果，以确保标注的准确性。
15.本发明中，可判别已标注和未标注的眼底图像，推荐待标注的眼底图像给医生，发送给多个标注终端。
16.本发明中，可将标注结果上传至眼底图像服务器，以进一步整合，以实现分布式协同标注。这里，分布式协同标注，是指每个层级支持多人在不同的终端设备上进行标注，即多人分工协作实现并行标注。
17.进一步地，所述61种常见疾病体征、99种眼科疾病的标签以可供选择的按钮形式显示在医生的标注终端设备上。
18.进一步地，可以接收任意文件夹下的所有眼底图像，自动判别出未标注的图像，将未标注的眼底图像集按标注的轮次分配给多个标注终端，按照医生的年资与级别，实行分级标注。未标注的眼底图像经多个标注终端至少四次标注后，比对前后级的标注结果，两结果若相同，则保存为最终结果，否则将第五次标注视为最终结果。
19.进一步地，针对眼底图像质量参差不齐的情况，眼底图像可调节原眼底图像的对比度和亮度，以方便医生清晰地查看眼底图中各区域的细节。
20.基于上述的方法，本发明还提供相应的智能辅助层级式眼科体征及疾病标注系统。该系统包括多个标注终端和眼底图像服务器；所述标注终端用于对未标注的眼底图像进行标注，并将标注信息上传到眼底图像服务器；所述标注终端部署如下软件模块：关联标注模块和血管分割模块；这2个软件模块分别执行本发明方法的两个步骤的操作功能；所述眼底图像服务器用于将未标注图像提取到各标注终端，同时接受各标注终端上传的标注信息，进行整合。
21.本发明提供的智能辅助层级式眼科体征及疾病标注系统，具体操作流程如下：
22.标注终端：
23.(1)医生打开标注终端进入系统界面；
24.(2)点击打开文件夹，选择文件夹打开，若该文件夹下无图片会给出提示；
25.(3)若(2)中选择的文件夹为第一次打开，将文件夹下所有眼底图像名上传到眼底图像服务器；若(2)中选择文件夹不是第一次打开，则在服务器中读取对应该文件夹下所有图像信息；
26.(4)终端接收从(3)中返回的信息，在界面显示眼底图像的名称、缩略图和已有的诊断结果(若有)；
27.(5)点击图像的缩略图，可放大到原图大小(3000x 3000)，医生可以查看图像具体的细节，再次点击原图可关闭图像；
28.(6)滑动图像亮度和图像对比度滑轮来调节(5)中的图像的亮度和对比度以观察图像较暗的部分；
29.(7)根据(5)中查看到的图像细节，医生在99种常见疾病体征和61种眼科疾病标签中选择对应的标签，在眼科疾病标签下还有该疾病对应的二级疾病标签和体征标签；
30.(8)在(7)中疾病对应下的二级疾病标签和体征标签由下拉框给出，初始时下拉框隐藏不见，当医生选择疾病后会自动显示；
31.(9)医生选择标注标签时可以选择多种疾病和疾病体征；
32.(10)点击查看预览，在诊断预览中会显示(7)中选择的标签，同时医生可对诊断预览进行手动修改；
33.(11)点击血管分割按钮，系统将自动对眼底图像进行血管分割，分割完成后在界面显示分割缩略图像以及分割后的血管面积；
34.(12)点击(9)中图像查看分割的血管原图(3000x 3000)，再次点进可以关闭；
35.(13)医生诊断完成后点击下一张，系统会自动保存当前图像诊断信息并显示下一张眼底图像的信息；
36.(14)在(11)中保存的图像诊断信息会自动上传到眼底图像服务器；
37.(15)若(11)中诊断信息为第四次诊断且与第三次诊断相同则会按照诊断标签重命名当前眼底图像；若诊断信息为第五次诊断也会重命名图像；
38.(16)文件夹下所有的眼底图像都已经完成最终标注后会提示相关信息，医生可点击打开新文件夹来打开新的眼底图像。
39.眼底图像服务器：
40.(1)接收终端打开的图像信息，并保存图像路径、图像名到数据库服务器；
41.(2)将图像路径、图像名、诊断信息发送到多个终端；
42.(3)接收终端发送的标注结果，将结果和之前图像信息进行整合，整合信息包括诊断结果及重命名信息(若有)；
43.(4)保存(3)中的信息到数据库服务器。
44.本发明提出的智能辅助层级式眼科体征及疾病标注发放和系统，医生可以方便地对眼底图像进行眼科疾病和对应眼科体征标注，同时系统提供图像增强、血管分割、血管面积技术等功能，以辅助医生提高标注的精度和效率。相比人工标注方式，本系统可提高医生1倍以上标注速度。
附图说明
45.图1为本发明系统的实施流程图。
46.图2为本系统对图像进行标注的展示。
47.图3为本系统调节眼底图像亮度和对比度的效果。
48.图4为本系统分割血管后的界面展示。
49.图5为本系统其他图像血管分割的效果。
具体实施方式
50.为了详细说明本系统功能，以下结合附图及实施方式，对本发明进行进一步的详细说明。
51.图1为根据本发明实施方式标注眼底图像的系统流程图，如图1所示，该系统主要包括标注终端和眼底图像服务器。
52.标注终端：
53.(1)打开终端，显示系统界面，界面包括以下内容：
54.文件名，四次诊断结果展示，99种常见疾病体征，61种眼科疾病标签，诊断预览，图像对比度、亮度调节功能；血管分割功能；
55.(2)点击打开文件夹按钮，选择自己想要打开的文件夹，如果该文件夹下没有图像会返回警告信息，在界面左上角会显示打开的文件名以及之前诊断的结果，左下角显示图像；
56.(3)缩略图太小不足以查看详细的体征，点击缩略图得到原图(3000x 3000)，医生可以实时查看原图选择多种常见体征，同时可以选择诊断的疾病及疾病下拉框下的子分类和对应的专属体征；在医生确定选择完成后可以点击查看预览，在诊断预览框中会显示医生做的诊断结果，如图2所示；
57.(4)医生在观察原图像的时候可以滑动右下角亮度和对比度来调节较暗的图像，以更加清楚的观察到细节内容，医生在观察原图像的时候可以滑动右下角亮度和对比度来调节较暗的图像，以更加清楚的观察到细节内容，如图3所示，可以明显看出，经过调节后的图像在原本较暗的区域也能观察到细节体征；
58.(5)医生标注完成后，可以点击原图以关闭原眼底图像或直接点击下一张，标注信息会自动上传到眼底图像服务器；
59.(6)医生可以通过对眼底图像分割出的视网膜血管形态状况进行分析，以达到疾病诊断的目的；医生在进行眼底图像标注时可以同时选择点击左下角血管分割按钮来对图像进行血管自动分割，分割后的血管图会显示在图像的下方，点击分割图可以查看原图大小的分割图；在分割完成的同时会自动计算血管的一个像素面积，如图4所示；可以看到系统对图像进行了大致的血管分割，得到分割后的图像以及分割面积；图5显示了其他分割的结果。
60.眼底图像服务器：
61.(1)在医生第一次打开眼底图像文件夹时，眼底图像服务器会自动保存眼底图像名等相关信息；
62.(2)眼底图像服务器会根据医生打开文件夹的请求将服务器内对应的图像路径、
图像名、之前的几次诊断结果返回给终端；
63.(3)医生标注完一张图像后服务器会接受终端上传的信息，将诊断结果写入服务器中；
64.(4)若第四次诊断结果与第三次相同或当前为第五次诊断结果，服务器会根据诊断标签修改对应图像名字、路径，同时终端用户也会修改图像名；
65.(5)眼底图像的最终命名结果为疾病种类、对应疾病体征加姓名，标注后的图像可以很方便的进行后续任务的使用。
66.表1：61种眼科疾病与对应的99种眼科疾病体征
67.表1-1：61种眼科疾病
[0068][0069][0070]
表1-2：99种眼科疾病体征
[0071]
[0072]