使用左右耳膜耳镜检查图像进行自动耳镜检查图像分析以诊断耳部病理的系统和方法与流程

背景技术：

1、耳部感染(特别是急性中耳感染(急性中耳炎))是最常治疗的儿童疾病，并且仅在美国就造成每年约2000万的就医次数。

2、耳部疾病是在于正确的时间诊断并且应用适当的治疗方法的情况下可容易治疗的一种疾病。否则，耳部疾病可导致听力损失或其他并发症。耳镜检查是用于检查耳道和耳膜(鼓膜，tm)[1,2]的最基本和最常见的工具中的一种。借助耳镜检查和临床特征，耳鼻喉科医生和儿科医生可诊断tm穿孔、胆脂瘤、急性中耳炎(aom)和慢性中耳炎(com)。然而，可能并不可能总是由经验丰富且技术精湛的医生进行检查。为了帮助缺乏相同耳镜检查经验的医生，计算机辅助诊断(cad)系统可能会很有用[3]。

3、大多数cad系统使用分类方法来确定中耳是否受感染[4-8]，因为中耳炎(om)是五岁以下儿童最常见的疾病中的一种[9,10]。由自动化cad系统将其他耳部疾病(诸如内陷、穿孔和鼓室硬化)分类为异常耳膜图像与正常耳膜图像[11-13]。除了分类方法之外，还存在在耳镜图像上对tm进行划分和分类的方法[14-16]。最近，通过选择某些耳镜检查视频帧并将它们拼接在一起而创建的合成图像也用于增加检测耳部病理的可能性[17,18]。2019年7月18日公布的美国pg专利公布号us2019/0216308 al是基于内容的图像检索(cbir)系统的示例，也是被设计来帮助医生的cad系统的良好示例，所述专利公布的全部内容通过引用并入[19]。

4、一般来讲，用于对耳膜进行划分和/或分割的用于tm分析的cad方法可汇集为两类：基于手工特征和基于深度学习。对于基于手工特征的方法，除了传统纹理方法之外，最常用的特征是基于颜色的信息[12,15,20-23]。基于颜色的信息很常见，因为正常耳膜案例和异常耳膜案例之间存在显著差异。基于深度学习的方法也比基于纹理的方法使用得更多，因为它通常更准确[4,24]。一项研究使用基于手工的方法和基于深度学习的方法两者对耳镜检查图像进行分类[7]。

5、然而，先前针对om异常的cad工作仅应用于单耳(即，右耳或左耳)tm图像。例如，lee等人提出了一种基于卷积神经网络(cnn)的方法，所述方法检测耳朵的侧面，但是此信息并未用于将成对图像(右耳和左耳)一起分类[25]。然而，在做出诊断之前，医生通常在体格检查期间检查双耳。

6、因此，期望克服本领域中的挑战的系统和方法，其中一些挑战如上所述。具体地，需要及时且准确的方法和系统来分析耳镜检查图像，以便正确地识别多种耳部病理中的任何耳部病理并对其分类。

技术实现思路

1、本文中，我们公开并描述比较图像组(来自右耳和左耳两者的图像)的自动耳镜检查图像分析系统和方法。所公开的系统和方法使用基于深度学习的特征和基于颜色的特征来对tm图像对进行分类。图像分类可包括例如‘正常-正常’、‘正常-异常’、‘异常-正常’或‘异常-异常’。为了提取基于深度学习的特征，可创建并使用查找表。使用图像预处理步骤来创建所述查找表。根据成对图像的标签分析所述成对图像的查找表值，以确定右耳值与左耳值之间的关联。此外，可使用基于颜色的特征的贡献来提高分类准确率。

2、本文公开和描述了用于根据对象的左鼓膜和右鼓膜两者的图像对鼓膜病理进行分类的方法、系统和计算机程序产品。描述和公开了用于以下的方法、系统和计算机程序产品：使用图像捕获装置捕获对象的左鼓膜和右鼓膜的一个或多个图像中的每一者的一个或多个图像；对所述对象的所述左鼓膜和所述右鼓膜的一个或多个所捕获图像执行预处理和数据增强，以创建所述对象的所述右鼓膜的合成图像和对应所述左鼓膜的合成图像，从而形成所述对象的耳膜图像对；提取来自所述耳膜图像对的特征；使用所提取特征形成所述耳膜图像对的特征向量；以及对所述耳膜图像对的病理进行分类。

3、另外的优点将在下面的描述中部分地阐述或者可通过实践来了解。这些优点将借助在所附权利要求中具体指出的要素和组合来实现和达到。应当理解，前述一般描述和以下详细描述均仅为示例性和解释性的而不是限制性的，如要求保护的那样。

技术特征：

1.一种根据对象的左鼓膜和右鼓膜两者的图像对鼓膜病理进行分类的方法，其包括：

2.如权利要求1所述的方法，其中所述特征向量具有两个部分，第一部分包括通过使用深度学习技术创建的基于查找表的值，并且第二部分包括通过记录成对耳膜之间的配准误差创建的手工特征、基于颜色的特征诸如l*a*b*色彩空间的a*分量和b*分量的柱状图，以及这些颜色通道的统计测量结果。

3.如权利要求2所述的方法，其中所述深度学习技术包括：基于迁移的学习。

4.如权利要求3所述的方法，其中所述基于迁移的学习包括：重新训练包括inceptionv3或resnet的深度学习网络。

5.如权利要求1至4中任一项所述的方法，其中所提取特征串接以形成单个特征向量。

6.如权利要求5所述的方法，其中对所述耳膜图像对的病理进行分类包括：通过treebagger分类器对所述单个特征向量进行分类。

7.如权利要求1至6中任一项所述的方法，其中预处理包括以下中的一者或多者：减少基于传感器的问题；选择所述一个或多个图像中的感兴趣区域；检测眩光效应(光反射)、耳垢、毛发、暗边和文本；以及创建所述一个或多个图像的副本，在所述副本中所述眩光效应、所述耳垢、所述毛发、所述暗边和所述文本从所述对象的所述右鼓膜的所述合成图像和对应所述左鼓膜的所述合成图像中减少或去除。

8.如权利要求1至7中任一项所述的方法，其中数据增强包括：水平地和垂直地反射所述一个或多个图像中的每一者；在0.7至2的范围内缩放所述一个或多个图像中的每一者；随机旋转所述一个或多个图像中的每一者；在0至45度的范围内水平地和垂直地剪切所述一个或多个图像中的每一者；以及在水平方向和垂直方向上在-30至30像素的像素范围内平移所述图像。

9.如权利要求1至8中任一项所述的方法，其中对所述耳膜图像对的病理进行分类包括：将每个耳膜分类为正常或异常。

10.如权利要求9所述的方法，其中与正常相对，所述异常包括急性中耳炎(aom)、中耳积液(非感染性液体)、胆脂瘤(耳中常见的破坏性皮肤囊肿)、耳膜穿孔和耳膜回缩中的一种或多种。

11.如权利要求1至10中任一项所述的方法，其中所述图像捕获装置捕获所述鼓膜中的每一者的一个或多个静态图像或者捕获所述鼓膜中的每一者的视频。

12.如权利要求10所述的方法，其中所述图像捕获装置包括：高分辨率耳镜或数字视频耳镜。

13.一种用于根据对象的左鼓膜和右鼓膜两者的图像对鼓膜病理进行分类的系统，其包括：

14.如权利要求13所述的系统，其中所述特征向量具有两个部分，第一部分包括通过使用深度学习技术创建的基于查找表的值，并且第二部分包括通过记录成对耳膜之间的配准误差创建的手工特征、基于颜色的特征诸如l*a*b*色彩空间的a*分量和b*分量的柱状图，以及这些颜色通道的统计测量结果。

15.如权利要求14所述的系统，其中所述深度学习技术包括：基于迁移的学习。

16.如权利要求15所述的系统，其中所述基于迁移的学习包括：重新训练包括inception v3或resnet的深度学习网络。

17.如权利要求13至16中任一项所述的系统，其中所提取特征串接以形成单个特征向量。

18.如权利要求17所述的系统，其中对所述耳膜图像对的病理进行分类包括：通过treebagger分类器对所述单个特征向量进行分类。

19.如权利要求13至18中任一项所述的系统，其中预处理包括以下中的一者或多者：减少基于传感器的问题；选择所述一个或多个图像中的感兴趣区域；检测眩光效应(光反射)、耳垢、毛发、暗边和文本；以及创建所述一个或多个图像的副本，在所述副本中所述眩光效应、所述耳垢、所述毛发、所述暗边和所述文本从所述对象的所述右鼓膜的所述合成图像和对应所述左鼓膜的所述合成图像中减少或去除。

20.如权利要求13至19中任一项所述的系统，其中数据增强包括：水平地和垂直地反射所述一个或多个图像中的每一者；在0.7至2的范围内缩放所述一个或多个图像中的每一者；随机旋转所述一个或多个图像中的每一者；在0至45度的范围内水平地和垂直地剪切所述一个或多个图像中的每一者；以及在水平方向和垂直方向上在-30至30像素的像素范围内平移所述图像。

21.如权利要求13至20中任一项所述的系统，其中对所述耳膜图像对的病理进行分类包括：将每个耳膜分类为正常或异常。

22.如权利要求21所述的系统，其中与正常相对，所述异常包括急性中耳炎(aom)、中耳积液(非感染性液体)、胆脂瘤(耳中常见的破坏性皮肤囊肿)、耳膜穿孔和耳膜回缩中的一种或多种。

23.如权利要求13至22中任一项所述的系统，其中所述图像捕获装置捕获所述鼓膜中的每一者的一个或多个静态图像或者捕获所述鼓膜中的每一者的视频。

24.如权利要求23所述的系统，其中所述图像捕获装置包括：高分辨率耳镜或数字视频耳镜。

25.一种非暂时性计算机程序产品，其包括存储在计算机可读介质上的计算机可执行代码部分，所述计算机可执行代码部分用于执行一种根据图像对鼓膜病理进行分类的方法，所述方法包括：

26.如权利要求25所述的计算机程序产品，其中所述特征向量具有两个部分，第一部分包括通过使用深度学习技术创建的基于查找表的值，并且第二部分包括通过记录成对耳膜之间的配准误差创建的手工特征、基于颜色的特征诸如l*a*b*色彩空间的a*分量和b*分量的柱状图，以及这些颜色通道的统计测量结果。

27.如权利要求26所述的计算机程序产品，其中所述深度学习技术包括：基于迁移的学习。

28.如权利要求27所述的计算机程序产品，其中所述基于迁移的学习包括：重新训练包括inception v3或resnet的深度学习网络。

29.如权利要求25至28中任一项所述的计算机程序产品，其中所提取特征串接以形成单个特征向量。

30.如权利要求29所述的计算机程序产品，其中对所述耳膜图像对的病理进行分类包括：通过tree bagger分类器对所述单个特征向量进行分类。

31.如权利要求25至30中任一项所述的计算机程序产品，其中预处理包括以下中的一者或多者：减少基于传感器的问题；选择所述一个或多个图像中的感兴趣区域；检测眩光效应(光反射)、耳垢、毛发、暗边和文本；以及创建所述一个或多个图像的副本，在所述副本中所述眩光效应、所述耳垢、所述毛发、所述暗边和所述文本从所述对象的所述右鼓膜的所述合成图像和对应所述左鼓膜的所述合成图像中减少或去除。

32.如权利要求25至31中任一项所述的计算机程序产品，其中数据增强包括：水平地和垂直地反射所述一个或多个图像中的每一者；在0.7至2的范围内缩放所述一个或多个图像中的每一者；随机旋转所述一个或多个图像中的每一者；在0至45度的范围内水平地和垂直地剪切所述一个或多个图像中的每一者；以及在水平方向和垂直方向上在-30至30像素的像素范围内平移所述图像。

33.如权利要求25至32中任一项所述的计算机程序产品，其中对所述耳膜图像对的病理进行分类包括：将每个耳膜分类为正常或异常。

34.如权利要求33所述的计算机程序产品，其中与正常相对，所述异常包括急性中耳炎(aom)、中耳积液(非感染性液体)、胆脂瘤(耳中常见的破坏性皮肤囊肿)、耳膜穿孔和耳膜回缩中的一种或多种。

35.如权利要求25至34中任一项所述的计算机程序产品，其中图像捕获装置捕获所述鼓膜中的每一者的一个或多个静态图像或者捕获所述鼓膜中的每一者的视频。

36.如权利要求35所述的计算机程序产品，其中所述图像捕获装置包括：高分辨率耳镜或数字视频耳镜。

技术总结
本文公开并描述了比较图像组(来自右耳和左耳两者的图像)的自动耳镜检查图像分析系统和方法。所公开的系统和方法使用基于深度学习的特征和基于颜色的特征来对TM图像对进行分类。图像分类可包括例如‘正常‑正常’、‘正常‑异常’、‘异常‑正常’或‘异常‑异常’。为了提取基于深度学习的特征，可创建并使用查找表。使用图像预处理步骤来创建所述查找表。根据成对图像的标签分析所述成对图像的查找表值，以确定右耳值与左耳值之间的关联。

技术研发人员：M·库尔坎,A·莫伯利
受保护的技术使用者：俄亥俄州创新基金会
技术研发日：
技术公布日：2024/1/15