用于识别眼部健康状况的系统和方法

用于识别眼部健康状况的系统和方法
【专利摘要】一种电子装置，包括处理器模块，其经配置和可操作用于处理图像数据，确定患者眼部的图像中是否有畸形的存在，以及产生相应的输出数据，所述的处理器模块包括：第一处理器，其经配置和可操作用于在图像数据中选择一包含了感兴趣的区域的图像，该感兴趣的区域包括患者两个眼睛中的至少一个的预设的眼部特征，所述第一处理器进一步经配置和可操作用于预处理图像以确定该图像是否适合于图像处理，并提供一指示所述图像的被确定的适合性的指示；一眼部特征检测模块，其经配置和可操作用于应用图像处理算法到合适的图像中以从一系列预设的参数中确定一个或多个眼部特征的参数，其中确定一个或多个眼部特征的参数包括确定合适的图像中瞳孔相关的像素的数量；以及一眼部健康状况识别模块，其经配置和可操作用于处理和分析所述一个或多个参数，以及产生指示图像中是否存在畸形的数据。
【专利说明】用于识别眼部健康状况的系统和方法

【技术领域】
[0001] 本发明通常地属于医疗设备领域，涉及一种用于识别人体眼部畸形例如斜视的设 备和方法。

【背景技术】
[0002] 斜视是两个眼睛间的视轴线对不准所致，并且是弱视（在一个眼睛上视觉敏锐度 降低）的主要原因，不能通过眼镜来改善。在西方国家，弱视是比其他导致儿童和青年眼睛 失明的原因更重要的原因。研究发现2%-4%的儿童在早期发生斜视。因此，如果能有效地 治疗，斜视和弱视的早期检测是必要的。随着年龄的增加，直到7或8岁，已知治疗技术的 有效性是减小的，其后失明是永久性的。世界范围内大量的医学团体，例如美国儿科学会， 建议如果不能更早，也不能晚于4岁进行视力筛查。然而，小于5岁的孩子很难筛查，并且 在美国这个年龄段的孩子中少于三分之一经历过视力测试。也有大量其他的情形可引起弱 视，这些情形包括屈光参差以及白内障引起的浑浊，其中屈光参差是两个眼睛晶体间的屈 光强度的差异。
[0003] 用于斜视的检测和诊断的传统测试是典型的人工测试，不得不由专业人员来实 施。这些人工测试包括海森堡测试（Hirschberg Test)和遮盖测试（Cover Test),并且由 眼科医生和斜视矫正师来实施。海森堡测试包含照射光到患者眼睛里，并视觉检查眼睛对 于来自眼角膜表面的反射光（浦肯野图像）的对称。遮盖测试包括遮住一只眼睛一段时间， 并且观察当患者注视着一具体目标时眼睛的运动。斜视和其他的情形也可通过布鲁克纳测 试（Bruckner Test)来检查，这也是一种人工（视力）测试。这些测试很难在不配合的患 者例如婴儿和小孩身上实行。一线的医务人员，例如一般的执业者和儿科医生，通常筛查斜 视患者，但是由于他们不是这些手动测试的专家，这会导致诊断不够或过度。
[0004] 已经做了很多尝试来开发技术以促进多种眼部疾病/畸形的确定。例如，美国专 利US7854509描述了一种筛查视力的设备和方法，其不需要从测试人员的口头输入或测试 人员在筛查期间保持在一固定位置。该设备包括一图像捕捉装置，至少一个测试光源，一包 括解释程序的处理单元，以及一显示器。该方法包括捕捉受测者眼部的图像，判定图像，研 究图像，对图像赋值，并显示结果。方便地，该设备和方法不需要对操作者进行特殊训练。


【发明内容】

[0005] 本领域需要新的技术用于多种眼部健康状况的简单、自动探测，例如斜视、屈光参 差、瞳孔不等以及眼癌和白内障。
[0006] 本发明提供根据权利要求1的一种装置。本发明的进一步可选择的实施方式和方 面在权利要求2以及下列等等权利要求中被描述。
[0007] 依照本发明的一个方面，提供用于对目标眼部具有畸形的眼部健康状况的完全自 动检测的装置和方法。该技术可用于识别儿童或婴儿或其他不配合使用检查程序的人的眼 部健康状况。该检查程序可以是简单和快速的，并且不需要熟练的专业操作者。此外，该检 查可利用人体眼部的单个图像的象征数据，这里图像可由典型地安装于手提电子装置上的 数码相机获得，例如手机装置、智能电话和手提电脑、PDA等。本发明的装置也可安装在用 于实现本发明而特别设计的数码相机或检眼镜上。
[0008] 用于诊断斜视的传统测试，例如海森堡测试，是手动测试，需要熟练的专业操作者 并且局限于中等到大幅度斜视的检测。当测试通常不配合的儿童/婴儿的眼部健康状况 时，该测试很不准确和可靠。一用于识别眼部健康状况的自动（计算机化）系统可提供更 准确的诊断，并且当患者不怎么配合时，可在很短的时间内提供至少初步的结果。
[0009] 本发明提供一种用于处理和分析图像数据的新方法，其能使得本发明的技术或处 理器牢牢嵌入任何电子装置，可以是个人电脑、便携式电脑或任何手持计算装置，例如智能 电话，便签簿、数码相机或检眼镜。该电子装置可利用安装在其上的照相单元来获取一张 或多张感兴趣的区域的图像，并提供图片数据，或者其可与外部照相单元或存储装置连接 (通过有线或无线信号传输）来接收来自那里的图像数据，因而以在线（实时）或离线检查 方式来操作。该电子装置经配置用于实施本发明，因而包括处理器模块，其经配置为软件应 用预设程序来接收和分析图像数据，并且也可包括或连接到输出模块（例如屏幕），用于为 操作者提供分析结果和其他指令。
[0010] 在下面描述的非限制实施例中，本发明的装置涉及一计算装置，其包括一结合到 该装置上的照相单元。然而，可以明白的是，本发明不限制于这样的完整装置配置，并且可 实现为一芯片或软件/硬件模块，其可嵌入任何电子或计算装置中，用于接收和处理图像 数据，电子或计算装置包括但不限于相机、智能电话、手机、检眼镜。
[0011] 在最简单的实施例中，本发明的电子装置结合了一照相单元（例如包含了照相单 元的手持式计算机装置），用户操作照相单元，通过使用闪光灯或其它光源以获取一幅或多 幅患者脸部的图像。图像数据被处理器接收，该处理器模块根据本发明预设了用于分析该 数据的程序，以识别患者的畸形眼部状况，并产生指示该状况的输出数据。最终，处理器模 块运行称作预处理的程序以在图像中识别感兴趣区域的存在和位置（例如患者的左眼和/ 或右眼区域），为了确定所述图像是否适于用于进一步的处理或另一幅图像是需要的。合适 的分区/区域包括了用于探测患者眼部一个或多个畸形状况所需要的眼部特征。这样的眼 部区域可例如包括瞳孔和与用于患者左眼和右眼中的至少一个的光源的反射有关的明亮 区域（从眼部表面反射的光可通常形成一浦肯野图像）。
[0012] 根据本发明的一宽的方面，提供一种手提电子装置，包括处理器模块，所述处理器 模块经配置和可操作用于处理图像数据，确定一个或多个指示患者眼部畸形的状况，以及 产生相应的输出数据，所述处理器包括：经配置和可操作用于在图像数据中选择一包括感 兴趣的区域的图像的第一处理器，其中感兴趣的区域包括患者两个眼睛中的至少一个的预 设的眼部特征；一眼部特征探测模块，其经配置和可操作用于对选定图像的感兴趣的区域 应用图像处理算法以从一系列预设的参数中确定一个或多个眼部特征的参数；以及一眼部 健康状况识别模块，其经配置和可操作用于处理和分析所述一个或多个参数，并产生指示 患者眼部健康状况的数据。
[0013] 眼部特征的一系列预设的参数可包括眼部特征中与几何形状、位置和色彩相关的 参数中的至少一个。这样的眼部特征的参数可包括以下中的一个或多个：至少一个眼睛 的瞳孔的位置；至少一个眼睛的浦肯野图像的位置，至少一个瞳孔的几何尺寸；至少一个 浦肯野图像的几何尺寸，两个眼睛的瞳孔的平均色彩以及两个眼睛的浦肯野图像的平均色 彩。
[0014] 感兴趣的区域是选定图像的一部分，选定图像包括左眼和右眼区域的至少一个， 以及优选的两个这些眼睛的区域。在选定图像中的感兴趣的区域也可以是包括至少一个相 应于预设图像状况的特征。这样的相应于预设图像状况的特征可包括一浦肯野图像。
[0015] 该装置优选包括一用于存储预设参考数据的存储器模块。预设参考数据包括指示 相应于脸部特征的像素值的第一参考数据，和指示相应于眼部特征的像素值的第二参考数 据。
[0016] 在本发明的一些实施方式中，第一处理器模块经配置和可操作用于通过处理图像 来实施图像的选择，该处理图像使用第一参考数据来获取所述图像中关于感兴趣的区域的 原始数据，其基于根据第一参考数据对图像中的像素进行分类和基于将像素归类到与感兴 趣的区域相关的不同的种类中实现的。
[0017] 在本发明的一些实施方式中，眼部特征探测模块经配置和可操作用于处理感兴趣 的区域，该处理使用第二参考数据来获取所述一个或多个眼部特征的几何形状和/或位置 和/或色彩等有关参数的初始值，其通过根据所述的第二参考数据分类感兴趣的区域内的 像素以及通过对与至少一个眼部特征相关的像素进行计数来实现。眼部特征探测模块可使 用一个或多个这样参数的初始值来重新分类与所述至少一个特征有关的像素，并加权所述 重新分类的像素的值。
[0018] 要确定的眼部特征包括在左眼和右眼区域中的至少一个中的至少一个瞳孔和浦 肯野图像。如上所述，眼部特征的参数可包括至少一个眼睛的瞳孔的位置；至少一个眼睛的 浦肯野图像的位置；至少一个瞳孔的几何尺寸；至少一个浦肯野图像的几何尺寸；和/或一 只或两只眼睛的瞳孔和/或浦肯野图像的平均色彩。
[0019] 在本发明的一些实施方式中，眼部健康状况识别模块经配置和可操作用于确定至 少两个眼部特征的参数间的关系，其中所述至少两个眼部特征涉及相同的眼部区域或不同 的眼部区域。
[0020] 在本发明的一些实施方式中，眼部健康状况识别模块确定右眼以及左眼的浦肯野 图像的中心和瞳孔中心的相对位置间的关系，并从预设值中识别所述关系的偏差。这样的 偏差指示了与斜视程度相一致的不对称度。该预设值可以是一左眼和右眼区域内相对位置 和左右瞳孔间的距离之间的区别的某个函数。
[0021] 在本发明的一些实施方式中，眼部健康状况识别模块以图像中的左、右眼区域中 的至少一个的瞳孔的中心与浦肯野图像的中心间的矢量距离的形式确定所述关系，并识别 所述关系与预设值的偏差。该偏差指示了所述至少一只眼睛的斜视状况。
[0022] 在本发明的一些实施方式中，眼部健康状况识别模块确定左眼和右眼区域的浦肯 野图像的半径间的关系，并识别所述关系与预设值的偏差，该偏差指示了屈光参差的状况。
[0023] 在本发明的一些实施方式中，眼部识别模块确定左眼和右眼区域的浦肯野图像和 /或瞳孔的像素的平均色彩间的关系，并识别所述关系与预设值的偏差。例如，通过一预设 值（阈值）得到的这样的偏差指示了屈光参差的状况。
[0024] 在本发明的一些实施方式中，眼部健康状况识别模块确定左眼和右眼区域的瞳孔 的像素的平均色彩间的关系，并识别所述关系与预设值的偏差，该偏差指示了在眼内眼癌 或白内障的存在。
[0025] 在本发明的一些实施方式中，眼部健康状况识别模块经配置和可操作用于确定左 眼和右眼区域内瞳孔半径间的关系，以及识别所述关系与预设值的偏差，该偏差指示了瞳 孔不等的状况。
[0026] 本发明的装置可配置为或合并入电话装置（例如智能电话）、PDA装置、个人电脑、 数码相机、备忘簿、便携式电脑或特殊设计的检眼镜。
[0027] 第一处理器模块可经设置和可操作用于处理图像数据及识别与患者眼部相一致 的选定图像中的图像数据片，提取要被眼部特征探测模块进行处理的所述图像数据片。
[0028] 处理器模块可经配置和可操作用于操作成像器（内部的或外部的）以产生包含有 一连串图像的图像数据，以通过第一处理器模块来选定合适的图像进行处理。在一些实施 方式中，处理器模块可选择地操作以产生一用于附加的图像的请求数据。
[0029] 在本发明的一【具体实施方式】中，图像数据的处理包括以下步骤：在选定的图像中 定位右眼和左眼区域；在与用于患者的右眼和左眼的浦肯野图像相一致的眼部区域中定位 一分区；确定用于右眼和左眼区域的浦肯野图像的几何尺寸；确定所述右眼和左眼的浦肯 野图像的几何尺寸间的关系，分析指示所述关系的数据并产生指示患者屈光参差状况的数 据。
[0030] 在本发明的一【具体实施方式】中，图像数据的处理包括以下步骤：在选定的图像中 定位右眼和左眼区域；定位与右眼和左眼区域的瞳孔相一致的分区；在与用于患者的右眼 和左眼的浦肯野图像相一致的眼部区域中定位一分区；确定用于右眼和左眼区域的与瞳孔 有关的浦肯野图像的相对位置；以及分析所述相对位置，并产生指示患者斜视状况的数据。
[0031] 根据本发明另一宽的方面，提供一手持电子装置，包括：一用于获取周围环境图像 和产生包含患者的至少一只眼睛的至少一幅图像的图像数据的帧接收器，一至少在图像获 取期间用于照亮所述周围环境的光源，以及一连接到所述成像器的处理器模块，其经配置 和可操作用于处理所述至少一幅图像，确定一个或多个指示患者眼部畸形的状况，并产生 相应的输出数据。
[0032] 根据本发明的进一步的方面，提供一种用于对某个或多个眼部健康状况进行非侵 害式筛查的方法，该方法使用一包括照相单元、处理器模块、存储器模块和用户接口模块的 手持式装置。该方法包括：
[0033] a.操作照相单元以提供指示由照相单元在离患者一定距离的地方获取的一个或 多个图像的图像数据，所述距离的范围从几厘米到几米，
[0034] b.处理所述图像数据以确定患者一只或两只眼睛的至少一幅图像的存在；
[0035] c.处理所述患者的一只或两只眼睛的至少一幅图像并确定包含在瞳孔图像和浦 肯野图像中的至少一个中的至少一个眼部特征的与位置、尺寸、和色彩等有关的参数中的 至少一个，并分析所述至少一个眼部特征的位置、尺寸、和色彩等参数中的至少一个与预设 阈值的关系；并
[0036] d.产生指示一个或多个眼部健康状况的存在或不存在的数据。
[0037] 根据本发明另一个宽的方面，提供一用于嵌入电子装置中的控制单元，所述控制 单元包括一用于连接到成像器的连接器模块，以及经配置和可操作用于处理从成像器接收 的图像数据和产生指示成像的患者眼部的一个或多个畸形状况的输出数据的处理器模块， 所述处理包括患者的右眼和左眼中至少一个的眼部特征的与几何形状、位置和色彩等有关 的参数中的至少一个的确定。
[0038] 根据本发明的进一步宽的方面，提供一种计算机程序产品，嵌入在非临时性的计 算机可存取介质上，并包括一计算机可读程序代码，其经配置和可操作用于处理与患者眼 部相应的图像数据，并产生指示一个或多个患者眼部畸形状况的输出数据，所述处理包括 患者右眼和左眼的至少一个中的眼部特征的与几何形状、位置和色彩等有关的参数中的至 少一个的确定。
[0039] 计算机程序产品可以在图像数据中选择一包括感兴趣区域的图像，感兴趣的区域 包含了患者双眼中至少一个的预设的眼部特征；将图像处理算法应用到选定图像中的感兴 趣的区域，以从一系列预设参数确定眼部特征的一个或多个参数；并且处理和分析所述一 个或多个参数并产生指示患者眼部健康状况的数据。最终，计算机程序产品获取指示与有 关的脸部特征和眼部特征相应的像素值的第一和第二参考数据。这些参考数据可存储在程 序可存取的外部存储器中，或实际上就是程序本身的一部分。该程序使用第一参考数据用 于处理图像以获取感兴趣的区域的初始值，其基于根据所述第一参考数据的对图像中的像 素进行分类和对与感兴趣的区域有关的不同种类的像素进行归类，因此，在图像数据中选 择一包括感兴趣的区域的合适的图像。然后，使用第二参考数据来处理选定的合适的图像 以获取眼部特征的所述至少一个参数的初始值，该获取是通过根据所述第二参考数据对感 兴趣的区域内的像素进行分类和通过对与至少一个眼部特征有关的像素进行计数实现的。
[0040] 根据本发明的另一个方面，提供一电子装置，包括一处理器模块，该处理器模块经 配置和可操作用于处理图像数据，确定一个或多个指示患者眼部畸形的状况，以及产生相 应的输出数据，所述的处理器模块包括：
[0041] 一第一处理器，其经配置和可操作用于在图像数据中选择一包含感兴趣的区域的 图像，感兴趣的区域包括患者双眼中至少一个的预设的眼部特征，所述的选择包括使用指 示与脸部特征相应的像素值的第一参考数据处理图像以获取所述图像中感兴趣的区域的 初始值，其基于根据所述第一参考数据对图像中的像素进行分类和对与感兴趣的区域相关 的不同种类的像素进行归类；
[0042] 一眼部特征探测模块，其经配置和可操作用于将图像处理算法应用到选定图像中 的感兴趣区域，以确定眼部特征中的几何形状和位置参数中的一个或多个，所述图像处理 算法的应用包括使用指示与眼部特征相应的像素值的第二参考数据以获取所述眼部特征 中几何形状和位置参数中的一个或多个的值，该获取是通过根据所述第二参考数据对感兴 趣的区域内的像素进行分类和通过对与至少一个眼部特征相关的像素进行计数实现的； [0043] 以及一眼部健康状况识别模块，其经配置和可操作用于处理和分所述几何形状和 位置参数中的一个或多个，以及产生指示患者眼部健康状况的数据。

【专利附图】

【附图说明】
[0044] 为了理解本发明并且为了弄清在实践中如何实现本发明，下面参照附图仅通过非 限制性的示例来描述一些实施方式，其中：
[0045] 图1是根据本发明的用于畸形眼部状况探测的电子装置的一个实施例的结构图；
[0046] 图2示出了本发明的手持装置是如何嵌入具有照相单元的便携式计算机或嵌入 照相单元本身，并用于畸形眼部状况的探测；
[0047] 图3A和3B例示了本发明的装置是如何嵌入到典型地包括数码照相单元或特别设 计的数码摄像头的电话装置中；
[0048] 图3C示出了本发明是如何嵌入和设计运行在一检眼镜设备中的；
[0049] 图4示例了本发明的用于畸形眼部状况的探测的方法；
[0050] 图5A到5F示出了根据本发明的图像处理技术的一个更具体的实施例，其中图5A 示出了图像处理方法的流程图，图5B到5F示出了在被处理的图像中先后探测到的多个特 征。

【具体实施方式】
[0051] 如上所述，识别多种眼部健康状况，尤其是对儿童和婴儿，是典型地需要高熟练专 业技术人员的复杂工作。当前使用的具体的测试，例如海森堡测试，仅能发现有限的眼部状 况及具有有限的准确度。额外的测试，包括了遮盖测试和布鲁克纳测试，被认为是一些健康 状况例如斜视的"黄金标准"测试，但是这些测试要求重要的技能和经验，尤其当对婴儿和 非常年幼的儿童进行测试时。
[0052] 本发明通过提供一种新技术解决了上述问题，该新技术能简单和完全自动化地识 别与眼部畸形相关的眼部健康状况，提供客观的和可参考的测试结果。本发明的技术可通 过计算机装置运行，可是手持的或非手持的，通过嵌入软件的计算机相应地输出图像数据。
[0053] 图1通过结构图例示了本发明的装置10,其配置和可操作用于畸形眼部状况的探 测。装置10配置为一控制单元（计算机装置），其包括配置用来接收和处理图像数据240 的处理器模块100,在那里本发明应用了图像处理技术。图像数据包括至少一幅包含了感兴 趣的区域的患者脸部图像。后者包括了患者的左右眼中的至少一个的预设的眼部特征，例 如左右眼的瞳孔，或左右眼中至少一个的瞳孔和浦肯野图像。
[0054] 如图中所示，装置10可包括一作为其组成部分的成像器，或者可连接外部成像 器。应该注意到，这里使用的词"成像器"既可以指照相单元本身，也可以是来自照相单元 的图像数据存储其中的存储装置。本发明的存储装置既可以与处理器成为整体，也可以是 处理器可存取的单独设置的装置。尽管在下面的描述中，这样的成像器被描述为一照相单 元，应当知道的是本发明的原理不限制于具体的实施例，并且成像器也可由存储装置组成。 假使使用外部成像器，图像数据240可通过通信网络来传输给处理器。
[0055] 图像数据240包括患者的单个图像，或者一系列静止图像。在本发明的一些实施 方式中，图像数据与预设的图像状况相一致，例如包括了与浦肯野图像相同的眼部区域特 征。最终，图像在从一点状的光源220例如闪光灯发出的光照亮患者脸部时被获得。闪光 灯光源220可与照相单元200连接为一整体，或者是一分离的单元。对于本发明的目的，图 像的获取不需要使用者/操作者经过专业的训练。为了应用本发明的图像处理技术，需要 的条件是图像包含了合适的感兴趣的区域，例如包含了患者的右眼和左眼的至少一个的图 像的区域。在下面将进一步描述的一些应用中，感兴趣的区域需要包括患者左右眼的图像。
[0056] 处理器模块100包括几个处理模块，其配置和可操作用于实现不同的功能。第一 处理器模块，被称作预处理器模块110,配置和可操作用于接收和处理图像数据，以及选择 一包含了感兴趣的区域的图像，也就是包含了患者双眼中至少一个的预设的眼部特征的图 像。第二处理器模块是一眼部特征探测模块120,其配置用于处理选定图像中的感兴趣的区 域（例如在那里应用一图像处理算法）以确定眼部特征的一系列预设参数/状况，其包括 一个或多个眼部特征的与几何形状、位置和色彩相关的参数，例如双眼的瞳孔，或左右眼区 域中至少一个的瞳孔和浦肯野图像。再一个的处理器模块是眼部健康状况识别模块130,其 配置和可操作用于处理和分析眼部特征的几何形状和/或位置和/或色彩的参数，并产生 指示眼部健康状况的输出数据。
[0057] 如图所示，装置10也可包括一用于与外部系统通信（例如通过网络）的通信模块 150,用户接口模块155,以及用于存储分析结果和/或要处理的图像数据以及用于预处理 和眼部特征探测的某些参考数据（路由表参数）的存储器160。该装置也可具有用于显示 图像本身和可能也提供结果的视觉显示的显示屏。应当理解，输入数据（参考数据和/或 图像数据）可以通过装置与外部存储系统通信来获取，以及分析结果可传输到外部存储系 统。
[0058] 本发明提供由眼部特征检测模块实施的图像处理技术，以及适于由任何已知的合 适的照相单元获取的单个图像。本发明也提供要被应用于其上的用于眼部特征检测的能实 现正确的图像选择的有效的预处理技术。预处理（位于图像中的眼部区域）和图像处理 (眼部特征检测）都基于指示在感兴趣的区域内的与不同特征相关的像素值（强度/色彩 度）的某种参考数据的使用，例如用于预处理目的的患者脸部特征和用于图像处理以及在 各自区域内对像素进一步进行分类和计数的目的的眼部区域。本发明的这些技术将在下面 进一步的更详细地进行描述。
[0059] 如上所述，本发明的技术消除了，或者至少实质上减少了，为了识别畸形眼部状况 对于受过训练的专业人员的需要。参考图2、3A_3B和3C，描述了本发明的装置（处理器）如 何被嵌入到与一外部照相单元相连的便携式计算机装置中或者嵌入到照相单元本身（图 2)，或者嵌入到典型地包括一内置照相单元的智能电话装置（图3A-3B)，或者嵌入到一设 置了照相单元的检视镜中。应当注意的是，操作者（使用者）被要求操作照相单元仅仅得 到一简单并且标准的图像，类似于日常的业余摄影一样。应该注意的是，这些非限制的实施 例示出了由照相单元组成的成像器，同时如上所述，用于本发明的目的，成像器也可以是一 存储装置。
[0060] 如图2所示，为了识别婴儿50的眼部健康状况，操作者，其可以是或不是经过训练 的专业人员，在"闪光模式"下操作照相单元200 (其不需要是专业相机），例如使用闪光灯 220来得到婴儿脸部区域55的一张或多张照相图像，该图像优选以患者脸部为中心或聚焦 点。最终，图像自根据照相单元的参数确定的合适的距离μ被获取。该距离μ可依据照相 单元所使用的镜头的焦距来变化；对于标准商业用途的照相单元，距离μ在25cm到300cm 之间。应当注意的是，为了操作者的便利，不需要将该距离定为一设定距离，距离有一范围 是优选地可被接受的。要处理的图像可以是静止图像或形成视频流的一系列的图像。然而 应当注意的是，对于本发明的目的，合适的眼部区域的单个图像的处理是足够的，并且实际 上，获取一系列图像的能力优选仅仅为了选择包括感兴趣区域的合适的图像，也就是该区 域包含需要的眼部特征。
[0061] 照相单元200包括一帧接收器（未示出），其获取周围环境的图像并产生指示包含 了一张或多张患者图像的图像数据240。该图像数据240可存储在存储卡中或照相单元内 部的或外部的任何其他存储器中，在线（实时）或离线（随后）传送给装置10。照相单元 可与计算机装置10通过有线或无线通信的方式通信，或者通过SD卡或类似的设备来转移 图像数据。设置在计算机装置10内的本发明的处理器接收和处理用于眼部畸形状况的检 测的图像数据，并以适当的格式将结果显示在计算机显示器上。
[0062] 应当明白的是，本发明的装置10可嵌入/安装在照相单元200内部。如此，可以 完全不用个人计算机，或仅用计算机来向其传送结果和在其上显示结果。
[0063] 图3A和3B示出了智能电话式的手持式电子装置10,包括一内置照相单元200和 闪光灯光源220,例如LED或氙气灯光源，并与本发明的处理器（未示出）安装在一起，存储 器和输入/输出接口 155 (例如触摸屏）也典型地包括在智能电话装置中。并且，电话装置 也可被配置用于无线网络通信。如图3B所示，要处理的图像，患者300的典型的肖像图像 可显示在屏幕上。图像可以是部分的肖像，仅仅显示患者的右眼和/或左眼。要被处理器 所识别的感兴趣的区域（眼部特征）也可在显示的图像上进行标记；这些可以是例如右眼 和左眼的瞳孔310和右眼和左眼的浦肯野图像320 (闪光灯的反射）的眼部特征。
[0064] 图3C示出了检眼镜装置10,其配置为本发明的电子装置。该检眼镜装置10典型 地具有一手持部80和一检查头82,并进一步包括一照相单元200,闪光灯光源220和按如 上所述进行配置的处理器模块100。照相单元200和闪光灯光源220可位于检查头82内， 同时处理器可位于手持部80或检查头82的任一个中，或其模块可分布在这两部分之间。应 当注意的是，尽管没有特别地示出，但是显示屏也可设置在80和82这两部分的任一个中， 适当的数据传输工具可用于与外部装置的数据传输，以获取参考数据和/或传输结果。 [0065] 因此，本发明的装置（例如处理器模块和可能地其连接的其中存储了预设参考数 据的存储器模块）可以计算机软件应用例如智能电话应用的形式嵌入到一手持式（或便携 式）计算机装置中。处理器模块可配置为在由用户激活时，提供指示给用户以通过使用闪 光灯获取患者脸部的图像，并且若检测到图像不包括感兴趣的区域，要求用户获取另一幅 图像，直到提供一合适的图像，然后处理各自的图像数据并输出结果。处理器模块可配置为 在运行中确定图像是否包含感兴趣的区域。也就是，处理器模块可配置为在使用者按下快 门来得到图像前，确定当前显示在取景器图像中的图像是否代表了合适的图像。典型地，取 景器图像在数码相机里显示给使用者，并且使用者可定位照相直到处理器确定取景器图像 是合适的图像，并将这指示给使用者。使用者可在那时获取该图像或者该图像可自动地由 装置在那一刻获取。
[0066] 参照图4,其示出了通过处理器模块（图1中的100)实施的本发明的方法的实施 例。
[0067] 开始，提供某个参考数据（或路由表）（步骤400)，包括指示了与患者脸部内不同 特征有关的像素值（强度/色彩度）的第一参考数据RD1，以及指示了与患者眼部区域内不 同特征有关的像素值（强度/色彩度）的第二参考数据RD2。例如，参考数据可包括典型的 用于多种皮肤类型（色彩）的初始色彩值（RGB值）的范围，典型的用于巩膜像素的RGB范 围，典型的用于瞳孔区域涉及的像素的色彩范围，等等。应当明白的是，参考数据是基于大 量测试图像事先生成的，并且一旦生成就存储起来以用于实际的测试。
[0068] 一输入图像数据由处理器接收（步骤402)，并且处理器模块运行其模块110来执 行预处理程序（步骤404)以在图像数据中选择一包含了感兴趣区域的图像，该感兴趣区域 包括患者双眼中的至少一个的预先确定的眼部特征，例如识别该图像数据是否包括恰好存 在左眼（LE)和右眼（RE)区域中的至少一个的图像，或者对于大多数应用，图像恰好都存在 左眼和右眼区域。在本文中，下面应该被注意：如在下面进一步描述的，大多数应用要求存 在于同一张图像中的患者的双眼的分析，但是有一些应用，其单独地分析一个选定的眼部 区域的图像是足够的。在下面的实施例中，我们提及患者的合适的图像，其包括了左眼和右 眼区域的合适的介绍，但应当知道的是，本发明不限于这种具体的实施例，并本发明的一般 原理可有效地用于单只眼睛可合适地成像的医疗应用，以及多种其他的畸形。
[0069] 输入图像数据可包括单个图像，在这种情况下预处理器模块分析该图像，并且假 如其不包含感兴趣的区域（合适的LE和RE区域），其产生获取另一张图像的请求数据（给 使用者，成像器或存储装置）。可替换地，图像数据可包括多张图像，在这种情况下预处理器 模块分析这些图像并选择"正确的"图像以用于进一步的处理。如上所述，在一些实施方式 中（对于一些医疗应用，例如斜视检测），合适的LE和RE区域是那些每个都包含了瞳孔区 域和浦肯野图像的区域。
[0070] 预处理程序是针对定位感兴趣的区域（合适的LE和RE区域）和产生指示其的数 据（步骤406)，例如通过在图像中标记这些区域或产生一仅包括这些区域的部分脸部的单 独的图像。最终，根据本发明，预处理器模块利用相应的参考数据（第一参考数据RD1)来 获取LE和RE区域的位置的初始数据，通过根据第一参考数据（脸部相关的特征）来对图 像中的像素进行分类，以及对与感兴趣的区域有关的不同种类的像素进行归类。这会在下 面进一步地更具体地被描述。
[0071] 一图像处理过程，针对用于具体的眼部健康状况的识别所需要的眼部特征的检 测，然后应用到选定图像中的选定（粗略地定位）的感兴趣的区域上（步骤408)。应当明 白的是，假使该测试引起了图像中所有需要的眼部特征的存在的检测，其可以进入眼部健 康状况的识别过程。
[0072] 该图像处理过程408具有两个阶段：第一阶段（步骤410)通过执行像素分类和计 算，利用相应的参考数据（第二参考数据RD2)来获取期望的眼部特征（例如LE和RE区域 中每一个的瞳孔和/或浦肯野图像）的一系列预先确定的参数中的参数的粗略值（rough values)，这会在下面进一步的更具体的被描述。考虑到斜视状况的检测，这些参数可包括 瞳孔的粗略的中心和粗略的尺寸。在这种情形下，图像处理的第一阶段引起了这些眼部特 征的检测，并且若非图像不得不被另一张图像所代替，处理过程则来到第二阶段。图像处理 过程的第二阶段（步骤412)以确定所述参数的准确值为目标，例如浦肯野图像的中心和半 径。应当注意的是，在一些实施方式中，为了检测某些眼部健康状况，该系统可利用一系列 预先确定的参数中的一个或多个参数的粗略值。
[0073] 应当注意的是，浦肯野图像，作为光源（典型地闪光灯）的映像，是相对明亮的并 可用作眼部内指示从照相单元（或邻近照相单元）到患者眼部的大致方向的参考点。瞳孔 关于浦肯野图像的位置指示了患者各自眼睛看向的方向（视线），并且两眼间的该特征的 区别可指示眼部的斜视状况。
[0074] 为了确定眼部特征的准确值，处理器（眼部特征检测模块）操作为在眼部区域内 对像素进行重新分类并处理和分析这个数据。更特别地，在本发明一非限制的实施例中，像 素的相对亮度用于确定浦肯野图像的中心和半径的准确参数值，然后该图像数据被处理以 从该图像中"移除"浦肯野图像（由另外的像素代替浦肯野图像像素）。这个过程可在下面 进一步的更特别地被描述。关于如此获得的眼部特征（例如瞳孔的中心、尺寸，瞳孔的平均 色彩）的参数的准确的数据用于确定眼部健康状况（例如斜视）_步骤414。
[0075] 因而，返回到图1，预处理器模块110配置和可操作为处理输入图像数据240,以选 中合适的图像作为包含了感兴趣的区域（包括期望的眼部特征）的图像，并且定位所述感 兴趣的区域，同时眼部特征检测模块120配置和可操作为在感兴趣的区域内识别和定位合 适的眼部特征。期望的眼部特征包括左眼和右眼区域的至少一个内的瞳孔和浦肯野图像中 的至少一个。要检测的眼部特征的预设的参数的设置由具体的应用来规定。例如，瞳孔和 浦肯野图像的几何和/或位置参数可用于斜视的检测，浦肯野图像有关的参数可用于屈光 参差状况的检测，瞳孔相关的参数可用于眼癌和白内障状况的检测。眼部健康状况识别模 块130分析指示了期望的眼部特征的至少一些被检测到的预设参数的数据，并产生指示畸 形状况的数据，如果有的话。
[0076] 如上所述，在本发明的一些实施方式中，眼部特征检测操作以定位每只眼睛的浦 肯野图像的中心及瞳孔的中心。在一些实施方式中，眼部特征检测模块也可确定瞳孔和浦 肯野图像的半径。确定的参数，以像素单元的格式，由眼部健康状况识别模块130接收和处 理。该模块配置和可操作为用于确定眼部特征参数之间的关系，并基于某个预设的模型分 析这种关系。例如，左眼区域的眼部特征参数与右眼区域相似的特征参数做对比。例如，眼 部特征参数之间的关系可以是患者左右眼之间的眼部特征的对称度。眼部之间的不对称可 指示了多种眼部畸形状况的存在。对称程度可通过分析左眼和右眼的瞳孔相对于浦肯野图 像的位置来确定。另外，对于某些应用，额外的两眼之间的对称有关的参数被确定，例如瞳 孔的几何尺寸，左眼和右眼的浦肯野图像的几何尺寸，及瞳孔或浦肯野图像中任一个的色 彩度。
[0077] -般来说，可由本发明的技术来确定的一组预设参数，包括下面的一个或多个：一 只或两只眼睛的浦肯野图像的中心，一只或两只眼睛的瞳孔的中心，一只或两只眼睛区域 内浦肯野图像的尺寸（半径），一只或两只眼睛区域内瞳孔的尺寸（半径），与一只或两只 眼睛区域内浦肯野图像有关的像素的平均RGB值，与一只或两只眼睛区域内瞳孔有关的像 素的平均RGB值。一个或多个这些参数，例如每只眼睛的瞳孔的半径，然后由眼部健康状况 识别模块使用以确定左眼和/或右眼区域内眼部特征间的关系，并识别患者眼睛内的畸形 眼部状况。对于对称状况的确定，从右眼瞳孔中心到右眼浦肯野图像的距离与左眼瞳孔中 心与左眼浦肯野图像间的距离之间的关系（区别）可被确定。这种关系优选计算为矢量区 另IJ，例如，分别沿着横轴和纵轴计算。
[0078] 下面是一些例子，示出了指示患者的眼部特征的数据如何能够被用来识别眼部健 康状况中的各种畸形。
[0079] 例如，斜视状况可通过确定右眼中浦肯野图像的中心的相对位置和瞳孔的中心之 间的关系（区别）及左眼中的上述关系，并识别这种关系是否明显地脱离了（在一预设的 阈值之上）正确的对称状况来检测，其中这种脱离被认为是不正常的。更特别地，在左眼区 域和右眼区域内这些位置之间的区别被确定，并且这种不同和左右眼瞳孔的中心间的距离 D (在像素单元内被计算）之间的关系被确定。典型地，如果这种区别超过D/200,这种脱离 被认为是有意义的，这被假定为指示了斜视。
[0080] 可选择的或额外的，为了确定各自眼睛的斜视状况，左眼区域的眼部特征和/或 右眼区域的眼部特征可分别（单独地）被分析。更特别地，瞳孔中心和浦肯野图像中心之 间的距离的绝对值适合于左眼或右眼区域沿着X轴（例如由左右眼瞳孔的中心之间的线定 义的轴）和/或沿着Y轴。如果这个距离没有满足关于左右眼瞳孔的中心之间的距离D的 预设条件，可认为指示了各自眼部的斜视。预设条件定义了瞳孔和浦肯野图像的中心间的 距离之间的关系，沿着X轴或Y轴被测量，以及左右眼瞳孔的中心间距离D的绝对值。考虑 到X轴距离计算，如果眼部区域内瞳孔的中心和浦肯野图像的中心间的距离超过D/80,或 者考虑到Y轴计算，如果眼部区域内瞳孔的中心和浦肯野图像的中心间的距离超过D/200， 各自的眼睛假定患有斜视。
[0081] 屈光参差状况可通过确定如左右眼区域的浦肯野图像的半径R1和Rr这样的眼部 特征来检测。如果这些半径R1和Rr值之间的关系不能满足一预设条件，例如R1>1. 25Rr 或Rr>l. 25R1，可以认为符合屈光参差状况。可选择的或额外的，屈光参差状况可通过确定 和分析如左眼和右眼各自的浦肯野图像中的亮像素的平均RGB值这样的眼部特征来识别。 应当注意的是，典型的RGB色标对于红（R)、绿（G)和蓝（B)色中的任一种都使用了 8位， 例如对每种颜色色标在0-255之间。如果不同眼睛间的这些值之间的关系不能满足一预设 条件，屈光参差被假定存在。指示这种畸形的典型的关系是：对于R色的平均值（左眼和右 眼之间的）中的一个比其他的明亮至少10倍，和/或对于G色的平均值中的一个比其他的 明亮至少8倍，和/或对于B色的平均值中的一个比其他的明亮至少8倍。如果一只眼睛 的R、G和B的平均值中的一个比其他眼睛的相应值明亮至少18倍，则这可能指示了屈光参 差，并且另外，更不通常地，眼睛患病了。应当理解的是，本发明的技术不限于RGB色标或其 他具体的色标，并且色彩度和色标阈值可随着具体的应用和用于图像数据处理的模型而变 化。
[0082] 至于左眼和右眼区域内的瞳孔的半径，这些眼部特征间的关系可指示了如瞳孔不 等这样的畸形。更特别地，如果左眼和右眼瞳孔半径值是严重不同的，例如一个比另一个大 得多，一个因素大于1.4,这被认为是畸形并且符合瞳孔不等的状况。
[0083] 因而，如果上述任何一个或多个状况被识别，系统输出一相应的结果，并可能地也 建议由一适当的执业者来进行进一步的测试。否则，系统输出一结果，其指示了眼睛是正常 的并且不需要进一步测试。因此，系统可输出与潜在的眼部健康状况有关的具有说明的"通 过/失败"结果，如果这样的状况被检测到。
[0084] 参考图5A到5F，示出了更具体但不限于本发明的技术的实施例。图5A示出了由 类似于图1示出的用于检测多种患者眼部畸形的装置执行的过程的流程图。应当再次注意 的是，照相单元或存储装置（一般地，一成像器），以及存储器，可以结合或没有结合到装置 10上。图5B到5F示意性地示出了处理技术的连续阶段期间识别的眼部特征。应当注意的 是，在图5A到5F的实施例中，图像中左眼和右眼区域的同时分析和比较分析被利用，而如 上所述，这并不是总是必需的。
[0085] 处理器接收图像数据（例如单个图像，在图5B中用500表示）并利用与参考数据 有关的脸部特征运行预处理过程，以识别图像中右眼区域和左眼区域的合适的存在（步骤 1210)。如果两个眼部区域被成功地检测（步骤1212)，处理过程基于与参考数据有关的眼 部特征继续处理这些区域的图像。然而，如果右眼区域和/或左眼区域中没有合适的图像 被检测到（步骤1214)，预处理器模块产生一相应的通知信息（步骤1228)，并针对连续的 图像重复步骤1210、1212、1214直到在图像中检测到合适的眼部区域。
[0086] 在本实施例中，预处理模块以下列方式操作以选择一包含了感兴趣的区域的图像 (眼部区域）。预处理模块使用涉及脸部特征的参考数据，脸部特征如典型的多种皮肤的像 素色彩度，典型的巩膜像素的RGB范围，典型的瞳孔像素的色彩度范围等等。例如RGB值大 约为200、150、120各自地可以是典型的白肤色人的脸部颜色，而RGB值为170、120、80是典 型的暗肤色人。巩膜像素可具有200、210、205的RGB值，而瞳孔像素可具有大约30、18、13 的RGB值。这些参考数据从在某种条件下获取的成千上万张图片的大量数据中获得，例如 普通成像条件在"闪光"模式下获取，或一般来讲，参考数据是基于在与实际测试相似的条 件下获取的图像。最终，预处理器模块可操作用于围绕着垂直中线将图像划分为两半，并分 别处理每一半以检测合适的右眼区域或左眼区域的每一个。
[0087] 通过使用上述已知的从参考数据中获取的RGB值，接收到的图像中的像素被归类 到代表多种脸部特征例如"皮肤像素"（种类A)、"巩膜像素"（种类B)、"瞳孔像素"（种类 C)和"其他像素"（种类D)的像素组中。这种分类是粗略的：例如，皮肤湿润部分的像素可 能错误的被归类到巩膜有关的种类里，因为这样的皮肤是发亮的。
[0088] 这种粗略的分类用作测试图像是否可接受以用于进一步的处理。如果，在图像的 任何一半中，皮肤相关的像素的数量降到一预设阈值（典型地在图像的一半中像素数量的 1/3)以下，或者巩膜相关的像素的数量在某个阈值（典型地图像各自的一半中像素的数量 的1/500和1/1000)以上或以下，或者瞳孔相关的像素的数量在的阈值（典型地图像各自 的一半中像素的数量的1/100和1/10000)以上或以下，那么图像被认为是不可接受的。相 应地，一相应的通知会产生（例如显示给操作者），指示操作者或程序来变换到另一张图像 或从成像器获取另一张图像。
[0089] 像素分类可基于不同种类的像素的相对位置来判定。更特别地，分类为瞳孔相关 的以及也可能是虹膜相关的像素，应当在分类为巩膜的像素的附近。
[0090] 感兴趣的区域（眼部区域）的粗略位置通过与眼部区域的不同部分/特征相关联 的所有邻近像素的归类和计算来确定为包含N个像素的一组，眼部区域例如是在图5C中用 502和504表示的瞳孔区域和巩膜区域。这个像素组的加权中心被计算出来，并且矩形506 围绕着该如此获得的中心被画出。其中该矩形的宽度是其高度的四倍大，并覆盖了像素 N 的数量的四倍大的面积。
[0091] 优选地，像素在矩形506内使用上述的分类技术、基于眼部区域的不同特征的像 素的RGB值来重新分类。更特别地，在每个眼部区域内，像素的计算通过它们的RGB值来执 行，考虑到在一典型的眼部区域中，RGB值大约为200、200、200的涉及巩膜像素，RGB值大约 为30、15、15的涉及睫毛或瞳孔像素。应当明白的是，这些值，以及下面提及的相似的值，并 不是参考数据的限制性实施例。
[0092] 并且，对于本发明的目的或至少一些实施方式的目的，要选择为成功的/合适的 眼部区域（步骤1212)包括一浦肯野图像508。为了这个目的，最亮的像素在每个矩形（眼 部区域）中被识别为定义该浦肯野图像，例如闪光映像，其具有色彩变化的限制公差（例如 RGB值是254, 252, 250的像素具有±4的公差）。
[0093] 如上所述，在识别和定位合适的眼部区域上，处理器进入基于与参考数据有关的 眼部特征的实际图像处理过程，以确定眼部特征的该组预设参数的一个或多个参数-步骤 1220。考虑到实施方式需要浦肯野图像检测，处理器操作来计数涉及浦肯野图像508的选 定的（最亮的）像素的数量M，并计算出浦肯野图像的加权中心以考虑浦肯野图像的粗略 的中心。然后，浦肯野图像的粗略半径（足够大能覆盖浦肯野图像）被确定为浦肯野图像 像素数量Μ的平方根，并且一划定的正方形区域510被定义，其具有是该半径的两倍大的边 长。
[0094] 这些浦肯野图像的中心和半径参数的粗略值用于达到更真实的值，如下所述：在 正方形510中，根据关于浦肯野图像像素（种类ΡΑ)、浦肯野边界像素（种类ΡΒ，典型地具 有介于非常亮和非常暗之间的中间值）和其他像素（种类PC)的典型值的相应的参考数据 对像素进行重新分类。通过使用浦肯野边界像素的亮度作为重量，更准确的浦肯野图像的 加权中心512被计算出来。当计算出加权中心时，明亮像素（种类PA)计数为一个像素；中 间像素（种类PB)计数为小于一个像素，与其有多亮成比例。因此，在全亮和全暗之间的中 间的像素可计数为半个像素。像素单元中最新计算出的中心可以是或可以不是整数。类似 地，根据亮度进行的浦肯野图像像素的分类（与完全亮度成比例）用于确定浦肯野图像的 准确半径。这个半径Rp确定为浦肯野图像像素的数量除以η的平方根；像素单元中浦肯 野图像的半径可以不是整数值。
[0095] 然后，每只眼睛的瞳孔区域的中心定位在矩形区域506。最终，浦肯野图像从矩形 506中移除。因而处理器可操作来对矩形区域506做一拷贝，并处理图像以从那里移除浦肯 野区域，以及由涉及瞳孔的像素代替各自的像素。现在，与由浦肯野图像覆盖的面积有关的 像素被赋值为RGB值，其是相邻的其他眼部像素的加权平均值：每个"被擦除的"像素赋值 为浦肯野图像外最近的像素的RGB值，导致由瞳孔和虹膜区域502和514对浦肯野图像的 粗略替换。这样的眼部区域506'（例如具有移除的浦肯野区域508)的像素通过使用相应 的参考数据被重新分类为相应于瞳孔502、虹膜514、巩膜504和如上所述的其他区域（包 括皮肤、睫毛等）。
[0096] 更特别地，眼部区域内的暗像素被分类为瞳孔相关像素，在RGB值大约是 12, 12, 12周围每个RGB值具有±8的公差，并且这些像素的数量K被确定。然后，这些暗像 素的加权中心被确定并被认为是瞳孔的粗略中心，以及瞳孔的粗略半径，其足够大以覆盖 瞳孔区域，被确定为与瞳孔相关的像素的数量K的平方根；并且一具有两倍于该半径的边 长的正方形被用于进一步的分析。随后针对确定瞳孔中心和半径的真实值，包括像素的重 新分类和计数。这个重新分类包括像素划分为"瞳孔像素"（典型地非常暗），"瞳孔边界像 素"（典型地具有有轻微亮度值）和"其他像素"。通过使用这种分类计算出加权中心，这里 瞳孔边界像素被给出与它们的暗度成比例的权重。这个结果被认为是每只眼睛中瞳孔的真 实中心（在像素单元中其可以是或可以不是整数）。瞳孔的真实半径基于瞳孔像素和瞳孔 边界像素的分类被计算出。瞳孔的半径被计算为瞳孔像素数量除以η的平方根。类似地， 像素单元内的半径值可以不是整数。
[0097] 如上所示，如果在眼部特征检测阶段1220中一个或多个必须的特征不能合适地 被确定（步骤1224)，产生一适当的通知（步骤1228)以请求另一图像数据，并且眼部特征 检测阶段会重复直到所有必须的特征都被成功检测到（步骤1222)。应当注意的是，处理器 可配置为在特征检测过程中错误的数量达到一阈值时停止整个过程。在这一情况下，系统 产生一错误通知给操作者，其声明在提供给系统的数据图像上无法进行分析。
[0098] 指示检测到的眼部特征的数据由眼部健康状况识别模块进行处理，以便确定一个 或多个畸形例如眼睛的斜视状况的存在及可能地程度（步骤1226)。参考图4,如上所述， 这一过程包括确定计算出的眼部特征参数间的一个或多个关系，和/或眼部特征参数和左 右眼瞳孔的距离之间的关系，等等。根据一些实施方式，与上述描述的相比，大于一个的畸 形能够被检测出来（步骤1230)。眼部健康状况识别模块可识别相应于正常眼部健康状况 的眼部特征（步骤1234)，并产生一合适的通知（步骤1238)。如果任何畸形眼部状况被检 测到（步骤1232)，系统产生相应的通知，其优选地包括与发现的眼部健康状况相关的具体 细节（步骤1236)。
[0099] 这里公开的方法和装置主要处理患者的数字图像，其通常地包括一只或两只眼睛 以及面部的重要部分。对于那些数字图像，期望的是，提供一只或两只眼睛的大部分的清晰 的图像，以及光-通常是相机闪光灯-在每只眼睛内的映像（浦肯野图像）。如果数字图像 是清晰的和充分照亮的，这里公开的方法和装置执行的分析将变得更简单。
[0100] 对于大多数使用者，使用数码相机来得到一图片是没有困难的，因为其依赖非常 普通的大多数成年人都具有的摄影技术。然而，确认图片符合所有的标准以便使其在这里 公开的方法和装置中容易处理是不易被使用者确定的。此外，这样的标准不容易由使用者 快速确定。当患者是孩子或婴儿是尤其如此，并且因此，在孩子或婴儿在处理过程中失去耐 心前，快速地确认是否需要额外图像是重要的。
[0101] 再次返回到前述的预处理过程，图像的确认可用于在正好获得的图像上给使用者 快速的反馈。这允许使用者几乎立即了解获取的图像是否适于分析，并且如果不适于，在被 要求获取一可替代的图像后获取可替代的图像。这减少了使用者需要获取的图像的数量， 因为在已知的系统中，用户没有关于图像是否是适合的指示，为了确信，使用者会获取大量 的图像以希望有一张是合适的。尽管那样，不一定的是，在大量图像中，一张满足标准的图 像已经被获取，其会导致无效的测试并且随后需要获取一可替代的图像。
[0102] 另外，确认可用于在图像由使用者获取之前，在取景器图像上给使用者以反馈。如 果图像或者取景器图像通过了确认，其可确定为如前述一样适于分析。否则，使用者可获得 反馈，该反馈用来解释另一图像是必须的，或者取景器图像不适于图像处理，以及为什么。
[0103] 如果处理涉及已经获取的图像，反馈可包括显示在装置的显示器上的弹出框，通 知使用者来获取一可替代的图像。如果处理涉及取景器图像，反馈可包括一当前的取景器 图像不合适的指示。当取景器图像合适时，该指示可改变来命令使用者获取该图像。例如， 当取景器图像不合适时，该指示可以是红灯，以及当取景器图像合适时，该指示是绿灯。
[0104] 因此，确认过程配置为输出一代码，其要么指示"成功"，即，获取的图像或取景器 图像适于分析，要么指示"失败"，这可以是下面中的一个或多个：
[0105] "失败-不是双眼"。这种输出通过这里公开的方法和装置产生，如果双眼需要随 后的分析，以及处理过程确定双眼不存在。这种输出可通过解释了图像中看不到双眼的信 息提交给使用者。
[0106] "失败-焦点未对准"。这种输出通过这里公开的方法和装置产生，如果处理过程 确定获取到的图像或取景器图像的焦点在用于随后图像的分析所需要的阈值以下。这种输 出可通过解释了应该确定下张图像的焦点对准了的信息来提交给使用者。
[0107] "失败-脸部太小"。这种输出通过这里公开的方法和装置产生，如果处理过程确 定患者脸部的尺寸低于用于随后图像的分析所需要的阈值。这种输出可通过命令他们移动 相机单元靠近患者或进一步放大的信息来提交给使用者。
[0108] "失败-脸部倾斜"。这种输出通过这里公开的方法和装置产生，如果处理过程确 定患者脸部不能直接地看进照相单元，但是成角度远离照相单元。这种输出可通过解释了 在下一张图像或取景器图像中患者的脸部应该是直的而不是倾斜的信息来提交给使用者。
[0109] 确认可通过使用下面的决定做出过程来实行，其是实施例并显示了用于分析需要 的双眼的过程：
[0110] ?如果在确认期间没有发现眼睛，分析停止并且确认过程输出"失败-没有双眼" 的代码。
[0111] ?如果在确认期间仅仅发现了一只眼睛，分析停止并且确认过程输出"失败-没有 双眼"的代码。
[0112] 如果在确认期间多于两只眼睛被发现，则分析停止并且确认程序输出"失败-没 有双眼"的代码。例如，如果两个人出现在图像中，他们的脸靠近在一起，这可会发生。
[0113] ?如果在确认期间，发现的眼睛比预设最小阈值尺寸还要小，分析停止并且确认程 序输出"失败-脸部太小"的代码。例如，如果照相单元离患者太远，这能够发生。
[0114] ?如果，在确认期间，发现的眼睛在相对垂直位置上具有的区别比阈值大，分析停 止并且确认程序输出"失败-脸部倾斜"代码。在相对垂直位置上的区别可由眼睛与图像 水平轴之间的连线的角度来确定。例如阈值可以是，从20度到40度之间的范围。在一具 体的实施例中，阈值是30度。例如，如果患者脸部倾斜地放置，或者如果当拍摄相片时使用 者没有充分地径直地拿住相机，这可能发生。
[0115] ?如果，在确认期间，在每只眼睛中光线反射的尺寸比一预设的最大阈值尺寸大， 分析停止并且确认程序输出"失败-焦点未对准"的代码。如果眼睛瞳孔间的距离给定为 d,最大阈值尺寸可以例如是从d/75到d/85之间的范围。在一具体的实施例中，最大阈值 尺寸是d/80。典型地，这是因为，当图像有点没有对准焦点时，反射会从很小的清晰圆变得 更大、模糊和有斑点。
[0116] ?如果确认在任何其他阶段失败了，分析停止并且确认程序输出"失败-没有双 眼"代码。
[0117] 可能的是，正常的人，例如没有眼部畸形的人，在一些图像中会出现斜视。这可能 是因为上述的患者图像的分析是基于对称，并且对称依赖于患者向前直线看和尝试聚焦在 相机上。如果患者在获取图像前目光散漫，即使当患者并非斜视时，其仍然可能表现为斜 视。
[0118] 为了克服这个缺点，分析可被扩大，以致仅仅需要一幅图像的一个"通过"指示就 可使患者通过，例如，确定患者没有斜视，但对装置而言需要不同图像的多个"失败"指示才 可以返回"失败"给患者，例如，确定患者是斜视的。这可以在下面提供的实施例方法中实 现。
[0119] ?如果由眼部健康状况识别模块进行的分析确定图像（或相片）指示了正常的眼 睛（例如不存在斜视），图像是通过的并且患者也是通过的。给使用者的输出提示使用者不 需要进一步的动作。
[0120] ?否则，系统增加相应于对于特殊患者的失败数量计数。在确定患者是否有斜视的 情况下，计数代表了患者"看起来斜视的"的图像数量。只要该计数低于阈值，装置配置为 指示使用者应该获取另一幅图像。阈值可以是从2到5的范围，并且，在具体的实施例中， 可以是3。
[0121] ?装置配置为在任意时间当分析确定任何图像通过时，使患者通过。
[0122] ?装置配置为如果患者的失败数达到阈值，则使患者不通过。
[0123] 因此，患者仅仅靠一张图像可被认为是正常的，但是斜视患者-通常少数的患 者-在装置可靠地确定患者可能需要进一步的测试前，将不得不获取3张图像。
[0124] 因此，本发明提供一种全自动、简单和有效的患者眼部健康状况中多种畸形例如 斜视的检测的新颖的技术。本发明可用作计算机嵌入软件，其操作于任何计算系统/电子 装置，该计算系统/电子装置连接到用于产生图像数据的照相单元或与照相单元结合为整 体以接收图像数据。这样的计算系统或电子装置可以是个人电脑，便携式电脑，或任何其他 手持式电脑装置，例如智能电话，便签簿，PDA等。本领域技术人员将容易地明白，多种修正 和改变可应用到上文中描述的本发明的实施方式中，没有脱离附属的权利要求所定义的范 围。
【权利要求】
1. 一种电子装置，包括处理器模块，其经配置和可操作用于处理图像数据，确定患者眼 部的图像中是否存在畸形，以及产生相应的输出数据，所述的处理器模块包括： 第一处理器，其经配置和可操作用于在图像数据中选择包含了感兴趣的区域的图像， 感兴趣的区域包括患者两个眼睛中的至少一个的预设的眼部特征；所述第一处理器进一步 经配置和可操作用于预处理图像以确定该图像是否适合于图像处理，以及用于提供确定的 图像的适合性的指示； 眼部特征检测模块，其经配置和可操作用于应用图像处理算法到合适的图像中以从一 系列预设的参数中确定一个或多个眼部特征的参数，其中确定一个或多个眼部特征的参数 包括确定合适的图像中瞳孔相关的像素的数量；以及 眼部健康状况识别模块，其经配置和可操作用于处理和分析所述一个或多个参数，以 及产生指示图像中是否存在畸形的数据。
2. 如权利要求1所述的装置，进一步包括一用于获取图像数据的照相装置。
3. 如权利要求1或2所述的装置，其中，所述处理器模块经配置用以：确定所述图像是 否包括双眼，并且如果所述图像包括少于两只眼睛，提供否定的指示。
4. 如权利要求1-3中任一所述的装置，其中所述处理器模块经配置用以：确定所述图 像是否包括双眼，并且如果所述图像包括多于两只眼睛，提供否定的指示。
5. 如前述任一权利要求所述的装置，其中，所述处理器模块经配置用以：确定所述图 像中是否包含患者的眼睛及所述图像中眼睛的尺寸，并且如果所述图像中的眼睛具有比预 设阈值小的尺寸，提供否定的指示。
6. 如前述任一权利要求所述的装置，其中，所述处理器模块经配置用以：确定所述图 像中第一眼睛和第二眼睛的相对垂直位置，并且如果第一眼睛和第二眼睛的相对垂直位置 比预设阈值大，提供否定的指示。
7. 如权利要求6所述的装置，其中，所述相对垂直位置基于所述第一眼睛和所述第二 眼睛与所述图像的水平轴之间连线的角度来确定，并且其中所述阈值在20度到40度的范 围。
8. 如前述任一权利要求所述的装置，其中，所述处理器模块经配置用以：确定所述图 像是否包括组成浦肯野图像的一部分的光映像以及所述光映像的尺寸，并且如果所述光映 像的尺寸大于预设阈值，提供否定的指示。
9. 如权利要求8所述的装置，其中，所述处理器模块经配置用以确定第一眼睛的瞳孔 和第二眼睛的瞳孔之间的距离d，并且其中所述阈值的范围是d/75到d/85。
10. 如前述任一权利要求所述的装置，其中，所述眼部健康识别模块经配置用以：如果 所述图像中没有指示畸形的数据存在，则通过所述图像，如果所述图像中存在指示畸形的 数据，则失效所述图像。
11. 如权利要求10所述的装置，其中，所述眼部健康识别模块经配置用以：如果一张图 像被通过，产生指示患者眼部不包含畸形的数据。
12. 如权利要求10或11所述的装置，其中，所述眼部健康识别模块经配置用以：如果 患者的失效图像的数量大于或等于预设阈值，产生指示患者眼部具有畸形的数据。
13. 如前述任一权利要求所述的装置，其中，所述图像包括获取的图像，并且其中，如果 所述图像不合适，所述处理器模块经配置用以给使用者产生获取一可替代的图像的请求。
14. 如权利要求1-13中任一所述的装置，其中，所述图像包括在获得获取的图像之前 显示给使用者的取景器图像，其中，所述处理器模块经配置用以在获得获取的图像前产生 所述取景器图像是否合适的指示。
15. 如权利要求14所述的装置，其中，所述处理器模块进一步经配置用以：如果所述取 景器图像被确定为合适的，操作相机来获取图像。
16. 如前述任一权利要求所述的装置，其中，所述一系列眼部特征的预设参数包括与几 何结构、位置和色彩有关的眼部特征参数中的至少一个。
17. 如前述任一权利要求所述的装置，包括用于存储指示相应于脸部特征的像素值的 预设的第一参考数据的存储器模块。
18. 如前述任一权利要求所述的装置，包括用于存储指示相应于眼部特征的像素值的 预设的第二参考数据的存储器模块。
19. 如前述任一权利要求所述的装置，其中所述感兴趣的区域包括浦肯野图像。
20. 如权利要求17-19中任一所述的装置，其中所述第一处理器模块经配置和可操作 用于通过处理图像来执行所述选择，其使用第一参考数据来获取关于所述图像中的所述感 兴趣的区域的粗略数据其中所述获取基于根据所述第一参考数据来对所述图像中的像素 进行分类以及基于对与所述感兴趣的区域相关的不同种类的像素进行分组来实现。
21. 如权利要求17-20中任一所述的装置，其中所述眼部特征检测模块经配置和可操 作用于处理所述感兴趣的区域，其使用所述第二参考数据来获取所述眼部特征的所述一个 或多个参数的粗略值其中所述获取通过根据所述第二参考数据对所述感兴趣的区域内的 像素进行分类以及通过对与至少一个眼部特征有关的像素进行计数来实现。
22. 如权利要求21所述的装置，其中所述眼部特征检测模块经配置和可操作用于：使 用眼部特征的所述一个或多个参数的粗略值，重新分类与所述至少一个眼部特征相关的像 素，以及加权所述重新分类的像素的值。
23. 如前述任一权利要求所述的装置，其中所述感兴趣的区域包括患者的左眼和右眼 区域。
24. 如权利要求19-23中任一所述的装置，其中所述感兴趣的区域包括左眼和右眼区 域中的至少一个中的瞳孔和浦肯野图像中的至少一个。
25. 如权利要求24所述的装置，其中所述眼部特征的一个或多个参数包括下列中的至 少一个：至少一只眼睛的瞳孔的位置；至少一只眼睛的浦肯野图像的位置；至少一个瞳孔 的物理尺寸；至少一个浦肯野图像的物理尺寸；双眼的瞳孔的平均色彩；以及双眼的浦肯 野图像的平均色彩。
26. 如权利要求25所述的装置，其中所述眼部健康状况识别模块经配置和可操作用于 确定至少两个眼部特征的参数值之间的关系，其中所述至少两个眼部特征涉及相同的眼部 区域或不同的眼部区域。
27. 如权利要求26所述的装置，其中所述眼部健康状况识别模块经配置和可操作用于 确定右眼和左眼中浦肯野图像的中心与瞳孔区域的中心的相对位置之间的关系，以及识别 所述关系与预设值间的偏差，其中该偏差表示了与斜视程度相一致的不对称度。
28. 如权利要求27所述的装置，其中所述的预设值是左眼和右眼区域内的所述相对位 置的区别与左右眼瞳孔间的距离的某个函数。
29. 如权利要求26所述的装置，其中所述眼部健康状况识别模块经配置和可操作用 以：以所述图像中的左、右眼区域中的至少一个中的瞳孔的中心与浦肯野图像的中心间的 矢量距离的形式确定所述关系，以及通过预设值来识别所述关系的偏差，其中该偏差指示 了所述至少一只眼睛的斜视状况。
30. 如权利要求26-29中任一所述的装置，其中所述眼部健康状况识别模块经操作和 可配置用以：确定左眼和右眼区域的浦肯野图像的半径间的关系，以及通过一预设值来识 别所述关系的偏差，其中该偏差指示了屈光参差的状况。
31. 如权利要求26-30中任一所述的装置，其中所述眼部健康状况识别模块经配置和 可操作用以：确定左眼和右眼区域的浦肯野图像和瞳孔分区中的至少一个的像素的平均色 彩间的关系，以及识别所述关系与预设值的偏差。
32. 如权利要求31所述的装置，其中所述关系与预设值的所述偏差指示屈光参差的状 况。
33. 如权利要求26-32中任一所述的装置，其中眼部健康状况识别模块经配置和可操 作用以：确定左眼和右眼区域内瞳孔半径间的关系，以及识别所述关系与预设值的偏差，其 中该偏差指示了瞳孔不等的状况。
34. 如前述任一权利要求所述的装置，其中所述图像数据的所述处理包括： (a) 在选定的图像中定位右眼和左眼区域； (b) 在与用于患者的右眼和左眼的浦肯野图像相一致的眼部区域中定位一分区； (c) 确定用于右眼和左眼区域的浦肯野图像的几何尺寸； (d) 确定所述右眼和左眼的浦肯野图像的几何尺寸间的关系； (e) 分析指示所述关系的数据并产生指示患者的屈光参差状况的畸形是否存在于所述 图像中的数据。
35. 如前述任一权利要求所述的装置，其中所述图像数据的所述处理包括： (a) 在选定的图像中定位右眼和左眼区域； (b) 定位与右眼和左眼区域的瞳孔相一致的分区； (c) 在与用于患者的右眼和左眼的浦肯野图像相一致的眼部区域中定位一分区； (d) 确定用于右眼和左眼区域的与瞳孔区域有关的浦肯野图像的相对位置；并 (e) 分析所述相对位置，并产生指示患者的斜视状况的畸形是否存在于所述图像中的 数据。
36. 如前述任一权利要求所述的装置，包括一帧接收器，其用于获取周围环境图像以及 产生要由处理器处理的图像数据。
37. 如权利要求36所述的装置，包括一光源，其用于至少在用所述帧接收器获取图像 的期间照亮所述周围环境。
38. 如前述任一权利要求所述的装置，配置为下列中的一个：照相单元，电话装置，便 携式计算机，便签簿，PDA，检眼镜工具。
39. -种用于确定患者眼部的图像中是否存在畸形的方法，该方法使用一具有处理器 模块的电子装置，所述处理器模块经配置和可操作用于处理图像数据，确定患者眼部的图 像中是否存在畸形，以及产生相应的输出数据，所述的方法包括： 所述处理器模块接收图像数据，所述图像数据代表了一幅或多幅图像， 通过所述处理器模块处理所述图像数据，以在所述图像数据中选择包含了感兴趣的区 域的图像，其中所述感兴趣的区域包括患者双眼中至少一个的预设的眼部特征， 预处理所述图像以确定所述图像是否适合于图像处理，以及 提供指示所述图像的被确定的适合性的指示； 如果所述图像是适合的，通过眼部特征检测模块应用图像处理算法到所述图像上，以 从一系列预设参数中确定眼部特征的一个或多个参数，其中确定眼部特征的一个或多个参 数包括确定适合的图像中的多个与瞳孔相关的像素； 通过眼部健康状况识别模块处理和分析所述一个或多个参数，并产生指示所述图像数 据中一个或多个畸形存在或不存在的数据。
40. -种计算机程序产品，嵌入在非临时性的计算机可存取介质上，并包括一经配置和 可操作用于执行权利要求39的方法的计算机可读程序代码。
41. 一种手持式电子装置，包括用于获取患者脸部的图像和产生图像数据的照相单元， 以及处理器模块，所述处理器模块经配置和可操作用于处理图像数据、确定患者眼部图像 内是否存在畸形、以及产生相应的输出数据，所述处理器模块包括： 第一处理器，其经配置和可操作用于在所述图像数据中选择一包含了感兴趣的区域的 图像，其中所述感兴趣的区域包括患者两个眼睛中的至少一个的预设的眼部特征，所述选 择包括处理图像，其使用指示了与脸部特征相一致的像素值的第一参考数据来获取关于所 述图像中的感兴趣的区域的粗略数据，基于根据所述第一参考数据对所述图像中的像素进 行分类以及基于对感兴趣的区域的不同种类的像素进行分组，并且，所述第一处理器进一 步经配置和可操作用于预处理所述图像以确定该图像是否适合于图像处理，以及提供指示 所述图像的被确定的适合性的指示； 眼部特征检测模块，其经配置和可操作用于应用图像处理算法到合适的图像中以确定 眼部特征的一个或多个几何形状和位置的参数，其中确定眼部特征的一个或多个几何形状 和位置的参数包括确定合适的图像中瞳孔相关的像素的数量，所述应用图像处理算法包括 使用指示与眼部特征相一致的像素值的第二参考数据来获取所述眼部特征中几何形状和 位置参数中的一个或多个的值，其中所述获取是通过根据所述第二参考数据对所述感兴趣 的区域内像素进行分类以及通过对与至少一个眼部特征相关的像素进行计数来实现；以及 眼部健康状况识别模块，其经配置和可操作用于处理和分析所述一个或多个几何形状 和位置的参数，以及产生指示所述图像中是否存在畸形的数据。
【文档编号】A61B3/00GK104114079SQ201280061227
【公开日】2014年10月22日 申请日期:2012年10月24日 优先权日:2011年10月24日
【发明者】奈杰尔·安德鲁·西蒙·巴纳德, 罗恩·尤里尔·马奥尔, 尤瓦尔·亚什乌 申请人:Iriss医疗科技有限公司