视力检测方法与流程

文档序号:30546540发布日期:2022-06-29 00:52阅读:278来源:国知局
视力检测方法与流程

1.本公开的实施例涉及视力检测技术领域,具体涉及视力检测方法。


背景技术:

2.随着手机、电脑等电子产品的不断普及,人们对电子产品的依赖性也不断增强。通常来说,使用电子产品的时间越长越影响视力。为了保证正常的工作生活,眼镜成为了人们的必需日用品。眼镜能否准确匹配视力,不仅影响了眼镜的日常使用,某种意义上还决定了眼睛的健康情况。
3.通常,佩戴眼镜前需要进行视力测试,视力测试的准确性很大程度上决定了眼镜的佩戴效果。当前的视力测试方法存在以下不足:
4.1、用户通常需要到眼镜店等地址进行测试视力,对视力测试的地址有要求;
5.2、视力测试需要在视力检测技术人员的协助下才能完成测试,视力测试的便利性不高。


技术实现要素:

6.本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
7.本公开的一些实施例提出了视力检测方法,来解决以上背景技术部分提到的技术问题。
8.第一方面,本公开的一些实施例提供了一种视力检测方法,应用于包括镜头和显示屏的移动设备,该方法包括:通过上述移动设备的镜头检测目标用户的眼睛三维坐标;响应于上述眼睛三维坐标位于预设空间范围,通过上述移动设备的显示屏显示至少一个视力检测图像,并检测上述目标用户的对应上述至少一个视力检测图像的反馈信号;响应于接收到对应上述至少一个视力检测图像的反馈信号,根据上述反馈信号和至少一个视力检测图像,生成上述目标用户的视力检测结果。
9.第二方面,本公开的一些实施例提供了一种视力检测装置,应用于包括镜头和显示屏的移动设备,该装置包括:眼睛三维坐标检测单元,被配置成通过上述移动设备的镜头检测目标用户的眼睛三维坐标;反馈信号检测单元,被配置成响应于上述眼睛三维坐标位于预设空间范围,通过上述移动设备的显示屏显示至少一个视力检测图像,并检测上述目标用户的对应上述至少一个视力检测图像的反馈信号;视力检测结果生成单元,被配置成响应于接收到对应上述至少一个视力检测图像的反馈信号,根据上述反馈信号和至少一个视力检测图像,生成上述目标用户的视力检测结果。
10.第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
11.第四方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
12.本公开的上述各个实施例中具有如下有益效果:通过本公开的一些实施例的视力检测方法得到的视力检测结果,视力检测的便利性有所提高。具体来说,造成视力检测不够便利的原因在于:视力测试需要用户到指定的场所,在视力检测技术人员的协助下才能进行。基于此,本公开的一些实施例的视力检测方法首先通过移动设备的镜头检测目标用户的眼睛三维坐标,获取到目标用户的眼睛在实际中的空间坐标;然后,响应于上述眼睛三维坐标位于预设空间范围,通过上述移动设备的显示屏显示至少一个视力检测图像,并检测上述目标用户的对应上述至少一个视力检测图像的反馈信号;响应于接收到对应上述至少一个视力检测图像的反馈信号,根据上述反馈信号和至少一个视力检测图像,生成上述目标用户的视力检测结果。如此,保证了视力检测结果的准确性和有效性,提高了视力检测的便利性。
附图说明
13.结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,元件和元素不一定按照比例绘制。
14.图1是本公开的一些实施例的视力检测方法的应用场景的示意图;
15.图2是根据本公开的视力检测方法的一些实施例的流程图;
16.图3是根据本公开的视力检测方法的另一些实施例的流程图;
17.图4是根据本公开的视力检测方法的又一些实施例的流程图;
18.图5是根据本公开的视力检测装置的一些实施例的结构示意图;
19.图6是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
20.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
21.另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
22.需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
23.需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
24.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
25.下面将参考附图并结合实施例来详细说明本公开。
26.图1是根据本公开一些实施例的视力检测方法的一个应用场景的示意图。
27.如图1所示,当用户102需要进行视力检测时,可以移动设备101(例如可以是智能手机、平板电脑等)的预设区域。移动设备101可以包括镜头1011和显示屏1012。其中,镜头1011用于采集目标用户的眼睛三维坐标以及遮挡等信息;显示屏1012用于向目标用户102显示视力测试图像。需要说明的是,本技术中,镜头1011和显示屏1012位于移动设备101的同一侧,例如,智能手机正面的显示屏和前置镜头。当移动设备101通过镜头1011采集的图像检测到预设区域有物体时,可以认为需要进行视力检测。此时,移动设备101可以通过镜头1011检测目标用户的眼睛三维坐标。之后,移动设备101通过显示屏1012显示视力检测图像,并检测目标用户102的反馈信号。最后,视力检测设备101根据反馈信号和视力检测图像生成视力检测结果。如此,保证了视力检测结果的准确性和有效性。
28.继续参考图2,图2示出了根据本公开的视力检测方法的一些实施例的流程200。该视力检测方法,应用于包括镜头1011和显示屏1012的移动设备101,包括以下步骤:
29.步骤201,通过上述移动设备的镜头检测目标用户的眼睛三维坐标。
30.在一些实施例中,视力检测方法的执行主体(例如图1所示的移动设备101)可以通过镜头1011采集的图像等方法检测目标用户是否处于预设位置。其中,预设位置可以是与执行主体的正面之间为设定距离范围的一个区域。当执行主体检测到目标用户在预设区域内时,可以通过镜头1011检测目标用户的眼睛三维坐标。具体的,执行主体可以通过镜头1011采集目标用户的图像,然后从图像中识别出人脸图像,在人脸图像的基础上再检测眼睛三维目标。
31.步骤202,响应于上述眼睛三维坐标位于预设空间范围,通过上述移动设备的显示屏显示至少一个视力检测图像,并检测上述目标用户的对应上述至少一个视力检测图像的反馈信号。
32.在一些实施例中,当眼睛三维坐标位于预设空间范围时,说明移动设备的镜头能够采集到目标用户的有效图像。执行主体可以在显示屏1012显示至少一个视力检测图像。其中,视力检测图像根据需要可以不同,例如视力检测图像可以是“e字表”,还可以是“c字表”等。目标用户可以根据显示的视力检测图像做出反馈,执行主体可以通过镜头1011检测反馈信号。
33.步骤203,响应于接收到对应上述至少一个视力检测图像的反馈信号,根据上述反馈信号和至少一个视力检测图像,生成上述目标用户的视力检测结果。
34.当执行主体接收到反馈信号后,可以将反馈信号与对应的视力检测图像进行匹配,根据匹配结果生成上述目标用户的视力检测结果。需要说明的是,根据不同的视力检测项目,视力检测图像的内容和数量可以不同。
35.本公开的一些实施例公开的视力检测方法得到的视力检测结果,视力检测的便利性有所提高。具体来说,造成视力检测不够便利的原因在于:视力测试需要用户到指定的场所,在视力检测技术人员的协助下才能进行。基于此,本公开的一些实施例的视力检测方法首先通过移动设备的镜头检测目标用户的眼睛三维坐标,获取到目标用户的眼睛在实际中的空间坐标;然后,响应于上述眼睛三维坐标位于预设空间范围,通过上述移动设备的显示屏显示至少一个视力检测图像,并检测上述目标用户的对应上述至少一个视力检测图像的反馈信号;响应于接收到对应上述至少一个视力检测图像的反馈信号,根据上述至少一个视力检测图像和反馈信号,生成上述目标用户的视力检测结果。如此,保证了视力检测结果
的准确性和有效性,提高了视力检测的便利性。
36.继续参考图3,图3示出了根据本公开的视力检测方法的一些实施例的流程300。该视力检测方法,包括以下步骤:
37.步骤301,将上述移动设备的镜头当前位置设置为空间原点。
38.当目标用户位于预设位置的情况下,执行主体可以将镜头的当前位置设置为空间原点。具体的,执行主体可以构建三维空间坐标系,将镜头所在的位置设置为三维空间坐标系的空间原点。
39.步骤302,采集上述目标用户的检测图像,从上述检测图像中识别出上述指定眼镜。
40.执行主体可以控制镜头采集目标用户的检测图像,并且从检测图像中识别出上述指定眼镜。具体的,执行主体可以从检测图像中识别出目标用户的面部图像,然后在面部图像的基础上检测是否存在眼镜图像,如果有,则说明检测到指定眼镜。
41.在一些实施例的一些可选的实现方式中,上述采集上述目标用户的检测图像,可以包括:调整上述可伸缩支架,使得调整后上述镜头相对于目标用户的眼睛处于预设位置。
42.本技术的上述移动设备设置于与移动设备数据连接的可伸缩支架上。执行主体可以通过调整上述可伸缩支架,使得调整后上述镜头相对于目标用户的眼睛处于预设位置。例如,执行主体可以向可伸缩支架发送信号,控制可伸缩支架调整移动设备的空间位置。
43.步骤303,确定上述指定眼镜的至少两个定位标记在上述检测图像中的至少两个位置信息。
44.本技术中,目标用户可以佩戴有指定眼镜,上述指定眼镜的镜框设置有至少两个定位标记,定位标记用于标记距离。例如,相邻的两个定位标记可以是距离1厘米等。执行主体可以从检测图像中确定每个定位标记的位置信息。此处的位置信息可以是定位标记在检测图像中的像素位置。
45.步骤304,基于上述定位标记之间的至少一个第一距离,确定目标用户的眼睛三维坐标。
46.执行主体可以在三维空间坐标系中确定定位标记的坐标,然后再通过定位标记之间的第一距离,估算出目标用户的眼镜三维坐标。其中,上述第一距离基于上述位置信息得到,用于表征定位标记在检测图像中的像素距离。
47.在一些实施例的一些可选的实现方式中,上述基于上述定位标记之间的至少一个第一距离,确定目标用户的眼睛三维坐标,可以包括以下步骤:
48.第一步,通过上述定位标记之间的至少一个第一距离确定上述镜头和上述目标用户的眼睛之间的第二距离。
49.执行主体可以首先通过至少一个第一距离确定镜头与目标用户之间的第二距离。第二距离用于表征上述镜头与目标用户的眼睛之间的实际距离。
50.第二步,基于上述第二距离和空间原点确定眼睛三维坐标。
51.得到第二距离后,执行主体可以基于空间原点确定眼镜三维坐标。
52.在一些实施例的一些可选的实现方式中,上述通过上述定位标记之间的至少一个第一距离确定上述镜头和上述目标用户的眼睛之间的第二距离,可以包括以下步骤:
53.第一步,获取对应上述至少两个定位标记的至少一个基准距离。
54.实际中,指定眼镜上的定位标记之间的距离是已知的,定位标记之间的距离为基准距离。需要说明的是,不同的基准距离的取值可以不同。其中,上述基准距离用于表征对应的定位标记之间的实际距离。例如,第一个定位标记和第二个定位标记之间的基准距离可以是2厘米,第二个定位标记和第三个定位标记之间的基准距离可以是1厘米。
55.第二步,基于上述至少一个基准距离和至少一个第一距离之间的比例关系,确定上述镜头和上述目标用户的眼睛之间的第二距离。
56.执行主体可以通过基准距离查找对应的第一距离,根据基准距离和对应的第一距离之间的比例关系,确定镜头和目标用户的眼睛之间的第二距离。例如,执行主体可以获取到镜头获取检测图像时的焦距信息,并基于焦距信息和比例关系,确定第二距离。
57.步骤305,响应于上述眼睛三维坐标位于预设空间范围,通过上述移动设备的显示屏显示至少一个视力检测图像,通过上述镜头实时获取上述目标用户的眼睛状态信息。
58.当眼睛三维坐标位于预设空间范围,说明进行视力检测可以保证准确性和有效性。预设空间范围可以是与显示屏距离3米,且与水平面在上、下、左、右四个方向的距离在预设距离范围内,可以根据实际需要而定。此时,执行主体可以在显示屏显示至少一个视力检测图像,执行主体可以通过上述镜头实时获取上述目标用户的眼睛状态信息。其中,上述眼睛状态信息包括以下至少一项:眼睛的遮挡状态、佩戴眼镜状态等。眼睛状态信息需要在整个视力检测过程中实时检测,以保证视力检测结果的有效性,避免出现视力检测过程中出现作弊等情况。需要说明的是,视力检测图像需要显示在显示屏的中点位置,以尽量保证视力检测图像与目标用户的眼睛处于水平面,进一步提高视力检测结果的准确性和有效性。
59.步骤306,对于上述至少一个视力检测图像中的视力检测图像,响应于上述眼睛状态信息与该视力检测图像的检测要求匹配,检测上述目标用户的对应当前的视力检测图像的反馈信号;否则,发送对应上述眼睛状态信息的第一调整信息。如此实现了目标用户自主完成视力检测。
60.执行主体可以首先检测眼睛状态信息是否与该视力检测图像的检测要求匹配。例如,视力检测图像用于指示检测右眼视力,检测要求可以是左眼遮挡,右眼不遮挡。则对应的眼睛状态信息应该是目标用户的左眼处于完全遮挡的情况。如果目标用户的左眼被完全遮挡,则眼睛状态信息与该视力检测图像匹配,否则就不匹配。当匹配时,执行主体可以检测上述目标用户的对应当前的视力检测图像的反馈信号。反馈信号可以是目标用户的手势,也可以是目标用户的语音信号。当眼睛状态信息与该视力检测图像的检测要求不匹配时,执行主体可以发送第一调整信息,告知目标用户应该如何调整。其中,上述第一调整信息用于指示目标用户调整当前的眼睛遮挡状态,可以包括以下至少一项:语音调整信息、图像调整信息。
61.在一些实施例的一些可选的实现方式中,上述响应于上述眼睛状态信息与该视力检测图像的检测要求匹配,检测上述目标用户的对应当前的视力检测图像的反馈信号,可以包括以下步骤:
62.第一步,响应于该视力检测图像为主视力检测图像,获取上述目标用户的第一面部检测图像。
63.当视力检测图像为主视力检测图像时,需要检测目标用户的主视力,则主视力检
测图像可以是“e字表”等。此时,执行主体可以首先获取上述目标用户的第一面部检测图像。第一面部检测图像为在显示主视力检测图像时,目标用户的面部图像。
64.第二步,响应于上述第一面部检测图像包含眼睛图像,并且上述眼睛图像对应的眼睛状态信息与上述主视力检测图像的检测要求匹配,显示上述主视力检测图像的第一测试图像,并根据用户的图像检测第一反馈子信号。
65.当第一面部检测图像中眼睛状态信息与上述主视力检测图像的检测要求匹配时,说明可以正常进行测试。此时,执行主体可以显示上述主视力检测图像的第一测试图像,并根据用户的手势图像检测第一反馈子信号。
66.在一些实施例的一些可选的实现方式中,上述眼睛图像对应的眼睛状态信息与上述主视力检测图像的检测要求匹配,显示上述主视力检测图像的第一测试图像,可以包括以下步骤:
67.第一步,通过基于深度学习的目标检测方法对上述第一面部检测图像中的眼睛进行定位。
68.执行主体可以通过基于深度学习的目标检测方法从第一面部检测图像中对眼睛图像进行定位。例如,可以通过基于深度学习的目标检测方法给出第一面部检测图像中包含眼睛的矩形框。
69.第二步,响应于定位到左眼,判定左眼遮挡状态为未遮挡,否则左眼遮挡状态为遮挡;响应于定位到右眼,判定右眼遮挡状态为未遮挡,否则右眼遮挡状态为遮挡。
70.执行主体可以根据图像确定左眼和右眼之间的相对位置(例如,图像中的左眼对应实际中的右眼,图像中的右眼对应实际中的左眼)。然后,当执行主体定位到左眼时,可以判定左眼遮挡状态为未遮挡,否则左眼遮挡状态为遮挡。同理,当执行主体定位到右眼时,可以判定右眼遮挡状态为未遮挡,否则右眼遮挡状态为遮挡。
71.在一些实施例的一些可选的实现方式中,上述眼睛图像对应的眼睛状态信息与上述主视力检测图像的检测要求匹配,显示上述主视力检测图像的第一测试图像,可以包括以下步骤:
72.第一步,通过基于深度学习的目标检测方法对上述第一面部检测图像中的眼镜图像进行定位。
73.执行主体可以通过深度学习的目标检测方法对第一面部检测图像进行检测,以确定第一面部检测图像中是否存在眼镜图像。当存在眼镜图像时,可以对眼镜图像进行定位。
74.第二步,响应于定位到眼镜图像,判定用户佩戴了眼镜,否则用户未佩戴眼镜。
75.当执行主体定位到眼镜图像时,可以判定用户佩戴了眼镜,否则用户未佩戴眼镜。
76.在一些实施例的一些可选的实现方式中,上述显示上述主视力检测图像的第一测试图像,可以包括以下步骤:
77.第一步,基于上述第二距离确定第一测试图像的显示尺寸信息。
78.现有检测视力时,视力检测图像(例如可以是e字表)的大小固定,并固定设置在墙体上。用户需要在视力检测图像正面设定距离(例如可以是3米)处进行视力测试。但是,用户在通过移动设备检测视力时,通常无法做到与移动设备距离3进行视力测试。当用户与移动设备距离3米时,已经不易看到移动设备的显示屏上的内容。为此,执行主体可以基于第二距离确定第一测试图像的显示尺寸信息。例如,当用户与移动设备距离2米时,对应的视
力检测图像相应减小,以模拟用于距离实际的视力检测图像3米的场景。
79.第二步,通过上述显示尺寸信息和显示屏的显示密度确定显示上述第一测试图像的像素个数。
80.确定了显示尺寸信息后,执行主体可以结合显示屏的显示密度确定显示上述第一测试图像的像素个数。如此,实现了在移动设备上,基于第二距离来显示第一测试图像,保证了测试结果的准确性和有效性。
81.在一些实施例的一些可选的实现方式中,上述根据用户的手势图像检测第一反馈子信号,可以包括以下步骤:
82.第一步,通过上述镜头采集对应上述第一测试图像的用户图像。
83.执行主体可以通过镜头采集目标用户的对应上述第一测试图像的用户图像。执行主体可以首先预设当前第一测试图像对应的基准手势信号,然后基于预设的基准手势信号显示对应的手势提示信号,目标用户可以基于手势提示信号和第一测试图像,做出对应的手势,以便镜头采集对应的用户图像。
84.第二步,通过单阶段深度学习目标检测模型从上述用户图像中定位用户手部位置的同时确定用户手势类别信息,将上述用户手势类别信息设置为第一反馈子信号。
85.执行主体可以通过单阶段深度学习目标检测模型对用户图像进行识别,定位到用户手部位置的同时确定用户手势类别信息,将用户手势类别信息设置为第一反馈子信号。其中,用户手势类别信息与第一测试图像对应,可以用于表征对第一测试图像的识别结果。
86.在一些实施例的一些可选的实现方式中,上述用于确定目标用户手势的单阶段深度学习目标检测模型可使用多任务学习算法进行训练,即在模型训练阶段联合学习目标检测和手部关键点位置信息,模型的损失是目标检测损失和手部关键点回归损失的加权和。模型的损失可以通过以下公式计算得到:
87.loss=loss
object

×
loss
landmark
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
88.其中,loss表示模型的损失;loss
object
表示目标检测损失;λ表示权值,0<λ<1;loss
landmark
表示手部关键点回归损失。
89.通过本技术的手势识别方法,减少了累计误差,对复杂背景、光照的图像,具有更好的鲁棒性。
90.在一些实施例的一些可选的实现方式中,上述响应于上述眼睛状态信息与该视力检测图像的检测要求匹配,检测上述目标用户的对应当前的视力检测图像的反馈信号,可以包括以下步骤:
91.第一步,响应于该视力检测图像为色觉检测图像,获取上述目标用户的第二面部检测图像。
92.当视力检测图像为色觉检测图像时,执行主体可以,获取上述目标用户的第二面部检测图像。
93.第二步,响应于检测到上述第二面部检测图像中眼睛状态信息与上述色觉检测图像的检测要求匹配,并根据用户的手势信息检测第二反馈子信号。
94.色觉检测可以要求目标用户遮挡一个眼睛来进行测试。执行主体可以检测上述第二面部检测图像中眼睛遮挡状态是否与上述色觉检测图像匹配。当匹配时,执行主体可以根据用户的手势信息检测第二反馈子信号;当不匹配时,执行主体可以进行信息提示,以使
得目标用户的眼睛状态符合色觉检测。
95.在一些实施例的一些可选的实现方式中,上述响应于上述眼睛状态信息与该视力检测图像的检测要求匹配,检测上述目标用户的对应当前的视力检测图像的反馈信号,可以包括以下步骤:
96.第一步,响应于该视力检测图像为瞳距检测图像,获取上述目标用户的第三面部检测图像。
97.当检测图像为瞳距检测图像时,执行主体可以获取上述目标用户的第三面部检测图像。
98.第二步,通过深度学习算法分别标记上述第三面部检测图像中、上述指定眼镜的至少两个定位标记的标记中心位置,以及上述目标用户的瞳孔中心位置。
99.执行主体可以首先通过像素识别等方式,对第三面部检测图像进行分析,从第三面部检测图像中确定指定眼镜的至少两个定位标记的标记中心位置,以及上述目标用户的瞳孔中心位置。
100.第三步,通过上述标记中心位置和瞳孔中心位置获取上述至少两个定位标记对应的第一像素差和瞳孔之间的第二像素差。
101.得到标记中心位置和瞳孔中心位置后,执行主体可以通过标记中心位置和瞳孔中心位置对第三面部检测图像进行分析,进而检测到至少两个定位标记对应的第一像素差和瞳孔之间的第二像素差。
102.第四步,基于上述至少两个定位标记之间的实际距离、第一像素差和第二像素差,得到瞳孔实际距离。
103.指定眼镜上的定位标记之间具有准确的实际距离。因此,执行主体可以通过定位标记之间的实际距离,以及第一像素差和第二像素差,得到瞳孔实际距离。例如,执行主体可以计算得到第一像素差和对应的定位标记之间的实际距离的比例关系,然后再通过这个比例关系和第二像素差得到瞳孔实际距离。
104.在一些实施例的一些可选的实现方式中,上述响应于上述眼睛状态信息与该视力检测图像的检测要求匹配,检测上述目标用户的对应当前的视力检测图像的反馈信号,可以包括以下步骤:
105.第一步,将上述标记中心位置、瞳孔中心位置上传至云端服务器。
106.为了提高检测的准确性和有效性,执行主体可以进一步将上述标记中心位置、瞳孔中心位置上传至云端服务器。
107.第二步,响应于接收到上述云端服务器发来的对应上述标记中心位置、瞳孔中心位置的反馈信息,根据上述反馈信息更新上述瞳孔实际距离,得到瞳孔更新距离。
108.数据保存至云端服务器后,技术人员或用户可以根据实际情况对数据进行调整,并将向执行主体发送反馈信息。执行主体可以根据上述反馈信息更新上述瞳孔实际距离,得到瞳孔更新距离。
109.在一些实施例的一些可选的实现方式中,上述响应于该视力检测图像为瞳距检测图像,获取上述目标用户的第三面部检测图像,可以包括:获取上述第三面部检测图像中的眼部区域,响应于上述眼部区域占上述第三面部检测图像的比例小于预设比例,通过上述镜头的变焦功能采集对应上述眼部区域的放大图像,提高眼部区域分辨率和成像质量。
110.实际中,可能出现镜头采集的第三面部检测图像中眼部区域过小的情况。为此,执行主体可以在眼部区域占上述第三面部检测图像的比例小于预设比例的情况下,通过上述镜头的变焦功能采集对应上述眼部区域的放大图像,提高眼部区域分辨率和成像质量。如此,进一步提高了视力检测的准确性和有效性。其中,上述变焦功能包括以下至少一项:光学变焦、数字变焦。
111.在一些实施例的一些可选的实现方式中,上述响应于上述眼睛状态信息与该视力检测图像的检测要求匹配,检测上述目标用户的对应当前的视力检测图像的反馈信号,可以包括以下步骤:
112.第一步,采集显示上述视力检测图像时的环境光。
113.实际中,不同光照情况下,眼睛肌肉的紧张情况不同,相应的,眼睛的视力状态可以不同。为了准确得到视力检测结果,执行主体可以采集显示上述视力检测图像时的环境光。
114.第二步,调整上述视力检测图像的显示亮度与环境光的亮度差在设定范围。
115.执行主体可以调整上述视力检测图像的显示亮度与环境光的亮度差在设定范围,以提高视力检测结果的准确性和有效性。
116.需要说明的是,上述是对视力检测图像为主视力检测图像、色觉检测和瞳距检测图像等进行的说明,根据需要,视力检测图像还可以是其他检测视力的图像。并且,在检测视力的过程中,眼睛状态信息都需要与视力检测图像处于匹配的状态,否则需要发出调整信息或告警。
117.步骤307,响应于接收到对应上述至少一个视力检测图像的反馈信号,根据上述反馈信号和至少一个视力检测图像,生成上述目标用户的视力检测结果。
118.步骤307的内容与步骤203的内容相同,此处不再一一赘述。
119.继续参考图4,图4示出了根据本公开的视力检测方法的一些实施例的流程400。该视力检测方法,包括以下步骤:
120.步骤401,通过上述移动设备的镜头检测目标用户的眼睛三维坐标。
121.步骤402,响应于上述眼睛三维坐标位于预设空间范围,通过上述移动设备的显示屏显示至少一个视力检测图像,并检测上述目标用户的对应上述至少一个视力检测图像的反馈信号。
122.步骤401至步骤402的内容与步骤201至步骤202的内容相同,此处不再一一赘述。
123.步骤403,响应于接收到对应上述至少一个视力检测图像的反馈信号,通过上述显示屏显示上述反馈信号;
124.当执行主体接收到对应上述至少一个视力检测图像的反馈信号后,可以通过上述显示屏显示上述反馈信号。显示反馈信号可以使得用户知晓自己做出的手势被执行主体识别的结果,避免出现目标用户想要表达的手势含义和系统识别手势含义不同,导致不必要的识别错误的问题。如此,可以进一步提高视力检测结果的准确性和有效性。
125.步骤404,响应于检测到对应上述反馈信号的确认信息,根据上述至少一个视力检测图像和反馈信号,生成上述目标用户的视力检测结果;否则,根据上述目标用户的第二调整信息更新上述反馈信号。
126.执行主体显示反馈信号后,当反馈信号与目标用户想要表达的含义相同时,可以
进行确认,例如,进行确认的信号可以是握拳等手势。执行主体检测到对应上述反馈信号的确认信息后,认为执行主体检测到的反馈信号与目标用户想要表达的含义相同。此时,执行主体可以根据上述至少一个视力检测图像和反馈信号,生成上述目标用户的视力检测结果。需要说明的是,视力检测结果可以通过一个视力检测图像得到,也可以通过多个视力检测图像得到。
127.当执行主体没有检测到对应上述反馈信号的确认信息时,说明执行主体得到的反馈信号和目标用户想要表达的含义不同。此时,执行主体可以再次检测用户的第二调整信息。例如,第二调整信息可以是目标用户通过双手交叉做出的手势,或对手势的空间位置调整后的手势。执行主体检测到该调整信息后,再根据第二调整信息更新反馈信号,上述第二调整信息包括以下至少一项:语音信息、手势信息。
128.进一步参考图5,作为对上述各图所示方法的实现,本公开提供了一种视力检测装置的一些实施例,这些装置实施例与图2所示的那些方法实施例相对应,该装置具体可以应用于各种电子设备中。
129.如图5所示,一些实施例的视力检测装置500包括:眼睛三维坐标检测单元501、反馈信号检测单元502和视力检测结果生成单元503。其中,眼睛三维坐标检测单元501,被配置成通过上述移动设备的镜头检测目标用户的眼睛三维坐标;反馈信号检测单元502,被配置成响应于上述眼睛三维坐标位于预设空间范围,通过上述移动设备的显示屏显示至少一个视力检测图像,并检测上述目标用户的对应上述至少一个视力检测图像的反馈信号;视力检测结果生成单元503,被配置成响应于接收到对应上述至少一个视力检测图像的反馈信号,根据上述反馈信号和至少一个视力检测图像,生成上述目标用户的视力检测结果。
130.在一些实施例的可选实现方式中,上述目标用户佩戴有指定眼镜,上述指定眼镜的镜框设置有至少两个定位标记;以及,上述眼睛三维坐标检测单元501可以包括:空间原点设置子单元(图中未示出)、识别子单元(图中未示出)、位置信息确定子单元(图中未示出)和眼睛三维坐标检测子单元(图中未示出)。其中,空间原点设置子单元,被配置成将上述移动设备的镜头当前位置设置为空间原点;识别子单元,被配置成采集上述目标用户的检测图像,从上述检测图像中识别出上述指定眼镜;位置信息确定子单元,被配置成确定上述指定眼镜的至少两个定位标记在上述检测图像中的至少两个位置信息;眼睛三维坐标检测子单元,被配置成基于上述定位标记之间的至少一个第一距离,确定目标用户的眼睛三维坐标,上述第一距离基于上述位置信息得到,用于表征定位标记在检测图像中的像素距离。
131.在一些实施例的可选实现方式中,上述移动设备设置于与移动设备数据连接的可伸缩支架上;以及,上述识别子单元可以包括:位置确定模块(图中未示出),被配置成调整上述可伸缩支架,使得调整后上述镜头相对于目标用户的眼睛处于预设位置。
132.在一些实施例的可选实现方式中,上述眼睛三维坐标检测子单元可以包括:第二距离确定模块(图中未示出)和眼睛三维坐标确定模块(图中未示出)。其中,第二距离确定模块,被配置成通过上述定位标记之间的至少一个第一距离确定上述镜头和上述目标用户的眼睛之间的第二距离,上述第二距离用于表征上述镜头与目标用户的眼睛之间的实际距离;眼睛三维坐标确定模块,被配置成基于上述第二距离和空间原点确定眼睛三维坐标。
133.在一些实施例的可选实现方式中,上述第二距离确定模块可以包括:基准距离获
取子模块(图中未示出)和第二距离确定子模块(图中未示出)。其中,基准距离获取子模块,被配置成获取对应上述至少两个定位标记的至少一个基准距离,上述基准距离用于表征对应的定位标记之间的实际距离;第二距离确定子模块,被配置成基于上述至少一个基准距离和至少一个第一距离之间的比例关系,确定上述镜头和上述目标用户的眼睛之间的第二距离。
134.在一些实施例的可选实现方式中,上述反馈信号检测单元502可以包括:眼睛状态信息获取子单元(图中未示出)和反馈信号检测子单元(图中未示出)。其中,眼睛状态信息获取子单元,被配置成通过上述镜头实时获取上述目标用户的眼睛状态信息,上述眼睛状态信息包括以下至少一项:眼睛的遮挡状态、佩戴眼镜状态;反馈信号检测子单元,被配置成对于上述至少一个视力检测图像中的视力检测图像,响应于上述眼睛状态信息与该视力检测图像的检测要求匹配,检测上述目标用户的对应当前的视力检测图像的反馈信号;否则,发送对应上述眼睛状态信息的第一调整信息,上述第一调整信息包括以下至少一项:语音调整信息、图像调整信息。
135.在一些实施例的可选实现方式中,上述反馈信号检测子单元可以包括:第一面部检测图像获取模块(图中未示出)和第一反馈子信号检测模块(图中未示出)。其中,第一面部检测图像获取模块,被配置成响应于该视力检测图像为主视力检测图像,获取上述目标用户的第一面部检测图像;第一反馈子信号检测模块,被配置成响应于上述第一面部检测图像包含眼睛图像,并且上述眼睛图像对应的眼睛状态信息与上述主视力检测图像的检测要求匹配,显示上述主视力检测图像的第一测试图像,并根据用户的图像检测第一反馈子信号。
136.在一些实施例的可选实现方式中,上述第一反馈子信号检测模块可以包括:第一定位子模块(图中未示出)和遮挡判断子模块(图中未示出)。其中,第一定位子模块,被配置成通过基于深度学习的目标检测方法对上述第一面部检测图像中的眼睛进行定位;遮挡判断子模块,被配置成响应于定位到左眼,判定左眼遮挡状态为未遮挡,否则左眼遮挡状态为遮挡;响应于定位到右眼,判定右眼遮挡状态为未遮挡,否则右眼遮挡状态为遮挡。
137.在一些实施例的可选实现方式中,上述第一反馈子信号检测模块可以包括:第二定位子模块(图中未示出)和佩戴检测子模块(图中未示出)。其中,第二定位子模块,被配置成通过基于深度学习的目标检测方法对上述第一面部检测图像中的眼镜图像进行定位;佩戴检测子模块,被配置成响应于定位到眼镜图像,判定用户佩戴了眼镜,否则用户未佩戴眼镜。
138.在一些实施例的可选实现方式中,上述第一反馈子信号检测模块包括:尺寸确定子模块(图中未示出)和像素确定子模块(图中未示出)。其中,尺寸确定子模块,被配置成基于上述第二距离确定第一测试图像的显示尺寸信息;像素确定子模块,被配置成通过上述显示尺寸信息和显示屏的显示密度确定显示上述第一测试图像的像素个数。
139.在一些实施例的可选实现方式中,上述第一反馈子信号检测模块可以包括:手势图像采集子模块(图中未示出)和第一反馈子信号设置子模块(图中未示出)。其中,手势图像采集子模块,被配置成通过上述镜头采集对应上述第一测试图像的用户图像;第一反馈子信号设置子模块,被配置成通过单阶段深度学习目标检测模型从上述用户图像中定位用户手部位置的同时确定用户手势类别信息,将上述用户手势类别信息设置为第一反馈子信
号。
140.在一些实施例的可选实现方式中,上述反馈信号检测子单元包括:第二面部检测图像获取模块(图中未示出)和第二反馈子信号检测模块(图中未示出)。其中,第二面部检测图像获取模块,被配置成响应于该视力检测图像为色觉检测图像,获取上述目标用户的第二面部检测图像;第二反馈子信号检测模块,被配置成响应于检测到上述第二面部检测图像中眼睛状态信息与上述色觉检测图像的检测要求匹配,并根据用户的手势信息检测第二反馈子信号。
141.在一些实施例的可选实现方式中,上述反馈信号检测子单元可以包括:第三面部检测图像获取模块(图中未示出)、位置获取模块(图中未示出)、像素差获取模块(图中未示出)和瞳孔距离确定模块(图中未示出)。其中,第三面部检测图像获取模块,被配置成响应于该视力检测图像为瞳距检测图像,获取上述目标用户的第三面部检测图像;位置获取模块,被配置成通过深度学习算法分别标记上述第三面部检测图像中、上述指定眼镜的至少两个定位标记的标记中心位置,以及上述目标用户的瞳孔中心位置;像素差获取模块,被配置成通过上述标记中心位置和瞳孔中心位置获取上述至少两个定位标记对应的第一像素差和瞳孔之间的第二像素差;瞳孔距离确定模块,被配置成基于上述至少两个定位标记之间的实际距离、第一像素差和第二像素差,得到瞳孔实际距离。
142.在一些实施例的可选实现方式中,上述反馈信号检测子单元可以包括:信息传输模块(图中未示出)和信息更新模块(图中未示出)。其中,信息传输模块,被配置成将上述标记中心位置、瞳孔中心位置上传至云端服务器;信息更新模块,被配置成响应于接收到上述云端服务器发来的对应上述标记中心位置、瞳孔中心位置的反馈信息,根据上述反馈信息更新上述瞳孔实际距离,得到瞳孔更新距离。
143.在一些实施例的可选实现方式中,上述第三面部检测图像获取模块可以包括:第三面部检测图像获取子模块(图中未示出),被配置成获取上述第三面部检测图像中的眼部区域,响应于上述眼部区域占上述第三面部检测图像的比例小于预设比例,通过上述镜头的变焦功能采集对应上述眼部区域的放大图像,提高眼部区域分辨率和成像质量,上述变焦功能包括以下至少一项:光学变焦、数字变焦。
144.在一些实施例的可选实现方式中,上述反馈信号检测子单元可以包括:环境光采集模块(图中未示出)和亮度调整模块(图中未示出)。其中,环境光采集模块,被配置成采集显示上述视力检测图像时的环境光;亮度调整模块,被配置成调整上述视力检测图像的显示亮度与环境光的亮度差在设定范围。
145.在一些实施例的可选实现方式中,上述视力检测结果生成单元可以包括:反馈信号显示子单元,被配置成通过上述显示屏显示上述反馈信号;视力检测结生成子单元,被配置成响应于检测到对应上述反馈信号的确认信息,根据上述至少一个视力检测图像和反馈信号,生成上述目标用户的视力检测结果;否则,根据上述目标用户的第二调整信息更新上述反馈信号,上述第二调整信息包括以下至少一项:语音信息、手势信息。
146.可以理解的是,该装置500中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置500及其中包含的单元,在此不再赘述。
147.如图6所示,电子设备600可以包括处理装置(例如中央处理器、图形处理器等)
601,其可以根据存储在只读存储器(rom)602中的程序或者从存储装置608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram 603中,还存储有电子设备600操作所需的各种程序和数据。处理装置601、rom 602以及ram 603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
148.通常,以下装置可以连接至i/o接口605:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606;包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置607;包括例如磁带、硬盘等的存储装置608;以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
149.特别地,根据本公开的一些实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的一些实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中,该计算机程序可以通过通信装置609从网络上被下载和安装,或者从存储装置608被安装,或者从rom 602被安装。在该计算机程序被处理装置601执行时,执行本公开的一些实施例的方法中限定的上述功能。
150.需要说明的是,本公开的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、rf(射频)等等,或者上述的任意合适的组合。
151.在一些实施方式中,客户端、服务器可以利用诸如http(hypertext transfer protocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“lan”),广域网(“wan”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
152.上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多
个程序被该电子设备执行时,使得该电子设备:通过上述移动设备的镜头检测目标用户的眼睛三维坐标;通过上述移动设备的显示屏显示至少一个视力检测图像,并检测上述目标用户的对应上述至少一个视力检测图像的反馈信号;响应于接收到对应上述至少一个视力检测图像的反馈信号,根据上述反馈信号和至少一个视力检测图像,生成上述目标用户的视力检测结果。
153.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
154.附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
155.描述于本公开的一些实施例中的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括眼睛三维坐标检测单元、反馈信号检测单元和视力检测结果生成单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,视力检测结果生成单元还可以被描述为“用于生成视力检测结果的单元”。
156.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
157.以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1