本发明涉及立体显示技术领域,尤其涉及一种裸眼立体显示设备的显示校正方法、装置及电子设备。
背景技术:
目前,主流的裸眼3d(立体)显示设备通过在常规显示屏上叠加特殊的分光装置,例如光栅,该光栅能够向不同方向折射图像,让左眼和右眼的可视画面分开,从而让使用者看到3d影像。通常来讲,裸眼3d显示设备在进行显示时,需要将左眼画面和右眼画面按照一定规则排列显示在常规显示屏上(即排图),配合光栅的分光作用,在用户观看区域形成左右眼视区,做到将左眼画面送入用户的左眼,将右眼画面送入用户的右眼,从而使用户观看到3d影像。
由于排图必须与光栅的分光作用相互配合,因此,光栅参数,例如光栅倾角、光栅栅距等,是排图算法中所需使用的关键参数,也是裸眼3d显示设备进行成像显示的必要参数,直接决定着3d显示设备的成像效果。但受到制造工艺和装配误差等因素影响,光栅参数的实际值与理想设计值通常是存在偏差的。如果直接利用设计值进行排图显示,将导致裸眼3d显示设备对于左右眼视区的调整不准确,进而影响裸眼3d显示设备的显示效果。因此,为了有效保证裸眼3d显示设备的显示效果,在裸眼3d显示设备出厂销售前,需要对裸眼3d显示设备的光栅参数进行校正,即需要非常准确地得到裸眼3d显示设备的光栅参数实际值从而将其应用于该设备的排图算法中,保证该裸眼3d显示设备的立体显示效果。
传统的显示设备校正过程中,根据不同的显示设备,手动对其进行参数调校,使最后成像效果最优,由于其校正过程是手动的,大大增加了校正人员的工作量,不利于自动化的实现及量产快速化生产的要求。
随着技术发展,陆续开发了一些自动检测与校正的方法,包括针对屏幕的校正,针对摄像头的校正,还有针对整个跟踪式立体显示方案的校正,这些方法在一定程度简化了此前手动检测的过程,但是,大多方案校正的过程较为零散,缺乏完整的检测校正体系,同样存在着不符合量产快速化生产的要求。
技术实现要素:
本发明实施例提供一种裸眼立体显示设备的显示校正方法及装置,以解决现有技术中自动检测校正过程零散、缺乏完整的检测校正体系,不符合量产快速化生产的要求的问题。
本发明实施例提供一种裸眼立体显示设备的显示校正方法,所述裸眼立体显示设备包括显示屏,所述显示屏包括显示器件和分光器件,所述显示器件和所述分光器件相对设置,所述方法包括:
获取所述裸眼立体显示设备根据预设的排图参数显示的第一预定图像;
根据所述第一预定图像,获取所述第一预定图像的实际图像属性;
根据所述预设的排图参数和所述第一预定图像的实际图像属性,获取第一校正参数;
保存所述第一校正参数,使得所述裸眼立体显示设备根据所述第一校正参数进行裸眼立体显示。
可选的,所述获取所述裸眼立体显示设备根据预设的排图参数显示的第一预定图像包括:
利用摄像头对所述第一预定图像在镜面上形成的虚像进行拍摄或者利用摄像头直接对所述第一预定图像进行拍摄,获取第一目标图像,以使所述第一目标图像中包含有所述第一预定图像;
根据所述第一目标图像,获取所述第一预定图像。
具体的,在镜面上形成所述虚像时,所述显示屏与所述镜面平行相对。
可选的,所述根据所述第一目标图像,获取所述第一预定图像包括:
确定所述第一目标图像中所述第一预定图像的区域范围;
根据确定的区域范围,在所述第一目标图像中抠取与所述区域范围对应的图像,从而获取到所述第一预定图像。
可选的,所述确定所述第一目标图像中所述第一预定图像的区域范围包括:
根据预先确定的所述显示屏对应的图像位置信息,确定所述第一目标图像中所述显示屏的区域范围,从而将所述第一目标图像中所述显示屏的区域范围确定为所述第一目标图像中所述第一预定图像的区域范围,其中,所述图像位置信息包括所述显示屏的四个顶点在所述第一目标图像中的坐标信息;
或者,
对所述第一目标图像进行图像除噪处理;
针对所述除噪后的第一目标图像,采用边缘检测算法确定所述第一目标图像中所述第一预定图像的边缘像素点;
根据所述边缘像素点确定所述第一目标图像中所述第一预定图像的边界线,从而确定所述第一目标图像中所述第一预定图像的区域范围。
可选的,所述根据所述预设的排图参数和所述第一预定图像的实际图像属性,获取第一校正参数包括:
获取所述排图参数、所述第一校正参数、所述第一预定图像的理论图像属性之间的第一关联关系;
根据所述第一关联关系、所述实际图像属性和所述预设的排图参数,确定所述第一校正参数。
可选的,所述第一关联关系为应用所述排图参数、所述第一校正参数表示所述理论图像属性的函数关系。
可选的,所述根据所述第一关联关系、所述实际图像属性和所述预设的排图参数,确定所述第一校正参数包括:
建立所述第一关联关系对应的第一代价函数;
根据所述实际图像属性和所述预设的排图参数,利用最小化算法最小化所述第一代价函数,确定所述第一校正参数。
可选的,所述第一预定图像为第一颜色条纹和第二颜色条纹相间设置的条纹图像;
所述条纹图像的实际图像属性和理论图像属性包括条纹斜率、条纹截距和条纹间距;
所述预设的排图参数包括排图倾角、排图周期和排图位移;
所述第一校正参数包括光栅倾角、光栅水平栅距和光栅位移。
可选的,所述第一预定图像为第一颜色条纹和第二颜色条纹相间设置的条纹图像;
所述条纹图像的实际图像属性包括条纹斜率、条纹截距和条纹间距中的至少一者;
所述根据所述第一预定图像,获取所述第一预定图像的实际图像属性包括:
获取所述条纹图像中所述第一颜色条纹的中线点;
根据所述第一颜色条纹的中线点进行直线拟合,得到拟合后的条纹直线方程;
根据拟合后的条纹直线方程,确定所述条纹图像的实际图像属性。
可选的,所述根据所述第一颜色条纹的中线点进行直线拟合,得到拟合后的条纹直线方程包括:
根据所述第一颜色条纹的中线点,利用最小二乘法进行直线拟合,得到拟合后的条纹直线方程。
可选的,拍摄虚像的摄像头配置在所述裸眼立体显示设备上。
可选的,所述裸眼立体显示设备上还配置有前置摄像头;
所述方法还包括:
利用所述前置摄像头对所述裸眼立体显示设备显示的第二预定图像在镜面上形成的虚像进行拍摄,获取第二目标图像,所述第二目标图像中包含有所述第二预定图像;
根据所述包含有所述第二预定图像的第二目标图像,获取所述前置摄像头的校正参数,其中,所述前置摄像头的校正参数包括摄像头的内参和外参;
保存所述前置摄像头的校正参数,使得所述裸眼立体显示设备使用所述前置摄像头的校正参数进行裸眼立体显示。
可选的,所述根据所述包含有所述第二预定图像的第二目标图像,获取所述前置摄像头的校正参数包括:
获取所述第二目标图像中所述第二预定图像中的特征像素点的实际像素坐标;
根据所述特征像素点的实际像素坐标,确定所述前置摄像头的校正参数。
可选的,所述根据所述特征像素点的实际像素坐标,确定所述前置摄像头的校正参数包括:
获取所述裸眼立体显示设备显示第二预定图像时所述特征像素点的原始坐标信息;
根据所述特征像素点的原始坐标信息,获取所述第二目标图像中的所述第二预定图像中所述特征像素点的理论像素坐标和所述前置摄像头的校正参数的第二关联关系;
根据所述特征像素点的实际像素坐标以及所述理论像素坐标和所述前置摄像头的校正参数的第二关联关系,确定所述前置摄像头的校正参数。
可选的,所述根据所述特征像素点的原始坐标信息,获取所述第二目标图像中的所述第二预定图像中所述特征像素点的理论像素坐标和所述前置摄像头的校正参数的第二关联关系包括:
根据所述特征像素点的原始坐标信息、所述显示屏与所述镜面的距离,获取所述虚像中所述特征像素点的第二坐标信息;
根据所述特征像素点的第二坐标信息,利用所述前置摄像头的校正参数进行预定坐标变换,从而获取所述第二目标图像中的所述第二预定图像中所述特征像素点的理论像素坐标和所述前置摄像头的校正参数的第二关联关系。
可选的,所述根据所述特征像素点的实际像素坐标以及所述理论像素坐标和所述前置摄像头的校正参数的第二关联关系,确定所述前置摄像头的校正参数包括:
建立所述第二关联关系对应的第二代价函数;
根据获取的实际像素坐标,利用最小化算法最小化所述第二代价函数,确定所述前置摄像头的校正参数。
可选的,所述第二预定图像为棋盘格图像,所述特征像素点为相邻棋盘格之间交点。
可选的,所述裸眼立体显示设备包括第一显示模式和第二显示模式;
所述裸眼立体显示设备在所述第一显示模式下显示所述第一预定图像,所述第一校正参数与所述第一显示模式相对应;
所述方法还包括:
获取所述裸眼立体显示设备在所述第二显示模式下根据预设的第二排图参数显示的第三预定图像;
根据所述第三预定图像,获取所述第三预定图像的实际图像属性;
根据所述预设的第二排图参数和所述第三预定图像的实际图像属性,获取第二校正参数;
保存所述第二校正参数。
可选的,保存所述第二校正参数后,所述方法还包括:
确定所述裸眼立体显示设备当前的显示模式;
在确定所述裸眼立体显示设备处于第一显示模式时,调用与所述第一显示模式对应的第一校正参数进行裸眼立体显示;
在确定所述裸眼立体显示设备处于第二显示模式时,调用与所述第二显示模式对应的第二校正参数进行裸眼立体显示。
本发明实施例还提供一种裸眼立体显示设备的显示校正装置,所述裸眼立体显示设备包括显示屏,所述显示屏包括显示器件和分光器件,所述显示器件和所述分光器件相对设置,所述装置包括:
第一获取模块,用于获取所述裸眼立体显示设备根据预设的排图参数显示的第一预定图像;
第二获取模块,用于根据所述第一预定图像,获取所述第一预定图像的实际图像属性;
第三获取模块,用于根据所述预设的排图参数和所述第一预定图像的实际图像属性,获取第一校正参数;
第一保存模块,用于保存所述第一校正参数,使得所述裸眼立体显示设备根据所述第一校正参数进行裸眼立体显示。
可选的,所述第一获取模块包括:
第一获取子模块,用于利用摄像头对所述第一预定图像在镜面上形成的虚像进行拍摄或者利用摄像头直接对所述第一预定图像进行拍摄,获取第一目标图像,以使所述第一目标图像中包含有所述第一预定图像;
第二获取子模块,用于根据所述第一目标图像,获取所述第一预定图像。
可选的,所述第二获取子模块包括:
第一确定单元,用于确定所述第一目标图像中所述第一预定图像的区域范围;
第二确定单元,用于根据确定的区域范围,在所述第一目标图像中抠取与所述区域范围对应的图像,从而获取到所述第一预定图像。
可选的,所述第三获取模块包括:
第三获取子模块,用于获取所述排图参数、所述第一校正参数、所述第一预定图像的理论图像属性之间的第一关联关系;
第一确定子模块,根据所述第一关联关系、所述实际图像属性和所述预设的排图参数,确定所述第一校正参数。
可选的,所述第一关联关系为应用所述排图参数、所述第一校正参数表示所述理论图像属性的函数关系。
可选的,所述第一确定子模块包括:
建立单元,用于建立所述第一关联关系对应的第一代价函数;
第三确定单元,用于根据所述实际图像属性和所述预设的排图参数,利用最小化算法最小化所述第一代价函数,确定所述第一校正参数。
可选的,所述第一预定图像为第一颜色条纹和第二颜色条纹相间设置的条纹图像;
所述条纹图像的实际图像属性包括条纹斜率、条纹截距和条纹间距中的至少一者;
所述第二获取模块包括:
第四获取子模块,用于获取所述条纹图像中所述第一颜色条纹的中线点;
拟合子模块,用于根据所述第一颜色条纹的中线点进行直线拟合,得到拟合后的条纹直线方程;
第二确定子模块,用于根据拟合后的条纹直线方程,确定所述条纹图像的实际图像属性。
可选的,所述裸眼立体显示设备上还配置有前置摄像头;所述装置还包括:
第四获取模块,用于利用所述前置摄像头对所述裸眼立体显示设备显示的第二预定图像在镜面上形成的虚像进行拍摄,获取第二目标图像,所述第二目标图像中包含有所述第二预定图像;
第五获取模块,用于根据所述包含有所述第二预定图像的第二目标图像,获取所述前置摄像头的校正参数,其中,所述前置摄像头的校正参数包括摄像头的内参和外参;
第二保存模块,用于保存所述前置摄像头的校正参数,使得所述裸眼立体显示设备使用所述前置摄像头的校正参数进行裸眼立体显示。
可选的,所述第五获取模块包括:
第五获取子模块,用于获取所述第二目标图像中所述第二预定图像中的特征像素点的实际像素坐标;
第三确定子模块,用于根据所述特征像素点的实际像素坐标,确定所述前置摄像头的校正参数。
可选的,所述第三确定子模块包括:
第一获取单元,用于获取所述裸眼立体显示设备显示第二预定图像时所述特征像素点的原始坐标信息;
第二获取单元,用于根据所述特征像素点的原始坐标信息,获取所述第二目标图像中的所述第二预定图像中所述特征像素点的理论像素坐标和所述前置摄像头的校正参数的第二关联关系;
第四确定单元,用于根据所述特征像素点的实际像素坐标以及所述理论像素坐标和所述前置摄像头的校正参数的第二关联关系,确定所述前置摄像头的校正参数。
可选的,所述裸眼立体显示设备包括第一显示模式和第二显示模式;
所述裸眼立体显示设备在所述第一显示模式下显示所述第一预定图像,所述第一校正参数与所述第一显示模式相对应;
所述装置还包括:
第六获取模块,用于获取所述裸眼立体显示设备在所述第二显示模式下根据预设的第二排图参数显示的第三预定图像;
第七获取模块,用于根据所述第三预定图像,获取所述第三预定图像的实际图像属性;
第八获取模块,用于根据所述预设的第二排图参数和所述第三预定图像的实际图像属性,获取第二校正参数;
第三保存模块,用于保存所述第二校正参数。
可选的,所述装置还包括:
确定模块,用于在所述第三保存模块保存所述第二校正参数后,确定所述裸眼立体显示设备当前的显示模式;
第一调用模块,用于在确定所述裸眼立体显示设备处于第一显示模式时,调用与所述第一显示模式对应的第一校正参数进行裸眼立体显示;
第二调用模块,用于在确定所述裸眼立体显示设备处于第二显示模式时,调用与所述第二显示模式对应的第二校正参数进行裸眼立体显示。
本发明实施例还提供一种计算机可读存储介质,用于存储计算机程序,所述计算机程序可被处理器执行上述的方法。
本发明实施例还提供一种电子设备,所述电子设备包括一个或多个处理器,所述处理器被配置为执行如下方法:
获取裸眼立体显示设备根据预设的排图参数显示的第一预定图像;
根据所述第一预定图像,获取所述第一预定图像的实际图像属性;
根据所述预设的排图参数和所述第一预定图像的实际图像属性,获取第一校正参数;
保存所述第一校正参数,使得所述裸眼立体显示设备根据所述第一校正参数进行裸眼立体显示。
本发明实施例还提供一种裸眼立体显示设备,包括:
壳体、设置在所述壳体上的显示屏和前置摄像头和设置在所述壳体内的一个或多个处理器;
所述显示屏包括显示器件和分光器件,所述显示器件和所述分光器件相对设置;
所述处理器根据预设的排图参数在所述显示器件上排布像素,在所述分光器件的作用下,所述显示屏上显示出第一预定图像;
所述前置摄像头用于对所述第一预定图像在镜面上形成的虚像进行拍摄,获取第一目标图像,以使所述第一目标图像中包含有所述第一预定图像;
所述处理器用于:
根据所述第一目标图像,获取所述第一预定图像;
根据所述第一预定图像,获取所述第一预定图像的实际图像属性;
根据所述预设的排图参数和所述第一预定图像的实际图像属性,获取第一校正参数;
保存所述第一校正参数,根据所述第一校正参数进行裸眼立体显示。
本发明实施例技术方案的有益效果至少包括:
本发明技术方案,获取裸眼立体显示设备显示的第一预定图像,确定第一预定图像的实际图像属性,根据实际图像属性以及预设排图参数,确定第一校正参数,根据第一校正参数对裸眼立体显示设备进行校正,实现将裸眼立体显示设备在生产过程中的出现的误差进行检测校正并保存校正参数,在后续裸眼立体显示时,裸眼立体显示设备可根据预先保存的校正参数进行显示,即对显示进行校正,从而呈现出较好的立体显示效果。且本发明提供的校正方法,可以适用于不同的显示设备,相较于现有的校正方法,本发明使用更趋于统一的数学模型,校正过程快捷连续,具有明显的体系化特性,同时使得检测校正过程更经济且更容易实施,能够符合量产快速化生产的要求。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1表示本发明实施例中第一预定图像的成像原理示意图;
图2表示本发明实施例的裸眼立体显示设备的显示校正方法示意图;
图3a表示本发明实施例的裸眼立体显示设备横屏状态下对应的坐标状态示意图;
图3b表示本发明实施例的裸眼立体显示设备纵屏状态下对应的坐标状态示意图;
图4表示本发明实施例的辅助校正系统示意图;
图5a~5d表示本发明实施例的辅助校正系统的制具示意图;
图6a~6b表示本发明实施例的主机校正系统示意图;
图7a~7c表示本发明实施例的单面板校正系统示意图;
图8a~8c表示本发明实施例的裸眼立体显示设备的显示校正装置示意图。
图9为本发明实施例中摄像头拍摄的在镜面上显示的条纹图像(第一预定图像)的虚像中所获取的第一目标图像的示意图;
图10为本发明实施例中从图9中的第一目标图像中提取的条纹图像的示意图;
图11为本发明实施例中拟合的条纹直线的示意图;
图12为本发明实施例中的棋盘格图像示意图;
图13为本发明实施例中摄像头拍摄的在镜面上显示的棋盘格图像的虚像中所获取的第二目标图像的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了更好的理解本发明,首先对裸眼立体显示设备进行简单介绍。本发明实施例中所言的裸眼立体显示设备,包括显示屏,显示屏包括显示器件和分光器件,显示器件和分光器件相对设置,其中显示器件用来显示图像,例如可以为常规2d的显示面板,例如lcd(liquidcrystaldisplay,液晶显示器)面板,oled(organiclight-emittingdiode,有机发光二极管)面板,分光器件用来对显示器件显示的图像进行分光处理,例如分光器件可以是光栅,该光栅可以为狭缝光栅或透镜光栅等现有技术中裸眼立体显示设备所能够采用的任意一种光栅,本发明对此不做限定。裸眼立体显示设备在进行显示时,需要将左眼画面和右眼画面按照一定规则排列显示在显示器件上(即排图),配合分光器件的分光作用,做到将左眼画面送入用户的左眼,将右眼画面送入用户的右眼,从而使用户观看到立体影像。其中,具体排图过程可参见现有技术,这里不再赘述。
一般来说,显示器件上的像素列走向为竖直方向,若分光器件例如光栅纹路走向也为竖直方向,两者的走向相同,会产生明显的摩尔纹,这对三维立体画面的显示效果会有很大的影响。因此,为了降低摩尔纹的影响,实际应用中,具体可参见图1,其中第一直线表示光栅在显示器件上的投影,裸眼立体显示设备普遍采用倾斜放置的光栅,从而使光栅的纹路走向与显示器件上的像素列走向之间形成一定的角度,可以减少甚至消除摩尔纹。
显然,显示器件上左右眼画面的排图需要与分光器件相配合才能进行立体显示,参见前文所述的背景技术,为了避免误差的影响,对裸眼立体显示设备进行显示校正,即,精准的获取到分光器件相关参数的实际值(本申请中称之为校正参数)是非常必要的,以便裸眼立体显示设备根据校正参数来进行排图从而进行裸眼立体显示。
下面对本发明实施例提供的裸眼立体显示设备的显示校正方法和装置等进行详细介绍。
如图2所示,本发明实施例提供的裸眼立体显示设备的显示校正方法,包括:
步骤201、获取裸眼立体显示设备根据预设的排图参数显示的第一预定图像。
本发明实施例中,裸眼立体显示设备包括显示屏,显示屏包括显示器件和分光器件,显示器件和分光器件相对设置。在裸眼立体显示设备显示第一预定图像时,裸眼立体显示设备根据预设的排图参数在显示器件上排布像素,在分光器件的作用下,在其显示屏上显示出第一预定图像。
裸眼立体显示设备可按照裸眼立体显示时的排图方式,按照预设的排图参数排列像素,其中,裸眼立体显示时的排图方式为公知技术,这里不再赘述。具体的,排图参数包括排图倾角、排图周期和排图位移等,其中,排图位移为分光器件与水平坐标轴的交点中距排图中心点最近的交点与排图中心点之间的水平距离。以第一预定图像为条纹图像为例,裸眼立体显示设备利用预先设定的排图参数在显示器件上排布第一颜色像素和第二颜色像素,并在分光器件的辅助作用下,显示出相间设置有第一颜色条纹和第二颜色条纹的条纹图像,该条纹图像是周期性的条纹图像,即第一颜色条纹和第二颜色条纹交错周期排列。举例而言,该条纹图像可以为红绿条纹图像,即第一颜色条纹为红色和绿色条纹中的一种颜色的条纹,而第二颜色条纹为红色和绿色条纹中的另一种颜色的条纹。
在裸眼立体显示设备显示出第一预定图像之后,本步骤中,将需要获取到第一预定图像。
本发明实施例对如何获取第一预定图像不做限定,以下进行举例说明:
可选的,在获取第一预定图像时,可以采用镜面投影的方式来获取,具体为:将裸眼立体显示设备显示的第一预定图像投影到一个镜面上,镜面上将呈现该第一预定图像的虚像,然后,利用摄像头对该第一预定图像在镜面上形成的虚像进行拍摄,从而获得一张包含有第一预定图像的图像,然后根据这张图像得到第一预定图像。
为了后续运算简便,并且为得到质量较高的第一预定图像从而有效保证运算处理的准确性,优选的,在镜面上形成第一预定图像的虚像时,裸眼立体显示设备的显示屏要与镜面平行相对,且显示屏与镜面间隔预定距离,该预定距离本领域人员可以合理设置,基本原则是,需要保证裸眼立体显示设备的显示屏与镜面之间的距离可使得摄像头采集的图像中包含有清晰的第一预定图像。
具体实施中,针对采用镜面投影的方式获取第一预定图像,可设计专门的校正用制具,该制具可以包括用来支撑裸眼立体显示设备的支架以及镜面,当裸眼立体显示设备放置在支架上时,其显示屏可以与镜面间隔预定距离并且优选是平行的,镜面上可以显示清晰的第一预定图像的虚像。可以理解的是,所采用的制具可以为多种形式,本发明对此不做限定,但所需要包含的共同部分为:支撑裸眼立体显示设备的支架以及镜面。
需要说明的是,拍摄虚像的摄像头可以是裸眼立体显示设备之外的摄像头,也可以是裸眼立体显示设备自身配置的前置摄像头,在进行镜面投影时,该前置摄像头正对镜面,可以轻松拍摄到镜面上的虚像。
进一步需要说明的是,无论是通过裸眼立体显示设备外部的摄像头拍摄虚像还是通过其自身配置的前置摄像头来拍摄虚像,本发明实施例提供的显示校正方法均可以由裸眼立体显示设备执行,即裸眼立体显示设备进行自校正,其从摄像头处获取第一预定图像后,进行后续处理得到校正参数并将校正参数保存起来进行后续使用。
裸眼立体显示设备利用自身的前置摄像头拍摄虚像从而进行自校正,这种方式利用裸眼立体显示设备自身的摄像头,不需要额外配置摄像头,简化了校正用制具的设计和成本,使得检测校正过程更经济且更容易实施。而且,对于具有跟踪显示功能,即追踪观看者人眼位置,按照人眼位置进行显示的裸眼立体显示设备而言,其前置摄像头用于追踪观看位置,在出厂前也是需要对摄像头进行标定的,即获取摄像头的内参和外参,而采用这种裸眼立体显示设备利用自身的前置摄像头拍摄虚像从而进行自校正的方式,可以实现前置摄像头既当作被标定的摄像头,也当做进行图像采集的摄像头,从而实现了摄像头标定和分光器件校正过程的统一,即可使用相同的校正用制具,使得摄像头标定和分光器件的校正一气呵成,顺序完成。
当然,本发明实施例提供的显示校正方法也可以由裸眼立体显示设备之外的其他设备来执行,在获得校正参数后,将校正参数传输给裸眼立体显示设备进行使用。
可以理解的是,获取第一预定图像的过程并不局限于采用镜面映射的方式来实现,除可以采用镜面投影的方式来获取之外,还可以利用裸眼立体显示设备外部的摄像头直接对第一预定图像进行拍摄,从而获得一张包含有第一预定图像的图像,然后根据这张图像得到第一预定图像。其中在采用外部的摄像头直接对第一预定图像进行拍摄时,需要保证外部摄像头与显示屏之间的距离,可以拍摄到清晰的图像。
本发明实施例中将上述包含有第一预定图像的图像称为第一目标图像。在获取到第一目标图像后,将根据该第一目标图像,获取到第一预定图像,例如,将第一预定图像从第一目标图像中提取出来。具体的,根据第一目标图像获取第一预定图像的方式可以包括:首先,确定第一目标图像中第一预定图像的区域范围;然后,根据确定的区域范围,在第一目标图像中抠取与区域范围对应的图像,从而获取到第一预定图像,即将抠取到的该区域范围对应的图像确定为第一预定图像。
例如,如图9所示的第一目标图像,此时,第一预定图像为条纹图像,投影到一个镜面上,摄像头拍摄投影获得的虚像,从而得到该第一目标图像,然后从第一目标图像中把条纹图像提取出来,提取出来的条纹图像可参见图10。
其中,具体的,在确定第一目标图像中第一预定图像的区域范围时,可以有如下两种方式:
第一种方式:根据预先确定的显示屏对应的图像位置信息,确定第一目标图像中显示屏的区域范围,将第一目标图像中显示屏的区域范围确定为第一目标图像中第一预定图像的区域范围。
这里所言的图像位置信息是指显示屏在第一目标图像中的位置信息,该图像位置信息可以是预先确定并设定好的。针对于常规的方形屏幕而言,在进行图像显示时,一般为全屏显示,即图像显示在整个屏幕上,因此,显示屏对应的图像位置即代表第一预定图像在第一目标图像中的位置,则,第一目标图像中显示屏的区域范围即为第一预定图像在第一目标图像的区域范围。此时,在获取第一预定图像的区域范围时,需要根据预先确定的显示屏对应的图像位置信息来划定显示屏的区域范围,将第一目标图像中显示屏的区域范围确定为第一目标图像中第一预定图像的区域范围。具体的,图像位置信息可以包括显示屏的四个顶点在第一目标图像中的坐标信息,即可以根据显示屏四个顶点的坐标信息,来确定区域范围。
需要说明的是,本发明实施例对于如何确定图像位置信息不做限定,本领域技术人员可以任意选择。举例来讲,在镜面映射的方式获取第一预定图像时,镜面和显示屏之间的相对位置固定,则显示屏在第一目标图像中的位置是固定的,是可以通过现有技术确定出来的。
第二种方式:首先,对第一目标图像进行图像除噪处理;然后,针对除噪后的第一目标图像,采用边缘检测算法确定第一目标图像中第一预定图像的边缘像素点;根据边缘像素点确定第一目标图像中第一预定图像的边界线,从而确定出第一目标图像中第一预定图像的区域范围。
其中,除噪声处理和边缘检测等算法都属于现有技术中的常规方法,这里不再赘述。例如,可首先提取第一目标图像对应的通道的值,利用该通道值进行图像除噪处理,在图像除噪完成后,采用边缘检测算法,针对除噪后的第一目标图像,确定第一预定图像的边缘像素点。根据确定的边缘像素点确定第一预定图像的边界线,第一目标图像中该边界线所包围的区域即为第一预定图像对应的区域,第一目标图像中该区域内对应的图像即为第一预定图像。
在确定第一预定图像的区域范围之后,即可在第一目标图像中采用抠图技术,抠取与该区域范围对应的区域图像,将区域范围对应的区域图像确定为第一预定图像,即所抠取的区域图像即为第一预定图像。
在获取第一预定图像之后,即可执行步骤202。
步骤202、根据第一预定图像,获取第一预定图像的实际图像属性。
其中,第一预定图像的图像属性是指该图像固有的特性参数,例如,针对于条纹图像,图像属性可包括条纹斜率、条纹直线的截距(简称条纹截距)和相邻条纹之间的间距(简称条纹间距)等。
在本发明一个实施例中,参见图10和图11,第一预定图像为第一颜色条纹和第二颜色条纹相间设置的条纹图像,例如可以为红绿条纹图、蓝黄条纹图或者其他的条纹图像,其中条纹图像的两个条纹的颜色需要具有明显的颜色区分。图10和图11作为示意图,仅表示出两种条纹,对具体的条纹颜色不做限定。
针对条纹图像,其图像属性可包括条纹斜率、条纹截距和条纹间距中的至少一者。
本步骤中,可根据如下方式获取图像属性:
首先,获取条纹图像中第一颜色条纹的中线点;
然后,根据第一颜色条纹的中线点进行直线拟合,得到拟合后的条纹直线方程,例如,可利用最小二乘法进行直线拟合,得到拟合后的条纹直线方程。条纹直线可参见图11所示,图11即为拟合后的条纹直线。
进而,根据拟合后的条纹直线方程,确定条纹图像的实际图像属性。
关于如何获取到条纹的中线点,以及如何进行直线拟合,可以采用本领域公知方式,这里不再详细说明。举例来讲,在第一预定图像中,针对第一颜色条纹,可利用高斯滤波器处理第一颜色条纹,利用梯度变化得到第一颜色条纹的中线点。在得到条纹中线点之后,将所有的点组合成多条线段,删除点数过少的线段,利用最小二乘法对多条线段进行直线拟合处理,得到拟合后的条纹直线方程。
其中,获取条纹直线方程的方式不仅仅局限于上述一种,还可以根据条纹图像建立坐标系,在坐标系下求解条纹直线方程。在此不做详细阐述。需要说明的是,获取条纹直线方程时还可以采用其他方式,并不局限于本发明实施例列举的方法,本领域技术人员可以根据需求来自行选择。
其中,经过直线拟合后的条纹直线方程可以为如下形式:
y=kx+b+gh。
其中,h=d/cosθ,θ表示直线方程与x轴的夹角(锐角),d表示为条纹间距,该直线方程的斜率k为条纹斜率、即θ对应的正切值即为该直线方程的斜率k、该直线方程的截距b为条纹截距、其中,g为整数,表示条纹序号,g=0、1、2……。
则,经过直线拟合得到条纹直线方程后,即可得到条纹的实际图像属性中条纹斜率、条纹截距和条纹间距中的至少一者。
此处,本步骤中所得到的图像属性为实际图像属性,而后续会描述有第一预定图像的理论图像属性。需要强调的是,实际图像属性和理论图像属性均为图像属性,不同在于,实际图像属性是指通过对第一预定图像进行检测的方式得到的图像属性,而理论图像属性是根据理论计算得到的,并不是实际检测的。显然,在没有误差等因素影响的情况下,理论图像属性值和实际图像属性应该是相同的,即不考虑误差,理论图像属性与实际图像属性是相同的。
在确定第一预定图像的实际图像属性之后,执行步骤203。
步骤203、根据预设的排图参数和第一预定图像的实际图像属性,获取第一校正参数。
第一校正参数实际上是分光器件的属性参数的实际值,以分光器件为光栅为例,具体的,第一校正参数可以包括光栅倾角、光栅水平栅距和光栅位移等等。
根据前文可知,裸眼立体显示设备根据预设的排图参数在显示器件上排布像素,在分光器件的作用下,在其显示屏上显示出第一预定图像。以第一预定图像为红绿条纹图像为例,裸眼立体显示设备根据预设的排图参数在显示器件上排布红绿像素,在分光器件的分光作用下,在显示屏上显示出红绿条纹图像。也就是说,红绿条纹图像是排图和分光器件共同作用的结果,即第一预定图像是排图和分光器件共同作用的结果,亦即,第一预定图像的理论图像属性、排图参数和第一校正参数是紧密关联的,理论上三者之间必存在一定的函数关系。显然,本领域技术人员可以根据光学原理和数学原理,获得这三者之间的函数关系,从而利用排图参数和第一预定图像的实际图像属性,来获取到第一校正参数。
举例来讲,在本发明的一个实施例中,第一预定图像为条纹图像,图像属性包括条纹间距和条纹斜率,排图参数包括排图倾角和排图周期,第一校正参数包括光栅倾角,他们具有如下函数关系:
其中,θ为条纹倾角、θ1为排图倾角,θ0为光栅倾角,t为条纹间距,t1为排图周期、t0为光栅投影周期(光栅投影到显示屏上的周期),其中t0的获取方式不限,例如为已知量,条纹间距即为对应的条纹周期,条纹倾角的正切值对应条纹斜率。
因此,可利用上述函数关系,求解光栅倾角。
可以理解的是,上述方式仅为示例,本发明不限于此,本领域技术人员可以合理选择。
在本发明的另一个实施例中,概括的讲,本步骤中,确定第一校正参数的具体过程可以为:
获取排图参数、第一校正参数、理论图像属性之间的第一关联关系;
根据第一关联关系、实际图像属性和预设的排图参数,确定第一校正参数。
其中所言的第一关联关系即可认为是函数关系。以a、b、c分别表示排图参数、第一校正参数、理论图像属性中的一者,则,第一关联关系可以表示为a=f(b、c),即,排图参数、第一校正参数、理论图像属性中的一者为另外两者的函数,即a可以应用b、c来表示、亦即a跟随b、c而改变。
由于第一关联关系为理论关系,即表示理论图像属性和排图参数以及第一校正参数的关系,而检测到的是实际图像属性,和理论图像属性可能存在细微差异,因此,为了更加精准的获取到第一校正参数,可以建立与第一关联关系对应的第一代价函数,根据实际图像属性和预设的排图参数,利用最小化算法最小化第一代价函数,从而确定第一校正参数。其中,最小化算法例如为梯度下降法等,本发明对此不做限定。下面对此进行详细举例说明:
本实施例中,分光器件为光栅,第一预定图像为两种颜色相间设置的条纹图像,假设为红绿条纹图像,裸眼立体显示设备利用预先设定的排图参数----排图倾角、排图周期和排图位移,在显示屏上排布第一颜色像素和第二颜色像素,并在分光器件的辅助下,显示出相间设置有第一颜色条纹和第二颜色条纹的条纹图像,该条纹图像是周期性的条纹图像,即第一颜色条纹和第二颜色条纹交错周期排列。红绿条纹图像的图像属性包括条纹斜率、条纹截距和条纹间距等。
如图1所示的原理图,其中,第一直线表示投影到显示屏上的周期性光栅(即分光器件),光栅实际参数即第一校正参数,包括光栅倾角c,光栅水平栅距p,光栅位移δ,其中,光栅位移δ为光栅与水平坐标轴x的交点中距离排图中心点最近的交点与排图中心点的水平距离。
第二直线表示根据预设的排图参数c′、p′、δ′在显示器件上的周期性排图,其中排图参数包括:排图倾角c′、排图周期p′和排图位移δ′,排图位移δ′为排图与水平坐标轴x的交点中距离排图中心点最近的交点与排图中心点的水平距离。
可以理解的是,第一直线的斜率k1和光栅倾角c相关,为方便描述,将第一直线的斜率k1表示为tanc,同理,第二直线的斜率k2和排图倾角c′相关,将第二直线的斜率k2表示为tanc′。
显然,第一直线的方程可表示为:
y=k1x+tanc*δ+tanc*n*p,其中,n为整数,表示第一直线的序号,n=0、1、2……。k1表示第一直线的斜率,第一直线的斜率为光栅倾角c的正切值,即k1=tanc,tanc*δ表示光栅位移在y轴上的截距,tanc*n*p表示光栅水平栅距在y轴上的截距。
而第二直线的方程可表示为:
y=k2x+tanc′*δ′+tanc′*m*p′,其中,m为整数,表示第二直线的序号,m=0、1、2……。k2表示第二直线的斜率,第二直线的斜率为排图倾角c′对应的正切值,即k2=tanc,tanc′*δ′表示的是排图位移δ′在y轴上对应的截距,tanc′*m*p′表示排图周期p′在y轴上对应的截距。
红绿条纹图像的图像属性包括条纹斜率slp、条纹截距shf以及条纹间距gap等。由于条纹图像为周期性图像,红绿条纹图像对应的条纹图像的方程可表示为:
y=slpx+shf+g*gap/cosθ,其中,g为整数,表示条纹直线的序号,tanθ表示条纹图像的斜率slp,则可以确定θ与slp之间的关系,进而可以得到cosθ与slp之间的关系。
显然,第一预定图像,即红绿条纹图像是由光栅和排图共同作用而形成的,即可认为,条纹直线是根据上述的裸眼立体显示设备的光栅投影到显示器件上形成的第一直线和排图形成的第二直线生成。从原理上将,第一直线和第二直线的交点肯定位于条纹直线上,也就是说,第一直线、第二直线和条纹直线具有共同的交点,基于该原理和上述三条直线的已知方程式,即可以推导出排图参数(c′、p′、δ′)、第一校正参数(c、p、δ)和理论图像属性(gap、shf、slp)之间的理论关联关系。进而即可基于该理论关联关系,计算出第一校正参数(c、p、δ)。
根据上述原理可推导出上述三者之间多种关联关系,例如,应用排图参数(c′、p′、δ′)、第一校正参数(c、p、δ)表示理论图像属性(slp、shf、gap)的关联关系,应用排图参数(c′、p′、δ′)、理论图像属性(gap、shf、slp)表示第一校正参数(c、p、δ)的关联关系,应用第一校正参数(c、p、δ)和理论图像属性(gap、shf、slp)表示排图参数(c′、p′、δ′)的关联关系等,具体的推导方式这里不再赘述,本领域技术人员可以合理选择。
利用这种方式获取校正参数,由于利用了排图参数、第一校正参数以及理论图像属性三者之间的关联关系,可建立多个方程式,趋于统一的数学模型,一次计算可求解多个第一校正参数。不需要针对每种校正参数都配置单独的数学模型,单独运算,有效简化了校正的运算过程,使校正过程快捷连续,具有明显的体系化特性,同时使得检测校正过程更经济且更容易实施,能够符合量产快速化生产的要求。
举例说明,假设根据上述原理得到的关联关系为应用排图参数(c′、p′、δ′)和第一校正参数表示理论图像属性的函数关系,参见如下三个表达式:
第一表达式:gap=f1(c、p、δ、c′、p′、δ′);
第二表达式:shf=f2(c、p、δ、c′、p′、δ′);
第三表达式:slp=f3(c、p、δ、c′、p′、δ′)。
其中,(c′、p′、δ′)为预设的已知量,每一组排图参数(c′、p′、δ′)对应于一张条纹图像,即对应一组理论图像属性(slp、shf、gap),实际实施中预设多组排图参数,也要分别得到每组排图参数对应的理论图像属性(slp、shf、gap),前述步骤已经获取了条纹图像的实际图像属性,即各组排图对应的图像属性亦为已知量,而第一校正参数(c、p、δ)为待求量,那么根据上述三个表达式,以及多组排图参数(c′、p′、δ′)和前述步骤检测得到的、分别与多组排图参数对应的多组图像属性,就可建立若干个方程式,从而求解出(c、p、δ)。
可以理解的是,上述三个关系式表示的是理论上的关联关系,即其中gap、shf以及slp可认为是在预设的排图参数下,配合固定的光栅参数(即第一校正参数)所得到的条纹图像的图像属性的理论值,即理论图像属性。而前述步骤中通过检测获取到的图像属性为实际图像属性,直接将实际图像属性作为理论图像属性代入到上述关系式中求解,会存在一定的误差。
因此,进一步优选的,可以建立与上述关联关系对应的第一代价函数,然后根据实际图像属性和排图参数,利用最小化算法最小化第一代价函数,确定第一校正参数。其中采用的最小化算法可以包括梯度下降法,当然也可以是其他的方法,在此不再一一列举。需要说明的是,能够适用于本发明实施例的最小化算法的其他方法也应当在本发明的保护范围内。以下具体说明:
将前述步骤中获取到的实际图像属性表示为(gap*、shf*、slp*),理论图像属性表示为(gap、shf、slp),分别与排图参数(c′、p′、δ′)相对应。
gap=f1(c、p、δ、c′、p′、δ′);
shf=f2(c、p、δ、c′、p′、δ′);
slp=f3(c、p、δ、c′、p′、δ′)。
建立如下第一代价函数:
其中,coe=(c、p、δ),理论图像属性gap,shf,slp可以用前述表达式进行计算,gap*,slp*,shf*为利用图像算法检测到的实际图像属性。利用已知的(c′、p′、δ′)和(gap*、shf*、slp*),最小化第一代价函数,从而求解出(c、p、δ)。
例如:当前状态下,当第一组排图参数为c1′、p1′、δ1′时,则对应的实际图像属性为gap1*、shf1*、slp1*,理论图像属性为slp1、shf1、gap1。当第二组排图参数为c2′、p2′、δ2′时,与第二组排图参数对应的实际图像属性为gap2*、shf2*、slp2*,第二组理论图像属性为slp2、shf2、gap2,当第三组排图参数c3′、p3′、δ3′时,与第三组排图参数对应的实际图像属性为gap3*、shf3*、slp3*、第三组理论图像属性为slp3、shf3、gap3。以此类推,当第n组排图参数为cn′、pn′、δn′时,与第n组排图参数对应的实际图像属性为gapn*、shfn*、slpn*、第n组理论图像属性为slpn、shfn、gapn。其中,理论图像属性可以使用利用第一校正参数和排图参数的表达式进行表达。
根据gap1*、shf1*、slp1*、gap2*、shf2*、slp2*、gap3*、shf3*、slp3*…gapn*、shfn*、slpn*确定实际图像属性集合,根据slp1、shf1、gap1、slp2、shf2、gap2、slp3、shf3、gap3…slpn、shfn、gapn确定理论图像属性集合。将实际图像属性集合和理论图像属性集合按照对应关系代入第一代价函数中,根据多组实际图像属性和对应的理论图像属性,利用最小优化算法进行拟合来获取第一校正参数c、p、δ。
步骤204、保存第一校正参数,使得裸眼立体显示设备根据第一校正参数进行裸眼立体显示。
在获取第一校正参数之后,对第一校正参数进行保存,以便于后续裸眼立体显示设备在裸眼立体显示过程中对第一校正参数的调用,裸眼立体显示设备可根据预先保存的校正参数进行显示,即对显示进行校正,从而呈现出较好的立体显示效果。
具体的,在裸眼立体显示设备为手机或者笔记本电脑等设备时,这类设备通常包括主板,主板上设有存储器,本步骤中,可以将第一校正参数保存在这些裸眼立体显示设备上,即保存在设备自身的存储器中,供其显示时进行调用。
当然,裸眼立体显示设备也可以为显示屏幕类设备,即仅仅作为显示屏幕,需要连接外部主机并在外接主机的控制下进行显示,外接主机例如为外接监视器或者外接pc(personalcomputer,个人计算机)等,此时,本步骤中可以把第一校正参数保存在外接主机中,例如监视器的某一个存储器中,或者是存在外接的pc中等。
本发明提供的校正方法,可以适用于不同的显示设备,相较于现有的校正方法,本发明使用更趋于统一的数学模型,校正过程快捷连续,具有明显的体系化特性,同时使得检测校正过程更经济且更容易实施,能够符合量产快速化生产的要求。
前文中已经说明,对于具有跟踪显示功能,即追踪观看者人眼位置,按照人眼位置进行显示的裸眼立体显示设备而言,其前置摄像头用于追踪观看位置,在出厂前也是需要对摄像头进行标定的,即获取摄像头的内参和外参。因此,进一步的,作为本发明的一个优化,在获取第一校正参数之前,对于具有前置摄像头的裸眼立体显示设备而言,可以进行前置摄像头校正,其中进行前置摄像头校正的过程可应用于带有跟踪的裸眼3d显示过程中。具体校正过程可如下所述:
首先,控制裸眼立体显示设备显示第二预定图像,并将该图像投影到与裸眼立体显示设备的前置摄像头正对的镜面上,然后,利用前置摄像头对第二预定图像在镜面上形成的虚像进行拍摄,获取第二目标图像。同前述实施例相同,优选的,为了后续运算简便,并且为得到质量较高第二预定图像从而有效保证运算处理的准确性,在镜面上形成虚像时,裸眼立体显示设备的显示屏与镜面平行相对,且显示屏与镜面间隔预定距离,该预定距离本领域人员可以合理设置,基本原则是,需要保证前置摄像头采集的图像中包含有清晰的第二预定图像。
然后,根据包含有第二预定图像的第二目标图像,获取前置摄像头的校正参数,其中,前置摄像头的校正参数包括摄像头的内参和外参。具体的,第二预定图像中可设置有特征像素点,可首先利用图像检测等方法获取第二目标图像中第二预定图像中的特征像素点的实际像素坐标,然后,根据特征像素点的实际像素坐标,确定前置摄像头的校正参数。
从原理上讲,裸眼立体显示设备在显示特征像素点时,特征像素点是按照预设的原始坐标信息进行显示的,其中原始坐标信息为特征像素点在其显示屏上的像素坐标,而在第二目标图像中,可以通过图像检测的方法获取到特征像素点在第二目标图像中的实际像素坐标。而本领域技术人员可以理解的是,由于第二目标图像是由前置摄像头进行拍摄的,则根据摄像头的内参和外参,经过坐标变换,特征像素点的原始坐标信息可转换成理论上的第二目标图像中的像素坐标,即以摄像头的校正参数(内参和外参)作为变换参数,对原始坐标进行变换,即可获取到第二目标图像中第二预定图像中特征像素点的理论的像素坐标和前置摄像头的校正参数的第二关联关系;那么,在已知原始坐标信息和实际的像素坐标,并且已知第二关联关系的基础上,即可求解出摄像头的校正参数,即内参和外参。之后,保存前置摄像头的校正参数,使得裸眼立体显示设备使用前置摄像头的校正参数进行裸眼立体显示。
这种利用镜面映射的方式进行摄像头校正的方法,由于摄像头距离镜面的距离已知,即摄像头距离虚像的距离已知,在特征点像素点达到一定数量的情况下,只需要拍摄一张第二预定图像即可,不需要利用前置摄像头拍摄多张图像,通过多张图像进行摄像头与图像之间距离、摄像头内参和外参的确定,从而简化了校正过程。结合前述利用前置摄像头拍摄第一预定图像的虚像进行显示校正,此时,该前置摄像头既当作被标定的摄像头,也当做进行图像采集来显示校正的摄像头,并且前述分光器件的校正和该摄像头校正均可以由裸眼立体显示设备自行执行,从而实现了摄像头标定和分光器件校正过程的统一,可使用相同的校正用制具,使得摄像头标定和分光器件的校正一气呵成,顺序完成。
具体说明,假设显示屏与镜面之间平行设置,两者之间的距离dm,特征像素点的原始坐标信息x0。需要说明的是,为方便进行描述,以下使用大写的x表示坐标(x,y,z),即x0实际上表示的是坐标(x0,y0,z0)。
首先根据显示屏与镜面之间的距离dm以及原始坐标信息x0,进行镜像坐标变换,确定第二坐标信息,其中第二目标图像中对应的特征像素点的虚像的第二坐标信息用xm来表示,则xm=x0+2dm。然后,根据第二坐标信息xm和摄像头的内参外参(即摄像头校正参数)进行坐标变换,获取到第二目标图像中第二预定图像中特征像素点的理论像素坐标和前置摄像头的校正参数的第二关联关系。
具体的变换如下:首先根据第二坐标信息xm,摄像头的外参cr、ct(其中ct是表示显示屏坐标系的原点与摄像头坐标系的原点之间的相对位置关系,当裸眼显示立体设备确定之后,即显示屏与摄像头的相对位置关系是确定的,因此ct值是一个已知量)进行旋转平移变换,获取摄像头拍摄的特征像素点的虚像的第三坐标信息,其中第三坐标信息采用xc来表示,则
xc=cr*(xm-ct),其中,xc表示(xc,yc,zc),xm=x0+2dm。
在获取第三坐标信息xc之后,对xc进行齐次坐标变换,得到齐次坐标信息,其中齐次坐标信息采用xp来表示,则
得到齐次坐标信息之后,需要对齐次坐标信息xp进行径向畸变校正得到xpp,xpp=(1+k1r2+k2r4)xp,其中,k1、k2、r为摄像头的内参,在得到经过畸变校正之后xpp之后,根据摄像头内参矩阵获取特征像素点的理论像素坐标。
其中特征像素点的理论像素坐标uv等于xpp与摄像头内参组成的矩阵的乘积,即:
经过上述一系列变换,即可建立起特征像素点的理论像素坐标uv与摄像头内参外参的第二关联关系,也就是说,uv被表示为x0、dm以及摄像头内参外参的函数。x0、dm为已知量,可通过图像检测的方法得到特征像素点在第二目标图像中的实际像素坐标,从而利用上述关联关系,求解摄像头的内外参,即摄像头的校正参数。
类似的,参考前述方法,为了有效减小误差,将检测到的实际像素坐标表示为uv*,可建立与第二关联关系对应的第二代价函数,然后根据实际像素坐标uv*,利用最小化算法最小化第二代价函数,确定摄像头的内参和外参。例如,第二代价函数可以为:
其中,coe=[fx,fy,px,py,sk,k1,k2,cra,crb,crc]t。
uv为理论像素坐标,
例如第二目标图像中特征像素点的数量为10个,10个特征像素点对应的理论像素坐标分别为uv1~uv10,10个特征像素点对应的实际像素坐标分别为uv1*~uv10*,其中uv1*~uv10*均为已知量。然后利用第二代价函数进行计算,将uv1与uv1*、uv2与uv2*、uv3与uv3*、uv4与uv4*、uv5与uv5*、uv6与uv6*、uv7与uv7*、uv8与uv8*、uv9与uv9*、uv10与uv10*依次代入第二代价函数中,其中uv1、uv2、uv3、uv4、uv5、uv6、uv7、uv8、uv9、uv10均表示为包含有前置摄像头的外参内参的关联函数,其中前置摄像头的内参外参(即所要求解的摄像头校正参数)包括:fx、fy、px、py、skew、k1、k2、cra、crb、crc等,利用最小优化算法来确定出前置摄像头的校正参数。其中skew与sk相同,即采用不同的字母组合表示相同的参数。
实际实施中,需要根据未知量的数目和运算精度要求,获取到第一预设数目的特征像素点的实际像素坐标uv*。其中所选取的特征像素点的个数需要大于前置摄像头的校正参数中的未知变量的个数。所选取的特征像素点的个数越多,则求出的前置摄像头的校正参数越精确。需要说明的是,在本方案中根据第二目标图像确定前置摄像头的校正参数时,仅需依据一幅第二目标图像即可完成校正过程,且在校正过程中,可以实现对前置摄像头进行自动化、快速化校正。
得到校正参数后,保存前置摄像头的校正参数,使得裸眼立体显示设备使用前置摄像头的校正参数进行裸眼立体显示。本发明实施例中针对的是具有前置摄像头的裸眼立体显示设备,将前置摄像头采集的裸眼立体显示设备所显示的第二预定图像的虚像作为第二目标图像,在获取第二目标图像之后,根据包含第二预定图像的第二目标图像获取前置摄像头的校正参数,在获取前置摄像头的校正参数之后,保存前置摄像头的校正参数,以便于后续过程中的实时调用。
其中,举例来讲,如图12所示,第二预定图像可以为棋盘格图像,相邻棋盘格之间的交点可作为特征像素点。
此时,初始裸眼立体显示设备生成棋盘格图像的过程可以为:
设置棋盘格的尺寸信息,并获取显示屏的尺寸信息;以显示屏的中心点为对称点,根据显示屏的尺寸信息以及棋盘格的尺寸信息确定显示屏所显示的棋盘格的行列数目;针对每一行中的棋盘格,根据每一棋盘格所属的列数的奇偶信息设置颜色标记;其中相邻行的颜色标记设置方式相反。其中棋盘格图像中各个棋盘格对应的尺寸信息相同。
具体的,根据显示屏的尺寸信息以及棋盘格图像中每一方格的尺寸信息,来确定显示屏所能容纳的棋盘格的数量,在确定棋盘格的数量之后,确定显示屏所能包含的棋盘格的行数和列数。在确定棋盘格的行数和列数之后,针对每一行设置每一棋盘格的颜色,其中同一行中,相邻棋盘格的颜色相反,相邻行中颜色设置方式相反。
即针对每一行棋盘格,统计列数所属的奇数信息和偶数信息,在确定出奇数信息和偶数信息之后,根据奇数信息和偶数信息来设置每一行中奇数列和偶数列的颜色,在设置的过程中相邻行的奇偶列的颜色设置方式相反,例如:第一行中奇数列的颜色为白色,偶数列的颜色为黑色,则第二行中奇数列的颜色为黑色,偶数列的颜色为白色。相应的第三行中奇数列的颜色为白色,偶数列的颜色为黑色。
在显示屏显示棋盘格图像之后,在与显示屏间隔预定距离的镜面上形成棋盘格图像的虚像,利用显示屏端面上的前置摄像头对镜面上形成的棋盘格图像的虚像进行拍摄,来获取第二目标图像。第二目标图像具体可参见图13。
在获取第二目标图像之后,根据包含有第二预定图像的第二目标图像,获取前置摄像头的校正参数的过程为:获取第二目标图像中第二预定图像中的特征像素点的实际像素坐标;根据特征像素点的实际像素坐标,确定前置摄像头的校正参数。
其中特征像素点为棋盘格图像中的角点,获取第二目标图像中第二预定图像中的特征像素点的实际像素坐标时,在第二目标图像中确定特征像素点之后,根据每一特征像素点,采用角点图像检测算法,获取第二目标图像中对应的特征像素点的实际像素坐标uv*。
参见图13,其中棋盘格图像中特征像素点的数量为多个,在本方案中获取的特征像素点均为棋盘格图像的角点,例如棋盘格图像中特征像素点的数量可以为135个。当特征像素点的数量为135个时,相应的,棋盘格图像中特征像素点的原始坐标信息的数量为135个,利用图像检测算法得到的特征像素点的实际像素坐标的数量也为135个。
进一步的,在本发明实施例中,获取前置摄像头的校正参数之后,该方法还可包括:
根据前置摄像头的校正参数来确定显示屏在第二目标图像中的图像位置信息。
该图像位置信息可应用于第一校正参数的获取过程中,用来在第一目标图像中提取第一预定图像。可以理解的是,在使用同一套镜面制具进行分光器件校正和前置摄像头校正时,裸眼立体显示设备和镜面的位置关系固定,则镜面上所成的虚像中,显示屏的位置固定,即显示屏在第一目标图像或第二目标图像中的图像位置信息相同。
其中,显示屏的图像位置信息可以为显示屏的四个顶点在第二目标图像中的位置信息。具体的,可根据显示屏的屏幕参数信息、显示屏与镜面的距离信息,获取在第二目标图像中显示屏四个顶点的坐标信息。其中屏幕参数信息包括:像素点点距、显示屏的分辨率,坐标原点信息,例如显示屏的中心位置为坐标原点。
在获取前置摄像头的校正参数之后,根据前置摄像头的校正参数来确定显示屏的图像位置信息的具体过程可以为:在获取前置摄像头的校正参数之后,根据前置摄像头的校正参数和显示屏的原始位置信息,确定显示屏的图像位置信息。其中,显示屏的原始位置信息可以根据第二目标图像中显示屏边界位置的特征像素点的坐标信息来获取,利用边界的特征像素点坐标,分辨率以及像素点点距等信息,即可获取到显示屏四个顶点的原始位置信息。
在得到显示屏的原始位置信息之后,根据获取的前置摄像头的校正参数,对原始位置信息进行前述的坐标变换,从而获取到显示屏四个顶点在第二目标图像中的图像位置信息。举例来说,当像素点点距为dot、显示屏的分辨率为a*b,显示屏与镜面的距离为mirrdist时,显示屏四个顶点在x方向的坐标分别为0.5adot、0.5adot、-0.5adot、-0.5adot;确定显示屏四个顶点在y方向的坐标分别为0.5bdot、0.5bdot、-0.5bdot、-0.5bdot;利用显示屏与镜面的距离进行镜像坐标变换,确定显示屏四个顶点所成虚像的坐标为(0.5adot,0.5bdot,2mirrdist),(-0.5adot,0.5bdot,2mirrdist),(0.5adot,-0.5bdot,2mirrdist),以及(-0.5adot,-0.5bdot,2mirrdist)。然后利用摄像头的内参和外参,依次进行旋转平移变换、齐次坐标变换、径向畸变校正和内参矩阵变换,就得到了显示屏四个顶点在第二目标图像中的位置坐标,即图像位置信息。
可选的,在本发明的一个实施例中,在获取显示屏的图像位置信息之后,则可以执行前述获取第一校正参数的过程:获取裸眼立体显示设备根据预设的排图参数显示的第一预定图像;根据第一预定图像,获取第一预定图像的实际图像属性;根据预设的排图参数和第一预定图像的实际图像属性,获取第一校正参数;保存第一校正参数,使得裸眼立体显示设备根据第一校正参数进行裸眼立体显示。
获取裸眼立体显示设备根据预设的排图参数显示的第一预定图像时,对第一预定图像进行拍摄,获取第一目标图像,根据第一目标图像,获取第一预定图像。在根据第一目标图像,获取第一预定图像时,确定第一目标图像中第一预定图像的区域范围;根据确定的区域范围,在第一目标图像中抠取与区域范围对应的图像,将区域范围对应的图像确定为第一预定图像。
在确定第一目标图像中第一预定图像的区域范围时:根据预先确定的显示屏对应的图像位置信息,确定第一目标图像中显示屏的区域范围,将第一目标图像中显示屏的区域范围确定为第一目标图像中第一预定图像的区域范围,其中,图像位置信息包括显示屏的四个顶点在第一目标图像中的坐标信息。
此过程中,可以首先进行前置摄像头的校正,获取显示屏的图像位置信息,然后在裸眼立体显示设备显示第一预定图像时,获取对应的第一目标图像,然后根据显示屏的图像位置信息,在第一目标图像中获取第一预定图像,根据第一预定图像来获取第一校正参数,实现了摄像头标定和显示屏校正过程的统一,可以在实现对摄像头自动化、快速化校正的基础上,建立综合的校正统一模型,保证了综合校正的可行性,使得校正过程更加便捷。该方法和理论非常适用于需要利用设备自身摄像头进行数据采集而实时更改屏幕显示状态的设备。且同时也可适用于不同的显示设备,可以保证校正的一致性。
进一步的,本发明的一个实施例中,裸眼立体显示设备包括第一显示模式和第二显示模式两种显示模式,比如,第一显示模式为横屏显示模式和纵屏显示模式中的一种,第二显示模式为横屏显示模式和纵屏显示模式中的另一种,因此,可以分别对两种模式进行显示校正。具体的,控制裸眼立体显示设备在第一显示模式下显示第一预定图像,并利用前述方式进行显示校正,得到与第一显示模式相对应的第一校正参数。控制裸眼立体显示设备在第二显示模式下显示第三预定图像,利用与前述第一显示模式相同的方法,获取与第二显示模式对应的第二校正参数。校正方式是相同的,请参考前文描述,这里不再赘述。需要注意的是,不同显示模式坐标系可能是不同的,所以校正过程中的各种参数要与各自的坐标系相对应。
需要说明的是,本实施例中,分别对两种显示模式进行了显示校正,但是两种显示模式下所校正的分光器件可以为相同的分光器件也可以是不同的分光器件。具体来说,具有两种显示模式的裸眼立体显示设备,其在进行两种显示模式的显示时,可以是分光器件共享,即第一显示模式和第二显示模式使用相同的分光器件,亦即在进行显示模式的切换时不需要进行分光器件的切换,这种情况下,在两种显示模式下校正的是相同的分光器件。
当然也可以是第一显示模式和第二显示模式分别使用不同的分光器件,即在进行显示模式的切换时还需要进行分光器件的切换,例如关掉一个光栅,启动另外一个光栅,这种情况下,在两种模式下校正的是不同的分光器件。本发明实施例中对此不做具体的限定,无论是相同还是不同的分光器件,都可使用本发明实施例所提供的显示校正方法进行校正。
在横屏状态下,屏幕的坐标轴x与屏幕长度较大的方向相同。其中横屏状态下对应的坐标系如图3a所示。图3a只是举例说明横屏状态下对应的坐标系的一种可实施方式,本领域技术人员可根据实际情况自行建立横屏状态下的坐标系。具体的校正过程包括:单独进行显示屏校正的流程,或者进行前置摄像头的校正和显示屏的综合校正流程。显示屏校正的流程参见图2所示实施例,综合校正流程中,首先进行前置摄像头的校正(即内外参标定),方法可如前所述,然后,进行显示屏即分光器件的实际参数的校正,方法如前所述。
在纵屏状态下,屏幕x轴与较短的边同向,纵屏状态下对应的坐标系如图3b所示。图3b只是举例说明中纵屏状态下对应的坐标系的一种可实施方式,本领域技术人员可根据实际情况自行建立纵屏状态下的坐标系。需要考虑前置摄像头以及裸眼立体显示设备在纵屏情况下的变种。纵屏情况下的校正,大致步骤也同样是分为摄像头校正和显示屏校正或者只进行显示屏的校正,其最主要的差别是屏幕的光学特性发生改变,同时空间坐标也不同,因此需要针对纵屏进行适配和改进。
当仅需要显示屏校正时,仅需获取第一目标图像,根据第一目标图像确定第一校正参数,当需要进行摄像头和显示屏校正时,需要获取第二目标图像和第一目标图像,确定摄像头校正参数和第一校正参数。
结构上由于图像的采集都是通过设备的摄像头(或者其他摄像头)进行采集的,屏幕的内容在图像中之中并没有什么差别,只是获取到的图像在用于计算时,根据不同的方向需要做不同的转换,坐标系发生改变后,摄像头相对于坐标原点的位置也发生了改变;需要在校正算法和流程上做修改。
具体到校正流程时,纵屏校正与横屏校正的差别在于:1、在生成棋盘格时,理论的角点坐标系不同,同时,进行摄像头标定的参数ctx和cty输入发生了改变。2、在根据屏幕参数进行条纹显示时,由于屏幕特性发生改变,设置的参数值也是不同的。其中屏幕特性改变即分光器件的物理参数发生变化(c、p、δ),设置的参数值(c′、p′、δ′)也不同。
进一步的,在本发明的一个实施例中,裸眼立体显示设备进行自校正,自己执行显示校正方法,将第二校正参数保存后,该裸眼立体显示设备在进行裸眼立体显示时,首先确定裸眼立体显示设备当前的显示模式;在确定裸眼立体显示设备处于第一显示模式时,调用与第一显示模式对应的第一校正参数进行裸眼立体显示,在确定裸眼立体显示设备处于第二显示模式时,调用与第二显示模式对应的第二校正参数进行裸眼立体显示。
本发明实施例技术方案中,在获取第二目标图像时需要采用镜面映射原理,在获取第一目标图像时也可以采用镜面映射原理,当然获取第一目标图像的过程还可以采用其他方式。其中在采用镜面映射原理时,所采用的校正制具有多种,下面针对每一校正设备实现裸眼立体显示设备的校正的具体方式进行详细的说明。
方式一
如果是手机、平板、电脑(摄像头法线与本身屏幕垂直)这样的终端设备以及屏幕,可以设计平行的支架,一面来放置镜子,一面来放置显示屏,支架的上下面尽量光滑,使得显示屏与镜子保持平行,另外镜子的反射面与显示屏相对,让支架与显示屏直接接触。
为了能够形成生产的设备,设计出的制具需要能够保证显示屏和镜面平行,同时要尽量不被外界的光线干扰,同时也要满足轻便和多型号适配的特点。为了使摄像头能够拍到整个显示屏画面,显示屏需要离镜面合适的距离,太近则无法拍到完整的屏幕,太远则拍到的画面太小。由于在校正过程中不能够移动终端设备,制具要保证终端设备的固定,同时也要考虑到终端设备周边的按键不会轻易被按下,以及连接终端设备的数据线也不能够被抬起。
在不同的场景下支架制具具有不同的形态,但主要的特征是:1、显示屏与镜面平行;2、显示屏与镜面间隔的距离能够保证摄像头拍照得到完整的屏幕图案;3、尽量保证在校正过程中终端设备不被移动;4、为了适配更多类似的设备,需要将托放显示屏的面板做得灵活。
方式二
利用辅助控制的方式进行校正,即利用c/s模式,使用socket进行通信,客户端主机通过数据线和待校正裸眼立体显示设备进行连接,客户端主机负责发送命令和流程控制,待校正裸眼立体显示设备负责图像显示、接收命令并传回数据,系统模型如图4所示,包括:客户端主机21,与客户端主机21连接的裸眼立体显示设备22,裸眼立体显示设备22固定在制具23上,且裸眼立体显示设备22的显示屏与制具23上的全反射镜片232相对且间隔预定距离。
校正时只需要将裸眼立体显示设备22放置在制具23上,通过数据线连接裸眼立体显示设备22和客户端主机21,就可以进行校正工作了。上述系统结构的特点是,制具23和客户端主机21之间的连接比较灵活,部署时需要将客户端程序安装到客户端主机21上。
如图5a~5d所示,制具包括:暗黑箱体231和安装在暗黑箱体231内的全反射镜片232,裸眼立体显示设备22可拆卸安装于暗黑箱体231上,并与全反射镜片232平行且相对设置,裸眼立体显示设备22与全反射镜片232间隔预定距离,全反射镜片232用于反射裸眼立体显示设备22显示的图像,以使裸眼立体显示设备22采集全反射镜片232反射的图像。暗黑箱体231包括盖板233,盖板233上设有与裸眼立体显示设备22外形相适配的凹槽,裸眼立体显示设备22可拆卸安装于凹槽内,且裸眼立体显示设备22显示的图像经由凹槽的底部到达全反射镜片232。凹槽的底部设有第一开口部,裸眼立体显示设备显示的图像经由第一开口部到达全反射镜片232。凹槽内安装有透明玻璃基板234,透明玻璃基板234盖设于第一开口部上并用于承载裸眼立体显示设备22。
如图4、图5a~5d所示,在校正过程中,裸眼立体显示设备22与客户端主机21连接,客户端主机21启动应用程序之后,触发裸眼立体显示设备22开启应用程序,在设置屏幕亮度之后,客户端主机21生成对应的图像,当需要进行显示屏校正时,此时生成条纹图像即可;当需要进行摄像头和显示屏综合校正时,此时需要生成棋盘格图像,在完成摄像头的校正之后,再生成条纹图像进行显示屏的校正。本发明实施例中以进行摄像头和显示屏综合校正为例进行说明。
客户端主机21根据当前的屏幕状态确定对应的坐标系,生成棋盘格图像之后,将棋盘格图像传递至裸眼立体显示设备22,在裸眼立体显示设备22显示棋盘格图像之后,棋盘格图像投影至全反射镜片232内,利用摄像头对全反射镜片232内形成棋盘格图像的虚像进行拍摄,获取第二目标图像,然后由客户端主机21对第二目标图像进行分析,获取摄像头校正参数。在获取摄像头校正参数之后,还可以根据摄像头校正参数确定显示屏的图像位置信息。
然后客户端主机21获取当前屏幕状态下对应的排图参数,根据排图参数生成条纹图像,并传递至裸眼立体显示设备22,在裸眼立体显示设备22显示条纹图像之后,条纹图像投影至全反射镜片232内,利用摄像头对全反射镜片232内形成的条纹图像的虚像进行拍摄,获取第一目标图像,根据预先确定的显示屏的图像位置信息,获取第一预定图像,然后由客户端主机21对第一预定图像进行分析,获取第一校正参数。
其中,为了设备方便部署,可将支架与主机设计在一起,如图6a和图6b所示的主机校正系统,包含:支架41以及一台特制机箱的主机42,主机42和支架41之间可以灵活的进行拆卸和组装,裸眼立体显示设备22固定在支架41上。当裸眼立体显示设备22型号改变时,只需要另外设计能够和主机42组装在一起的支架41即可。该支架41不仅能够整体进行更换,也可以只更换托板,另外由于机箱本身具有密封的环境,不需要多余的材料来将四根立柱包围。
辅助控制校正的特点是将裸眼立体显示设备当作一个附属设备,主机控制裸眼立体显示设备,进行软件的安装以及发送命令、获取屏幕图像等操作,可以实现较为复杂的需求,例如上传每个裸眼立体显示设备的校正日志,为每一个裸眼立体显示设备分配一个编号等。辅助控制校正系统不需要设备提前安装相关软件,可以更灵活的进行校正。
方式三
自校正方式,即通过自身的系统进行图片显示、抓图以及计算得到最后的参数;该系统只需要裸眼立体显示设备和平行镜面以及相应制具即可。该校正装置轻巧简便,如图5a~5d所示,包括,暗黑箱体231和安装在暗黑箱体231内的全反射镜片232,裸眼立体显示设备22可拆卸安装于暗黑箱体231上,并与全反射镜片232平行且相对设置,裸眼立体显示设备22与全反射镜片232间隔预定距离,全反射镜片232用于反射裸眼立体显示设备22显示的图像,以使裸眼立体显示设备22采集全反射镜片232反射的图像。裸眼立体显示设备22与全反射镜片232之间间隔的预定距离,可以保证裸眼立体显示设备22上的摄像头对全反射镜片232上形成的虚像进行清晰的拍摄。
其中,暗黑箱体231包括盖板233,盖板233上设有与裸眼立体显示设备22外形相适配的凹槽,裸眼立体显示设备22可拆卸安装于凹槽内,且裸眼立体显示设备22显示的图像经由凹槽的底部到达全反射镜片232。凹槽的底部设有第一开口部,裸眼立体显示设备22显示的图像经由第一开口部到达全反射镜片232。凹槽内安装有透明玻璃基板234,透明玻璃基板234盖设于第一开口部上并用于承载裸眼立体显示设备22。
凹槽的侧壁设有止口结构,透明玻璃基板234安装于止口结构内。止口结构包括凹止口,凹止口延伸出用于承载透明玻璃基板234的承载部,透明玻璃基板234与承载部未重叠的区域大于裸眼立体显示设备22的显示区域。在透明玻璃基板234与凹槽配合时,止口结构支撑透明玻璃基板234,来保证透明玻璃基板234与凹槽的配合。同时在透明玻璃基板234与凹槽匹配时,两者形成的结构可以防止灰尘进入暗黑箱体231内。透明玻璃基板234与承载部的未重叠的区域大于裸眼立体显示设备22的显示区域。可以保证显示屏内显示的图像通过透明玻璃基板234,投影至全反射镜片232上,进而实现裸眼立体显示设备22上的摄像头对全反射镜片232上形成虚像的采集。
凹槽的深度与承载部的厚度之差大于或者等于透明玻璃基板234与裸眼立体显示设备22的厚度之和,便于容纳裸眼立体显示设备22。盖板233上还设置有两个凹陷部,两个凹陷部对称设置于凹槽的两侧。通过在盖板233的边缘部位设置凹陷部,可以方便用户拿取安装于凹槽内的裸眼立体显示设备22。盖板233上还设有安放与裸眼立体显示设备22相连接的连接线的安装部,安装部与凹槽连通。暗黑箱体231包括箱本体,箱本体设置有第二开口部,盖板233盖设于第二开口部上。
具体的工作原理:裸眼立体显示设备22放置在透明玻璃基板234上,正下方有全反射镜片232,裸眼立体显示设备22屏幕上的图像可透过透明玻璃基板234和第一开口部,在全反射镜片232上成像,裸眼立体显示设备22的前置摄像头可以拍摄到全反射镜片232上的图像,利用软件计算图像的相关数据,校正立体显示效果。
具体的校正流程为:裸眼立体显示设备启动应用程序,提示用户将裸眼立体显示设备放置在透明玻璃基板上。之后裸眼立体显示设备根据当前屏幕状态确定对应的坐标系,根据对应的参数显示棋盘格图像,并利用摄像头拍摄棋盘格在全反射镜片上形成的虚像,获取第二目标图像,裸眼立体显示设备根据第二目标图像计算摄像头参数,在获取摄像头参数之后,根据摄像头参数确定显示屏的图像位置信息。然后裸眼立体显示设备根据当前的屏幕状态确定对应的排图参数之后,显示条纹图像,利用摄像头拍摄条纹图像在全反射镜片上形成的虚像,获取第一目标图像,并根据显示屏的图像位置信息确定第一预定图像,根据第一预定图像计算屏幕校正参数,根据屏幕校正参数对显示图像进行校正。
该系统的校正设备拥有自己的操作系统,利用预装的校正软件进行图片显示(棋盘格以及条纹图像),并利用自身的摄像头获取在镜面中的投影图像,通过计算得到自身的设备参数。自较正系统的特点是结构简单,自身完成图像显示和计算,不需要连接额外的主机,不需要与其他机器进行通讯,但是需要提前预装校正软件。
方式四
单面板校正,单面板是只含有3d特性的屏幕,并不具有处理器,为了检测出厂屏幕是否合格,需要经过镜面校正来验证屏幕是否具有合格的立体显示效果。在该系统中,单面板作为主机系统的一个扩展屏,用于显示条纹图像,为了获取图像,需要预先知道拍照图片中条纹图所在的区域,于是利用外置的工业摄像头,同时利用棋盘格标定来达到该目的。该系统的主要特点是:1、单面板不具有操作系统,无法单独运行;2、需要有外置的摄像头进行拍照获取图像;3、该系统是通过镜面校正来辨别产品是否合格,不需要设置参数。设备结构如图7a~7c所示:
该设备主要由可以调节的镜面51、放置面板的制具52、设备主机53等构成。制具52上形成有透明玻璃盖板521,单面板放置于透明玻璃盖板521上,其中透明玻璃盖板521与镜面51相对,单面板上显示的图像透过透明玻璃盖板521在镜面51上成像。由于可以调节镜面51与透明玻璃盖板521之间的距离,因此可以适配多种型号的单面板。其中镜面51设置于箱体内,箱体内设置有传动镜面51上下运动的传动装置。大致流程是,将单面板放在透明玻璃盖板521上,并对单面板进行固定,点亮单面板,让设备主机53开始工作便可以进行校正。
具体的校正流程为:设备主机53启动程序开启光栅,在单面板上根据排图参数来显示条纹图像,利用工业摄像头拍摄条纹图像在镜面51上的虚像,获取第一目标图像,根据第一目标图像计算屏幕参数,根据屏幕参数检测单面板是否属于合格产品。
镜面校正通过设备的摄像头和与之平行的镜面,利用图像映射原理,实现了自身图像的显示和获取,在传统的相机标定上有了较大的改进,方便了设备屏幕参数校正的过程,使之不需要借助外部的摄像头就能获取屏幕条纹图像,从而简化了校正设备的设计和成本。该方法和理论非常适用于需要利用设备自身摄像头进行数据采集而实时更改屏幕显示状态的设备。
此外,此方法适用于所有裸眼立体显示设备,裸眼立体显示设备可以是横屏观看,也可以是纵屏观看,或者说裸眼立体显示设备是整体的显示产品或者是单个的显示模组,均可采用此方法进行校正。并且,针对不同的操作系统,可以使用同样的方法对其进行扩展适配,以便运行在不同的系统上。
本发明实施例中在不同的屏幕模式下进行不同的校正,在横屏模式下,采用上述的校正方法执行一次完成的校正流程,来获取横屏模式下对应的第一校正参数和摄像头校正参数并保存;在纵屏模式下,采用上述的校正方法执行一次完成的校正流程,来获取纵屏模式下对应的第二校正参数和摄像头校正参数并保存。
在实际应用过程,在横屏模式下校正时,需要调用横屏模式下对应的第一校正参数和摄像头校正参数即可实现校正过程;在纵屏模式下校正时,需要调用纵屏模式下对应的第二校正参数和摄像头校正参数即可实现校正过程。
本发明实施例,获取裸眼立体显示设备显示的第一预定图像,确定第一预定图像的实际图像属性,根据实际图像属性以及预设排图参数,确定第一校正参数,根据第一校正参数对裸眼立体显示设备进行校正,实现将裸眼立体显示设备在生产过程中的出现的误差进行检测校正并保存校正参数,在后续裸眼立体显示时,裸眼立体显示设备可根据预先保存的校正参数进行显示,即对显示进行校正,从而呈现出较好的立体显示效果。且本发明提供的校正方法,可以适用于不同的显示设备,相较于现有的校正方法,本发明使用更趋于统一的数学模型,校正过程快捷连续,具有明显的体系化特性,同时使得检测校正过程更经济且更容易实施,能够符合量产快速化生产的要求。
本发明实施例还提供一种裸眼立体显示设备的显示校正装置,裸眼立体显示设备包括显示屏,显示屏包括显示器件和分光器件,显示器件和分光器件相对设置,如图8a所示,该装置包括:
第一获取模块10,用于获取裸眼立体显示设备根据预设的排图参数显示的第一预定图像;
第二获取模块20,用于根据第一预定图像,获取第一预定图像的实际图像属性;
第三获取模块30,用于根据预设的排图参数和第一预定图像的实际图像属性,获取第一校正参数;
第一保存模块40,用于保存第一校正参数,使得裸眼立体显示设备根据第一校正参数进行裸眼立体显示。
其中,第一获取模块10包括:
第一获取子模块11,用于利用摄像头对第一预定图像在镜面上形成的虚像进行拍摄或者利用摄像头直接对第一预定图像进行拍摄,获取第一目标图像,以使第一目标图像中包含有第一预定图像;
第二获取子模块12,用于根据第一目标图像,获取第一预定图像。
其中,在镜面上形成虚像时,显示屏与镜面平行相对。
其中,第二获取子模块12包括:
第一确定单元121,用于确定第一目标图像中第一预定图像的区域范围;
第二确定单元122,用于根据确定的区域范围,在第一目标图像中抠取与区域范围对应的图像,从而获取到第一预定图像。
其中,第一确定单元121进一步用于:
根据预先确定的显示屏对应的图像位置信息,确定第一目标图像中显示屏的区域范围,将第一目标图像中显示屏的区域范围确定为第一目标图像中第一预定图像的区域范围,其中,图像位置信息包括显示屏的四个顶点在第一目标图像中的坐标信息;
或者,
对第一目标图像进行图像除噪处理;
针对除噪后的第一目标图像,采用边缘检测算法确定第一目标图像中第一预定图像的边缘像素点;
根据边缘像素点确定第一目标图像中第一预定图像的边界线,从而确定第一目标图像中第一预定图像的区域范围。
其中,第三获取模块30包括:
第三获取子模块31,用于获取排图参数、第一校正参数、第一预定图像的理论图像属性之间的第一关联关系;
第一确定子模块32,根据第一关联关系、实际图像属性和预设的排图参数,确定第一校正参数;
其中第一关联关系为应用排图参数、第一校正参数表示理论图像属性的函数关系。
其中,第一确定子模块32包括:
建立单元321,用于建立第一关联关系对应的第一代价函数;
第三确定单元322,用于根据实际图像属性和预设的排图参数,利用最小化算法最小化第一代价函数,确定第一校正参数。
其中,第一预定图像为第一颜色条纹和第二颜色条纹相间设置的条纹图像;条纹图像的实际图像属性和理论图像属性包括条纹斜率、条纹截距和条纹间距;预设的排图参数包括排图倾角、排图周期和排图位移;第一校正参数包括光栅倾角、光栅水平栅距和光栅位移。
其中,第一预定图像为第一颜色条纹和第二颜色条纹相间设置的条纹图像;条纹图像的实际图像属性包括条纹斜率、条纹截距和条纹间距中的至少一者;第二获取模块20包括:
第四获取子模块21,用于获取条纹图像中第一颜色条纹的中线点;
拟合子模块22,用于根据第一颜色条纹的中线点进行直线拟合,得到拟合后的条纹直线方程;
第二确定子模块23,用于根据拟合后的条纹直线方程,确定条纹图像的实际图像属性。
其中,拟合子模块22进一步用于:
根据第一颜色条纹的中线点,利用最小二乘法进行直线拟合,得到拟合后的条纹直线方程。
其中,拍摄虚像的摄像头配置在裸眼立体显示设备上。
其中,裸眼立体显示设备上还配置有前置摄像头;如图8b所示,该装置还包括:
第四获取模块50,用于利用前置摄像头对裸眼立体显示设备显示的第二预定图像在镜面上形成的虚像进行拍摄,获取第二目标图像,第二目标图像中包含有第二预定图像;
第五获取模块60,用于根据包含有第二预定图像的第二目标图像,获取前置摄像头的校正参数,其中,前置摄像头的校正参数包括摄像头的内参和外参;
第二保存模块70,用于保存前置摄像头的校正参数,使得裸眼立体显示设备使用前置摄像头的校正参数进行裸眼立体显示。
其中,第五获取模块60包括:
第五获取子模块61,用于获取第二目标图像中第二预定图像中的特征像素点的实际像素坐标;
第三确定子模块62,用于根据特征像素点的实际像素坐标,确定前置摄像头的校正参数。
其中,第三确定子模块62包括:
第一获取单元621,用于获取裸眼立体显示设备显示第二预定图像时特征像素点的原始坐标信息;
第二获取单元622,用于根据特征像素点的原始坐标信息,获取第二目标图像中的第二预定图像中特征像素点的理论像素坐标和前置摄像头的校正参数的第二关联关系;
第四确定单元623,用于根据特征像素点的实际像素坐标以及理论像素坐标和前置摄像头的校正参数的第二关联关系,确定前置摄像头的校正参数。
其中,第二获取单元622进一步用于:
根据特征像素点的原始坐标信息、显示屏与镜面的距离,获取虚像中特征像素点的第二坐标信息;
根据特征像素点的第二坐标信息,利用前置摄像头的校正参数进行预定坐标变换,从而获取第二目标图像中的第二预定图像中特征像素点的理论像素坐标和前置摄像头的校正参数的第二关联关系。
其中,第四确定单元623进一步用于:
建立第二关联关系对应的第二代价函数;
根据获取的实际像素坐标,利用最小化算法最小化第二代价函数,确定前置摄像头的校正参数。
其中,第二预定图像为棋盘格图像,特征像素点为相邻棋盘格之间交点。
其中,裸眼立体显示设备包括第一显示模式和第二显示模式;
裸眼立体显示设备在第一显示模式下显示第一预定图像,第一校正参数与第一显示模式相对应;如图8c所示,该装置还包括:
第六获取模块80,用于获取裸眼立体显示设备在第二显示模式下根据预设的第二排图参数显示的第三预定图像;
第七获取模块90,用于根据第三预定图像,获取第三预定图像的实际图像属性;
第八获取模块100,用于根据预设的第二排图参数和第三预定图像的实际图像属性,获取第二校正参数;
第三保存模块110,用于保存第二校正参数。
其中,该装置还包括:
确定模块120,用于在第三保存模块110保存第二校正参数后,确定裸眼立体显示设备当前的显示模式;
第一调用模块130,用于在确定裸眼立体显示设备处于第一显示模式时,调用与第一显示模式对应的第一校正参数进行裸眼立体显示;
第二调用模块140,用于在确定裸眼立体显示设备处于第二显示模式时,调用与第二显示模式对应的第二校正参数进行裸眼立体显示。
本发明实施例还提供一种计算机可读存储介质,用于存储计算机程序,计算机程序可被处理器执行上述的方法。
本发明实施例还提供一种电子设备,电子设备包括一个或多个处理器,处理器被配置为执行如下方法:
获取裸眼立体显示设备根据预设的排图参数显示的第一预定图像;
根据第一预定图像,获取第一预定图像的实际图像属性;
根据预设的排图参数和第一预定图像的实际图像属性,获取第一校正参数;
保存第一校正参数,使得裸眼立体显示设备根据第一校正参数进行裸眼立体显示。
本发明实施例还提供一种具有自校正,即自行进行显示校正功能的裸眼立体显示设备,包括:
壳体、设置在壳体上的显示屏和前置摄像头、设置在壳体内的一个或多个处理器;
显示屏包括显示器件和分光器件,显示器件和分光器件相对设置;
处理器根据预设的排图参数在显示器件上排布像素,在分光器件的作用下,显示屏上显示出第一预定图像;
前置摄像头用于对第一预定图像在镜面上形成的虚像进行拍摄,获取第一目标图像,以使第一目标图像中包含有第一预定图像;
处理器用于:
根据第一目标图像,获取第一预定图像;
根据第一预定图像,获取第一预定图像的实际图像属性;
根据预设的排图参数和第一预定图像的实际图像属性,获取第一校正参数;
保存所述第一校正参数,根据所述第一校正参数进行裸眼立体显示。
本发明实施例,获取裸眼立体显示设备显示的第一预定图像,确定第一预定图像的实际图像属性,根据实际图像属性以及预设排图参数,确定第一校正参数,根据第一校正参数对裸眼立体显示设备进行校正,实现将裸眼立体显示设备在生产过程中的出现的误差进行检测校正并保存校正参数,在后续裸眼立体显示时,裸眼立体显示设备可根据预先保存的校正参数进行显示,即对显示进行校正,从而呈现出较好的立体显示效果。且本发明提供的校正方法,可以适用于不同的显示设备,相较于现有的校正方法,本发明使用更趋于统一的数学模型,校正过程快捷连续,具有明显的体系化特性,同时使得检测校正过程更经济且更容易实施,能够符合量产快速化生产的要求。
以上所述的是本发明的优选实施方式,应当指出对于本技术领域的普通人员来说,在不脱离本发明所述的原理前提下还可以作出若干改进和润饰,这些改进和润饰也在本发明的保护范围内。