主动式立体摄影校正装置以及产生立体摄影参数的方法
【专利说明】主动式立体摄影校正装置以及产生立体摄影参数的方法
[0001 ] 优先权声明
[0002]本申请主张在2013年7月5日提出申请的美国临时专利申请第61/843，221号的权利，且上述美国专利申请以引用方式并入本文中。
技术领域
[0003]本发明所揭露的实施方式是与立体摄影装置的校正有关，具体来说，涉及到主动式(on-line)立体摄影校正装置以及产生立体摄影参数的方法。
【背景技术】
[0004]随着科学与技术的发展，相比较于高质量的图像，用户追求更具立体感与真实感的图像。目前，具有两种展现立体图像的技术。一种是使用视频输出装置，其与镜片(例如立体眼镜、偏振眼镜、快门眼镜)合作，另外一种是直接使用一种视频输出装置，而并非与匹配的镜片配合。无论使用哪种技术，产生立体图像显示的主要理论是使得左眼与右眼看到不同的图像(即一个左眼图像与一个右眼图像)，因此大脑将两眼的不同的图像作为一个立体图像。
[0005]—个左眼图像与一个右眼图像的立体图像组可以通过使用一个立体摄影装置来获得。立体摄影装置是一个摄影机，其具有两个图像传感器，来同时获得两个图片。立体图像组，包含一个左眼图像与一个右眼图像，从而当用户观看时创造一个三维(3D)效果。举例来说，一个智能手机配置有立体摄影模块，该立体摄影模块包含两个图像传感器，每一个图像传感器具有一个透镜。立体摄影模块的捕获结果被处理并且在智能手机的3D板(3Dpanel)上显示。
[0006]然而，当制造立体摄影模块时，可能在透镜模块、图像传感模块、以及/或者立体摄影模块的立体摄影布局上具有不可避免的误差。因此，一个立体图像组包含的一个左眼图像与一个右眼图像的基准点(即中心)并非具有X轴的共线性、左眼图像的Y轴与右眼图像的Y轴并不平行、以及/或者左眼图像的Z轴与右眼图像的Z轴并不平行。
[0007]在智能手机配备有立体摄影模块之后，智能手机的一个图像处理芯片需要应用图像校正至立体摄影模块产生每一立体图像组，来避免/缓和立体摄影模块的内在误差导致的图像质量下降。基于智能手机的图像处理芯片的校正模块，模块厂(module house)需要执行一个线下(离线off-line)立体摄影校正来产生校正模块当前所需的立体摄影参数。然而，当智能手机的图像处理芯片被修正，从而使用不同的校正模块时，模块厂需要执行另外一次线下立体摄影校正，以产生校正模块当前所需的新的立体摄影参数。
[0008]此外，立体摄影校正程序是在装配程序之后执行。实际上，立体摄影校正程序是由模块厂来完成，而不是由装配厂来完成。因此，多个图像传感器之间的相对位置需要在模块厂以及装配厂之间保持一致。然而，在装配厂中，这是变化的。因此，基于模块厂提供的立体摄影参数所执行的立体图像校正可能不能够有效地减缓由于立体摄影模块的内在误差导致的图像质量下降。
【发明内容】
[0009]依据本申请的示范性举例，主动式立体摄影校正装置以及产生立体摄影参数的相关方法被提出，从而解决上述技术问题。
[0010]根据本发明的第一方面，提供了一种示例性的主动式立体摄影校正方法。主动式立体摄影校正方法由配置了立体摄影装置的电子装置所执行，包含:获取特征点集合;并且至少依据所获取的特征点集合，利用所述电子装置中的立体摄影校正电路来计算立体摄影参数集合。
[0011]根据本发明的第二方面，提供了一种示例性的配置了立体摄影装置的电子装置中的主动式立体摄影校正装置，包含立体摄影校正电路。所述立体摄影校正电路包含输入接口以及立体摄影校正单元。该输入接口用来获取特征点集合。该立体摄影校正单元用来至少依据所获取的特征点集合计算立体摄影参数集合。
[0012]在阅读以下对各图及图式中所例示的优选实施例的详细说明之后，本发明的这些及其它目标无疑将对所属领域的技术人员显而易见。
【附图说明】
[0013]图1是依据本发明的一个实施例的在模块厂产生特征点集合的举例说明。
[0014]图2是用来一次拍摄校正的3D校正模型样板的举例说明。
[0015]图3是具有对称图像传感器的立体摄影模块的举例说明。
[0016]图4是具有非对称图像传感器的立体摄影模块的举例说明。
[0017]图5是依据本发明的实施例的支持主动式立体摄影校正的电子装置的举例说明。
[0018]图6是依据本发明的实施例的第一立体摄影方案的流程图。
[0019]图7是依据本发明的实施例的支持主动式立体摄影校正的另一电子装置的举例说明。
[0020]图8是具有对称单透镜图像传感器的模块简化立体摄影机的举例说明。
[0021 ]图9是具有非对称单透镜图像传感器的模块简化立体摄影机的举例说明。
[0022]图10是依据本发明的实施例的第二立体摄影方案的流程图。
[0023]图11是依据本发明的支持主动式立体摄影校正的又一电子装置的举例说明。
【具体实施方式】
[0024]本说明书及权利要求书通篇中所用的某些用语指代特定部件。如所属领域的技术人员可以理解的是，电子设备制造商可利用不同名称来指代同一个部件。本文并非以名称来区分部件，而是以功能来区分部件。在以下说明书及权利要求书中，用语“包括”是开放式的限定词语，因此其应被解释为意指“包括但不限于…”。另外，用语“親合”旨在意指间接电连接或直接电连接。因此，当一个装置耦合到另一装置时，则这种连接可以是直接电连接或通过其他装置及连接部而实现的间接电连接。
[0025]本发明的一方面提供了一种跨平台的立体摄影校正，这是一种主动式(on-line)立体摄影校正，其使用由模块厂所提供的特征点集合。相同的特征点集合可用来提供不同的校正模块所需的信息。因此，当一个电子装置(例如一个移动电话)的图像处理芯片被修正，以配置一个新的平台所使用的不同的校正模块时，模块厂不需要为了移动电话中配置的立体摄影模块提供一个新的特征点集合。本发明的另一方面，用来提供一种基于学习的(learning-based)立体摄影校正，其使用经由机器学习所提供的特征点集合。执行自我学习的程序来收集基于由电子装置中配置的立体摄影装置产生的每一立体图像组的特征点。因此，特征点集合是在装配厂所做的装配程序之后获得。尽管由于某些因素，图像传感器之间的相对位置改变了，特征点集合将由自我学习的程序更新。基于自我学习的程序所保持的学习数据组而获得的特征点集合，电子装置所执行的图像校正能够避免/减缓由立体摄影装置的误差导致的图像质量下降。本发明提出用于大规模生产的对称/非对称的立体摄影系统的两种立体摄影校正方案。具体细节如下详述。
[0026]图1是依据本发明的一个实施例的在模块厂产生特征点集合的举例说明。模块厂制造立体摄影模块104，包含多个图像传感器，每一图像传感器具有一个透镜。举例来说，立体摄影模块104具有至少两个图像传感器，来同时捕获一个左眼图像以及一个右眼图像。模块厂通过装配立体摄影模块104在一个装配装置(未显示)上来设置一个校正环境。接下来，模块厂可在立体摄影模块104上执行一次拍摄校正(one-shot calibrat1n)。具体来说，立体摄影模块104是用来仅仅拍摄3D校正模型样板CP3d—次，来产生包含左眼图像頂Gl与右眼图像頂Gr的立体图像组103。需注意的是，使用3D校正模型样板CP3d来实现一次拍摄校正仅仅用来举例说明。可替换地，模块厂可使用不同的校正模型样板。此外，立体图像组103可能通过拍摄多于一次的校正模型样板来产生。
[0027]图2是用来一次拍摄校正的3D校正模型样板CP3d的举例说明。如图2所示，3D校正模型样板CP3D具有一个颜色模型202位于y-z平面，另一个颜色模型204位于X-Z平面，以及另一个颜色模型206位于x-y平面。每一颜色模型202-206具有一个不同颜色成份的棋盘布置。举例来说，颜色模型202具有一个红色(255，0，0)颜色成份(在图2中以“R”来表示)以及一个青色(0，255，255)颜色成份(在图2中以“C”来表示)分布其中，颜色模型204具有一个绿色(0，255，0)颜色成份(在图2中以“G”来表示)以及一个紫红色(255，0，255)的颜色成份(在图2中以“F”来表示)分布其中，以及颜色模型206具有一个蓝色(0，0，255)颜色成份(在图2中以“B”来表示)以及一个黄色(255，255，0)颜色成份(在图2中以“Y”来表示)分布其中。需注意的是，3D校正模型样板CP3d仅仅用于举例说明，而并非作为本发明的限制。举例来说，可以在另一个一次拍摄校正设计中使用不同的校正模型样板。
[0028]立体摄影模块104产生立体图像组103，包含左眼图像頂