本发明适用于实时视频采集领域，特别涉及电子助视器及电子助视方法。
背景技术：
目前提供给低视力患者使用的助视器主要包括光学助视器(如手持放大镜、立式放大镜等)、电子助视器、非光学辅助设备(如放大的印刷品、防眩光眼镜、有声读物等)三类，而电子助视器是其中最有效的改善低视力患者视觉能力的装置。
现有的电子助视器主要采用单路摄像头进行图像采集，然后对采集的图像做放大以及变色处理，最后将处理后的图像输出到显示屏上，以便低视力患者获得更好的视觉体验。当低视力患者通过电子助视器来阅读书籍时，由于存在视觉上的缺陷，往往需要在较大的放大倍数下来寻找有效的文字和图片信息。然而单路摄像头采集的图像信息通常有限，且经过放大之后所看到的信息将会更少，所以使用者往往需要一直移动助视器来寻找自己感兴趣的信息，这无疑会导致使用的便捷性下降。
技术实现要素：
本发明的目的在于提供一种能提供宽视角的电子助视器和电子助视方法，使低视力患者在使用助视器时可以无需来回移动助视装置和目标书籍来获取感兴趣的文字和图片信息。
根据本发明实施例的一种电子助视器，包括：至少两个图像采集模块，其中每个图像采集模块均包括镜头与图像传感器，通过镜头捕捉被拍摄物体的光学图像的一部分，并通过图像传感器将该部分光学图像转换为数字采集图像；图像拼接模块，耦接所述至少两个图像采集模块以接收至少两个数字采集图像，将该至少两个数字采集图像拼接在一起，生成总采集输出图像；图像处理模块，耦接至图像拼接模块以接收总采集输出图像，对总采集输出图像进行图像处理，以得到待显示图像；以及输出显示模块，自图像处理模块接收待显示图像并实时加以显示。
根据本发明实施例的一种电子助视方法，包括：通过至少两个图像采集模块分别采集被拍摄物体的部分光学图像，以获取至少两个数字采集图像；将所述至少两个数字采集图像拼接在一起，生成总采集输出图像；对总采集输出图像进行图像处理，以得到待显示图像；以及通过输出显示模块对待显示数据加以实时显示。
附图说明
以下将结合附图对本发明做进一步描述，本领域技术人员可以理解，所有附图均是为了说明的目的，而不用于限制本发明。此外，它们可能仅示出了系统的一部分。
图1为根据本发明实施例的电子助视器的模块示意图；
图2为根据本发明实施例的图像采集模块的结构设计示意图；
图3为根据本发明实施例的图1所示电子助视器中图像拼接模块2的原理性示意图；
图4为根据本发明实施例的图像拼接模块2a的原理性示意图；
图5为根据本发明实施例的电子助视方法的流程图；
图6为根据本发明实施例的图5所示电子助视方法中图像拼接步骤s42的具体流程图。
具体实施方式
下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是，不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的模块、电路、材料或方法。
在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。本领域普通技术人员应当理解，这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。
图1为根据本发明实施例的电子助视器的结构示意图。图1所示的电子助视器包括n个图像采集模块1_1-1_n(n≥2)、图像拼接模块2、图像处理模块3和输出显示模块4。该电子助视器通过图像采集模块1_1-1_n进行图像采集，其中每个图像采集模块分别采集被拍摄物体光学图像的一部分。然后，图像拼接模块2将图像采集模块1_1-1_n采集获得的数字采集图像拼接在一起，生成总采集输出图像并将其送入图像处理模块3。图像处理模块3对总采集输出图像进行图像处理(例如放大、变色等)，以得到待显示图像。输出显示模块4自图像处理模块3接收待显示图像，并加以实时显示。输出显示模块4通常为lcd或其它材质的显示屏。在一些实施例中，输出显示模块4也可以是连接至外置显示设备的hdmi模块。
一般而言，每个图像采集模块均包括镜头和图像传感器。镜头用于捕捉被拍摄物体的图像，并将捕捉到的图像聚焦投射至图像传感器的感测区域。图像传感器感测镜头所捕捉到的被拍摄物体的图像，将光学图像转换为采集输出数据。图像传感器典型地包括多个呈数组状分布于有效感测区域的像素单元，其包含的像素单元越多，提供的画面分辨率也就越高。目前常用的图像传感器主要有ccd(chargecoupleddevice,电荷耦合器件)和cmos(complementarymetaloxidesemiconductor，互补金属氧化半导体)两种。
根据本发明实施例的n个图像采集模块通常设置于同一平面。为了实现图像拼接，相邻图像采集模块采集到的图像需要存在局部重叠。因此，根据不同采集区域大小的要求，图像采集模块在摆放上需要设置特定的间距。该间距以及取景范围均与图像采集模块的摆放高度、视角以及重叠比例有关，其关系可以表达如下：
横向间距
纵向间距
采集区域横向宽度
采集区域纵向宽度
其中m表示横向摆放图像采集模块的个数，n表示纵向摆放图像采集模块的个数，h为图像采集模块的摆放高度，γ为横向重叠比例，δ为纵向重叠比例,α为图像采集模块的横向视角，β为图像采集模块的纵向视角。
图2为根据本发明实施例的图像采集模块的结构设计示意图，其中示出四个图像采集模块，图中阴影区域代表局部采集区域间的重叠区域。假设横向视角α为35°、纵向视角β为26°、摆放高度h为35cm、横向重叠比例γ为30％、纵向重叠比例δ为10％，则通过关系式(1)-(4)，可以计算出图像采集模块横向间距l为15.45cm，纵向间距k为14.55cm，采集区域横向宽度v为37.52cm，纵向宽度w为30.7cm，。
图3为根据本发明实施例的图1所示电子助视器中图像拼接模块2的结构示意图,包括图像预处理单元21、图像匹配单元22、图像合成单元23以及图像拼接缝优化单元24。
图像预处理单元21对待拼接图像进行预处理(例如畸形校正、倾斜校正和书脊处失真校正中的一个或者几个)，然后将经过预处理的图像送入图像匹配单元22。图像匹配单元22对经过预处理后的待拼接图像进行图像匹配，确定它们之间的重叠区域以及重叠位置。图像合成单元23基于重叠区域以及重叠位置，对经过预处理后的待拼接图像进行图像合成。图像拼接缝优化单元24接收图像合成单元输出的合成后图像，针对由于不同图像采集模块的参数配置、光照、环境条件并不完全相同而导致的图像拼接后的拼接缝和过渡域问题，对合成后图像进行优化。在一个实施例中，图像拼接缝优化单元24采用加权平滑算法来处理拼接缝问题，并针对过渡域问题，采多分辨率融合算法进行图像的光照平衡处理。
虽然图3所示的图像拼接模块2包括图像预处理单元21以及图像拼接缝优化单元24，但本领域技术人员可以理解，这两个单元并非必需，因而在一些实施例中可以被部分或者全部省略。
图4为根据本发明实施例的图像拼接模块2a的结构示意图。其中，图像预处理单元21a包括图像畸形校正单元211、图像倾斜校正单元212以及图像书脊处失真校正单元213。图像畸形校正单元211针对cmos图像传感器在使用光学镜头进行图像采集的时候，由于镜头的焦平面上不同区域对影像的放大率不同而形成的画面扭曲变形进行校正。低视力患者在阅读的时候有时并不能很好地将目标书籍摆放得与镜头位于同一角度，导致文本图像在输出显示的时候产生一定角度的倾斜，从而需要图像倾斜校正单元211进行倾斜校正。图像书脊处失真校正单元213针对低视力患者在书籍阅读的时候(在阅读较厚的书籍时尤其明显)书籍的中间书脊处会折出一定的弧度，同时在书脊处会出现不同程度的阴影以及离书脊较近的文本会变窄等失真进行校正。
图像匹配单元22a包括特征点提取与匹配单元221以及图像配准单元222。特征点提取与匹配单元221通过特征提取算法(例如fast、harris、sift或susan算法)对待拼接图像的特征进行提取和描述，寻找待拼接图像中相同的描述以生成特征匹配点对。
在一个实施例中，特征点提取与匹配单元221采用surf算法进行特征点的提取与匹配，特征提取算法包括四个步骤：检测尺度空间极值；精炼特征点位置；计算特征点的描述符算子，生成描述特征点的特征向量。特征匹配算法是通过计算两个特征点特征向量之间的欧式距离，即找出与特征点pi欧式最近和次近的两个邻居特征点qi'和qi”，然后计算pi与qi'以及pi和qi”两组特征向量之间欧式距离的比值r。如果比值r小于规定阈值则视为匹配成功，(pi，qi')点对则为图像序列中的一对匹配点，否则匹配失败。
图像配准单元222采用基于特征点的图像配准方法，基于特征匹配点对构建图像序列之间的变换矩阵，然后使用变换矩阵进行仿射变换，进而确定待拼接图像间的重叠区域以及重叠位置。变换矩阵的求解步骤可以包括：(a)计算图像间变换矩阵的初始值；(b)迭代精练变换矩阵；(c)引导匹配，确定匹配点数目；(d)重复迭代(b)和(c)直到匹配点数目稳定为止。在一个实施例中，图像配准单元222采用ransac算法对图像变化矩阵进行求解与精练。
图5为根据本发明实施例的电子助视方法的流程图，包括步骤s41-s44。
步骤s41：通过至少两个图像采集模块分别采集被拍摄物体的部分光学图像，以获取至少两个数字采集图像。
步骤s42：将所述至少两个数字采集图像拼接在一起，生成总采集输出图像。
步骤s43：对总采集输出图像进行图像处理，以得到待显示图像。
步骤s44：通过输出显示模块对待显示数据加以实时显示。
图6为根据本发明实施例的图5所示电子助视方法中图像拼接步骤s42的详细流程图，包括步骤s421-s429。
步骤s421：在图像采集模块采集到的所有数字采集图像中选取两幅图像作为待拼接图像。
步骤s422：对待拼接图像进行图像匹配,以确定待拼接图像间的重叠区域以及重叠位置。在一些实施例中，步骤s422可以包括：通过特征提取算法对待拼接图像的特征进行提取和描述，寻找待拼接图像中相同的描述以生成特征匹配点对；以及基于匹配点对构建图像序列之间的变换矩阵，使用变换矩阵进行仿射变换，以确定待拼接图像间的重叠区域以及重叠位置。
步骤s423：判断是否匹配到重叠区域。是则执行步骤s424，否则执行步骤s428。导致匹配不到重叠区域的原因可能是：低视力患者把书抬起导致摄像头距离目标书籍太近，导致没有采集到重叠区域。
步骤s424：基于重叠区域以及重叠位置将待拼接图像进行图像合成。
步骤s425:判断所有数字采集图像是否已拼接在一起。是则执行步骤s426，否则执行步骤s427。
步骤s426：将合成图像作为总采集输出图像输出。
步骤s427：重新选取两幅图像作为待拼接图像，然后返回步骤s422，进行再次拼接。待拼接图像的选取可以根据实际情况来决定。例如，对于图2所示的实施例而言，可以将位于第一排的两个图像采集模块获取的两幅数字采集图像先经过拼接形成一幅图像，然后将位于第二排的两个图像采集模块获取的两幅数字采集图像经过拼接形成另一幅图像，最后将这两幅图像拼接在一起，完成整幅图像的拼接。当然，图2所示的实施例也可以采用其它的图像拼接顺序，所有这些变形均是可行的，且未超出本发明保护的范围。
步骤s428：比较所有数字采集图像，选择其中包含图像信息最多(例如包含特征点最多)的一个作为总采集输出图像。
在一个实施例中，图6所示的实施例还可以包括：在步骤s421前对图像采集模块采集到的所有数字采集图像对进行预处理，例如畸形校正、倾斜校正或书脊处失真校正中的一个或者几个。
此外，在步骤s424的图像合成完成后，还可以使用加权平滑法或其它合适的方法对拼接缝进行优化。而为了解决过渡域问题，可以在步骤426整幅图像的拼接完成后，采用直方图匹配法或其它合适的方法对总采集输出图像进行图像光照平衡处理。
虽然以上描述了多个实施例，但应该理解到，这些实施例仅仅是示例性的，本发明的电子助视器和电子助视方法可以通过其它的方式实现。实施例中所述模块或单元的划分仅仅为一种逻辑功能划分，实际实现中可以有其它的划分方式，例如多个单元或组件可以结合或可以集成到另一个模块，或一些特征可以忽略或不执行。此外，所显示或讨论的相互之间的耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，可以采用电、机械或其它的形式。
此外，应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。