图像处理系统的制作方法
【专利摘要】本发明涉及图像处理系统，其目的在于，通过在用一个参数实行图像处理和用不同参数来单独实行图像处理的两种模态之间的切换，提供能够配合用户需要的视频画面。本发明的图像处理系统具有用来输入图像的第一和第二输入单元(2、3)、进行图像处理的第一和第二图像处理单元(4、5)、用来合成图像的合成单元(6)、检测合成图像的接缝上是否存在重要被摄体的检测单元(7)、根据画面特性决定是否使用相同参数的控制单元(9)、以及决定对上述输入单元以及图像处理单元设定的参数的参数决定单元(8)，在各幅图像的画面特性不同时，控制单元(9)进一步根据检测单元(7)的检测结果，决定是否设定相同参数。
【专利说明】图像处理系统
【技术领域】
[0001]本发明涉及将多个图像合成为一个图像的图像处理系统。
【背景技术】
[0002]近年来电视会议系统成为远距离会议经常使用设备，该系统不仅共享声音信息，而且还共享视频信息。有关视频的提供，目前正在探讨使用多台照相机提供如同全景照片的全方位型视频画面，而不是仅用一台照相机装置拍摄的只有周围一部分墙壁的食品画面。
[0003]会议系统则着重于清晰显示用户注目的某个部位(例如白板或出席会议人员的表情)，至于整个画面则不需要各处都清晰显示。
[0004]目前常用的改善画质的技术包括利用自动曝光功能对特定被摄体自动曝光(亮度)，或者利用自动白平衡功能来自动实行色平衡。
[0005]专利文献I (JP特许第4325642号公报)揭示了车辆中搭载多台车载照相机装置时存在的以下问题:(I)照相机设置位置的不同或需要拍摄的被摄体的不同所带来的图像中亮度以及色彩平衡的变化，⑵由于上述问题(I)，如果对各图像的曝光时间或增益实行同样程度的控制，虽然图像之间的亮度或色彩平衡的差异会被吸收，但却不能显示出在对图像进行单独控制时所显示的一些部分，(3)由于上述问题(1)，在合成图像时，连接各图像的接缝部位上亮度和色彩平衡的差异变得明显。
[0006]鉴于上述问题，专利文献I以在图像合成时不论照相机装置的安装位置如何均可对相邻照相机之间的亮度或色彩进行调整为目的，公开以下技术方案，即用照相机控制单元连接多台照相机装置，将任意选择的由第一照相机装置得到的图像信息作为基准数据，转送到第二照相机装置，在第二照相机装置内进行信号处理，生成补偿图像，从而输出合成图像。
[0007]但是，专利文献I公开的照相机系统虽然旨在通过控制单元合成图像以提高合成图象画质，但是该专利文献仅涉及移动体照相机系统(车载照相机系统)，而并没有论及有关优化会议室中用户需要的图像信息质量。
[0008]将多台照相机拍摄的图像合成为一个图像时，如果对各台照相机用统一的设定参数，则虽然能够良好地连接图像，但对各台照相机来说不一定是最佳设定。而如果对各台照相机单独设定参数，则虽然各台照相机能获得各自最佳的图像，但是连接图像的接缝部分则可能出现不吻合，因而存在如何在这些控制之间进行切换的问题。
【发明内容】
[0009]本发明旨在解决上述现有技术中存在的问题，提供一种可用来合成多台照相机拍摄的图像的图像处理系统，通过在用一个参数实行图像处理的共同模态和用不同参数来单独实行图像处理的单独模态之间进行适当的切换，提供能够配合用户需要的每一幅视频画面，更加清晰地拍摄用户需要的视频。
[0010]用来达到上述目的的本发明的图像处理系统如下。
[0011]
[0011]
[0012]一种图像处理系统，其特征在于具备以下各种单元:多个图像输入单元，用来输入多个摄影装置拍摄的图像；多个图像处理单元，分别用来对所述多个图像输入单元输入的图像进行图像处理；合成单元，用来合成经过多个所述图像处理单元处理的多幅图像，形成合成图像；检测单元，用来检测经过所述合成图像的接缝部分上是否存在重要的被摄体；控制单元，根据来自所述图像处理单元的图像数据，判断各幅所述图像的画面特性是否相同，并根据判断结果，决定是否对所述多个图像输入单元以及多个所述图像处理单元设定相同的参数；以及，参数决定单元，根据所述控制单元的决定，决定对所述多个图像输入单元以及多个所述图像处理单元进行设定的参数，所述控制单元在各幅所述图像的画面特性不同时，进一步根据所述检测单元的检测结果，是否对所述多个图像输入单元以及多个所述图像处理单元设定相同的参数。
[0013]本发明的效果如下，在用于合成多台照相机拍摄的图像的图像处理系统中，通过在用一个参数实行图像处理的共同模态和用不同参数来单独实行图像处理的单独模态之间进行适当的切换，提供能够配合用户需要的每一幅视频画面，更加清晰地拍摄用户需要的视频图像。
【专利附图】
【附图说明】
[0014]图1是第一实施方式涉及的图像处理系统的结构模块图。
[0015]图2是图像处理系统拍摄并合成的合成图像的示意图。
[0016]图3是决定各图像处理单元以及输入单元的参数设定的流程图。
[0017]图4是用于说明如何决定参数的示意图。
[0018]图5是用来说明用中间值来设定参数的示意图。
[0019]图6是第二实施方式涉及的图像处理系统的结构模块图。
[0020]图7是人感传感器的设置示意图。
【具体实施方式】
[0021 ] 以下参考附图详述本发明的实施方式。
[0022]第一实施方式
[0023]图1是第一实施方式涉及的图像处理系统的结构模块图。图像处理系统I具有第一输入单元2和第二输入单元3、第一图像处理单元4和第二图像处理单元5、合成单元6、检测单元7、参数决定单元8、以及控制单元9。
[0024]第一输入单元2和第二输入单元3包含透镜和滤光片等光学系统以及传感器等，将通过透镜成像的图像输入传感器，转换为数字数据后再输入到之后的第一图像处理单元4和第二图像处理单元5。该图像处理系统用广角镜作为透镜，仅用一个输入装置拍摄大范围图像。传感器设定(增益、曝光时间等)以及透镜控制设定(光圈大小、聚焦等)的参数由参数决定单元8决定。
[0025]图像数据被输入第一图像处理单元4和第二图像处理单元5。图像处理是对从第一输入单元2和第二输入单元3输入的图像进行的透镜特性补偿处理(阴影补偿、色差补偿等)或传感器的特性补偿处理(伽马补偿、缺陷像素补偿、增益调整等)、改善画质的处理(去处杂质、边缘强调、色补偿等、动态范围)，用于图像处理的参数由参数决定单元8决定。
[0026]第一图像处理单元4和第二图像处理单元5还具有取得用于实行AWB、AE、AF等的图像亮度或白平衡、MTF的功能。第一图像处理单元4和第二图像处理单元5对从第一输入单元2和第二输入单元3输入的多幅图像实施图像处理，而后将经过图像处理的图像数据送往合成单元6以及控制单元9。
[0027]以上，本实施方式采用两个输入单元和两个图像处理单元，但是也可以用三个以上的输入单元和三个以上的图像处理单元。
[0028]合成单元6用来连接第一图像处理单元4和第二图像处理单元5的多个图像数据形成一张合成图像。
[0029]检测单元7对经过合成单元6合成的合成图像进行识别处理，判断合成图像的接缝部分上存在的信息，具体为判断合成图像的接缝部分上是否存在重要的被摄物。
[0030]控制单元9根据来自第一图像处理单元4和第二图像处理单元5的图像数据，判断各照相机的画面特性是否相同，如果画面特性不同，则进一步根据来自检测单元的检测结果，决定是否对第一图像处理单元4和第二图像处理单元5以及第一输入单元2和第二输入单元设定相同的参数，而后将该决定的指示提供给参数决定单元8。
[0031]参数决定单元根据控制单元9的指示，决定对第一图像处理单元4和第二图像处理单元5以及第一输入单元2和第二输入单元设定的参数的值。
[0032]图2是图像处理系统拍摄并合成后的合成图像的示意图。用多张图像合成合成图像的图像处理系统在不同的使用场合下，在合成的360度全景图像之中不同位置上的被摄体的重要度各不相同。例如，在电视会议系统中，出席会议的人员的脸或者白板以及屏幕等重要度较高，而其他部分的重要度则相对较低。
[0033]如图2A所示，在第一输入单元2的摄影范围内摄有出席会议的出席者A和B，第二输入单元3的摄影范围内摄有白板。当判断合成图像的接缝上未摄有重要被摄体，而且图像输入单元所拍摄的两张用于合成的图像各自的画面特性不同时，第一输入单元2以及第一图像处理单元4设定的参数与第二输入单元3以及第二图像处理单元5设定的参数互不相同，为各自的最佳参数。
[0034]据此，虽然接缝部分上因图像之间的差别(例如亮度或白平衡等)而会产生不同，从而造成接缝部分图像不自然，但是各画面因输入单元和图像处理单元被设定了最佳参数，因而，对用户来说能够用高画质来提高有关重要的信息。
[0035]如图2B所示，第一输入单元2的摄影范围内摄有出席会议的出席者A和B，第一输入单元2的摄影范围和第二输入单元3的摄影范围之间的接缝上摄有白板。
[0036]再如图2C所示，第一输入单元2的摄影范围内摄有出席会议的出席者A，第二输入单元3的摄影范围内摄有白板，第一输入单元2的摄影范围和第二输入单元3的摄影范围之间的接缝上摄有出席者B
[0037]当判断合成图像的接缝上摄有重要被摄体时，对第一输入单元2和第二输入单元3设定的相同的共同参数，并对第一图像处理单元4和第二图像处理单元5设定相同的共同参数。可将多个输入单元的画面的最佳参数平均后得到的平均值设为共同参数。
[0038]这样，虽然不再使用各图像的最佳参数，但是接缝部分变得平滑流畅，从而能够自然地显示出接缝部分上的被摄体。
[0039]图3是决定各图像处理单元以及输入单元的参数设定的流程图。在步骤SI中，判断第一输入单元2拍摄的画面的特性和第二输入单元3拍摄的画面的特性是否相同。如果相同(SI的是)，则对第一输入单元2、第二输入单元3、第一图像处理单元4、以及第二图像处理单元5设定共同的参数。
[0040]而如果第一输入单元2拍摄的画面的特性和第二输入单元3拍摄的画面的特性不同(SI的否)，则进入步骤S2，进一步判断输入画面的接缝部分上是否摄有重要的被摄体。如果判断接缝部分上没有重要的被摄体(S2的否)，则进入步骤S3，对第一输入单元2、第二输入单元3、第一图像处理单元4、第二图像处理单元5分别设定各自的最佳参数。而如果判断接缝部分上摄有重要的被摄体(S2的是)，则进入步骤S4，对第一输入单元2、第二输入单元3、第一图像处理单元4、第二图像处理单元5设定共同的参数。
[0041]步骤SI中用来判断的画面的特性例如有亮度、色温度等。关于亮度，例如仅在第一输入单元2和第二输入单元3拍摄区域的一侧具有光源的情况下，图像呈现出一侧比较明亮另一侧比较暗淡。而在同时具有荧光灯以及太阳等多个光源的情况下，各输入单元拍摄的图像的明亮程度之间会存在差异。
[0042]图4是用于说明如何决定参数的示意图。如果用亮度作为一例画面的特性来判断，则需要决定的参数为增益。增益值作为第一输入单元2和第二输入单元3的传感器以及第一图像处理单元4和第二图像处理单元5的参数，在一般情况下，如果要在亮度较小(即较暗)的情况下拍摄明亮的图像，则需要将增益设定为较大。相反，如果要在亮度较大的情况下拍摄，则为了不发生过度曝光，需要将增益设定为较小。
[0043]如果第一输入单元2 —侧较暗而第二输入单元一侧较明亮，则在对第一输入单元2和第二输入单元3设定共同参数时，求出各输入单元各自的最佳参数的中间值，将该中间值作为共同的参数使用。
[0044]图5是用来说明一例在决定参数时不是在单独设定最佳参数和设定共同参数二者之间选择其一，而是将参数设定为二者之间的中间值的实施方式的示意图。即本实施方式在决定参数时，与图4所示的二择一方式不同，是改变第一输入单元2和第二输入单元3以及第一图像处理单元4和第二图像处理单元5的参数。
[0045]具体为不使用二值判断而用数值计算，基于该数值判断图像接缝部分上是否摄有重要被摄体，而后根据该数值大小决定参数的补偿值。增益量的补偿值X用下式计算。
[0046]X = α I 式(I)
[0047]X是增益量的补偿值，α是比例系数，I是图像接缝部分上是否有重要被摄体的判断结果(I大表示有重要被摄体，I小表示没有重要被摄体)及重要度。重要度I也可以看作为是接缝上有重要被摄体的几率。
[0048]如果接缝上的被摄体的重要度为最大，则需要以第一输入单元2和第二输入单元3各自的最佳值的中间值为重要度，下式(2)所示关系成立。
[0049]ΔΡ/2 = a Imax 式⑵
[0050]其中，Λ P为各输入单元最佳参数的差值，Imax为I的最大值。
[0051]第二实施方式
[0052]图6是用信息取得单元11判断重要被摄体的图像处理系统的结构模块图。相比于第一实施方式，在本实施方式中增加了信息取得单兀11。以下对具有与第一实施方式相同结构的模块赋予相同标记并省略描述。
[0053]在第一实施方式中用检测单元7来判断经合成单元6合成的合成图像的接缝部分上是否存在对用户来说为重要的被摄体。对此，在本实施方式中，检测单元7除了根据图像以外，还根据信息取得单元11取得的图像处理系统的周围信息，来判断经合成单元6合成的合成图像的接缝部分上是否存在重要的被摄体。而后，参数决定单元8决定第一输入单元2、第二输入单元3、第一图像处理单元4、第二图像处理单元5的参数设定。在判断时，除了用来自图像的信息，还用信息取得单元11取得的信息来判断接缝部分上是否存在重要的被摄体，有利于判断精度的提闻。
[0054]图7是设置人感传感器21和22的示意图。也就是说以具体的人感传感器21和22作为信息取得单元11。系统包含设置视角为180度以上的透镜的输入单元23和24。两个输入单元23和24重复拍摄的区域为图像的接缝部分25。
[0055]人感传感器21和22被排设在图像接缝部分25方向上，用来判断接缝部分25上是否有人，与仅使用图像辨别判断相比，此时的判断精度得到改善。图中的箭头表示人感传感器21和22的感知方向。
[0056]还可以不用合成图像辨别判断而仅使用人感传感器21和22判断。进而不用人感传感器而用麦克风阵列来检测在讲话的人物等等。
[0057]在本实施方式中，对用多台照相机拍摄的图像进行检测，识别图像接缝部分上是否有对用户来说重要的被摄体，在接缝部分上存在重要的被摄体时，实施用一个参数来实行图像处理的共同模态，改善接缝画质，而在在接缝部分上不存在重要的被摄体时，实施分别用各自的参数来实行图像处理的单独模态，实现最佳图像质量。
[0058]为此，在合成多台照相机拍摄的图像的图像处理装置中，可以通过适当控制上述两种模态之间的切换，即用一个参数实行图像处理的共同模态与分别用各自的参数来实行图像处理的单独模态之间的切换，提供每一幅图像均符合用户要求的视频，从而让用户欣赏更加亮丽的视频图像。
[0059]上述实施方式仅仅是本发明的最佳实施方式之一，对本发明不构成任何限制，只要是在不脱离本发明宗旨的情况下，允许对上述实施方式进行的各种改良，但这类改良均属于本发明范畴。
【权利要求】
1.一种图像处理系统，其特征在于，具备以下各种单元: 多个图像输入单元，用来输入多个摄影装置拍摄的图像； 多个图像处理单元，分别用来对所述多个图像输入单元输入的图像进行图像处理； 合成单元，用来合成经过多个所述图像处理单元处理的多幅图像，形成合成图像； 检测单元，用来检测经过所述合成图像的接缝部分上是否存在重要的被摄体； 控制单元，根据来自所述图像处理单元的图像数据，判断各幅所述图像的画面特性是否相同，并根据判断结果，决定是否对所述多个图像输入单元以及多个所述图像处理单元设定相同的参数；以及， 参数决定单元，根据所述控制单元的决定，决定对所述多个图像输入单元以及多个所述图像处理单元进行设定的参数， 所述控制单元在判断各幅所述图像的画面特性不同时，进一步根据所述检测单元的检测结果，决定是否对所述多个图像输入单元以及多个所述图像处理单元设定相同的参数。
2.根据权利要求1或2所述的图像处理系统，其特征在于， 所述控制单元在各幅所述图像的画面特性相同时，决定对所述多个图像输入单元以及多个所述图像处理单元设定相同的参数。
3.根据权利要求1或2所述的图像处理系统，其特征在于，当所述检测单元没有检测到所述合成图像的接缝部分上存在重要的被摄体时，所述控制单元决定对所述多个图像输入单元以及多个所述图像处理单元单独设定各自的最佳参数，而所述检测单元当检测到所述合成图像的接缝部分上存在重要的被摄体时，所述控制单元决定对所述多个图像处理单元和所述多个图像输入单元设定相同的所述参数，该参数为各所述最佳参数的中间值。
4.根据权利要求1或2所述的图像处理系统，其特征在于，根据所述检测单元检测到的所述合成图像的接缝部分上的被摄体的重要度，所述控制单元在单独模态和共同模态之间进行切换，所述单独模态是指对所述多个图像处理单元和所述多个图像输入单元单独设定各自的最佳参数，所述共同模态是指对所述多个图像处理单元和所述多个图像输入单元设定相同的所述参数，该参数为各所述最佳参数的中间值。
5.根据权利要求1至4中任意一项所述的图像处理系统，其特征在于， 具有一个以上信息取得单元，用来取得关于图像的信息， 所述检测单元利用该信息取得单元取得的信息，检测经过所述合成图像的接缝部分上是否存在重要的被摄体。
6.根据权利要求5中任意一项所述的图像处理系统，其特征在于，所述信息取得单元为人感传感器。
7.根据权利要求5中任意一项所述的图像处理系统，其特征在于，所述信息取得单元为麦克风阵列。
【文档编号】H04N5/232GK104469135SQ201410478391
【公开日】2015年3月25日 申请日期:2014年9月18日 优先权日:2013年9月18日
【发明者】吉冈太一 申请人:株式会社理光