图像合成装置以及图像合成方法
【技术领域】
[0001 ] 本发明的一个方面涉及图像合成装置以及图像合成方法。
【背景技术】
[0002]以往，公知有在使夜景和被摄体均为良好的状态下对它们进行摄影的技术。专利文献1的摄影装置对第1图像和第2图像进行合成，其中，该第1图像是熄灭摄影用的光源并利用规定时间的曝光而拍摄到的，该第2图像是在曝光后使用摄影用的光源拍摄到的。专利文献2的摄像装置通过进行第1次曝光来拍摄夜景。然后，专利文献2的摄像装置通过进行使闪光灯发光的第2次曝光来拍摄被摄体。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:日本特开2003-153287号公报
[0006]专利文献2:日本特开2012-50121号公报
【发明内容】
[0007]发明要解决的问题
[0008]但是，在对在不同的光环境条件下拍摄到的2张图像进行合成时，根据构成图像的像素值的关系的不同，有时无法得到良好的合成图像。因此，在本技术领域中，期望能够得到良好的合成图像的图像合成装置以及图像合成方法。
[0009]用于解决问题的手段
[0010]本发明的一个方面的图像合成装置对第1图像信息和第2图像信息进行合成，生成包含被摄体的合成图像信息，其中，该第1图像信息包含在第1光环境条件下拍摄到的被摄体，该第2图像信息包含在与第1光环境条件不同的第2光环境条件下拍摄到的被摄体，该图像合成装置具有:输入部，其输入第1图像信息和第2图像信息；校正部，其对从输入部输入的第1图像信息和第2图像信息中的至少一方的图像信息进行校正；以及合成部，其对从校正部输出的第1图像信息和第2图像信息进行合成，生成合成图像信息，校正部将第1图像信息和第2图像信息中的一方的色温校正成接近另一方的色温。
[0011]在彼此不同的光环境条件下拍摄同一被摄体的情况下，有时各自的图像信息的色温不同。当对色温不同的图像进行合成时，有时合成图像的色调会不自然。因此，在该图像合成装置中，在校正部中，将第1图像信息和第2图像信息中的一方的色温校正成接近另一方的色温。然后，在合成部中，对校正了色温后的第1图像信息和第2图像信息进行合成。因此，所合成的第1图像信息和第2图像信息各自的色温是彼此接近的值。因此，通过对这些第1图像信息和第2图像信息进行合成，能够得到具有自然的色调的良好的合成图像。
[0012]在一个实施方式中，也可以是，合成部具有:差分计算部，其计算第1被合成像素的第1像素值与第2被合成像素的第2像素值之间的差分，其中，该第1被合成像素构成第1图像信息，该第2被合成像素构成第2图像信息且与第1被合成像素对应；以及合成比率计算部，其根据差分和合成比率函数计算合成比率，该合成比率表示第1像素值在构成合成图像信息的合成像素的合成像素值中所占的比例，合成比率函数规定差分与合成比率之间的关系，并且，包含合成比率大于0且小于1的区域。根据该结构，在合成部中对第1像素值和第2像素值进行合成。该合成的合成比率是根据具有合成比率大于0且小于1的区域的合成比率函数来决定的。根据该合成比率，合成像素值由第1像素值和第2像素值构成。因此，合成像素值是第1像素值与第2像素值之间的值。因此，在合成图像信息中，能够抑制合成像素值不连续地变化的部位的发生，使合成像素值连续地变化。因此，能够得到更良好的合成图像。
[0013]在一个实施方式中，也可以是，合成部具有:差分计算部，其计算第1被合成像素的第1像素值与第2被合成像素的第2像素值之间的差分，其中，该第1被合成像素构成第1图像信息，该第2被合成像素构成第2图像信息且与第1被合成像素对应；以及合成比率计算部，其根据第1像素值和第2像素值中的至少一方、差分以及合成比率函数计算合成比率，该合成比率表示第1像素值在构成合成图像信息的合成像素的合成像素值中所占的比例，合成比率函数包含第1函数和第2函数，该第1函数规定第1像素值和第2像素值中的至少一方与合成比率之间的关系，该第2函数与差分对应且对第1函数进行加权。根据光环境条件的不同，有时第1像素值与第2像素值的差分变小。该情况下，根据规定的比率对第1像素值和第2像素值进行合成。这里，在差分较小的情况下，有时重视第1像素值或第2像素值中的任意一方的像素值来进行合成能够得到良好的合成图像。因此，该图像合成装置通过第1函数来规定第1像素值和第2像素值中的至少一方与合成比率之间的关系。进而，图像合成装置通过以差分作为变量的第2函数对第1函数进行加权。根据包含第1函数和第2函数在内的合成比率函数，在差分较小的情况下，能够实现重视第1像素值或第2像素值中的任意一方的像素值来进行的合成。因此，能够得到更加良好的合成图像。
[0014]在一个实施方式中，也可以是，第2图像信息是对被摄体照射闪光来拍摄到的图像信息，校正部还具有亮度校正部，该亮度校正部根据第2图像信息的亮度，计算用于校正第2图像信息的亮度的亮度校正系数，并且，使用亮度校正系数校正第2图像信息的亮度。根据该结构，利用闪光来拍摄到的第2图像信息的亮度变大。因此，由于要被合成的第2图像信息变亮，所以能够得到更加良好的合成图像。
[0015]在一个实施方式中，也可以是，图像合成装置还具有:显示控制部，其使图像显示部显示图像；操作信息取得部，其取得用户根据图像输入的操作信息；以及记录控制部，其利用操作信息使图像信息记录部记录与图像相关的信息，合成部对从校正部输出的第1图像信息和第2图像信息进行合成，从而生成第1合成图像信息作为合成图像信息，并且对从输入部输入的第1图像信息和第2图像信息进行合成，从而生成第2合成图像信息，显示控制部使图像显示部显示第1合成图像信息所涉及的图像和第2合成图像信息所涉及的图像，操作信息包含用于确定第1合成图像信息和第2合成图像信息中的任意一方的图像确定信息，图像信息记录部使图像信息记录部记录通过图像确定信息确定的第1合成图像信息和第2合成图像信息中的任意一方的信息。根据该结构，生成未调整色温的第1合成图像信息所涉及的图像以及调整了色温的第2合成图像信息所涉及的图像。显示控制部使图像显示部显示这些第1合成图像信息所涉及的图像和第2合成图像信息所涉及的图像。用户能够观察第1合成图像信息所涉及的图像和第2合成图像信息所涉及的图像，在对第1图像信息和第2图像信息进行合成时选择是否需要调整色温。因此，能够得到符合用户喜好的良好的合成图像。
[0016]在一个实施方式中，也可以是，图像合成装置还具有:显示控制部，其使图像显示部显示图像；以及操作信息取得部，其取得用户根据图像输入的操作信息，操作信息包含用于对第1图像信息和第2图像信息中的至少一方的色温进行校正的目标色温信息，校正部包含:第1校正部，其将第1图像信息和第2图像信息中的一方的色温校正成接近另一方的色温；以及第2校正部，其根据目标色温信息对第1图像信息和第2图像信息中的至少一方的色温进行校正，合成部对从第1校正部输出的第1图像信息和第2图像信息进行合成，从而生成第1合成图像信息作为合成图像信息，对从第2校正部输出的第1图像信息和第2图像信息进行合成，从而生成第3合成图像信息，显示控制部使图像显示部显示第3合成图像信息所涉及的图像。用户能够一边观察第3合成图像信息所涉及的图像一边调整色温，以获得喜欢的合成图像。因此，能够进一步得到符合用户喜好的良好的合成图像。
[0017]在一个实施方式中，也可以是，图像合成装置还具有操作信息取得部，该操作信息取得部取得用户根据图像输入的操作信息，操作信息包含用于对第1图像信息和第2图像信息中的至少一方的色温进行校正的目标色温信息，校正部包含:第1校正部，其将第1图像信息和第2图像信息中的一方的色温校正成接近另一方的色温；以及第2校正部，其根据目标色温信息对第1图像信息和第2图像信息中的至少一方的色温进行校正，合成部对从第1校正部输出的第1图像信息和第2图像信息进行合成，从而生成第1合成图像信息作为合成图像信息，对从第2校正部输出的第1图像信息和第2图像信息进行合成，从而生成第3合成图像信息，显示控制部还使图像显示部显示第3合成图像信息所涉及的图像。用户能够一边观察第3合成图像信息所涉及的图像一边调整色温，以获得喜欢的合成图像。因此，能够进一步得到符合用户喜好的良好的合成图像。
[0018]在一个实施方式中，也可以是，显示控制部使图像显示部显示以下内容:第1分割图像，其是第1合成图像信息所涉及的图像的一部分；第2分割图像，其是第2合成图像信息所涉及的图像的一部分，对应于与第1分割图像相邻的区域；以及边界线，其表示第1分割图像与第2分割图像之间的边界，第1分割图像和第2分割图像包含在第1图像信息所涉及的图像或第2图像信息所涉及的图像中包含的特征区域，边界线被设定为分割第1图像信息或第2图像信息中包含的特征区域。图像中的人物的面部、照明源以及反射的照明光等所占的区域能够作为用户在输出图像上决定颜色的基准。特征区域是能够作为用户在输出图像上决定颜色的基准的区域。因此，通过以使得第1分割图像和第2分割图像分别包含特征区域的方式设定边界线，能够容易地对特征区域中进行了色温的校正的合成的结果和未进行色温的校正的合成的结果进行比较。
[0019]在一个实施方式中，也可以是，合成部对从输入部输入的第1图像信息和第2图像信息进行合成，从而生成第2合成图像信息，并且生成包含第3分割图像的信息和第4分割图像的信息在内的第4合成图像信息，第3分割图像是第1合成图像信息所涉及的图像的一部分，第4分割图像是第2合成图像信息所涉及的图像或第3合成图像信息所涉及的图像的一部分，对应于第1合成图像信息所涉及的图像中的与第3分割图像不同的区域。根据该结构，第4合成图像信息所涉及的图像包含以不校正色温的方式来合成的第3分割图像以及校正色温来合成的第4分割图像。因此，能够进一步得到符合用户喜好的良好的合成图像。
[0020]本发明的另一方面的图像合成方法，使用计算机对第1图像信息和第2图像信息进行合成，生成包含被摄体的合成图像信息，其中，该第1图像信息包含在第1光环境条件下拍摄到的被摄体，该第2图像信息包含在与第1光环境条件不同的第2光环境条件下拍摄到的被摄体，该图像合成方法具有:输入步骤，输入第1图像信息和第2图像信息；校正步骤，对输入步骤中所输入的第1图像信息和第2图像信息中的至少一方的图像信息进行校正；以及合成步骤，对校正步骤中处理后的第1图像信息和第2图像信息进行合成，生成合成图像信息，在校正步骤中，将第1图像信息和第2图像信息中的一方的色温校正为接近另一方的色温。
[0021]上述的图像合成方法起到与上述的本发明的一个方面的图像合成装置同样的效果Ο
[0022]本发明的另一方面的图像合成装置对第1图像信息和第2图像信息进行合成，生成包含被摄体的合成图像信息，其中，该第1图像信息包含在第1光环境条件下拍摄到的被摄体，该第2图像信息包含在与第1光环境条件不同的第2光环境条件下拍摄到的被摄体，该图像合成装置具有:输入部，其输入第1图像信息和第2图像信息；以及合成部，其对从输入部输入的第1图像信息和第2图像信息进行合成，生成合成图像信息，合成部计算第1被合成像素的第1像素值与第2被合成像素的第2像素值之间的差分，其中，所述第1被合成像素构成第1图像信息，所述第2被合成像素构成第2图像信息且与第1被合成像素对应，并且，合成部根据差分和合成比率函数，计算表示第1像素值在构成合成图像信息的合成像素的合成像素值中所占的比例的合成比率，合成比率函数规定差分与合成比率之间的关系，并且包含合成比率大于0且小于1的区域。
[0023]在该图像合成装置中，在合成部中对第1像素值和第2像素值进行合成。该合成的合成比率是根据具有合成比率大于0且小于1的区域的合成比率函数来决定的。根据该合成比率，合成像素值由第1像素值和第2像素值构成。因此，合成像素值是第1像素值和第2像素值之间的值。因此，在合成图像信息中，能够抑制合成像素值不连续地变化的部位的发生，使合成像素值连续地变化。因此，能够得到更良好的合成图像。
[0024]本发明的另一方面的图像合成方法，使用计算机对第1图像信息和第2图像信息进行合成，生成包含被摄体的合成图像信息，其中，该第1图像信息包含在第1光环境条件下拍摄到的被摄体，该第2图像信息包含在与第1光环境条件不同的第2光环境条件下拍摄到的被摄体，该图像合成方法具有:输入步骤，输入第1图像信息和第2图像信息；以及合成步骤，对输入步骤中所输入的第1图像信息和第2图像信息进行合成，生成合成图像信息，在合成步骤中，计算第1被合成像素的第1像素值与第2被合成像素的第2像素值之间的差分，其中，所述第1被合成像素构成第1图像信息，所述第2被合成像素构成第2图像信息且与第1被合成像素对应，并且，在合成步骤中，根据差分和合成比率函数，计算表示第1像素值在构成合成图像信息的合成像素的合成像素值中所占的比例的合成比率，合成比率函数规定差分与合成比率之间的关系，并且包含合成比率大于0且小于1的区域。
[0025]上述的图像合成方法起到与上述的本发明的另一方面的图像合成装置同样的效果Ο
[0026]本发明的另一方面的图像合成装置对第1图像信息和第2图像信息进行合成，生成包含被摄体的合成图像信息，其中，该第1图像信息包含在第1光环境条件下拍摄到的被摄体，该第2图像信息包含在与第1光环境条件不同的第2光环境条件下拍摄到的被摄体，该图像合成装置具有:输入部，其输入第1图像信息和第2图像信息；以及合成部，其对从输入部输入的第1图像