专利名称：控制装置、相机系统和程序的制作方法
技术领域：
本发明涉及控制装置、相机系统和程序。
背景技术：
已知将相机可捕获的范围显示为整体图像并且通过对于整体图像的操作来控制相机的成像方向的相机控制系统。例如，在日本专利申请公开No. JP-A-2005-354748中描述了这种相机控制系统。进一步，已知这样的相机控制系统将对应于预设部分的各部分显示为缩略图，并且当选择了所期望的一个缩略图时，将相机的成像方向控制到对应的预设方向(例如，参见日本专利申请公开No. JP-A-2008-22260)。
发明内容
然而，在日本专利申请公开No. JP-A-2005-354748和日本专利申请公开 No. JP-A-2008-22260中描述的任一上述相机控制系统中，不能容易地在相机可捕获的范围(整体图像)中确定哪个位置对应于预设部分。另外，在JP-A-2005-354748和 JP-A-2008-22260中描述的技术中，不能在整体图像上确定预设位置。因此，不能通过对于整体图像的操作来朝着预设部分控制成像方向。结果，不能直观地将成像方向控制到所期望的预设方向，并且需要许多尝试和错误。鉴于上述，期望提供允许将成像方向直观地控制到在整体图像中设置的预设区域的新颖的和改进的控制装置、相机系统和程序。根据本发明的实施例，提供了控制装置，其包括显示控制部件，其执行控制以使得显示整体图像显示区域和放大图像显示区域，其中在所述整体图像显示区域中显示相机所捕获的整体图像，而在所述放大图像显示区域中放大与在整体图像上指定的位置相对应的区域并且显示经放大的图像；以及控制部件，其执行控制以使得改变与在整体图像上指定的位置相对应的区域。所述区域包括至少一个预设区域，并且所述显示控制部件在整体图像上显示对应于所述预设区域的部分。在此配置中，所述控制部件执行控制以使得与在整体图像上指定的位置相对应的区域由相机捕获。在此配置中，当在所述整体图像上选择对应于所述预设区域的部分时，所述控制部件控制相机的成像方向以使得捕获所选的预设区域。在此配置中，所述显示控制部件基于根据所述预设区域设置的视角的大小，在所述整体图像上显示对应于所述预设区域的部分。在此配置中，当所述预设区域未位于所述整体图像的中心时，所述显示控制部件使用当所述预设区域位于所述整体图像的中心时框的大小作为基准，以基于所述预设区域设置的成像放大率校正框的大小，并且执行显示。在此配置中，所述显示控制部件根据用户执行的拖曳操作改变所述预设区域的位置，并且执行显示。
在此配置中，当在所述整体图像上指定多个预设区域时，所述控制部件控制相机的成像方向以使得顺序地捕获多个预设区域，并且所述显示控制部件控制图像显示以使得将多个预设区域显示为列表。在此配置中，当在所述整体图像上指定多个预设区域时，所述控制部件控制相机的成像方向以使得顺序地捕获多个预设区域，并且所述显示控制部件交替地显示多个预设区域。根据本发明的另一实施例，提供了相机系统，包括捕获图像的相机和控制相机的控制装置。所述控制装置包括显示控制部件，其执行控制以使得显示整体图像显示区域和放大图像显示区域，其中在所述整体图像显示区域中显示相机所捕获的整体图像，而在所述放大图像显示区域中放大与在整体图像上指定的位置相对应的区域并且显示经放大的图像；以及控制部件，其执行控制以使得改变与在整体图像上指定的位置相对应的区域。所述区域包括至少一个预设区域，并且所述显示控制部件在整体图像上显示与所述预设区域对应的部分。在此配置中，所述控制部件执行控制以使得与在整体图像上指定的位置相对应的区域由相机捕获。在此配置中，当在所述整体图像上选择与所述预设区域对应的部分时，所述控制部件控制相机的成像方向以使得捕获所选的预设区域。在此配置中，所述显示控制部件基于根据所述预设区域设置的视角的大小，在所述整体图像上显示与所述预设区域对应的部分。在此配置中，当所述预设区域未位于所述整体图像的中心时，所述显示控制部件使用当所述预设区域位于所述整体图像的中心时框的大小作为基准，以基于所述预设区域设置的成像放大率校正框的大小，并且执行显示。在此配置中，所述显示控制部件根据用户执行的拖曳操作改变所述预设区域的位置，并且执行显示。在此配置中，当在所述整体图像上指定多个预设区域时，所述控制部件控制相机的成像方向以使得顺序地捕获多个预设区域，并且所述显示控制部件控制图像显示以使得将多个预设区域显示为列表。在此配置中，当在所述整体图像上指定多个预设区域时，所述控制部件控制相机的成像方向以使得顺序地捕获多个预设区域，并且所述显示控制部件交替地显示多个预设区域。根据本发明的另一实施例，提供了包括指令的程序，所述指令命令计算机用作显示控制单元，其执行控制以使得显示整体图像显示区域和放大图像显示区域，其中在所述整体图像显示区域中显示相机所捕获的整体图像，而在所述放大图像显示区域中放大在整体图像上指定的至少一个预设区域并且显示经放大的图像，并且显示控制单元在所述整体图像上显示与所述预设区域对应的部分；以及控制单元，其执行控制以使得改变与在整体图像上指定的位置相对应的区域。根据上面所述的本发明，可以提供允许将成像方向直观地控制到在整体图像中设置的预设区域的控制装置、相机系统和程序。
图1是示出根据本发明实施例的成像系统的总体配置的示意图；图2是详细示出图1所示的成像系统中的相机终端装置和中心服务器的配置的示意图；图3A和图;3B是图示相机终端装置的摇摄操作和倾斜操作的示意图；图4是示出全景图像和鸟瞰视像的显示状态的示意图；图5是图示用以生成鸟瞰视像信号DF的处理的示意图；图6是图示用以生成鸟瞰视像信号DF的处理的示意图；图7是图示用以生成鸟瞰视像信号DF的处理的示意图；图8是图示用以生成鸟瞰视像信号DF的处理的示意图；图9是示出监视器的显示屏幕的示意图；图10A、图IOB和图IOC是图示操作面板上的操作的示意图；图11是示出当点击面板“视图”时显示诸如“屏幕模式”、“视图大小”、“图像编解码”和“帧速”之类的菜单的状态的示意图；图12是示出当点击面板“相机”时所显示的菜单的示意图；图13是示出当点击“预设位置”、“触发”、“其它”和“信息”时所显示的各个菜单的示意图；图14是图示鸟瞰视像的显示的示意图；图15是图示鸟瞰视像的显示的示意图；图16是图示鸟瞰视像的显示的示意图；图17是图示鸟瞰视像的显示的示意图；图18是图示鸟瞰视像的显示的示意图；图19是示出在会议室中提供根据本实施例的相机终端装置的情况的示意图；图20是示出通过选择图19所示的整体图像中的框A D之一而从四个预设位置当中指定实时图像的状态的示意图；图21是示出通过选择图19所示的整体图像中的框A D之一而从四个预设位置当中指定实时图像的状态的示意图；图22是示出通过选择图19所示的整体图像中的框A D之一而从四个预设位置当中指定实时图像的状态的示意图；图23是示出通过选择图19所示的整体图像中的框A D之一而从四个预设位置当中指定实时图像的状态的示意图；图M是示出用于改变预设位置的方法的示意图；图25是示出用于改变预设位置的方法的示意图；图沈是示出通过用户执行的拖曳操作来选择两个框(即，框B和框D)的状态的示意图；图27是示出当通过用户执行的拖曳操作选择了两个框(S卩，框B和框D)时显示与框B对应的图像和与框D对应的图像两者的示例的示意图；以及图28是详细示出用以设置预设位置的设置屏幕的示例的示意图。
具体实施例方式下文参考附图详细描述本发明的优选实施例。注意，在本说明书中，用相同的附图标记表示具有基本上相同功能和结构的结构性要素，并且这些结构性要素的重复说明予以省略。注意，将以下列顺序进行描述。1.第一实施例(包括相机终端装置和服务器的成像系统的示例)(1)成像系统的配置示例(2)相机终端装置和中心服务器的配置示例(3)第一全景图像和第二全景图像的显示操作(4)用以生成第一全景图像的处理(5)图形用户界面(⑶I)(6)第一全景图像上成像方向的指定(7)使用预设位置的控制1.第一实施例(1)成像系统的配置图1是示出根据本发明实施例的成像系统100的总体配置的示意图。成像系统100 包括相机终端装置(IP相机)200、中心服务器300和客户端400。多个相机终端装置200、 中心服务器300和客户端400经由网络500连接。代理服务器600连接至网络500，并且多个相机终端装置200连接至代理服务器600。进一步，监视器320连接至中心服务器300。 在本实施例中，相机终端装置200例如是置于室内或室外的监视相机。可以通过在中心服务器300的监视器320上显示每个相机终端装置200所获取的图像来监视提供每一个相机终端装置200的区域。客户端400经由网络500连接至相机终端装置200、中心服务器300 或代理服务器600。客户端400可具有中心服务器300的功能以及监视器320的功能(其将在稍后描述)。由相机终端装置200捕获的图像经由网络500发送至客户端400，并且第一全景图像和第二全景图像连同稍后描述的实时图像(live image) 一起显示在每一个客户端400的显示屏幕上。注意，尽管IP相机示出为相机终端装置200的示例，但是相机终端装置200不限于IP相机，它们可以是模拟相机。全景图像(全视像、整体图像(whole image))指示每个相机终端装置200可捕获的范围。存在各种形状的全景图像，其示例包括诸如图4所示的圆形全景图像和矩形全景图像，以及如投射在圆柱面上的环形全景图像。以下在本实施例中，将圆形全景图像和矩形全景图像分别作为第一全景图像和第二全景图像的示例进行说明。(2)相机终端装置和中心服务器的配置示例图2是详细示出图1所示成像系统中的相机终端装置200和中心服务器300的配置的示意图。图2所示的相机终端装置200或中心服务器300的各个结构性要素可以用硬件(电路等)或者用运算处理单元(如，CPU)和使得运算处理单元起作用的软件(程序) 来形成。相机终端装置200的相机部件201包括成像光学系统。相机部件201基于从稍后所述的终端控制部件210提供的成像控制信号CTa来执行成像操作，并且生成视频信号 Dcam。进一步，相机部件201将生成的视频信号Dcam经由总线220提供给信号处理部件 202。注意，存储器部件203、成像方向控制部件204、网络接口部件206、全景图像存储部件207和终端控制部件210也连接至总线220。信号处理部件202对视频信号Dcam执行压缩处理，并且将所获得的视频编码信号 DV存储在存储器部件203中。进一步，信号处理部件202使用通过顺序地移动相机部件201 的成像方向所获得的视频信号Dcam，以生成第一全景图像的视频信号DF(该信号在下文也称为第一全景图像信号DF)和第二全景图像的视频信号DP (该信号在下文也称为第二全景图像信号DP)。然后，信号处理部件202将生成的第一全景图像信号DF和第二全景图像信号DP存储在全景图像存储部件207中。注意，基于从稍后描述的终端控制部件210提供的信号处理控制信号CTb执行视频信号Dcam的压缩处理以及第一全景图像信号DF和第二全景图像信号DP的生成。为了将相机部件201的成像方向移至从稍后所述的终端控制部件210提供的方向控制信号CTc所指令的方向，成像方向控制部件204在移动成像方向时计算速度和加速度。 进一步，成像方向控制部件204基于计算结果生成用以执行摇摄操作(pan operation)的驱动信号MDP和用以执行倾斜操作的驱动信号MDt，并且将生成的驱动信号MDP和MDt提供给成像方向调节部件205。进一步，成像方向控制部件204生成指示哪个方向是相机部件 201的成像方向的相机位置信息信号PM，并且将生成的相机位置信息信号PM提供给终端控制部件210。成像方向调节部件205包括摇摄操作电机，其使得相机部件201在左右方向上移动；以及倾斜操作电机，其使得相机部件201在上下方向上移动。成像方向调节部件205使用驱动信号MDP驱动摇摄操作电机，使用驱动信号MDt驱动倾斜操作电机。由此，成像方向调节部件205将相机部件201的成像方向调节至方向控制信号CTc所指令的方向。注意， 假设成像方向调节部件205在对其运动范围没有限制的情况下执行连续的摇摄操作。图3是图示相机终端装置200的摇摄操作和倾斜操作的示意图，其示出了相机终端装置200附于天花板(ceiling)等的情况。图示出了根据本发明实施例的相机终端装置200的摇摄/倾斜操作。另一方面，为了比较，图3A示出了一般相机终端装置的摇摄 /倾斜操作。如图3A所示，在一般相机终端装置中，执行连续的360度摇摄操作，并且从垂直方向到水平方向的90度的范围上执行倾斜操作。相比之下，在根据本实施例的相机终端装置200中，执行连续的360度摇摄操作，并且在以垂直方向为中心的220度的范围上执行倾斜操作。据此，第一全景图像的视频信号DF可以通过使用稍后所述的技术而生成，并且可以存储在全景图像存储部件207中。稍后所述的第一全景图像是圆形全景图像。当在圆形的中心的附近穿越中心操作成像方向时，根据本实施例的相机终端装置200也可以以最短的距离机械地移至目标成像方向。相比之下，在一般的相机终端装置中，不能穿越图的中心机械地移动相机成像方向。网络接口部件206是用以经由网络500在相机终端装置200和中心服务器300之间进行通信的接口。终端控制部件210使用成像控制信号CTa控制相机部件201，使用信号处理控制信号CTb控制信号处理部件202，并使用方向控制信号CTc控制成像方向控制部件204。由此，终端控制部件210在顺序地移动成像方向的同时进行图像捕获。然而，基于所获得的视频信号Dcam，终端控制部件210生成第一全景图像信号DF和第二全景图像信号DP，并且将它们存储在全景图像存储部件207中。
根据本实施例的成像系统100可以连同基于第一全景图像信号DF生成的第一全景图像或基于第二全景图像信号DP生成的第二全景图像一起，将基于视频信号Dcam生成的实时图像从相机终端装置200发送至中心服务器300，并且可以将它们显示在监视器320 上。注意，在本说明书中，存在将第一全景图像或第二全景图像称为整体图像的情况。图4 是示出第二全景图像和第一全景图像的显示状态的示意图。中心服务器300可以根据用户选择，将第一全景图像和第二全景图像之一连同实时图像一起显示在监视器320上。进一步，可以构造中心服务器300，以使得其连同实时图像一起显示第一全景图像和第二全景图像两者。注意，将图4右侧的中心附近的图像丢失了的圆形全景图像示出为第一全景图像。 然而，第一全景图像不限于该示例，可以将中心附近的图像未丢失的圆形全景图像用作第一全景图像。相机终端装置200置于天花板等上，其显示从相机终端装置200起向下方向上的图像。因此，如图4所示，在摇摄360度和倾斜220度的范围上获取第一全景图像，中心在从相机终端装置200向下延伸的垂直线上，并且第一全景图像的轮廓是圆形的。进一步，构造成像方向调节部件205以使得其可以如上所述那样连续地执行摇摄操作。因此，假设形成存储在全景图像存储部件207中的第二全景图像，以使得图像如图4 中所示那样不重叠。例如，假设第二全景图像的一端与基准方向具有“+180度”的角度差， 而第二全景图像的另一端与基准方向具有“-180度”的角度差。进一步，由于摇摄操作的操作范围不受限制，因此与例如操作范围受到限制的情况相反，不能将操作范围的中心位置取为基准方向。据此，预先设置基准方向，并且生成第二全景图像，以使得该基准方向对应于第二全景图像的中心位置。成像方向控制部件204生成例如指示成像方向相对于预先设置的基准方向的角度差的信号作为相机位置信息信号PM。如果以此方式预先设置了基准方向，则在要生成第二全景图像的成像操作中无需确定将哪个方向取为基准。进一步，如果由相机位置信息信号PM指示成像方向相对于基准方向的角度差，则可以在第二全景图像上容易地确定基于相机位置信息信号PM的成像方向的位置。此外，在倾斜操作中，假设预先设置基准方向，并且由相机位置信息信号PM指示成像方向相对于基准方向的角度差。由此，在第一全景图像和第二全景图像两者上，可以容易地确定基于相机位置信息信号PM的成像方向的位置。注意，在倾斜操作中，当将相机终端装置200置于天花板上时，可以将垂直方向取为基准方向。终端控制部件210分析经由网络接口部件206从中心服务器300提供的命令信号 CM,并且生成成像控制信号CTa、信号处理控制信号CTb和方向控制信号CTc。进一步，终端控制部件210执行如下的处理将存储器部件203中存储的视频编码信号DV、全景图像存储部件207中存储的第一全景图像信号DF和第二全景图像信号DP以及从成像方向控制部件204提供的相机位置信息信号PM发送至中心服务器300。中心服务器300的网络接口部件301是用以经由网络500在相机终端装置200和中心服务器300之间进行通信的接口。网络接口部件301将从相机终端装置200提供的视频编码信号DV提供给扩展处理部件302。进一步，网络接口部件301将相机位置信息信号 PM提供给位置确定处理部件303，并且将第一全景图像信号DF和第二全景图像信号DP提供给图像处理部件304。
扩展处理部件302对视频编码信号DV执行扩展处理，并且将所获得的视频信号 Dcam提供给显示处理部件305。位置确定处理部件303确定第一全景图像或第二全景图像中的哪个位置对应于由相机位置信息信号PM所指示的成像方向，并且将位置确定结果KP提供给图像处理部件 304。这里，如果假设相机位置信息信号PM生成第一全景图像信号DF或第二全景图像信号 DP，以使得如上所述那样预先设置的基准方向为摇摄操作和倾斜操作的中心位置，并且使得相机位置信息信号PM指示基准方向和当前成像方向之间的角度差，则基于相机位置信息信号PM容易地确定鸟瞰视图(bird's eye view)图像(即，第一全景图像)或第二全景图像中的哪个位置对应于当前成像方向。图像处理部件304基于位置确定结果KP执行图像处理，并且生成第一全景图像的第一全景图像信号DFC以及第二全景图像的第二全景图像信号DPC。关于第二全景图像信号DPC，可以生成将由位置确定结果KP确定出的位置设置为中心位置的第二全景图像信号 DPC0在这种情况下，图像处理部件304确定所确定出的位置和第二全景图像的中心位置之间的差异量。然后，基于所确定出的差异量，处理第二全景图像，以使得所确定出的位置变为图像的中心位置。更具体地，利用所确定的位置作为中心位置，设置“士 180度”的第二全景图像的显示图像框，并且将偏离第二全景图像的显示图像框的差异量所对应的区域的第二全景图像粘贴至没有图像的区域。由此，生成了将所确定的位置设置为中心位置的第二全景图像的第二全景图像信号DPC。此外，在第一全景图像信号DFC的情况下，当处于稍后所述的“用于旋转第一全景图像的模式”时，以与第二全景图像信号DPC类似的方式，确定所确定的位置和第一全景图像的摇摄方向中基准位置之间的差异量，并且基于确定出的差异量，处理第一全景图像以使得将所确定出的位置置于图像上。注意，在未将位置确定结果KP确定出的位置设置为中心位置的情况下，图像处理部件304在不改变中心位置的情况下，分别基于第一全景图像信号DF和第二全景图像信号DP而生成第一全景图像的第一全景图像信号DFC以及第二全景图像的第二全景图像信号DPC。进一步，在第一全景图像信号 DFC和第二全景图像信号DPC的每一个之中，图像处理部件304显示基于位置确定结果KP 的位置(即，相机部件201的成像光学系统的光轴被引向的位置)。进一步，图像处理部件 304将已经通过执行图像处理而生成的第一全景图像信号DFC和第二全景图像信号DPC提供给显示处理部件305。显示处理部件305使用从扩展处理部件302提供的视频信号Dcam以及从图像处理部件304提供的第一全景图像信号DFC和第二全景图像信号DPC来生成显示驱动信号 HD,并且将生成的显示驱动信号HD提供给监视器320。进一步，显示处理部件305使用⑶I 视频信号(其基于从稍后所述的控制部件310提供的GUI显示控制信号CTg而生成)生成显示驱动信号HD，并且将生成的显示驱动信号HD提供给监视器320。显示处理部件305可以执行控制，以使得将从多个相机终端装置200发送的实时图像和全景图像作为列表显示在监视器320上。监视器320基于显示驱动信号HD驱动显示元件(例如，液晶显示元件或等离子显示元件)、阴极射线管等，从而在屏幕上显示第一全景图像、成像方向设为中心位置的第二全景图像、相机部件201捕获的图像(实时图像)、GUI图像等。在用户接口部件315中使用GUI，并且用户接口部件315使用监视器320向用户呈现信息。当基于所呈现的信息通过使用操作输入装置(如，指示装置、键盘等)执行用户操作时，用户接口部件315将根据用户操作的操作信号US提供给控制部件310，并且使得执行所期望的操作。基于操作信号US和监视器320的显示状态，控制部件310确定用户已选择了哪个处理或者用户已请求了哪个处理。然后控制部件310基于确定结果生成控制信号CTm，并且将生成的控制信号CTm提供给每个部件，从而控制中心服务器300的操作。进一步，控制部件310基于确定结果生成命令信号CM，并且经由网络接口部件301将生成的命令信号CM 提供给相机终端装置200，从而控制相机终端装置200的操作。进一步，控制部件310生成 ⑶I显示控制信号CTg，并且将其提供给显示处理部件305。在上述示例中，相机终端装置200根据视频信号Dcam生成第一全景图像的视频信号DF和第二全景图像的视频信号DP。然而，中心服务器300或客户端400可生成第一全景图像的视频信号DF和第二全景图像的视频信号DP。在这种情况下，相机终端装置200的网络接口部件206将从相机部件201输出的视频信号Dcam发送至中心服务器300或客户端400。如果中心服务器300或客户端400提供有与相机终端装置200的信号处理部件类似的信号处理部件，则中心服务器300或客户端400可以生成第一全景图像的视频信号DF 和第二全景图像的视频信号DP。第一全景图像的视频信号DF和第二全景图像的视频信号 DP存储于中心服务器300或客户端400中所提供的存储器(如，硬盘)中。(3)第一全景图像和第二全景图像的显示操作接下来说明第一全景图像和第二全景图像的显示操作。当操作开始时，控制部件 310将请求第一全景图像信号DF、第二全景图像信号DP、相机位置信息信号PM和视频编码信号DV的传输的命令信号CM发送至每一个相机终端装置200。当第一全景图像信号DF和第二全景图像信号DP存储于全景图像存储部件207中时，相机终端装置200读出第一全景图像信号DF和第二全景图像信号DP，并且将它们发送至中心服务器300。另一方面，当第一全景图像信号DF或第二全景图像信号DP未存储于全景图像存储部件207中时，相机终端装置200控制相机部件201、信号处理部件202和成像方向控制部件204，并且在移动成像方向的同时执行成像操作。由此，相机终端装置200生成第一全景图像信号DF和第二全景图像信号DP，并且将它们发送至中心服务器300。注意，相机终端装置200将生成的第一全景图像信号DF和第二全景图像信号DP存储在全景图像存储部件207中。相机终端装置200将在成像方向控制部件204中生成的相机位置信息信号PM提供给中心服务器300。进一步，相机终端装置200开始相机部件201的成像操作，在信号处理部件202中压缩所获得的视频信号Dcam，并且将视频编码信号DV存储在存储器部件203 中。进一步，相机终端装置200将存储器部件203中存储的视频编码信号DV提供给中心服务器300。注意，当相机终端装置200和网络500如图1所示那样经由代理服务器600连接时，经由代理服务器600在每一个相机终端装置200和中心服务器300之间发送和接收信肩、ο中心服务器300的位置确定处理部件303确定第一全景图像或第二全景图像中的哪个位置对应于相机位置信息信号PM所指示的成像方向，并且将位置确定结果KP提供给图像处理部件304。如果以第二全景图像作为示例，则当例如由相机位置信息信号PM指示的角度差为“0度”时，由于将成像方向设为基准方向，因此成像方向的位置是第二全景图像的中心位置。图像处理部件304基于位置确定结果KP执行图像处理。当位置确定结果KP指示成像方向的位置是第二全景图像的中心位置时，成像方向上的图像对应于第二全景图像的中心。因此，不执行第二全景图像的图像处理，并且第二全景图像信号DP被作为第二全景图像信号DPC提供给显示处理部件305。另一方面，当成像方向的位置不是第二全景图像的中心位置时，确定成像方向的所确定出的位置和第二全景图像的中心位置之间的差异量。 然后，基于所确定出的差异量，处理第二全景图像，以使得所确定出的位置对应于图像的中心位置，并且生成第二全景图像信号DPC。因此，在第二全景图像中，当例如相机位置信息信号PM指示的角度差是“0度”时， 在由从显示处理部件305提供的显示驱动信号HD所驱动的监视器320的屏幕上，显示由相机部件201捕获的图像、基准方向对应于中心位置的第二全景图像、以及与GUI有关的图像在第一全景图像的情况下，当处于稍后所述的“用于旋转第一全景图像的模式” 时，以与第二全景图像信号DPC类似的方式，确定所确定的位置和第一全景图像的摇摄方向中基准位置之间的差异量。然后，基于确定出的差异量，旋转第一全景图像以使得所确定出的位置放置在图像以下(在稍后所述的中心线L上)，并且生成第一全景图像信号DFC。 在第一全景图像信号DFC和第二全景图像信号DPC的每一个之中，图像处理部件304显示基于位置确定结果KP的成像方向的位置(即，相机部件201的成像光学系统的光轴被引向的位置)。在第一全景图像和第二全景图像任一之中，预先设置的基准位置可以固定并显示为中心位置。在这种情况下，确定位置确定结果KP所确定的位置与预先设置的基准位置之间的差异量，并且基于确定出的差异量，将指示相机的成像方向(相机部件201中包括的光学系统的光轴的方向)被引向从中心位置移开该差异量的位置的光标、框等显示在第一或第二全景图像中。扩展处理部件302扩展视频编码信号DV，并且将所获得的视频信号Dcam提供给显示处理部件305。控制部件310将用于执行⑶I显示的⑶I显示控制信号CTg提供给显示处理部件305。(4)用以生成第一全景图像的处理接下来参考图5到图8，说明用以生成第一全景图像信号DF的处理。当生成第一全景图像信号DF时，针对第一全景图像的每个区域获取图像。首先，如图5中所示，相机终端装置200的变焦固定，并且以给定间隔执行摇摄/倾斜操作，并且获取静止图像。图5中所示的数字表示图像获取的顺序。接下来通过下列过程[1] [3]执行静止图像坐标系统的坐标转换。这里，如图 6中所示，将静止图像的每个点转换为从相机终端装置200的旋转中心看时的相对位置(X， y，ζ)。[1]水平视角为thh[度]并且纵横比为“a”的相机的视角设置在原点，并且被引向a-z方向。如果在距离L的位置上考虑对象平面(X，y，_L)，则可见范围为2LxX2Ly的矩形。这里，建立了下列关系:Lx = L · tan (thh/2)，Ly = Lx/a。[2]相机的状态(posture)在初始为(x，y，z，p，q，r)。然而，考虑视角的位置固定在原点，因此获得了等式χ = y = ζ = 0。因此，这里仅考虑(p，q，r) (ρ 摇摄(y轴选择)，q 倾斜U轴旋转)，r 滚转(z轴旋转))。[3]当使用(2Lx) X (2Ly)的矩形中的点(j，i)时，建立下列等式。X = LxX (j-Lx)/Lxy = LyX (i~Ly)/LyZ = -L[4]使用(X，y, z)应用滚转转换、倾斜转换和摇摄转换的下列等式。表达式1■滚转转换
权利要求
1.一种控制装置，包括显示控制部件，执行控制以使得显示整体图像显示区域和放大图像显示区域，其中在所述整体图像显示区域中显示相机所捕获的整体图像，而在所述放大图像显示区域中放大与在所述整体图像上指定的位置相对应的区域并且显示经放大的图像；以及控制部件，执行控制以使得改变与在所述整体图像上指定的位置相对应的区域， 其中，所述区域包括至少一个预设区域，并且所述显示控制部件在所述整体图像上显示与所述预设区域对应的部分。
2.如权利要求1所述的控制装置，其中，所述控制部件执行控制以使得由相机捕获与在所述整体图像上指定的位置相对应的区域。
3.如权利要求2所述的控制装置，其中，当在所述整体图像上选择与所述预设区域对应的部分时，所述控制部件控制相机的成像方向以使得捕获所选的预设区域。
4.如权利要求2所述的控制装置，其中，所述显示控制部件基于根据所述预设区域设置的视角的大小，在所述整体图像上显示与所述预设区域对应的部分。
5.如权利要求2所述的控制装置，其中，当所述预设区域未位于所述整体图像的中心时，所述显示控制部件使用当所述预设区域位于所述整体图像的中心时框的大小作为基准，以基于所述预设区域设置的成像放大率来校正框的大小，并且执行显示。
6.如权利要求2所述的控制装置，其中，所述显示控制部件根据用户执行的拖曳操作来改变所述预设区域的位置，并且执行显示。
7.如权利要求2所述的控制装置，其中，当在所述整体图像上指定多个预设区域时，所述控制部件控制相机的成像方向， 以使得顺序地捕获所述多个预设区域，并且其中，所述显示控制部件控制图像显示，以使得将所述多个预设区域显示为列表。
8.如权利要求7所述的控制装置，其中，当在所述整体图像上指定所述多个预设区域时，所述控制部件控制相机的成像方向，以使得顺序地捕获所述多个预设区域，并且其中，所述显示控制部件交替地显示所述多个预设区域。
9.一种相机系统，包括 相机，捕获图像；以及控制装置，控制所述相机， 其中，所述控制装置包括显示控制部件，执行控制以使得显示整体图像显示区域和放大图像显示区域，其中在所述整体图像显示区域中显示由所述相机捕获的整体图像，而在所述放大图像显示区域中放大与在所述整体图像上指定的位置相对应的区域并且显示经放大的图像；以及控制部件，执行控制以使得改变与在所述整体图像上指定的位置相对应的区域，其中，所述区域包括至少一个预设区域，并且所述显示控制部件在所述整体图像上显示与所述预设区域对应的部分。
10.如权利要求9所述的相机系统，其中，所述控制部件执行控制以使得与在所述整体图像上指定的位置相对应的区域由所述相机捕获。
11.如权利要求10所述的相机系统，其中，当在所述整体图像上选择与所述预设区域对应的部分时，所述控制部件控制相机的成像方向，以使得捕获所选的预设区域。
12.如权利要求10所述的相机系统，其中，所述显示控制部件基于根据所述预设区域设置的视角的大小，在所述整体图像上显示与所述预设区域对应的部分。
13.如权利要求10所述的相机系统，其中，当所述预设区域未位于所述整体图像的中心时，所述显示控制部件使用当所述预设区域位于所述整体图像的中心时框的大小作为基准，以基于所述预设区域设置的成像放大率来校正框的大小，并且执行显示。
14.如权利要求10所述的相机系统，其中，所述显示控制部件根据用户执行的拖曳操作来改变所述预设区域的位置，并且执行显示。
15.如权利要求10所述的相机系统，其中，当在所述整体图像上指定多个预设区域时，所述控制部件控制相机的成像方向， 以使得顺序地捕获所述多个预设区域，并且其中，所述显示控制部件控制图像显示，以使得将所述多个预设区域显示为列表。
16.如权利要求15所述的相机系统，其中，当在所述整体图像上指定所述多个预设区域时，所述控制部件控制相机的成像方向，以使得顺序地捕获所述多个预设区域，并且其中，所述显示控制部件交替地显示所述多个预设区域。
17.—种包括指令的程序，所述指令命令计算机用作显示控制单元，执行控制以使得显示整体图像显示区域和放大图像显示区域，并在整体图像上显示与预设区域对应的部分，其中在所述整体图像显示区域中显示相机所捕获的整体图像，而在所述放大图像显示区域中放大在所述整体图像上指定的至少一个预设区域并且显示经放大的图像；以及控制单元，执行控制以使得改变与在整体图像上指定的位置相对应的区域。
全文摘要
提供了控制装置、相机系统和程序。本发明的控制装置包括显示控制部件，执行控制，以使得显示整体图像显示区域和放大图像显示区域，其中在整体图像显示区域中，显示相机所捕获的整体图像，在放大图像显示区域中，放大与在整体图像上指定的位置相对应的区域并且显示经放大的图像；以及控制部件，执行控制，以使得改变与在整体图像上指定的位置相对应的区域。所述区域包括至少一个预设区域，并且显示控制部件在整体图像上显示与预设区域对应的部分。
文档编号H04N5/232GK102202168SQ20111006742
公开日2011年9月28日 申请日期2011年3月21日 优先权日2010年3月26日
发明者坂木和则, 江副利广 申请人:索尼公司