剪拐角 坐标给出在针对所述第一图像限定的第一二维（2D)坐标系中的所述裁剪的拐角点的位 置； 单应性确定电路，被配置为从所述一组裁剪拐角坐标确定在所述裁剪内限定的所述第 一 2D坐标系的坐标与针对所述第二图像限定的第二2D坐标系的坐标之间的单应性； 特征确定电路，被配置为从所述单应性、从表示针对所述场景限定的三维（3D)坐标系 与针对所述第一图像限定的所述第一 2D坐标系之间的关系的摄像机矩阵、以及从限定所 述场景的所述3D坐标系中的所述场景的特征的所述场景的虚拟3D图来确定所述虚拟摄像 机的视场内的所述场景的所述虚拟3D图的特征； 图形生成器电路，被配置为从确定的虚拟3D图的特征生成图形；以及 图形叠加电路，被配置为将生成的图形叠加在所述第二图像上。
2. 根据权利要求1所述的设备，包括点选择电路，所述点选择电路被配置为接收在针 对所述第一图像限定的所述第一 2D坐标系中选择的单个点，并且从选择的点确定所述虚 拟摄像机的偏转、俯仰和横滚，所述单个点限定所述裁剪内的点。
3. 根据权利要求2所述的设备，其中： 当选择所述单个点和/或所述虚拟摄像机的焦距时，所述虚拟摄像机的偏转、俯仰、横 滚和/或焦距逐渐改变直至到达与所述单个点相关联的偏转、俯仰和/或横滚和/或到达 选择的焦距；以及 随着所述虚拟摄像机的偏转、俯仰、横滚和/或焦距逐渐改变，以预定帧速率连续地接 收多个第二图像和相应组的裁剪拐角坐标。
4. 根据权利要求3所述的设备，其中，通过能够由用户选择的阻尼系数确定所述虚拟 摄像机的偏转、俯仰、横滚和/或焦距的逐渐改变的速度。
5. 根据权利要求3所述的设备，其中，根据预定的虚拟摄像机运动序列控制所述虚拟 摄像机的偏转、俯仰、横滚和/或焦距，通过选择的单个点、焦距和/或阻尼系数的时间序列 限定所述虚拟摄像机运动序列。
6. 根据权利要求1所述的设备，其中： 同时接收多个第二图像和相应组的裁剪拐角坐标； 与所述第二图像中的第一个相关联的所述虚拟摄像机的偏转、俯仰、横滚和/或焦距 不同于与所述第二图像中的第二个相关联的所述虚拟摄像机的偏转、俯仰、横滚和/或焦 距；以及 所述设备包括图像组合电路，所述图像组合电路被配置为将所述第二图像中的第一个 与所述第二图像中的第二个进行组合以形成第三图像。
7. 根据权利要求6所述的设备，其中，与所述第二图像中的第一个相关联的所述虚拟 摄像机的偏转、俯仰、横滚和/或焦距和与所述第二图像中的第二个相关联的所述虚拟摄 像机的偏转、俯仰、横滚和/或焦距使得与所述第二图像中的第二个相对应的裁剪处于与 所述第二图像中的第一个相对应的裁剪内。
8. 根据权利要求1所述的设备，包括用于利用接收到的第二图像确定所述摄像机矩阵 的校准电路，所述校准电路被配置为： 将所述场景的所述虚拟3D图的多个特征中的每一个与所述第二图像中的相应的真实 图像特征相关联，并且确定所述第二图像的所述第二2D坐标系中的每个真实图像特征的 位置； 利用所述单应性确定在所述第一图像的所述第一 2D坐标系中的每个真实图像特征的 位置；以及 从所述第一图像的所述第一 2D坐标系中的每个真实图像特征的位置和所述场景的所 述虚拟3D图中的每个相应特征的3D位置来确定所述摄像机矩阵。
9. 一种用于将图形叠加在从场景的第一图像的裁剪生成的第二图像上的方法，所述裁 剪表示虚拟摄像机的视场，所述方法包括： 接收所述第二图像和一组裁剪拐角坐标，每一个所述裁剪拐角坐标给出针对所述第一 图像限定的第一二维（2D)坐标系中的所述裁剪的拐角点的位置； 从所述一组裁剪拐角坐标确定在所述裁剪内限定的所述第一 2D坐标系的坐标与针对 所述第二图像限定的第二2D坐标系的坐标之间的单应性； 从所述单应性、从表示针对所述场景限定的三维（3D)坐标系与针对所述第一图像限 定的所述第一 2D坐标系之间的关系的摄像机矩阵、以及从限定所述场景的所述3D坐标系 中的所述场景的特征的所述场景的虚拟3D图来确定所述虚拟摄像机的视场内的所述场景 的所述虚拟3D图的特征； 从确定的虚拟3D图的特征生成所述图形；以及 将生成的图形叠加在所述第二图像上。
10. 根据权利要求9所述的方法，包括接收在针对所述第一图像限定的所述第一 2D坐 标系中选择的单个点，并且从选择的点确定所述虚拟摄像机的偏转、俯仰和横滚，所述单个 点限定所述裁剪内的点。
11. 根据权利要求10所述的方法，其中： 当选择所述单个点和/或所述虚拟摄像机的焦距时，所述虚拟摄像机的偏转、俯仰、横 滚和/或焦距逐渐改变直至到达与所述单个点相关联的偏转、俯仰和/或横滚和/或到达 选择的焦距；以及 随着所述虚拟摄像机的偏转、俯仰、横滚和/或焦距逐渐改变，以预定帧速率连续地接 收多个第二图像和相应组的裁剪拐角坐标。
12. 根据权利要求11所述的方法，其中，通过能够由用户选择的阻尼系数确定所述虚 拟摄像机的偏转、俯仰、横滚和/或焦距的逐渐改变的速度。
13. 根据权利要求11所述的方法，其中，根据预定的虚拟摄像机运动序列控制所述虚 拟摄像机的偏转、俯仰、横滚和/或焦距，通过选择的单个点、焦距和/或阻尼系数的时间序 列限定所述虚拟摄像机运动序列。
14. 根据权利要求9所述的方法，其中： 同时接收多个第二图像和相应组的裁剪拐角坐标； 与所述第二图像中的第一个相关联的所述虚拟摄像机的偏转、俯仰、横滚和/或焦距 不同于与所述第二图像中的第二个相关联的所述虚拟摄像机的偏转、俯仰、横滚和/或焦 距；以及 所述设备包括图像组合电路，所述图像组合电路被配置为将所述第二图像中的第一个 与所述第二图像中的第二个进行组合以形成第三图像。
15. 根据权利要求14所述的方法，其中，与所述第二图像中的第一个相关联的所述虚 拟摄像机的偏转、俯仰、横滚和/或焦距和与所述第二图像中的第二个相关联的所述虚拟 摄像机的偏转、俯仰、横滚和/或焦距使得与所述第二图像中的第二个相对应的裁剪处于 与所述第二图像中的第一个相对应的裁剪内。
16. 根据权利要求9所述的方法，包括利用接收到的第二图像确定所述摄像机矩阵，所 述校准电路被配置为： 将所述场景的所述虚拟3D图的多个特征中的每一个与所述第二图像中的相应的真实 图像特征相关联，并且确定所述第二图像的所述第二2D坐标系中的每个真实图像特征的 位置； 利用所述单应性确定在所述第一图像的所述第一 2D坐标系中的每个真实图像特征的 位置；以及 从所述第一图像的所述第一 2D坐标系中的每个真实图像特征的位置和所述场景的所 述虚拟3D图中的每个相应特征的3D位置来确定所述摄像机矩阵。
17. -种程序，用于控制计算机执行根据权利要求9所述的方法。
18. -种记录介质，存储根据权利要求17所述的程序。
19. 如在下文中参考附图充分描述的方法、设备、程序或记录介质。
【专利摘要】本发明涉及用于图像处理的方法、设备和系统。本发明的实施方式提供了一种用于将图形叠加在从场景的第一图像的裁剪生成的第二图像上的设备，其包括接收器电路，被配置为接收第二图像和一组裁剪拐角坐标，每个裁剪拐角坐标给出在针对第一图像限定的第一二维(2D)坐标系中的裁剪的拐角点的位置；单应性确定电路，被配置为从一组裁剪拐角坐标确定在裁剪内限定的第一2D坐标系的坐标与针对第二图像限定的第二2D坐标系的坐标之间的单应性；特征确定电路，被配置为确定虚拟摄像机的视场内的场景的虚拟3D图的特征；图形生成器电路，被配置为从确定的虚拟3D图的特征生成图形；以及图形叠加电路，被配置为将生成的图形叠加在第二图像上。
【IPC分类】G06T15-30
【公开号】CN104658032
【申请号】CN201410647463
【发明人】克里夫·亨利·吉尔拉德, 迈克尔·约翰·威廉斯, 罗伯特·马克·斯特凡·波特, 保尔·爱德华·普雷勒
【申请人】索尼公司
【公开日】2015年5月27日
【申请日】2014年11月14日
【公告号】US20150138188