基于鱼眼全景摄像机的视频会议实现方法与流程

本发明属于图像处理技术领域，特别涉及一种视频会议实现方法，可用于两个或两个以上不同地方的会议小组进行即时互动沟通，使所有的与会人员同时进行面对面的视频交流。

背景技术：

视频会议作为目前最先进的通讯技术，只需借助专用网络或互联网，即可实现高效高清的远程会议办公，在持续提升用户沟通效率、缩减企业差旅费用成本、提高管理成效等方面具有得天独厚的优势，已部分取代商务出行，成为远程办公最新模式。近年来，视频会议的应用范围迅速扩大，从政府、公安、军队、法院到科技、能源、医疗、教育等领域随处可见，涵盖了社会生活的方方面面。

鱼眼全景摄像机因其大视角及特殊的成像效果，在虚拟实景技术、机器人导航、医疗、全景漫游、视频监控和摄影等方面得到广泛应用，但因其特殊的畸变效果在视频会议上的应用有所限制。目前，改变鱼眼图像视点中心的平面校正处理方式多采用等距投影算法，该算法的核心理论是给定鱼眼图像上的任意点的坐标，根据输入的鱼眼镜头最大视角、透视角度、输出图像的高度和宽度等参数，得到以该点为中心进行变形校正展开的图像。为满足不同项目的校正效果，针对具体的项目应当在应用时对该算法进行改进。

传统的视频会议会场布置要求较高，负责采集图像的高清摄像机和显示设备需固定于会场前侧中央区域，并对正与会人员，通过云台控制和缩放方能实现会场整体和特定位置场景的捕捉，会场照明要充足，环境色温要适中。这种方法视角范围小，场景单一，面对面的互动性差。

技术实现要素：

本发明的目的在于针对上述现有技术的不足，提出一种基于鱼眼全景摄像机的视频会议实现方法，以扩大视角范围、增强互动性，使所有与会人员能同时参与面对面的交流。

本发明的技术方案是这样实现的：

一.技术原理

鱼眼像机因采用的镜头和图像传感器与普通镜头的矩形传感器有着本质上的差异，因此其成像原理也不相同。由于鱼眼镜头焦距越短，视角越大，而视角越大，因光学原理产生的变形也就越强烈的特点，为了达到水平360°，垂直180°的超大视角，鱼眼镜头允许“桶形畸变”合理存在，除了画面中心的景物保持不变，其它本应水平或垂直的景物都发生了相应的变化。由于景深曲率的影响，鱼眼镜头成像会形成一个异于人类视觉习惯的圆形图像，其图像边缘的像素点完全被拉伸，因此如何改变鱼眼图像视点并以该视点为中心进行校正是十分关键的技术。图像的畸变十分严重，不符合正常视觉感受，因此需要图像校正处理技术消除鱼眼镜头畸变。

本发明利用鱼眼全景摄像机获取会议现场的图像数据，经过通信单元传送给本地处理中心，本地处理中心通过校正处理生成正常视觉下的新视点图像，再由远程传输单元传送给另一会议地点的远程处理中心，远程处理中心将解码后的图像信号通过通信单元输出至显示终端，使双方与会人员可直观的、“面对面”的参与交流。

二.实现方案

根据上述原理，本发明的实现方案包括如下：

1)会场设置

各会议小组将鱼眼全景摄像机水平向上置于会议现场的中央，各参会人员前侧设置小型显示终端，以显示其他参会人员图像；

2)图像采集

2a)利用会议现场的鱼眼全景摄像机获取会议现场水平视角360度、垂直视角180度的鱼眼图像；

2b)将鱼眼摄像机采集的会议现场的鱼眼图像，传回到本地处理中心；

3)图像预处理：采用扫描线逼近法获取鱼眼图像的圆形有效区域；

4)图像校正与传输

4a)采用球面透视投影模型，将鱼眼图像的圆形有效区域校正成为以某一点为中心的正常视觉下的平面图像，并将该平面图像信号传送至远程处理中心；

4b)远程处理中心将收到的平面图像进行解码，再输出至参会人员的显示终端。

本发明具有如下优点：

1.本发明由于采用鱼眼全景摄像机，可获得水平视角360度的景象，扩大了视角范围；

2.本发明只需固定设置鱼眼全景摄像机和显示终端，无需云台控制，会场设置简单；

3.本发明由于通过球面透视投影模型将鱼眼图像校正成正常视觉下的平面图像，使其符合正常的视觉要求，便于双方或多方交流。

附图说明

图1是本发明的实现总框图。

图2是本发明中鱼眼图像校正子框图。

图3是本发明中使用的球面透视投影模型。

图4是本发明中鱼眼镜头球面成像示意图。

图5是本发明中计算像素长度的示意图。

图6是本发明中计算视平面对应点的空间坐标示意图

图7是本发明的实施效果图。

具体实施方式

以下结合具体实例，对本发明进行详细说明。

参图1，为本发明的实现过程如下：

第一步，会场设置。

按照实际需求设置分组会场，各分组会场按照圆桌会议方式设置桌椅，座椅数量设置在4个以上，会议桌中央位置水平放置鱼眼全景摄像机，摄像机的镜头向上摆放，各座位前方的桌面上设置液晶显示器作为显示终端，鱼眼全景摄像机、显示终端和座椅的相对位置根据图像显示效果适当调整；

各分组会场的计算机控制台作为本会场的本地处理中心。

第二步，图像采集。

利用设置在会议现场的鱼眼摄像机采集会议现场水平视角360度、垂直视角180度的鱼眼图像。

为了使视频图像更流畅，设图像的采集频率为每秒20帧，输出图像的时间不大于0.1秒。将采集到的会议现场的鱼眼图像传回本地处理中心。

第三步，图像预处理。

由于鱼眼摄像机拍摄的图像四周黑色部分是无用信息，只有中间圆形有效区域内的信息为有用信息。为了提取鱼眼图像的有效信息，需要对鱼眼图像进行预处理，以获取鱼眼图像的轮廓，确定鱼眼图像有效信息所在范围。预处理方法可采用最小二乘拟合法、面积统计法、扫描线逼近法等方法，本实例采用但不限于扫面线逼近法，其步骤如下：

3a)事先定义一个阈值T，建立横向、纵向扫描线对鱼眼图像进行逐行逐列扫描，计算每条扫描线上的R、G、B之和Sum，记录四个方向Sum值第一次大于阈值T的位置作为鱼眼图像有效区域的边界线，从而获得鱼眼图像有效区域在水平方向的下边界y1、上边界y2和垂直方向的左边界x1、右边界x2；

3b)根据鱼眼图像有效区域的四个边界，计算鱼眼图像的圆形有效区域半径R：

第四步，图像校正与传输。

由于鱼眼镜头拍摄的图像存在“桶形畸变”，除了图像中心的景物保持不变，图像边缘的像素点完全被拉伸，不符合正常的视觉感受，因此需要用图像校正处理技术消除鱼眼镜头畸变。图像校正处理主要采用球面透视投影模型，将圆形鱼眼图像校正成为以某一点为中心的正常视觉下的平面图像，即新视点图像。

参图2，鱼眼图像校过程如下：

4a)根据球面成像原理建立球面透视投影模型并统一坐标系：

根据鱼眼图像圆形有效区域半径R及其中心O建立球面透视投影模型。该球面透视投影模型的坐标系与相机坐标系CCS重合，其原点为O，正向透出方向为X轴，水平向右方向为Y轴，Z轴与鱼眼摄像机的光轴重合，垂直向上，如图3所示，鱼眼图像有效区域位于XOY平面上的圆内；

4b)将鱼眼图像映射到球面模型上，建立透视投影关系：

4b1)设空间一点在CCS坐标系的半球模型上的投影点为P，连接OP，则OP与Z轴的夹角θ为入射角,P点在XOY平面上的垂直投影点为P＇，连接OP＇，则OP＇与X轴正向夹角为方位角，则点P的CCS坐标(C_x,C_y,C_z)可表示为：

由点P的CCS坐标(C_x,C_y,C_z)，得到如下极坐标式：

4b2)在球面透视投影模型中，将上部半球面上点投影到与鱼眼镜头光轴Z轴垂直的固定平面上，形成圆形鱼眼图像，如图4所示，

图4中球面点P与其投影点P＇的连线PP＇垂直于XOY平面，r为点P＇(x，y)到圆心O的距离，由此可得：

4b3)由式<3>可得入射角θ、点P＇(x，y)到圆心O的距离R；用点P＇的坐标x，y替换式<2>中点P的坐标C_x，C_y可得方位角可得鱼眼图像点P＇(x，y)与球面点的对应关系为：

其中，R为鱼眼图像的圆形有效区域半径；

4c)建立视平面

以P点为透视投影中心，水平视角为γ，建立宽为W，高为H的视平面，如图4所示，该视平面与球面相切于P点；

建立视平面上UPV坐标系，其中V轴、Z轴、线段OP三者共面，且V轴垂直于线段OP，并指向Z轴，U轴指向向量OP×PV的方向，视平面上水平方向向量PU和指向Z轴的向量PV可表示为：

本实例设置的视平面其尺寸为W×H，且W＝H＝2×R×tan(γ/2)，视平面上每个象素对应的长度du与宽度dv相等，像素参数的计算参照图5，可得：

du＝dv＝(2×(R×tan(γ/2))/W) <6>

4d)填充像素，生成新视点图像：

4d1)建立视平面的USV坐标系，令视平面左上角为原点S，U轴水平向右，V轴垂直向下，如图6；

4d2)设置视平面原点S的空间坐标：

设U轴方向每前进du时，x的变化量为Xu＝du×Ux，y的变化量为Yu＝du×Ux，z的变化量为Zu＝du×Ux；

设V轴方向每前进dv时，x的变化量为Xv＝dv×Vx，y的变化量为Yv＝dv×Vx，z的变化量为Zv＝dv×Vx，其中Ux、Vx是向量PU、PV在X轴方向的分量；

将视平面原点S的空间坐标表示为：

其中Wx，Wy，Wz是W分别在X、Y、Z轴上的投影分量；

4d3)计算视平面对应点的空间坐标：

根据式<7>，计算视平面上点(j,i)的空间坐标：

4d4)依据式<4>建立的鱼眼图像平面点P＇到球面点P的对应关系，和式<8>视平面上点(j,i)的空间坐标，及式<6>确定的像素大小，将鱼眼图像圆形有效区域上的像素内容填充到步骤4c)构建的视平面内，不足部分按照双线性插值的方法插值填充，从而生成正常视觉下的新视点图像。

4e)将4d)生成的新视点图像，通过传输系统传送到远程处理中心，远程处理中心再将接收到的新视点图像输出显示至各显示终端。

图7给出了本发明的一个实施效果图，其中图7(a)为鱼眼摄像机采集到的会议现场的鱼眼图像，对图7(a)按照如下参数的设定可生成相应的新视点图像：

将控制参数设定为(0°，45°，90°)，生成如图7(b)所示的新视点图像；

将控制参数设定为(90°，45°，90°)，生成如图7(c)所示的新视点图像；

将控制参数设定为(180°，45°，90°)，生成如图7(d)所示的新视点图像；

将控制参数设定为(270°，45°，90°)，生成如图7(e)所示的新视点图像。

从图7的实施效果图可以看出，鱼眼摄像机采集到的会议现场的鱼眼图像经校正处理后，生成的新视点图像符合正常的视觉要求，可以满足视频会议需要。