交互式远程会议显示系统的制作方法

专利名称：交互式远程会议显示系统的制作方法
相关申请这是提交于2001年2月16日的U.S.申请序列号09/788,026的延续部分。
背景技术：
远程会议，连接两个或多个位置的视频和声音的使用，允许远处的成组的人们看到并听到在另一个位置处的展示者。来自远距离位置的展示者将典型地通过使用分屏技术或双监视器而与图形组合。
背投和大液晶显示屏幕已被用于组合展示者与图形。在背投或液晶显示器前面的与展示者相同房间内的观众将看到第一代图形，但当被摄影被发送给另一个位置时，它必须被再次投影，这使其成为第二代。由于两代的损失，远处的图形数据被降级到许多图、图表和文本不能被清楚阅读的程度。
使用正投来组合展示者与图形经历了附加问题，使展示者眼花并使其身体截取的图形失真，这对于观看者是令人不安的。
在远程会议中，存在用于组合展示者和所选图形的技术的诸多变化。这些技术都不能认为是理想的。与具有屏幕外展示者的令人昏昏欲睡的图形图像相比，将展示者置于投影图形前面的努力是改进展示者和其观众之间的个人接触。
发明简述交互式远程会议显示系统使用在每个位置执行相同功能由此允许任何位置发起或参与会议的设备。该设备包括正投或背投屏幕、电子投影仪和信号处理器。当展示者在正投屏幕前面时，遮罩信号(mattesignal)被产生，其选择性地抑制投影仪以防止投影图形照到展示者。图形被下载并存储于所有位置。已由遮罩信号提取的展示者被发送给所有位置，在这里它在投影之前被遮(matted over)于图形上。通过单独发送图形图像和展示者的图像，并且在远距离位置组合它们，每个都是原始的并且当被显示时没有细节的损失另一个位置的个体可在任何时间通过走到其屏幕前面而参与。所有位置将看到并通道展示者和附加的参与者。两个参与者可相互看并且指向和讨论正被显示的材料。他们亦可看向其本地的观众，而无需被投影仪使得眼花。来自其它位置的参与者可加入并在所有屏幕上出现。
附图简述

图1说明当使用正投时相对于投影仪的信号处理器的位置。
图2说明信号处理器的功能。
图3与图2一起说明两个位置之间的互连。
图4示出包括本发明的部件的方块图。
图5是一个曲线，示出了与屏幕的红外线偏差和视频信号的减小之间的关系。
图6是操作系统的单元的逻辑图。
图7说明当使用背投或液晶显示屏幕时信号处理器的功能。
图8说明四位置远程会议所需的互连。
图9说明当添加第三和第四位置时所需的附加合成级。
发明详述图1表示典型的会议室1。每个室包含屏幕2、参与展示者3、常常位于观众7之上的电子投影仪4、计算机6或用于存储并检索图形的其它存储装置(例如DVD、VCR等)、以及信号处理器5。
被包含在单个封装中的信号处理器是本发明的关键单元，原因是它包括除了投影仪、投影屏幕和图像存储装置以外的系统的所有单元。该装置最有可能是计算机并被置于操作者容易接近的区域。
信号处理器部件之一是相机，假定人们正在使用正投屏幕，该相机必须被直接置于投影仪以下或以上的极接近位置，或者它可被集成到投影仪中。在投影屏幕之后具有充分空间的用户可使用背投。在此情况下，理想的相机位置是垂直于屏幕的观众以上并且在通过屏幕中心和投影仪透镜的公用轴上的点。尽管液晶显示屏幕仍是相对小的，但它们正在变大并且对于可变得对大批观众来说足够大。另一个可能性是多阴极射线管显示器。其缺点是成本和管之间的连接线的存在。这些屏幕具有优于背投和正投屏幕的一些优点，而具有除了成本和小尺寸以外的少许缺点。尽管预期大多数用户将使用正投屏幕，以下系统说明适合于所有显示方法，除了在注明的情况下。
所述相机提供展示者的图像和其添加给场景的任何事物，如在白板上所写的材料。参与者可能不总是需要所存的背景图形，并且在这些情况下，存储器26将包含黑幻灯片或将不被使用。
图2和图3表示相互距离远的位置A和B处的显示部件，但图2和3的图说明了在每个位置处的部件之间发生的交互。数字20到29表示信号处理器的功能。数字系列30到39是在第二位置的相同信号处理器功能。
参考图2(位置A)，来自存储器26的所选图形图像被传送通过合成功能25，通过抑制器功能24，然后到将所选图形投影到屏幕29上的投影仪27。位置A处的观众将看到被投影到投影屏幕上的来自本地存储器的所存图形图像，作为没有细节损失的原始图像。
参考图3(位置B)，相同的图形图像将从计算机36被检索并被传送通过合成功能35，通过抑制器功能34，然后到将所选图形投影到屏幕39上的投影仪37。如果存在第三和第四参与位置，其观众将亦看到相同的图形，该图形从其自己的计算机获得，被投影到其屏幕上而没有细节损失。
只要在任何投影屏幕前没有展示者，展示者遮罩提取功能(22、32)就没有要提取的并且合成器(25、35)没有要合成的前景图像，并且抑制器(24、34)没有要保护的展示者。当人或物体进入屏幕的前面时，其变成前景对象并激活以上对象相关的功能。
相机20被直接置于投影仪27以下以看到展示者28并维持抑制遮罩的合适对准。束分裂器被提供于相机20中以分裂红外线或其它图像以便于在遮罩发生器21中产生遮罩信号。
在使用中有几种遮罩产生方法。一种被描述于提交于2001年2月16日的U.S.申请序列号09/788,026。一种这样的方法如下参照图4被描述。
图4的投影图像源41表示待投影到投影屏幕43上的视频图像的源。图像源41可以是计算机、录像机、数字视频盘、另一个相机或其它视频图像的源。
来自图像源41的视频程序信号被连接于抑制器42，在这里所选像素处的视频信号可被抑制。程序信号然后从抑制器42被连接于视频投影仪46，其在投影屏幕43上投影程序图像。
在一个实施例中，至少一个红外线源47被用于均匀地照射投影屏幕43。作为红外线的照明，该照明不被观察者看见。相机45是红外线敏感的视频相机，其观察均匀照明的投影屏幕。相机45的输出被连接于视频抑制器42。来自视频投影仪在抑制器42处的红外线信号被清为零。在对象44进入投影束的情况下，对象的红外线反射有可能比投影屏幕的均匀红外线亮度水平高或低。与为投影屏幕建立的红外线信号电平的任何红外线偏差表示该对象。标识对象位置的那些所检测的像素的地址被用于抑制这些相同地址处的视频程序信号。
总有对象衣服上的某个小区域将反射与屏幕完全相同量的红外线的可能性。在该区域中，抑制器被欺骗，而视频信号不被抑制。这样的区域问题不大，这是因为来自对象脸部的红外线反射匹配来自屏幕的红外线反射的可能性是几乎没有的。
通过选择最不可能匹配对象反射水平的红外线相机的通带，可减小欺骗抑制逻辑的可能性。
近红外带宽是很宽的，并且白炽源提供的红外线提供了平坦的宽照明带宽。红外线敏感的相机可因此被配备邻接诸如700-800、800-900和900-1000纳米的通带的滤波器。仅需要通带的小移动来导致红外线反射的大变化。可在设置期间进行滤波器选择以防止对象的红外线反射匹配屏幕的红外线反射。
选择外部通带相机滤波器的替换是在相机中结合两个或多个红外线图像通道，每个都被滤波至不同的通带，同时分离的红外线基准帧被存储用于每个通带。
非常不可能的是对象的红外线反射将同时匹配两个或多个红外线通带的红外线反射。
选项当对象进入投影图像时为抑制投影图像落到对象上，有必要分离对象与正被投影到其上的场景。
存在检测对象位置的几种现有方式。标准差别键控(standarddifference key)或遮罩(matte)依赖于空白屏幕的基准帧来与随后的帧比较以检测对象的位置。由于可见光谱内的图像亦被投影到屏幕上，标准差别键控看起来在该应用中不起作用。
另一个选项是用可见波长以外的紫外线光的一个或多个带淹没投影屏幕。
人们可能亦通过使用对人体温度敏感的长波红外线相机来分离对象与投影屏幕。由于这种类型的相机看到体温，不需要用长波红外线来淹没屏幕。
其它方法通过雷达或声纳技术来标识对象的存在，该技术检测正处于比屏幕短的距离的对象。
立体装置和最大化图像细节已在自动相机中被用于确定距离。提供分离对象与投影图像的信号的任何方案可在本发明中被用于抑制对象占用的区域中的投影图像。
优选选项在本发明中使用的优选选项是使用近红外线来照射投影屏幕。投影屏幕的红外线亮度水平可被监视，并且基准帧可被更新以补偿对红外线源的线电压变化。当红外线差很小时，经更新的基准帧允许经改进的对象检测。通过使用辐射光谱的红外线部分，被投影和被检测的红外线图像不受投影图像内容变化的影响。
使用红外线照明以产生差或比遮罩(difference or ratiomatte)提供了标识对象占用的那些像素的实用方法。为了这个目的用于产生适当的比遮罩和差遮罩的方程如下比遮罩若IRo≤IRm则M＝IRo/IRm若IRo＞IRm则M＝IRm/IRo若IRm＝IRo＝0则M＝0差遮罩M＝1-{max[(IRo-IRm)，(IRm-IRo)]}其中IRo＝所观察的IR像素值IRm＝所存的IR像素值(在相同位置处)M＝所计算的遮罩值与开关动作相反，投影图像的抑制可以是连续的，或者是线性的或者是非线性的。如果是非线性的，则使红外线信号的最早和最小的可检测变化导致视频信号电平的小减小量。随着偏差增加，抑制的速率增加。当偏差接近所选水平时，抑制速率被迅速增加至截止点或接近截止点的所选低水平。发生信号抑制的可变速率防止了开关动作的开-关闪变效应。图5说明了这个关系。
术语“抑制”被定义为对象占用的区域中的投影图像水平的减小。事实上，如果所述水平被减小到全水平的大约5％，则对象的可见度被减小到可视的黑。当很少或没有到对象上的投影仪照明时，它将不接收照明，除了周围的室内光，当使用投影仪时所述光典型地被衰减至很低的水平。
由于来自视频投影仪的对象照明已被抑制到接近零，表示白(或彩色)光的RGB水平可被添加给限定对象区域的那些像素。对象的照度可因此被增加到由周围光单独产生的照度以上。尽管处于较低水平，增加周围室内光的补充对象照明有可能对面向投影仪的对象有一些干扰。
U.S.专利No.5,270,820中描述的技术可被用于定位发言者的头部(或其它末端)。有了这个附加信息，被投影到对象上的白(或彩色)光可在其头部和眼睛的区域中被抑制。
术语“投影屏幕”或“屏幕”已在以上被使用。该屏幕可以是白的、粒状的、金属的或涂以金属的透镜状的，或者是适合于观察投影图像的任何表面。
实施在图4中，图像源1视频程序源可以是由用户选择的计算机、录像机或视频盘。
视频投影仪46和投影表面43是由用户选择的商业装置。如果需要，红外线滤波器去除视频投影束中的任何残余红外线。
红外线敏感的相机45是视频相机，其感光器扩展到700纳米以上的近红外线中。滤波器被置于相机透镜上以去除可见波长。
至少一个红外线源47是使用白炽灯的投影仪。滤波器被置于红外线源上以去除可见光。抑制器42是检测器/抑制器。其功能已在较早时被描述。
图6是逻辑流程图，其示出对象检测和程序信号抑制的功能。参考图6，IR相机61可以是480线VGA逐行扫描低分辨率相机，或者对近红外线敏感的任何其它低分辨率相机。清晰帧存储器62是红外线照明的屏幕的所存红外线图像，对象从场景中被去除。屏蔽发生器63比较红外线敏感的相机的图像和存储器62中的清晰帧图像并且任何差标识对象占用的那个区域，如果其存在。整形功能64将对象检测信号从开-关信号整形为线性或非线性信号，如图5中所示。
投影仪图像源65是要投影到投影屏上的程序源。通常，程序视频是具有比NTSC信号高的多的分辨率的图像。图像尺寸检测66确定程序图像的分辨率并且将该尺寸数据连接到用作标准转换器的按比例缩放和滤波器67以按比例缩放红外线相机的尺寸，从而匹配投影图像的尺寸。在匹配了图像尺寸之后，如果对象存在，程序图像在抑制投影仪图像68中被抑制于对象占用的区域中。投影仪99将程序图像投影到屏幕上，但不将程序投影到对象上。
遮罩信号21通过这种现有方法之一从相机20提供的信息产生。
遮罩信号发生器21产生抑制遮罩信号并将其提供给抑制器24。对于构成前景对象的那些像素，遮罩信号被指定0.0值。对象周围显示图形的屏幕的区域中的像素被指定1.0。图形图像26经过合成器25到抑制乘法器24。图形图像在24中被乘以来自21的遮罩信号，该信号在对象区域中的零关闭(抑制)对象区域中的投影仪信号。此时位置A(图2)处的观众看到被室内光照射的展示者，而图形在他后面出现在屏幕上。展示者可看到观众而无需被投影仪的强光使得眼花。在产生抑制信号中遮罩信号的使用在以上被描述。(尽管将需要遮罩信号来隔离对象，但背投图像或液晶显示并不需要抑制信号。)来自发生器21的抑制遮罩信号被反相以形成第二遮罩信号，其为对象区域提供1.0值并为对象周围的背景提供0.0值。该第二遮罩和来自相机20的视频信号被连接于乘法器23。其乘积是由相对于0.0黑场的对象组成的经处理的前景信号(PrFg)。具有0.0黑场上的对象的经处理的前景是有意的(intentional)，这是因为视频信号中的最黑的黑位于大约7％的白的基础(pedestal)的顶部。经处理的前景视频的0.0因此是有被隔离的对象的所发送的遮罩信号。来自位置A的经处理的前景23被连接于位置B处的遮罩提取功能32和合成功能35。
通过设置在大约3％的检测阈，遮罩提取功能32将最低水平是基础的7％的经处理前景从黑场的0.0分离。在阈以上的所有像素是在前景中并且被指定1.0值。在所选阈以下的所有像素是在背景中并且被指定0.0值。将像素值指定为1.0或0.0是任意的并且可根据想要控制的功能所需来颠倒。相机和系统噪声以上的阈水平对防止背景区域噪声峰值不正确地被接受为对象像素是有必要的。
所提取的遮罩被反相以提供经处理的前景区域中的0.0和对象周围的图形区域中的1.0。使来自源36的图形图像乘以1.0(遮罩信号)保持了对象周围的图形的全信号电平，但对象区域中的0.0生成了投影图形中的0.0黑洞。合成功能35将仅由对象组成的经处理的前景添加到为其而生成的黑洞中。来自35的合成图像被传送经过抑制功能34到达投影仪39。位置B处的观众看到来自其自己的图像源36的图形正被投影到其自己的屏幕上，而来自位置A的展示者的视频图像被合成于其图形上。
图像的质量仅由原始图像的分辨率和投影仪的分辨率来限制。通过在每个位置处预先加载图形，待发送给其它位置的剩余数据仅仅是有声音的经处理的视频信号。
使用遮罩信号相乘并相加以在背景上合成图像的过程保留了对象边缘的透明度。然而，当所指定的遮罩信号是二进制开关(即1.0或0.0)时，合成图像可通过从遮罩信号得到的键函数(key function)来形成以在所存图像和展示者之间切换。在任何一种情况下，展示者像素值取代背景图像的像素值以形成合成图像。
二进制I/O遮罩信号产生陡边缘的开关，然而遮罩边缘可被调整尺寸以较好地配合对象轮廓，并且它可被软化以改进从展示者到其背景的过渡。
抑制功能34等待展示者38的出现。当位置B处的人38希望参与时，他走到其屏幕的前面。功能30、31和34抑制投影仪37中的像素以防投影到人38身上。功能30、31和33产生经处理的前景PrFg，其被传送回位置A到达遮罩提取器22和合成器25。在其屏幕前面的位置B的人38的视频将被合成于位置A处正被投影的图形上。位置B处的观众将看到投影图形前的参与者38的真人，而将看到展示者28被合成于所述图形上。
通过观看屏幕，两个参与者将看到与图形一起被合成的另一个人的视频图像。参与者可互相看到和面对，指向图形中的单元并讨论它们。位置C和D处的观众将在其投影屏幕上看到展示者A和参与者B。C和D处的人亦可通过走到其屏幕前成为参与者。参与者位置处的观众将看到其展示者的真人，而所有其它展示者将在他后面但在投影图形前面出现在屏幕上。
对可处于场景中并仍看到的参与者后面图形的同时参与者的数量有明显的限制。如果展示是多个演讲的形式，则可产生图形以占用屏幕的较上部分，因此在座的参与者将不模糊需要被观众看到的材料。每个展示者依次进行其展示，同时所有位置处的观众观看发言者和在座者的反应。
如果大白板被用作投影屏幕，则展示者和他写或画的任何内容成为主题的一部分并且将被投影到其它位置处的白板上。来自另一个位置处的参与者可在其自己的白板上画，并且他所写的内容将在所有其它白板上被投影。以这种方式，每个位置都可以贡献于草图，添加清单，在地图上标记位置，等等。
背投和液晶显示系统不需要抑制功能24，并因此被绕过。图7示出在抑制功能被去除或停用之后经过信号处理器的信号流。
互连多个位置图8说明四个参与位置如A、B、C和D所需的互连。每个这些位置处的输出信号是经处理的前景(PrFg)并且被连接于所有其它位置处的合成功能。每个位置所需的输入是来自所有其它位置的PrFg信号。在图8中，示出了来自位置A的PrFg 23被连接于合成功能B、C和D，从而说明PrFg如何被连接于其它位置处的输入级。剩余连接如图8中所示进行。
图9说明当有四个参与位置时所需的合成功能。如果仅位置B正在发送PrFg信号给位置A，则功能22和25是全部所需要的。第三位置C的添加需要分离的合成级22’和25’。第四位置D的添加需要分离的合成级22”和25”。所需的合成级的数量比参与位置的数量小一。
权利要求
1.一种方法，用于在多个远距离位置处在所选背景图像前显示展示者的合成视频图像，而没有背景图像或展示者图像中的细节损失，该方法包括步骤a)在每个远距离位置处的存储器中存储所述所选背景图像，b)产生遮罩信号，其标识表示所述展示者的视频图像中的那些像素，c)将包括所述展示者的像素的信号电平发送给每个远距离位置，d)通过用所述展示者图像的像素水平在对应地址处代替背景图像中的像素水平，产生所述展示者和所述所存所选背景图像的合成视频图像。
2.权利要求1的方法，其中用于存储并检索图像的所述图像存储器包括计算机、DVD、VCR或其它图像存储和检索装置。
3.权利要求1的方法，其中所述所存所选背景图像包括图形、图表、表格和照片的至少一个。
4.权利要求1的方法，其中所选背景图像在其选择时被下载到远距离位置。
5.权利要求1的方法，其中被发送给远距离位置的展示者的视频图像包括有0.0信号电平的黑场上的所述展示者。
6.权利要求5的方法，其中信号电平超过零以上的设置阈的那些像素标识展示者的视频信号。
7.权利要求1的方法，其中所选背景图像在远程会议之前被存储于远距离位置。
8.权利要求1的方法，其中所述合成视频图像可被观看于正投屏幕、背投屏幕、自发光液晶显示器和阴极射线管显示器的至少一个上。
9.权利要求8的方法，其中被观看于所述正投屏幕上的所述合成视频图像采用电子投影仪。
10.权利要求9的方法，其中所述投影仪在所述展示者区域中被抑制以防止所述展示者被所述投影图像照射。
11.权利要求1的方法，其中至少一个远距离位置中的人通过走到其自己的投影屏幕前可成为参与者并在所有其它位置处的投影屏幕上被看到。
12.权利要求11的方法，其中至少两个位置中的人可通过每人走到其自己的位置处的投影屏幕前而同时成为参与者并可在所有其它位置处的投影屏幕上被看到。
13.一种信号处理设备，用于在多个位置处在所选背景前显示展示者的合成视频图像，而没有背景图像或展示者图像中的细节损失，该设备包括a)用于在每个远距离位置处的存储器(26)中存储所述所选背景图像的装置，b)用于产生遮罩信号(21)的装置，该信号标识表示所述展示者的视频图像中的那些像素，c)用于将包括所述展示者的像素的信号电平(23)发送给每个远距离位置的装置，d)用于在每个远距离位置处在所述背景上合成(22、25)所述展示者的装置，以及e)用于显示(27、29)所述合成图像的装置。
14.权利要求13的设备，其中用于存储所选背景图像的所述装置包括计算机、DVD、VCR或其它图像存储装置之一。
15.权利要求13的设备，其中用于在所述背景上合成所述展示者的所述装置包括在所述遮罩信号控制下的硬件或软件。
16.权利要求13的设备，其中所述显示装置包括商业电子投影仪和投影屏幕、CRT显示器以及液晶显示器的至少一个。
17.权利要求16的设备，其中所述投影屏幕能反射红外线照明。
18.权利要求13的设备，其中所述设备能在所有位置处执行相同功能。
全文摘要
一种远程会议系统，其中所选背景场景前面的对象的视频图像从那个场景被提取并被发送给其它位置，在这里所选背景被存储。通过在每个远距离位置处和成所述对象和背景图像(25)，当被投影时，原始的两个图像单元将没有细节损失而示出。对于正投屏幕(29)，投影仪(27)被抑制以防照到展示者(28)。
文档编号G03B21/00GK1503925SQ02808323
公开日2004年6月9日 申请日期2002年2月14日 优先权日2001年2月16日
发明者P·弗拉霍斯, P 弗拉霍斯 申请人:伊马特公司