合作动态视频注释的设备和方法

专利名称：合作动态视频注释的设备和方法
技术领域：
本发明涉及合作视频注释领域，尤其涉及使多个用户可共享他们关于视频内容的查阅的设备。
背景技术：
参考与本申请同时提交，由同一代理人代理的标题为在视频剪辑中创建动态目标标记的方法和设备的专利申请，参考与本申请不一致的内容在此引用其所公开的内容。
可能出现这样一种情况，两个或多个用户希望根据同一目标例如根据一个视频进行交流。这种例子可以是足球队教练希望与同事协商以征求意见。足球队教练可能希望放映一场比赛的录象，并请求同事使用该录象解释一只球队在特定进攻条件下未能得分的原因。另外，教练可能希望记录该讨论，并随后放映给其它教练以获取更多的意见。
在另一种情况下，学生可以学习课程教师从远方给出的培训课程。学生可能无法理解在课程中所教授的一个程序。学生于是可以通过互联网电话呼叫教师以弄清楚应当如何执行这个程序。教师可以首先与学生一起浏览培训课程以找到可以标识难点的片断。然后学生可以就该程序向导师询问各种问题。例如，然后导师可以决定向学生演示提供更详细信息的另一视频。导师可以使用合作视频注释工具注释该视频以向学生解释应当如何执行该程序。
需要提供诸如上述业务的系统和产品。一种产品是Sprint公司的Drum系统，允许两个用户通过使用运行在硅图像(Silicon Graphics)公司计算机上的共享电影播放器同时观看视频。共享视频播放开始于一个用户以SGI电影播放器格式发送视频文件以与另一用户共享。一旦传输完整个视频，两个用户中的任何一个用户可以开始视频播放。播放控制也被共享。两个用户中的任何一个用户可以停止视频、使用滚动条跳到视频中的一个随机位置或反向播放视频。
然而，共享电影播放器通常并不在视频窗口上部提供诸如图像标记的某些特征。为了添加视频标记，用户将不得不暂停视频，将当前帧复制和粘贴到一个普通共享白板应用程序。
通常也不提供远程指针，这是用于从远端位置控制计算机显示器上光标或指针形状和位置的设备。视频窗口本身不被共享，用户也不具有在播放或暂停状态模式中共享指示设备的任何装置。
通常不提供混合会议音频和视频声迹的综合音频会议通常使用常规的电话连接进行用户与用户的对话。
在这种系统中，通常不提供共享回放会议的记录／回放，也不提供多用户会议共享电影播放器仅为点对点会议工作。
另一种产品，eMotion[2，3]公司的Creative Partner，包含三个视频注释工具，但是必需离线记录注释，在视频回放被暂停期间没有在线协作支持。这三个注释工具包括图像注释工具、文本注释工具和音频注释工具。Creative Partner视频播放器允许用户控制视频播放和使用所提供的三个注释工具之一。注释仅可以在暂停模式中附加到视频上。用户选择合适的注释工具，在视频帧上指向要添加注释的给定图像坐标。然后，用户将能够记录给定的注释。该注释并不涉及视频片断，而仅涉及将要添加它的帧。在回放过程中，Creative Partner播放器将在具有添加注释的任何一个视频帧上暂停。用户将必需激活音频注释的回放和重新开始音频回放。一旦重新开始音频回放，将从视频窗口删除注释。
可以在1997年2月4日授权给King等人的标题为注释整个动态视频和其它索引数据结构的方法和设备的美国专利US 5，600，775中和在互联网站http／／www．emotion．com／html／creativepartner productpage．html上发现有用的背景信息。
发明概述在此认识到还需要一种提供与本发明的特征相关的下述功能特征的设备。
在远程指针支持的异类网络上就视频内容的在线多点组讨论；在组讨论过程中覆盖有话音注释和动态图像注释的同步视频回放；在同步视频回放过程中回放速度的动态调整和组讨论会议的记录；响应于现有记录的注释会议，在记录注释的同步回放过程中执行后续在线多点组讨论和注释；和添加任一工具以帮助浏览视频内容，并为静态和动态目标创建动态标记。
在协作动态视频注释应用中，通常未必认为组讨论中的参与者将或者拥有同一类型的计算机装置，或者实际出现在同一建筑物中。通常还未必认为不要求每个参与者能要求具有到互联网的等数据速率的连接。
在此，认识到上述问题所需要的解决方案应当提供足够的灵活性以克服由于存在异类环境导致的问题。例如，根据本发明一个方面的所需解决方案可以允许人们使用公共交换通信网(PSTN)，如果关注音频质量，和使用互联网电话(IP)，如果更关注费用的话。
远程指针是组讨论的重要组成部分。没有它们，实际上不可能知道每个参与者所指向的内容。在此认识到因为视频是个动态文件，根据本发明的一个方面，如果每个参与者可以使它们自己的光标在其它参与者的屏幕上可见将更加有用。
因为口头上很难描述视频内容，在此认识到，根据本发明的一个方面，对于所有参与者在同一时间观看同一视频帧很重要。还要求任一参与者能够独立于视频播放器的状态在视频帧的顶部使用诸如绘画或文字进行注释，并且要求所有参与者在同一时间上在它们各自的屏幕上观看到相同的注释。另外，因为参与者通常位于各自的远端位置上，进行完全双工多点话音通信的能力被认为是必需的。该系统应当最好还始终能够将视频中的音频声迹和所有参与者的话音混合。
有时，在播放视频时用话音和绘画同时注释不是一项简单的工作。在此注意到，根据本发明的一个方面，任何参与者应当能够在组讨论过程中动态调整共享视频回放速度。最好应当能够记录整个组讨论，并以它原来的播放顺序回放。记录应当最好包括所有的VCR命令、绘画／文本、话音评论和用于随后回放的时间标记。
所记录注释的回放能够以独立模式或在线协作模式出现。在第二种模式中，所记录注释的回放应当在所有参与者之间同步。根据本发明的一个方面，任一参与者应当能够在回放过程中进行注释，并在一个独立的记录中记录新的注释。
根据本发明的一个方面，在协作动态视频注释中，任一参与者能够使用附加工具以便于讨论。这样的一个工具是允许用户跳到视频随机位置的视频浏览器。在播放视频时，工具中合适的位置最好被高亮显示以反映当前在每个参与者的屏幕上显示的帧。可以被实施的另一个工具是允许任一参与者创建动态目标标记的工具。动态目标标记是光亮显示视频帧中所关注目标位置的绘画(通常由多边形组成)。动态标记表示动态目标和关于稳定目标的动态参数。因为动态目标的位置通常逐帧变化，根据本发明提供这个工具以帮助在所选的一对视频帧之间的所有帧中定位该目标。当被调用时，该工具将为所选的一对视频帧之间的所有帧创建一个标记。该系统最好还提供一个为稳定目标创建动态标记的工具。当所关注的目标包含动态信息参数，例如电导线中的电流时这是有用的。
根据本发明，以计算机为基础的系统或设备提供协作动态视频注释，记录这样一个协作会议，同步回放这样一个所记录的注释，和在所记录注释的回放过程中注释／记录。该设备包括一个计算机可读存储媒体，在该媒体上存储有一个计算机程序，执行步骤(a)选择网络服务和开始或参加一个会议；(b)装载视频或记录注释文件；(c)在远程指针，VCR控制，视频浏览器和动态标记创建工具的支持下执行同步图形、文本和音频注释；和(d)记录一个协作会议。
根据本发明的系统是客户机／服务器模式。客户机基本上包括一个带有同步多点VCR控制的共享多媒体播放器。显示实况视频帧的窗口也是一个绘画板，不同用户可以同时在该绘画板上放置来自不同客户机的图形目标。另外，系统提供多点全双工话音连接，联合话音评论在当前被播放的视频中与声迹混合。
步骤(a)中的网络服务包括互联网TCP／IP、IPX、调制解调器和串行连接。在步骤(b)中描述的视频文件位于本地客户机。与视频播放器在播放模式还是在暂停模式中无关地执行步骤(c)，多个客户机之间的回放被松散地同步，如下所述，而视频回放的速度可以在同步回放过程中被动态地调整。步骤(d)记录协作会议中的所有可视活动，例如线条、文本、远程指针、标记以及会议过程中交换的话音注释。
对于所有的共享应用程序，使在一个会议过程中出现的所有事件连续化是重要的。为了在向所有参与者提供VCR控制的同等访问权利的同时实现一个共享但同步的多媒体播放器，在首次按下VCR按钮时延迟播放器动作。不在客户机上立即解释VCR命令，VCR命令被串行顺序地发送给服务器，和发送回所有的客户机。仅在已经从服务器接收到合并VCR命令时，播放器才开始采取动作。
为了在所有参与者之间同步视频回放，在所有视频播放器之间要求一些协作。这可以被逐帧进行，在不降低回放质量的情况下这实际上成本很高并很难实现。根据本发明，认为最好在逐VCR命令的基础上同步。记录首次按下VCR控制按钮时的当前帧，并将每个传统VCR命令转换成两种新VCR命令之一，即“JUMP-PLAY帧-号-帧速率”和“JUMP-PAUSE帧-号”。例如，在播放器位于帧300上时按下播放按钮。发送给服务器和由所有客户机最终接收的消息将是“JUMP-PLAY 300 1．0”而不是“PLAY”，即VCR将搜索到帧300，然后开始以正常速度播放视频。
本发明的另一部分是混合音频信号和用视频帧覆盖图像的能力。一些已知的音频／图像硬件，例如视差板提供这种功能。即使图像覆盖由硬件支持，系统依然需要分开处理远程指针和图形注释的绘制。这是因为远程指针可以关闭图形注释，而一旦远程指针从它们的当前位置上移开需要恢复图形注释。
为了系统在所有参与者的屏幕上同时播放所记录的注释会议，仅需要用时间标记记录在讨论会议中到达服务器的所有消息，并在回放过程中根据时间标记将它们发送到所有客户机。这还将允许每个参与者在所记录注释的回放过程中进行注释。
根据本发明的一个方面，使用带有信息存储和检索能力的可编程计算机设备在各个位置上的多个用户之间动态视频注释的一种方法，该方法包括步骤选择连接到计算机的网络服务；执行(a)开始和(b)在用户之间联合协作会议之一；装载(a)视频和(b)所记录的注释文件之一；执行图形、文本和音频注释中至少一种注释；并存储该协作会议。
根据本发明的另一个方面，使用带有信息存储和检索能力的可编程计算机设备在多个用户之间动态视频注释的一种方法，该方法包括步骤选择连接到计算机的网络服务；在用户之间联合协作会议；装载(a)视频和(b)所记录的注释文件之一；执行图形、文本和音频注释中至少一种注释；并存储该协作会议。
根据本发明的另一个方面，用于在多个用户之间动态视频注释的设备，该设备包括带有信息存储和检索能力的可编程计算机设备；连接到计算机设备的一个用户界面，用于执行网络服务的选择，连接到计算机设备的一个用户界面，用于执行(a)开始和(b)联合用户之间的协作会议之一；连接到计算机设备的一个用户界面，用于装载(a)视频和(b)所记录的注释文件之一；和连接到计算机设备的一个用户界面，用于执行图形、文本和视频注释中的至少一种注释；和连接到计算机设备的一个用户界面，用于存储协作会议。
根据本发明的另一个方面，设备用于使各自位置上的多个用户能够参与有关视频内容的协作会议；记录这种协作会议；在所记录会议的回放过程中注释／记录；同步地回放这种所记录的注释会议，其中该设备包括可用于每个用户的共享视频播放器／记录器功能(VCR)，带有多点VCR控制展示动态速度调整，和显示动态标记的能力；任一用户可用来播放或停止视频的功能；跳到视频中的不同位置；动态改变视频播放速度；无论何时出现任何VCR活动，在同一视频帧上同步的每个用户可用的共享视频播放器／记录器功能；和当显示添加有这样一个标记的帧时用于显示动态标记的设备。
根据本发明的另一个方面，设备用于使各自位置上的多个用户能够参与有关视频内容的协作会议；记录这种协作会议；在所记录会议的回放过程中注释／记录；同步地回放这种所记录的注释会议，其中该设备包括可用于每个用户的显示一个窗口的共享视频播放器／记录器功能(VCR)，带有多点VCR控制展示动态速度调整，和显示动态标记的能力；任一用户可用来播放或停止视频的功能；跳到视频中的不同位置；动态改变视频播放速度；无论何时出现任何VCR活动，在同一视频帧上同步每个用户可用的共享视频播放器／记录器功能；和当显示添加有这样一个标记的帧时用于显示动态标记的设备；和起带有用于支持徒手绘画和文本的共享白板作用的远程指针的共享视频播放器／记录器功能窗口。
根据本发明的另一个方面，用于在多个用户之间动态视频注释的一种方法使用一个可编程计算机，并包括步骤选择连接到计算机的一个网络服务；执行(a)开始和(b)加入用户之间的协作会议之一；装载(a)视频和(b)所记录的注释文件之一；执行图形、文本和音频注释中的至少一个注释；和存储该协作会议。
附图简要说明结合附图，根据下述详细说明将更好地理解本发明，在附图中

图1图示根据本发明公共交换通信网(PSTN)上的协作动态注释会议；图2图示根据本发明互联网电话(IP)上的协作动态注释会议；图3图示根据本发明的前端用户界面；
图4图示根据本发明的主客户机界面；图5图示根据本发明用于通过名称删除动态标记的用户界面；图6图示根据本发明的视频浏览器界面；图7图示根据本发明的动态目标标记创建工具；图8图示根据本发明的系统结构；图9图示根据本发明的系统消息流程；和图10图示说明根据本发明如何发送事件消息的一个例子。
优选实施例的详细说明本发明的特征在于带有多点VCR控制、动态速度调整和显示动态标记能力的共享“视频播放器”。但应当强调本发明中的“视频播放器”将是(a)由计算机使用在其存储器中存储的视频和模拟视频播放器控制提供的模拟视频播放器功能或(b)与本系统其余部分结合工作的一个实际VCR。因此，在此为了简化和方便，根据可以被构成的具体实施例，在专利申请中所提到的视频播放器、视频播放器／记录器、视频记录器／播放器或VCR指的是模拟或实际VCR或视频播放器／记录器，或者是VCR功能或视频记录器／播放器功能。
还理解该设备可以与提供在此公开的功能的计算机和模拟或实际硬件一起利用视频显示功能的电视接收机设备。
图1表示一个实施例，说明如何与公共交换通信网结合使用本发明。电话交换机100被连接到计算机130，计算机130又通过局域网(LAN)连接到每个客户机102和104。每个客户机102和104分别装备有麦克风125。电话交换机100通过计算机调制解调器115连接到协作动态视频注释服务器120。电话交换机100还连接调制解调器115。电话交换机100连接到电话110和监视器。与图1所示部件类似的其它计算机、监视器、扬声器和电话可以被连接到所示系统，尽管未在图1中图示。
电话交换机100负责处理电话会议。在该设备中，会议的参与者还可以使用IP-PSTN(互联网电话-公共交换通信网)。网桥130允许互联网电话用户使用公共交换通信网。根据本发明的协作动态视频注释服务器120处理由客户机通过互联网发送的诸如在图10中用参考数字1030标记的所有系统消息。服务器120还通过计算机调制解调器115连接到电话会议交换机100。存在两种类型的客户机或参与者。一种使用常规电话连接110，另一种使用连接内部网电话连接的LAN。两种类型的客户机都装备有鼠标140、键盘155、一对扬声器126、监视器160和主机108，如图1所示被连接。对于装备内部网电话连接的计算机，需要话筒125。
图2中的实施例表示在互联网电话环境中使用的本发明。提供在此所述功能并连接到互联网的该机200处理由客户机通过互联网发送的所有事件消息。该服务器还类似于数字电话交换机操作，混合由会议参与者所说的全部或部分话音注释，并将混合信号广播回所有客户机。所有客户机都装备有鼠标220、键盘215、一对扬声器230、话筒225、监视器205和连接到互联网的主机210。
图3图示根据本发明的前端界面的一种实施例，可选择包括电话拨号器按钮。根据本发明的实施例，通过使用微软的DirectPlay或执行T．123标准的任何一种软件，网络服务差别被隐藏在软件层之下。300表示请求用户选择使用哪一个网络服务的界面。前端服务器侧用户界面是310，它提示用户／操作者选择一个服务供应者。客户机侧界面是320，它选择服务供应者和最终选择协作动态视频注释服务器。
图4表示根据本发明的主客户机用户界面的一种实施例。用户首先选择视频文件或所记录的注释文件以装载使用界面400，而界面410给出有关其使用的简要指令。视频帧被显示在窗口498中。按钮408(停止)、412(播放)、416(暂停)、420(快进)、424(快倒)、428(步进)和432(步倒)提供用于播放视频的基本VCR控制功能。滑动器436显示当前视频位置，并为用户提供随机跳到视频中任一帧的工具。文本显示器440在视频中包括的总帧数之上显示当前帧号。用户可以通过移动滑动块444或通过按通常在标准键盘上提供的按钮“+”动态地调整播放速度，以便以0．1帧／秒增加当前的帧速率，和按按键“-”以便以0．1帧／秒降低当前的帧速率。当前的帧速率在448中显示。
为了允许用户控制所记录注释的回放，而允许它们改变视频回放的过程，在主客户机用户界面上提供第二组VCR控制，425(记录)、456(停止)、460(播放)、464(暂停)。这两组VCR控制同时工作。然而，当第一组按钮(408、412、416、420、424、428、432)中的任一个按钮被按下时，所记录注释的回放将自动停止。类似地，如果用户开始播放一个所记录的注释，而第一组VCR控制在工作，该系统也将停止当前的视频回放动作。一个例外是记录动作，按钮452，即使用户按下第一组按钮中的任一个按钮它也不被停止。
根据本发明，用户可以通过在视频帧窗口498上移动鼠标光标的同时按下左鼠标键进行徒手绘制。线路将以系统或每一用户所选的颜色在客户机视频帧上显示。用户也可以通过第一次右击鼠标键在视频帧窗口498上输入文本串。当此发生时，系统将仅在特定客户机屏幕上弹出一个文本编辑窗口。然后用户可以输入单行或多行文本串，并在完成时单击完成按钮。仅在此时，将在右鼠标单击出现的位置在所有客户机视频帧上显示所输入的文本串。注意到在输入过程中，会议活动可以继续。用户还可以打开他们自己的远程指针以使其它参与者能够知道他们的鼠标所指向的位置。这通过按按钮480来完成。为了不因为屏幕上过多的图形目标干扰用户，与同一用户相关的所有图形注释、文本注释和远程指针以相同的颜色绘制。
该系统还允许用户通过按下按钮472删除所有的图形注释内容，在所述实施例中通过按下按钮468删除所有的文本注释内容，和通过按下按钮476删除某一动态标记的记录。
在图4中在主客户机用户界面中显示三个添加工具。他们是视频浏览器486、用于动态目标的动态标记创建工具490和用于固定(或静态)目标的动态标记创建工具494。为了启动前两个工具，仅按下相应按钮。为了启动第三个工具，用户必需首先暂停视频，然后按下按钮494，最后在视频帧窗口498上绘制一条徒手曲线。
图5图示根据本发明用于按名称删除动态标记的用户界面的实施例。如上所述，动态标记表示动态目标的位置或关于静态目标的动态参数。每个名称由创建标记的用户输入。显示一个标记名称列表(500)。用户可以移动滚动条(540)以观看整个列表，从列表中选择一个名称，和单击按钮510予以删除。在删除所有不需要的标记之后，用户可以单击按钮520以结束该弹出窗口。如果用户错误地启动该弹出窗口，他们可以单击按钮530以结束该窗口。
图6图示视频浏览器工具。该工具以缩略图600显示每个镜头的首帧。用户可以使用滚动条630快速浏览所有缩略图，并单击按钮610以退出视频浏览器。当视频在播放时，当前视频帧的相应镜头将以红色边框620被同时显示。
图7图示用于创建动态目标标记的工具。该工具提供单独的视频播放器748、滑动块728、当前帧指示器732、视频浏览器768和横截面观察器752以帮助用户找到感兴趣的片断。在通过按按钮736选择视频中的输入点和通过按按钮740选择视频中的输出点之后，与输入点对应的视频帧将在窗口700中显示，与输出点对应的帧将在窗口704中显示。通过(1)从每一图像抽样中间行和中间列，(2)随着时间收集所有抽样，(3)将它们组合到一个图像中，和(4)最终根据检测镜头列表将图像分割成至少两个区，根据视频直接生成横截面图像756。该图像提供显示视频帧连续性的一定水平的抽取。滚动条764允许快速浏览，而当前帧指示器760与视频位置同步。
一旦在抽700和704中显示输入和输出点视频帧，用户可以绘制折线以描绘每个窗口中目标的边界，如图7中用参考号724表示的一定顺序的线条。如果存在错误，用户可以通过按按钮712输出这些线条。在绘制折线之后，用户可以在方框744中输出一个名称用于标记，并单击按钮以请求服务器在输入和输出点中间的所有帧中检索相同目标的边界。可以重复相同的步骤直到按下按钮716。用户还可以通过按按钮720取消该工具的操作。
图8图示根据本发明的原理用于一种实施例的系统结构。协作视频注释服务器800从每个会话管理器812接收消息，将它们串行排列，并重新将它们发送给每个会话管理器。它还管理会议，保持所有参与者的记录和会议状态。这种状态信息包括视频播放器状态，包括播放／暂停和当前帧号、远程指针状态，包括显示／隐藏和当前状态，注释，包括当前在屏幕上的图像和文本，被装载的视频文件名称和动态目标标记(标记坐标和相关帧)。它还负责将一个新的参与者带到会议的当前状态，和将协作讨论录入一个简单的脚本文件以便随后回放。最终的覆盖电视录象用参考数字852表示，所记录的标记用804表示。
会话管理器812用作通过互联网与其相连的服务器和其余客户机模块816、820、824、828、832之间的中介。它类似于智能消息路由器工作，将来自用户界面820的鼠标／键盘时间转换成系统消息，将它们发送到协作视频注释服务器800，将来自添加工具832的系统消息转发到协作视频注释服务器800，并删除／发布到其余客户机模块的服务器消息。系统消息包括所有的VCR相关命令、光标位置、远程指针命令、注释、图像和文本记录和注释命令。会话管理器812删除所有的本地注释记录消息和所有的本地远程指针命令。
远程指针816接收同时的活动指针位置和命令，并在远程指针覆盖平面840上绘制它们。远程指针命令包括显示和隐藏。系统维持颜色方案以便来自同一参与者的指针和注释将以彼此区分的同一颜色绘制。
视频播放器828将视频解码成未压缩的音频和视频帧，并响应由会话管理器812发送的多种VCR命令。由于在所有参与者之间同步回放的需要，最好将所有传统VCR相关命令映射成下述新命令PLAYJUMP-PLAY CURRENT-FRAME 1．0PAUSEJUMP-PAUSE CURRENT-FRAMESTEP FORWARDJUMP-PAUSE CURRENT-FRAME+1STEP BACKWARDJUMP-PAUSE CURRENT-FRAME-1FAST FORWARDJUMP-PLAY CURRENT-FRAME 2．0FAST REWINDJUMP-PLAY CURRENT-FRAME-2．0如上所述，系统仅创建两种不同类型的VCR命令，即JUMP-PLAY帧号帧速率和JUMP-PAUSE帧号。为了支持回放速度动态调整的需要，该系统添加两个新VCR相关功能，“+”和“-”，并通过下述方式将它们映射到JUMP-PLAY+JUMP-PLAY CURRENT-FRAME CURRENT-RATE+0．1-JUMP-PLAY CURRENT-FRAME CURRENT-RATE-0．1用户界面820提供播放器界面单元，例如VCR控制、远程指针控制、运行添加工具832的能力和监视所有的鼠标／键盘事件。与注释有关的鼠标／键盘事件被发送到视频注释器824，其功能如下所述，而所有的鼠标／键盘事件被发送给会话管理器812用于进一步解释。如上所述，为了绘制任一个图形注释，参与者应当在移动鼠标时按下左鼠标。为了绘制有关文本注释，参与者应当单击右鼠标并在弹出的方框内输入文本串。
音频混合器856混合由视频播放器生成的未压缩音频信号和来自统一计算机／互联网电话机接口的音频输出，并将其发送给扬声器。
图形覆盖／图像混合器848覆盖在解码视频帧图形注释、文本注释和远程指针图标的顶部。必需有效地进行该覆盖，因为这些必需以视频速率进行更新。系统应当准备一些画外平面(图像缓冲器)，两个用于视频帧，一个用于图形注释836，一个用于文本注释836，一个用于远程指针840，一个用于静态目标844的动态标记。一个视频帧缓冲器是用于恢复目的的另一个视频帧缓冲器的复制。这将允许系统提供独立于文本注释和动态标记删除图形注释的能力，和提供及时注释／远程指针更新而不要求快速视频帧速率的能力。为了提供及时注释／远程指针更新，系统必需在常规的基础上更新注释和远程指针，与下一视频帧是否准备好无关。在注释和远程指针更新的过程中它还负责通过远程指针的移动和图形／文本注释的删除来恢复部分背景视频帧。这是因为本发明的原理具有两个视频帧缓冲器的原因。
视频注释器824接收本地客户机和同事的当前注释记录和命令在注释覆盖层836上绘制。不同于其动作被延迟的本地VCR控制命令，根据本发明的系统立即处理本地客户机注释绘制。这因为提示反馈更加重要。如先前所述，根据本发明的原理，涉及同一参与者的绘图、文本和远程指针将以不同于其它参与者的相同颜色绘制。
添加工具832是根据本发明原理的组件，可以帮助参与者浏览视频内容和为静态和动态目标创建动态标记。例如，显示代表视频的缩略图像列表的视频浏览器是这样一个工具。如果参与者在视频浏览器进行任一选择，该视频浏览器将向会话管理器发送一个VCR命令以允许播放器从该特定点开始播放。
另一个例子是用于为动态目标创建动态标记的工具。参与者将首先在视频中选择两个帧，并在这两个视频帧中绘制这个目标的边界。在这些帧之间发现这个目标位置的请求将被发送给服务器。在服务器完成该请求时，它将向所有参与者发送一个消息，该消息包含该目标在所有中间帧中的位置。每个参与者将在本地记录该消息，并无论何时视频播放通过这些帧将显示注释。最后，为动态目标创建动态标记要求参与者首先暂停视频，点击工具按钮，然后绘制一条曲线。在曲线之后将显示一个箭头动画，直到参与者再次播放该视频。
根据本发明的原理，同一计算机／互联网电话机接口808向计算机或互联网电话机提供一个统一界面，允许用户在异类环境中工作。
图9图示根据本发明的系统消息流，在该协作会议中存在三个客户机。每个客户机保存它自己的消息队列(900，908，916)，在此新消息可以在略微不同的时间上到达，但它们的顺序被保存在所有客户机中。这些消息包括装载视频和所记录的注释文件，修改VCR命令，注释记录／命令，远程指针记录／命令，动态标记记录／命令。每个会话管理器(924，936，948)负责将每个用户界面和添加工具(904，912，920)发送的各种消息转发给协作动态视频注释服务器(960)，和从消息队列(900，908，916)中检索消息。然后在被发布给不同的客户机模块以便执行(932，944，956)之前，通过会话管理器(924，936，948)中的消息滤波器(928，940，952)滤波所检索的每个消息。在所记录注释回放的过程中，协作动态视频注释服务器(960)首先从会议记录(964)中检索消息，但它依然可以接收每个会话管理器(924，936，948)发送的消息。在会议记录(964)中记录的每个消息放在一个时间标记之前。协作动态视频注释服务器(960)根据该时间标记检索这些消息。来自两个来源的消息被混合并发送给每个会话管理器(900，908，916)以便接收消息。这种混合所记录的消息和实况消息的能力允许用户在回放一个所记录注释的过程进行注释。
图10图示一个例子，表示时间消息如何进行通信和影响每个客户机屏幕的外观。在该例子中存在两个会议中的服务器。垂直方向1020表示时间线，而水平方向列出了协作动态视频服务器(服务器)和不同的客户机侧系统组件，例如远程指针、视频注释器、视频播放器、用户界面和会话管理器。两组屏幕内象1000和1010按时间线顺序分别被显示在该图的左侧和右侧。不同类型的典型消息1030，例如加入、播放、显示远程指针、注释、删除、暂停被图示在该图的中央部分，也按照时间线的顺序。为了简化，在该图中仅使用缩略消息名称。
本发明提供一种新设备，允许来自不同地点的不同人员共享他们关于视频内容的查阅，记录这种协作会议，同步地回放这种所记录的注释，在所记录的注释回放的过程中注释／记录。根据本发明的设备提供用于在异类网络中任一视频内容同步协作的环境。然而，有可能使用同一设备注释视频或在独立情况中回放所记录的注释。
还理解该设备可以将电视接收机设备用于视频显示功能，结合计算机和模拟或实际硬件VCR或视频播放器／记录器。
如前所述，本发明特征在于带有多点VCR控制、动态速度调整和显示动态标记能力的一种共享“视频”播放器。任何用户可以在任意给定时间上播放或停止视频，跳到视频中的不同位置，或动态地改变播放速度。无论何时出现任意VCR动作，在同一视频帧上同步不同的播放器。当播放器显示这些帧标记被添加时，动态地绘制动态标记。第二，视频播放器窗口用作带有远程指针支持的共享白板，即使没有硬件图像覆盖支持。该共享白板支持手工绘制和文本。任意用户可以在任意时间删除图像或文本。第三，该设备提供一种将任意工具添加给共享视频播放器的方便方法。当调用这个工具时，它们将在该侧被启动，而协作会议可能依然继续。在服务器侧进行所有的计算密集工作，而不影响客户机的性能。第四，所有的会议活动包括可以为随后的播放记录联合话音注释。这些动作被时间标记以支持同步回放。第五，任何所记录的会议可以被装载并在带有多点VCR控制的所有用户屏幕上同步地播放。在回放过程中混合所记录的联合话音注释和视频的音频声迹。第六，任意用户还可以在带有独立VCR控制的协作会议中所记录注释的回放过程中进行注释。最后，新注释可以与所记录注释的回放一起被再次记录。
本发明将通过计算设备和合适的软件并结合如上所述的合适的外围设备来实现，如本领域所公知的，所述计算设备最好是一个可编程数字计算机，所述外围设备用于执行在此所公开的用于实现本发明的步骤。
如将被理解的，已经利用非限制性的示范性实施例描述本发明。各种修改和添加对于所属领域的技术人员将是显然的。例如，如果使用硬件实施支持视频覆盖和音频混合，则在此用示范性实施例描述的形式中可以不再需要相同的功能，例如远程指针、视频注释器、音频混合器和图形覆盖图像混合器848。
这种改变和修改将包括在本发明的精神和后附权利要求书的保护范围内。
权利要求
1．一种使用带有信息存储和检索能力的可编程计算机设备在多个各自位置上的用户之间动态视频注释的方法，所述方法包括步骤选择连接到所述计算机的网络服务；执行(a)开始和(b)加入所述用户之间的协作会话之一；装载(a)视频和(b)所记录的注释文件之一；执行图形、文本和音频注释中的至少一种注释；和存储所述协作会话。
2．如权利要求1所述的动态视频注释方法，包括步骤在同步模式中为所述用户之一回放所述协作会话。
3．如权利要求2所述的动态视频注释方法，其中所述同步模式不精确地同步。
4．如权利要求1所述的动态视频注释方法，包括步骤存储或记录在所述协作会话过程中的可视动作和任何话音评论。
5．如权利要求1所述的动态视频注释方法，其中所述网络服务包括互联网TCP／IP、IPX、调制解调器和串行连接中的至少一个。
6．如权利要求1所述的动态视频注释方法，其中所述执行注释的步骤包括使用远程指针、视频记录器／播放器控制、视频浏览器、图形、文本和音频注释；以及动态标记创建工具中的至少一个。
7．如权利要求6所述的动态视频注释方法，其中所述视频记录器／播放器显示播放和暂停模式，并且所述执行注释的步骤可以独立于所述视频记录器／播放器是否在所述模式之一中而被执行。
8．一种使用带有信息存储和检索能力的可编程计算机设备在各自位置上的多个用户之间动态视频注释的方法，所述方法包括步骤选择连接到所述计算机的网络服务；加入所述用户之间的协作会话；装载(a)视频和(b)所记录的注释文件之一；执行图形、文本和音频注释中的至少一种注释；和存储所述协作会话。
9．根据权利要求8的动态视频注释方法，包括步骤从连接到所述计算机设备并具有用户可操作控制界面的视频记录器／播放器记录和回放视频。
10．根据权利要求8的动态视频注释方法，包括步骤单个所述用户注释关于图形、音频远程指针和文本。
11．根据权利要求10的动态视频注释方法，包括步骤单个所述用户在一个覆盖层上注释图形。
12．根据权利要求10的动态视频注释方法，包括步骤单个所述用户使用远程指针；和自动恢复所述远程指针覆盖的视频和图像部分。
13．根据权利要求9的动态视频注释方法，包括步骤提供所有消息从所述多个用户到达所述计算机设备的时间标记；和在所述回放过程中向所述用户发送已经注释和提供有所述时间标记的所述消息之一。
14．一种用于在多个用户之间动态视频注释的设备，所述设备包括带有信息存储和检索能力的可编程计算机设备；连接到所述计算机设备用于执行网络服务选择的用户界面；连接到所述计算机设备用于执行(a)开始和(b)加入所述用户之间协作会话之一的用户界面；连接到所述计算机设备用于装载(a)视频和(b)所记录的注释文件之一的用户界面；连接到所述计算机设备用于执行图像、文本和音频注释中至少一种注释的用户界面；和连接到所述计算机设备用于存储所述协作会话的用户界面。
15．根据权利要求14用于在多个用户之间动态视频注释的设备，包括连接到所述计算机设备并具有用户可操作控制界面的共享视频记录器／播放器，用于记录所述协作会话期间的可视动作和所有话音评论，并回放所记录的注释。
16．根据权利要求14用于在多个用户之间动态视频注释的设备，包括使所述用户能够注释图形、音频和文本的设备。
17．根据权利要求16用于在多个用户之间动态视频注释的设备，包括用于使所述用户在一个覆盖层上注释图形的设备。
18．根据权利要求17用于在多个用户之间动态视频注释的设备，包括用于支持使用远程指针和恢复由所述远程指针覆盖的视频和图像部分的设备。
19．根据权利要求15用于在多个用户之间动态视频注释的设备，包括用于使所述用户注释所述视频之一的设备。
20．根据权利要求19用于在多个用户之间动态视频注释的设备，包括用于提供从所述多个用户到达所述计算机设备的所有消息的时间标记，并在所述回放期间向所述用户，发送已经被注释和提供标记的所述消息之一，以便所述多个用户中的单个用户在所记录注释的所述回放期间进行注释。
21．一种设备，使各自位置上的多个用户参与有关视频内容的协作会话；记录该协作会话，在所记录会话回放期间注释／记录；并同步回放该所记录的注释会话，所述设备包括每个所述用户可用的共享视频播放器／记录器功能(VCR)，带有显示动态速度调整的多点VCR控制，和显示动态标记的能力；一个功能，任何一个所述用户利用它可以播放或停止所述视频；跳到视频中的不同位置；动态改变视频播放速度；每个所述用户可用的所述共享视频播放器／记录器，无论何时出现任何一个VCR动作在同一视频帧上被同步；和当显示添加这样一个标记的帧时，用于显示动态标记的设备。
22．一种设备，使相应位置上的多个用户能够参与有关视频内容的协作会话；记录这样一个协作会话；在所记录会话的回放期间注释／记录；并同步地回放这样一个所记录的注释会话，所述设备包括显示每个所述用户可用的一个窗口的共享视频播放器／记录器功能(VCR)，带有显示动态速度调整的多点VCR控制，和显示动态标记的能力；一个功能，任何一个所述用户通过它可以播放或停止所述视频；跳到视频中的不同位置；动态地改变视频播放速度；每个所述用户可用的所述共享视频播放器／记录器功能，无论何时出现任何一个VCR动作在相同的视频帧上被同步；当显示添加这样一个标记的一个帧时，用于显示动态标记的设备；所述共享视频播放器／记录器功能窗口，用作共享白板，带有用于支持徒手绘制和文本的远程指针支持。
23．根据权利要求22用于使相应位置上的多个用户能够参与有关视频内容的协作会话的设备，其中所述共享视频播放器／记录器功能窗口用作共享白板，带有用于支持徒手绘制和文本的远程指针支持等功能，与任一硬件图像覆盖层支持的存在无关。
24．根据权利要求22用于使相应位置上的多个用户能够参与有关视频内容的协作会话的设备，其中任一用户可以在任意时间删除图像或文本。
25．根据权利要求22用于使相应位置上的多个用户能够参与有关视频内容的协作会话的设备，包括用于将多个工具中的任何一个工具添加到所述共享视频播放器功能的装置。
26．根据权利要求22用于使相应位置上的多个用户能够参与有关视频内容的协作会话的设备，其中当任何一种所述工具被调用时，它们将在该侧被启动，而允许协作会话继续。
27．根据权利要求22用于使相应位置上的多个用户能够参与有关视频内容的协作会话的设备，其中包括联合话音评论的所述协作会话动作可以被记录用于随后的回放。
28．根据权利要求27用于使相应位置上的多个用户能够参与有关视频内容的协作会话的设备，其中所述动作被时间标记以支持同步回放。
29．根据权利要求28用于使相应位置上的多个用户能够参与有关视频内容的协作会话的设备，其中，这样一个所记录的会话可以被装载，并在带有多点VCR控制的所有用户的屏幕上被同步地播放。
30．根据权利要求29用于使相应位置上的多个用户能够参与有关视频内容的协作会话的设备，其中所记录的联合话音评论在回放过程中被与视频的音频声迹混合。
31．根据权利要求30用于使相应位置上的多个用户能够参与有关视频内容的协作会话的设备，其中在带有独立VCR控制的协作会话中所记录注释的回放过程中，任何一个用户仍可以进行注释以形成一个新的注释。
32．根据权利要求31用于使相应位置上的多个用户能够参与有关视频内容的协作会话的设备，其中可以再次记录和所记录注释的回放一起的所述新注释。
全文摘要
一种使用带有信息存储和检索能力的可编程计算机设备在各自位置上的多个用户之间动态视频注释的方法,所述方法包括步骤:选择连接到所述计算机的网络服务;执行(a)开始和(b)加入所述用户之间的协作会话之一;装载(a)视频和(b)所记录的注释文件之一;执行图形、文本和音频注释中的至少一种注释;和存储所述协作会话。
文档编号G06F17/30GK1293784SQ99803961
公开日2001年5月2日 申请日期1999年3月1日 优先权日1998年3月13日
发明者S·P·利奥, R·希杰尔斯沃德 申请人:西门子共同研究公司