专利名称：基于电话的动态图像注释的制作方法
技术领域：
本发明涉及多媒体消息的存储和获取，更具体地涉及将语音邮件系统的存储和转发功能用于处理多媒体消息，这些多媒体消息中含有经动态注释的图像。
由于能够产生、存储、发布数字媒体(如文本，语音，图像，视频，图形等)的硬件和软件的出现，促成了多媒体消息通讯系统的发展，使得人们不必在同一时间和同一地点也可以互相交流。这些系统必须以简洁直观的手段转述尽可能多的信息，才能在实际应用中生效。在这种情况下，图像注释的方法十分引人注目。图像注释可以在已记录好的图像上叠加语音、文本、图形、鼠标移动等信息，它使得发送方觉得接收方似乎就在现场一样。例如，一个人可以用声音和图形描述一文档如何被修改，好像另一方就在他/她的身旁一样。通常来说，动态图像注释扩展了人们使用计算机互相交流的方法。
使用注释来增强基于计算机的交流有多种方式。在最简单的一种方法中，文本文档可以采用特殊标记加以扩展，例如可以在“发送”标记处打入注释。更加成熟的系统允许创建包含声音和图形的图像注释或文本注释。但是，这些系统要求产生和再现这些注释的计算机装有执行音频记录和回放的必要的软硬件设备。
本发明的目的是开发一种独特的注释，可以用于合成和再现注释的计算机缺少音频能力但拥有独立电话装置的环境中。基本的设想是使用计算机记录消息中的图形和鼠标移动(指示符)，使用语音邮件系统记录消息中的声音部分。
本发明将动态图像注释的使用扩展到缺少完全多媒体能力的PC机和工作站上。通过利用语音邮件系统的存储和转发能力，以及利用电话装置传送消息中的语音/声音部分，该系统可以合成、存储和获取包含动态注释图像的多媒体消息。该系统包含在消息记录、存储、再现过程中同步语音/声音部分的协议。
图1描述四种可能的多媒体方式。
图2描述本发明一实施例的记录协议。
图3描述本发明一实施例的回放协议。
图4描述本发明一次测试中的系统部件。
图1描述四种方式，其中本发明的动态注释可用于语音邮件环境中。方式1中一用户使用一台含有动态图像注释的多媒体PC机11，通过局域网12访问语音邮件系统15。方式2中一用户使用一台非多媒体PC机13(例如，不带音箱、话筒或电话接口的PC机)，通过电话14和局域网12访问语音邮件系统15的服务。电话联接由公共分组交换机(PBX)16实现。方式3中一用户使用一台非多媒体便携式PC机17(例如，不带音箱、话筒或电话接口的便携式PC机)，利用电话18和调制解调器19，通过公共电话网20访问语音邮件系统15的服务。方式4中一用户使用一台多媒体PC机21，通过公共电话网20远程访问语音邮件系统15的服务。
本发明感兴趣的是方式2和方式3，其中要求有电话装置。具体来说，在方式2中，注释消息的语音部分通过语音网络传输，而同时图形和指示符通过局域网传输。在方式3中，注释消息的语音部分又通过语音网络传输到语音邮件系统。注释的其余部分，包括图像、图形和鼠标指示符，也通过一条独立的电话线传送到语音邮件系统。在方式3的另一实现方法中，注释的图形和指示符部分可以记录在本地PC机中，并通过传输语音的同一条电话线传输到语音邮件系统中。
典型的多媒体注释消息包括一幅或多幅图像，一条语音/声音消息，和由绘画、鼠标移动及查看命令组成的指示符时间序列，所有这些在时间上保持同步。本发明的目的是设计一种协议，允许在传输和存储过程中分离语音/声音部分，在回放过程中重新组装分离的语音/声音部分。开发这一协议的关键部分是标识适当的同步机制。
图2描述本发明一实施例协议的记录部分，以及计算机24、局域网26、语音邮件系统28、PBX30、和电话装置32的互相联接。用户选择记录模式开始一次通讯，然后选择要注释的图像。选择完成后，系统要求语音邮件系统28开始呼叫相应的电话装置32，然后进入等待状态。这里假定已有决定被呼叫设备和验证用户标识的机制。语音邮件系统28将开始这个呼叫，等待用户的回答，并显示提示符指出呼叫的原因，要求用户做出指定的响应，例如按下一按纽确认已准备好开始注释图像。接到用户的确认之后，语音邮件系统28将命令PC24上的注释程序进行注释，开始记录从电话装置32传来的语音消息。注意这一步要求满足实时的限制。即系统必须立即通知注释程序运行。该程序也必须能够立即从等待状态返回。这一步骤中记录下一系列的同步标记(Ti)以跟踪通讯过程。具体是，T1表示从注释开始处到第一次暂停经过的时间，T2表示第一次暂停的期间，T3表示第二次注释的期间。注意如果在记录注释过程中有两次或更多的暂停，将需要T4、T5等标记。用户按下“停止”按纽并挂上电话32指示已完成注释。用户发出“发送”命令后，通讯即完成(从用户的角度来看)。系统将在后台继续与语音邮件系统28的通讯，发送图像、指示符、和同步标记到消息存储器，消息存储器将这些信息与消息的语音部分一起保存。
图3描述回放过程中执行的步骤。计算机34、局域网36、语音邮件系统38、PBX40、和电话装置42之间的联接如图2所示。在第一步，用户接收到所提供的一列消息，并选择其中之一进行回放。接着的两步处理与上面协议中描述的类似。在第三步，用户通过电话装置42接收到语音消息，同时注释的指示符部分显示在计算机34的屏幕上。在记录过程中合成的同步标记将用于两个设备间的同步。即指示符再现装置将定期地比较执行的实际时间。如果有必要，指示符再现装置将丢掉少量指示符信息，以加速再现过程。指示符再现装置也可以插入一些延迟，以对语音和指示符注释进行再同步。
作为本发明的一个测试，创建了一个简单的概念系统，用来模拟电话和语音邮件部分的功能。该系统如图4所示。这一系统由三个UNIX进程构成，运行在两个分离的工作站上。进程1运行图像注释软件，该软件加入了远程过程调用功能，用以模拟与语音邮件服务器之间的通讯。进程2后台运行，模拟语音邮件系统的功能；根据协议中的定义，该进程接收来自注释程序(进程1)、电话装置(进程3)的命令，也向这些进程发出命令。最后，进程3用于模拟标准电话装置。该系统在第二台工作站上使用图形用户界面、话筒、和音箱来记录和播放消息的语音部分。上述测试系统说明本发明可以实现预计的功能。
如上所述，本发明将动态图像注释的使用扩展到缺少完全多媒体功能的PC机或工作站上。采用电话传输多媒体消息的语音/声音部分还有其它优点，例如被记录和传输的声音质量的提高，对局域网通信量和带宽要求的降低。
本发明并不仅限于上述的硬件、软件配置，或运作过程。本发明包括如下权利要求范围中包含的所有对其的变化和替换。
权利要求
1.一种基于电话的动态图像注释系统，包括计算机装置，包括计算机屏幕；局域网络，与所述计算机装置相联接；语音邮件系统，与所述局域网相联接；公共分组交换机(PBX)装置，与所述语音邮件系统相联接；电话装置，与所述PBX装置相联接；还有，协议装置，对一消息进行记录和回放；其中，在所述记录过程中，消息的语音部分被分离，以使所述电话装置可以传输所述消息的语音部分；在所述回放过程中，经所述电话装置播放的所述语音部分与叠加绘制在所述计算机屏幕上显示的所述消息的图像上的图形和指示符部分同步。
2.如权利要求1所述的基于电话的动态图像注释系统，其中所述的协议装置包括记录装置；还有，回放装置。
3.如权利要求2所述的基于电话的动态图像注释系统，其中所述的记录装置包括载入装置，将所述图像载入到所述计算机屏幕上；启动装置，要求所述语音邮件系统开始呼叫一个设备，并进入等待状态；其中所述语音邮件系统开始所述呼叫，当回应所述呼叫时，显示提示符指示所述呼叫的原因，并要求用户执行特定的动作；确认装置，提供所述用户的确认；指令装置，在所述用户开始使用所述电话装置记录一段语音消息时，使所述语音邮件系统指示所述计算机装置上的注释程序进行注释；还有，通讯装置，使所述语音邮件系统发送图像、指示符、和同步标记到消息存储器，将这些消息与所述语音消息保存在一起。
4.如权利要求2所述的基于电话的动态图像注释系统，其中所述的回放装置包括载入装置，将所述图像载入到所述计算机屏幕上；启动装置，要求所述语音邮件系统开始呼叫一个设备，并进入等待状态；其中所述语音邮件系统开始所述呼叫，当回应所述呼叫时，显示提示符指示所述呼叫的原因，并要求用户执行特定的动作；确认装置，提供所述用户的确认；传输装置，当所述图像和指示符显示在所述计算机装置屏幕上时，经所述电话装置发送所述语音消息；还有，同步装置，使用所述同步标记来协调所述电话装置和所述计算机装置的所述屏幕。
5.如权利要求4所述的基于电话的动态图像注释系统，其中所述的回放装置还包括消息获取装置，使所述计算机装置向所述语音邮件系统请求一列消息；消息队列装置，使所述语音邮件系统提供所述消息队列；消息选择装置，使所述计算机装置从所述消息队列中选择一条或多条消息；还有，传输和显示装置，使所述语音邮件系统提供所述一条和多条消息。
6.一种基于电话的动态图像注释系统，包括计算机装置，包括计算机屏幕；调制解调器装置，与所述计算机装置相联接；电话装置，与所述调制解调器相联接；公共电话网，与所述调制解调器相联接；公共分组交换机(PBX)装置，与所述公共电话网相联接；语音邮件系统，与所述PBX装置相联接；还有，协议装置，对一消息进行记录和回放；其中，在所述记录过程中，消息的语音部分被分离，以使所述电话装置可以传输所述消息的语音部分；在所述回放过程中，经所述电话装置播放的所述语音部分与叠加绘制在所述计算机屏幕上显示的所述消息的图像上的图形和指示符部分同步。
7.如权利要求6所述的基于电话的动态图像注释系统，其中所述的协议装置包括记录装置；还有，回放装置。
8.如权利要求7所述的基于电话的动态图像注释系统，其中所述的记录装置包括载入装置，将所述图像载入到所述计算机屏幕上；启动装置，要求所述语音邮件系统开始呼叫一个设备，并进入等待状态；其中所述语音邮件系统开始所述呼叫，当回应所述呼叫时，显示提示符指示所述呼叫的原因，并要求用户执行特定的动作；确认装置，提供所述用户的确认；指令装置，在所述用户开始使用所述电话装置记录一段语音消息时，使所述语音邮件系统指示所述计算机上的注释程序进行注释；还有，通讯装置，使所述语音邮件系统发送图像、指示符、和同步标记到消息存储器，将这些消息与所述语音消息保存在一起。
9.如权利要求7所述的基于电话的动态图像注释系统，其中所述的回放装置还包括载入装置，将所述图像载入到所述计算机屏幕上；启动装置，要求所述语音邮件系统开始呼叫一个设备，并进入等待状态；其中所述语音邮件系统开始所述呼叫，当回应所述呼叫时，显示提示符指示所述呼叫的原因，并要求用户执行特定的动作；确认装置，提供所述用户的确认；传输装置，当所述图像和指示符显示在所述计算机装置屏幕上时，经所述电话装置发送所述语音消息；还有，同步装置，使用所述同步标记来协调所述电话装置和所述计算机装置的所述屏幕。
10.如权利要求9所述的基于电话的动态图像注释系统，其中所述的回放装置还包括消息获取装置，使所述计算机装置向所述语音邮件系统请求一列消息；消息队列装置，使所述语音邮件系统提供所述消息队列；消息选择装置，使所述计算机装置从所述消息队列中选择一条或多条消息；还有，传输和显示装置，使所述语音邮件系统提供所述一条和多条消息。
11.一种动态注释图像传输方法，包括以下步骤使用带计算机屏幕的计算机装置；联接所述计算机装置和局域网；联接语音邮件系统和所述局域网；联接公共分组交换机(PBX)装置和所述语音邮件系统；联接电话装置和所述语音邮件系统；还有，使用协议装置记录和回放一条消息；其中，在所述记录过程中，消息的语音部分被分离，以使所述电话装置可以传输所述消息的语音部分；在所述回放过程中，经所述电话装置播放的所述语音部分与叠加绘制在所述计算机屏幕上显示的所述消息的图像上的图形和指示符部分同步。
12.如权利要求11所述的动态注释图像传输方法，其中所述协议装置的使用包括以下步骤记录所述消息；还有，回放所述消息。
13.如权利要求12所述的动态注释图像传输方法，其中所述消息的记录包括以下步骤载入所述图像到所述计算机屏幕；要求所述语音邮件系统开始呼叫一个设备，并进入等待状态；其中所述语音邮件系统开始所述呼叫，当回应所述呼叫时，显示提示符指示所述呼叫的原因，并要求用户执行特定的动作；提供所述用户的确认；在所述用户开始使用所述电话装置记录一段语音消息时，启动所述语音邮件系统，指示所述计算机装置上的注释程序进行注释；还有，指示所述语音邮件系统发送图像、指示符、和同步标记到消息存储器，将这些消息与所述语音消息保存在一起。
14.如权利要求12所述的动态注释图像传输方法，其中所述消息的回放包括以下步骤载入所述图像到所述计算机屏幕；要求所述语音邮件系统开始呼叫一个设备，并进入等待状态；其中所述语音邮件系统开始所述呼叫，显示提示符指示所述呼叫的原因，并要求用户执行特定的动作；提供所述用户的确认；当所述图像和指示符显示在所述计算机装置屏幕上时，经所述电话装置发送所述语音消息；还有，使用所述同步标记来同步所述电话装置和所述计算机装置的所述屏幕。
15.如权利要求14所述的动态注释图像传输方法，其中所述消息的回放还包括以下步骤启动所述计算机装置向所述语音邮件系统请求一列消息；提供来自所述语音邮件系统的所述消息队列；使所述计算机装置从所述消息队列中选择一条或多条消息；还有，传输来自所述语音邮件系统的所述一条和多条消息。
16.一种动态注释图像传输方法，包括以下步骤使用带计算机屏幕的计算机装置；联接调制解调器装置和所述计算机装置；联接电话装置和所述调制解调器；联接公共电话网和所述调制解调器；联接公共分组交换机(PBX)装置和所述公共电话网；联接语音邮件系统和所述PBX装置；还有，使用协议装置记录和回放一条消息；其中，在所述记录过程中，消息的语音部分被分离，以使所述电话装置可以传输所述消息的语音部分；在所述回放过程中，经所述电话装置播放的所述语音部分与叠加绘制在所述计算机屏幕上显示的所述消息的图像上的图形和指示符部分同步。
17.如权利要求16所述的动态注释图像传输方法，其中所述协议装置的使用包括以下步骤记录所述消息；还有，回放所述消息。
18.如权利要求17所述的动态注释图像传输方法，其中所述消息的记录包括以下步骤载入所述图像到所述计算机屏幕；要求所述语音邮件系统开始呼叫一个设备，并进入等待状态；其中所述语音邮件系统开始所述呼叫，当回应所述呼叫时，显示提示符指示所述呼叫的原因，并要求用户执行特定的动作；提供所述用户的确认；在所述用户开始使用所述电话装置记录一段语音消息时，启动所述语音邮件系统，指示所述计算机装置上的注释程序进行注释；还有，指示所述语音邮件系统发送图像、指示符、和同步标记到消息存储器，将这些消息与所述语音消息保存在一起。
19.如权利要求18所述的动态注释图像传输方法，其中所述消息的回放包括以下步骤载入所述图像到所述计算机屏幕；要求所述语音邮件系统开始呼叫一个设备，并进入等待状态；其中所述语音邮件系统开始所述呼叫，显示提示符指示所述呼叫的原因，并要求用户执行特定的动作；提供所述用户确认；当所述图像和指示符显示在所述计算机装置屏幕上时，经所述电话装置发送所述语音消息；还有，使用所述同步标记来同步所述电话装置和所述计算机装置的所述屏幕。
20.如权利要求19所述的基于电话的动态图像注释系统，其中所述消息的回放还包括以下步骤启动所述计算机装置向所述语音邮件系统请求一列消息；提供来自所述语音邮件系统的所述消息队列；使所述计算机装置从所述消息队列中选择一条或多条消息；还有，传输来自所述语音邮件系统的所述一条和多条消息。
全文摘要
一种通信系统,它能够生成、存储和获取含有动态注释图像的多媒体消息,利用语音邮件系统的存储和发送功能以及电话装置来传送消息的语音/声音部分。本系统包含一协议,它支持在传输和存储过程中将消息的语音/声音部分分离,并在回放时重新组装语音/声音部分。该协议采用了适当的同步机制。
文档编号G06F3/16GK1195445SQ96196758
公开日1998年10月7日 申请日期1996年8月15日 优先权日1995年9月6日
发明者阿图罗·皮扎诺, 所罗门·吴, 邱明义 申请人:西门子合作研究公司, 西门子商业通讯系统公司