专利名称:在射频通信系统中传送叠加图像数据的方法
技术领域:
本发明涉及无线通信系统,特别是在射频通信系统中经无线设备传送叠加图像的多分辨率图像数据的方法。
多媒体应用正成为有线线路通信系统设计中的一个组成部分。这些应用集中在通过同一条通信信道传输图像、数据、和话音。多媒体应用中特别关心的是图像传输。一幅图像由表示场景中物体相对亮度的二维信号组成。一个场景可以包括例如照片、视频图像、X射线图像、或天气预报的雷达图像。两个重要参数是从图像数据传输得到的图像质量和清晰度。
一幅典型的图像是由512×512像素的矩阵组成。对于黑白图像,用灰度级来描述每个像素并用8比特的存储空间存储该信息。其结果是整个图像占用大约2M比特的存储空间。对于彩色图像,每个像素使用24比特,并导致一幅图像大约占用6M比特的存储空间。因此,一幅细节详尽的彩色图像通常需要很大的存储空间、带宽和能耗。
作为技术进步的自然产物,对通过射频通信传送多媒体信号给予了关注。在不远的将来,这种通信载体将成为对射频通信系统业务要求的重要组成部分。然而,与有线线路通信系统不同,射频系统往往会受到频谱限制。另外,从广播时间收费来看,服务费用对于消费者来说太高。图像通常会占用设备大量的存储空间,并且图像信号传输花费很长的传输时间。因此,经诸如移动蜂窝无线网络之类的射频系统来传送图像会变得非常昂贵。如果不需传输高分辨率的图像,没必要浪费这些资源。如果修改原始传送图像并且必须重新传送,应用同样要求。由此需要一种使经射频系统传送图像所需的广播时间最少以使用户费用减少到最低的系统。
本发明涉及通过射频通信系统中的无线设备传送叠加图像的多重分辨率图像数据方法。
在原始图像传送后可对其进行修改的通信系统中使用叠加图像方法。修改的主要变化是在原始图像上叠加,使之一起形成一幅修改的图像。由于已经传送了原始图像,更有效的做法是仅向接收方传送原始图像的修改部分。因此,对于修改图象来说,图像发送单元确定原始图像与修改图像之间的差别,并且仅传送该差别作为差别图像。差别图像仅包括叠加在原始图像上的修改部分。
当发送差别图像时,图像接收单元将差别图像叠加在先前接收到的原始图象上。通过组合两个叠加图像的数据,改正在图像发送单元输入的同一修改图象。例如,原始图像可能包括手写信函。当信函发送到接收方后,通过增加签名对其进行修改。在此,两幅图像的差别在于形成差别图像的签名。仅发送签名来代替发送整个信函图像。一旦发送签名部分,将其与未签名的信函重新组合以形成一份签名的信函(即修改图像)。因此,由于取消了冗余图像数据的传输,这种叠加图像方法极大地节省了诸如带宽、内存、能耗和广播时间之类的资源。
然而,通过将其与多分辨率图像系统组合使用可进一步提高叠加图像方法的效率。多分辨率系统采用子波技术分解图像并将图像作为离散信息块存储在图像发送单元。信息块包括一个表示图像最低分辨率的基本图像,和在加到基本图像时提供增加分辨率等级的一个或多个图像细节。可由图像发送单元的分辨率限度或对发送方的图像发送单元的人为限定来确定图像被分解成的分辨率的最大等级数。
建立通信信道以后,向图像接收单元发送基本图像。该基本图像是最低分辨率等级的原始图像或差别图像。图像接收单元包括通过向图像发送单元发出图像数据请求来增加基本图像分辨率的装置。然后,把附加图像细节发送到图像接收单元。然后,再次采用子波技术将图像接收单元接收的附加图像细节与基本图像组合,以产生更高分辨率的细节图像。图像接收单元发出多个对附加图像细节的请求。每次都将附加图像细节与先前的图像组合,以提供更高分辨率的新细节图像。
将图像分解成递增分辨率等级的一个优点是仅需发送所需的分辩率等级以提供认可的图像质量和清晰度。例如,象手写信函这样的图像可以仅要求可以理解的中等或较低等级的图像分辨率。通过发送较低的分辨率来节省带宽、功率和传输时间。对于接收通信的一方来说,象签字或手印这样的图像需要高分辨率才有效。这种情况下,接收方可请求较高等级的分辨率。
当叠加图像系统与多分辨率图像系统组合时,其结果是可以定制每个发送图像的分辨率以满足接收方的需求。因此,接着上面的例子,可发送原始手写信函,并在图像接收单元利用多分辨率图像系统以可接受的分辨率改正原始手写信函。然后,通过补充签名修改信函。由于叠加图像系统中的差别图像包括该签名并以与原始图像相同的方式发送,也可对签名进行多分辨率传输。在此,可能希望签名具有比信函本身更高的分辨率。这样,图像接收单元的用户可针对签名在基本图像上请求比针对原始信函请求的更多的附加图像细节。因此,可按不同的分辨率将原始图像(信函)与差别图像(签名)组合,以形成修改图像的定制版本。
利用叠加图像的多分辨率图像数据系统,可由相互通信的任何一方或由通信装置的分辨率限定来确定每个图像或一个图像的每个成分所需的分辨率等级。该原理的典型应用包括来自手持蜂窝无线装置或来自经接口连接到手持蜂窝无线装置的膝上型计算机的图像传输。
因此,可以看到,该方法的主要优点是可使与射频通信有关的广播时间、带宽、能耗、和其它关键因素最小,同时允许设备用户决定适合其需要所需的最佳图像分辨率等级。
图1是实施本发明方法所需的系统配置的概括方框图,包括用于经通信媒体向图像接收单元发送图像的图像发送单元。
图2是由本发明实施的系统和方法的图像发送单元的方框图,说明了单元基本部件之间的相互作用。
图3是由本发明实施的系统和方法的图像接收单元的方框图,说明了单元基本部件之间的相互作用。
图4是说明本发明的图像发送单元操作的流程图。
图5是说明本发明的图像接收单元操作的流程图。
图6是实施本发明方法所需的系统配置的概括方框图,说明一个图像发送单元和一个图像接收组合成一个组合图像发送/接收单元,从而使通信双方能够发送和接收图像。
图7是根据本发明的方法用于图像发送和接收的组合图像发送/接收单元的方框图。
图8是本发明的组合图像发送/接收单元操作的流程图。
现在参考附图,图1示出了本发明的多分辨率叠加图像数据传输系统的基本实施例,用标号10概括表示。本发明的叠加图像传输系统特别适用于一系列相关图像的传输。具体地说,该叠加图像系统允许传输原始图像和原始图像的后续改变版本。
首先将原始图像作为整体传输到接收单元。当以后改变原始图像时,将该图像的新的迭代(iteration)与先前发送的图像比较以得出其差别。然后,把新累接和先前发送的图像之间的差别发送到接收单元。由于仅发送图像之间的差别,该处理大大减少了需要发送的数据量,从而更有效地利用可得到的带宽,减少传输时间,和降低传输费用。
通过将多分辨率图像传输系统与本发明的叠加图像传输系统组合得到了对图像传输的进一步优化。多分辨率图像系统允许独独控制发送到接收单元的每个图像的分辨率。这包括原始图像以及新累接和先前发送的图像之间的任何差别。
使用多分辨率性能,将图像细分或分解成基本图像(可想象为颗粒状照片)和许多图像细节。如果图像细节依次加到颗粒状照片,该照片变得越来越清晰。当所有图像细节加到基本图像时,重新构成原始照片。这样,如果在一幅图象发送到接收单元之前将其分解,可以以将基本图像发到接收单元来开始图像传输。然后,接收单元的用户可请求将发送并加到基本图像的附加细节。因此,当接收单元的用户获得适合于该目的的图像分辨率时,不需要再请求附加细节。
通过多分辨率图像系统,可以不需要全部细节的图像也不需要发送。因此,该处理大大减少了为每幅图像发送的数据量。由于该处理可应用于叠加图像系统的原始图像以及新累接和先前发送的图像之间的任何差别,可进一步更有效地利用可得到的带宽,减少传输时间,和降低传输成本。
应注意,图像发送单元20的用户可指定能够接收多分辨率图像数据的具体图像接收单元60。实际上,在无线电话通信系统中这种强加限定的实例是图像发送单元20的用户将某个授权的电话号码编程到装置中,结果是,仅有来自那些具有图像接收单元60的规定电话号码的呼叫者具有全部多分辨率图像数据接收能力。来自除图像发送单元20的用户规定授权的那些号码外的号码的呼叫者不能接收图像数据或预设分辨率等级的图像数据。因此,对所有图像数据传输的阻断带有保密特性,以防止未经授权方接收图像。仅向未经授权的号码传输可勉强使用的基本图像也具有同样的保密效果。然而,可由图像发送单元20的用户设定任何更高分辨率等级的传输,例如与许多图像细节组合的基本图像,以限制传输所需的广播时间。图像发送单元20的用户可以确定所有接收方需要中等分辨率并仅以该等级发送。因此,该选项也将有助于保密和图像传输的带宽、功率和传输时间参数的优化。
图1示出多分辨率叠加图像数据传输系统10的基本部件。基本部件包括一个标为20的图像发送单元,一个标为60的图像接收单元,和在图像发送单元20和图像接收单元60之间提供通信链路的通信媒体110。在其最简单的形式中,图像发送单元20将图像载入系统并在经通信媒体110将其发送到图像接收单元60前对其进行操纵。在此,图像的“操纵”是指叠加图像系统和多分辨率图像系统中的任何一种或两种的应用。然后,图像接收单元60对图像复原图像发送单元20进行的操作并将其显示给接收图像的一方。
图像发送单元20包括一个图像输入装置22,一个叠加差别单元25,一个分解单元35,一个加密单元45,和一个通信单元60。图像输入装置22的目的是将图像输入到系统。图像输入装置22将其输出送到叠加差别单元25。叠加差别单元25将该图像与先前的图像比较,如果有差别的话,产生仅包含对先前图像修改的差别图像。分解单元35接收叠加差别单元25的输出并分解图像以顺序传输。加密单元45在传输前对图像数据加密。通信单元50提供与图像接收单元60的双向通信接口。通信单元50向图像接收单元60发送图像数据,并从图像接收单元60接收图像数据请求和其它控制信号。
图像接收单元60包括一个通信单元65,一个解密单元件70,一个重组单元75,一个叠加组合单元85,一个显示器95,和一个图像控制单元100。通信单元65允许从图像发送单元20接收图像数据,和向图像发送单元20发送图像数据请求和其它控制信号。如果图像被加密,解密单元70在把数据传送到重组单元75前对图像数据解密。重组单元75重组传输前已分解的图像。叠加组合单元85将差别图像加到先前的图像,以便在图像接收单元60重新生成修改的图像。该图像显示在显示器95上。
图1中所示的通信媒体110包括图像发送单元20通过其与图像接收单元60通信的装置。本发明的通信方式不是唯一的,可以包括象有线线路、射频、红外、或微波这样的方法。对通信方式的细分类可以是专用于图像发送单元20和图像接收单元60之间通信中的具体规则的任何信道。在本发明中,假设为射频通信方式。
现在参考图2,更详细地示出图像发送单元20。图像输入装置22用来把图像输入到系统,并可包括例如,盘读取器、扫描器、白板(带扫描器)、或电子绘图垫。一旦将一幅图像输入到系统,由叠加差别单元25操纵图像。叠加差别单元25确定修改序列中两个连续图像之间的差别,并且仅形成包含修改,或差别图像的图像。叠加差别单元25不操纵新的或原始图像。产生差别图像的目的是在已发送先前相似的图像时避免发送整个修改图像。因此,如果仅发送差别图像,可将其在图像接收单元60与先前发送的图像重组,以改变修改的图像。
叠加差别单元25包括一个数据路由选择开关26,一个工作图像存储器28,一个比较图像存储器30,和一个图像处理器32。数据路由选择开关26路由选择从图像输入装置22到工作图像存储器28和比较图像存储器30的图像。将原始的、未修改的图像路由选择到工作图像存储器28并清除比较图像存储器30。仅把修改的图像路由选择到工作图像存储器28。图像处理器32将工作图像存储器28中的图像与比较图像存储器30中的图像比较,并提取差别以生成差别图像。
然后,来自叠加差别单元25的图像,可能是原始图像或差别图像继续通过该系统到分解单元35。分解单元35的目的是将图像分解成基本图像和一个或多个图像细节。该分解处理是本发明的多分辨率方式的基础。最粗的图像(基本图像)分辨率应是最初发送的图像。然后,接收方可请求附加图像细节以增强基本图像的分辨率。
分解单元35包括一个主存储器(ISU)36,一个图像处理器38,一个计数器模块40,和一个路由选择开关42。主存储器(ISU)36存储叠加差别单元25送出的图像。图像处理器38将图像分解成包括一个基本图像和一个或多个细节图像的离散信息块。然后将信息块存储在主存储器(ISU)36中。使用计数器模块40对与图像发送单元20发送的特定图像对应的信息块的数量持续计数。路由选择开关42处理来自图像接收单元60的控制信号,该控制信号可包括图像数据请求或复位信号。图像数据请求送到主存储器(ISU)36,将对应的信息块从主存储器向前传输到图像接收单元60。复位信号复位计数器模块40,并通知图像输入装置22图像接收单元60准备接收另一幅图像。
加密单元45包括一个路由选择开关46和一个加密装置48。如果图像内容保密或专有的,可对图像加密。这样,如果在通信期间发生截收,可防止未经授权方使用该图像。在图像输入装置22提供的用户指示操作参数确定是否对图像加密。如果图象被加密,一个加密码包括在图像数据中。然而,如果没加密,该图像经路由选择开关46不经改变地传送过加密单元45。
通信单元50提供到通信媒体110的接口。通信单元50包括一个发射机模块52和一个接收机模块54。发射机模块52向图像接收单元60发送图像数据。接收机模块54从图像接收单元60接收图像数据请求和其它控制信号。
现在参考图3,示出图像接收单元60。由图像接收单元60的通信单元65接收发送的图像数据。通信单元65包括一个用于接收发送图像的接收机模块68,和用于向图像发送单元20发送图像数据请求或诸如复位信号之类的其它控制信号的发送模块66。
一旦接收机模块68接收图像数据,将其送到解密单元70,在此必须通过搜索图象数据中的加密码来确定数据是否被加密。解密单元70包括对加密数据解密的解密装置74和一个路由选择开关72。如果出现加密码,图像数据送到解密单元74对其解密。然而,如果图像未加密,由开关72直接路由选择到重组单元75。
重组单元75的目的是重组图像发送单元单元20发送的图像。重组单元75包括一个路由选择开关76,一个主存储器(IDU)78,一个辅助存储器80,和一个图像处理器82。开关76把接收的图像数据送到主存储器(IDU)78或辅助存储器80。通常,基本图像送到主存储器(IDU)78,任何附加图像细节送到辅助存储器80。图像处理器82将辅助存储器80中存储的图像细节与主存储器(IDU)78中存储的图像组合。然后,将得到的细节图像存储到主存储器(IDU)78中并可替换其中先前存储的图像。因此,图像细节在先前的图像上构成更高分辨率。然后,将所得到的图像送到叠加组合单元85。
叠加组合单元85包括一个路由选择开关86,一个完整图像存储器88,一个部分图像存储器90,和一个图像处理器92。开关86将来自重组单元75的图像路由选择到完整图像存储器88或部分图像存储器90。通常,原始图像送到完整图像存储器88,而差别图像送到部分图像存储器90。图像存储器92将部分图像存储器92中的差别图像与完整图像存储器88中的完整图像组合以重新生成修改的图像。修改的图像存储在完整图像存储器88中并可替换其中先前存储的图像。
图像控制单元100用来控制来自图像发送单元20的图像传输。图像控制单元100包括分辨率等级控制装置102,定时器104,计数器模块106,和复位装置108。分辨率控制装置102用来增加从图像发送单元20接收的图像的分辨率。分辨率控制装置102可以包括例如,一个简单的按钮。按下按钮102使发射机模块66向图像发送单元20发出图像数据请求。计数器模块106持续对发出的图像数据请求的数量计数。定时器104用来延迟图像数据请求的传输,以便可累积按钮102的多次按压并作为一个单独的请求送出。复位装置108复位计数器模块106并经发射机模块66向图像发送单元20送出复位信号。
图像控制单元100通过向图像发送单元20发出图像数据请求来开始图像发送过程。第一数据请求信号通常导致由图像发送单元20发送基本图像。接收方看到图像之后,后续图像数据请求使附加图像细节发送到图像接收单元60与先前的图像组合。当接收方对发送图像的分辩率满意时,启动复位装置108。
复位装置108的启动产生并向图像发送单元20发出复位信号。复位信号表示图象接收单元60准备接收另一幅图像。复位信号的第二个目的是向图像发送单元20发信号,图像接收单元60的用户对先前发送的图像满意。因此,一般来说,是由接收方控制图像数据的发送。
操作分别由图4和5说明图像发送单元20和图像接收单元60的操作。通信初始化中的第一步是建立如发送方的功能框120(图4)和接收方的功能框180(图5)所示的最小分辨率等级。如下面进一步描述的,该参数用来逐渐发送多分辨率图像。通常,由相应的用户在图像发送单元20和图像接收单元60中预设最低的初始分辨率等级。如果每方规定的等级不同,两个值中的最小值是限定的初始参数。
应注意,除设定分辨率的最小等级外,发送方也可规定可提供给接收方的最大分辨率等级。由发送方设定的最大分辨率等级在最初输入到系统时可以小于原始图象的分辨率。例如,最初可将图像分解成一个基本图像和七个附加图像细节。发送方可将最大可提供的分辨率限定为四个附加图像细节。因此,接收方仅能接收最大分辨率为带有四个附加图像细节的基本图像,而不是原始图像的全部分辨率。该特性对发送方承担通信费用和设法限定图像传输的广播时间是有用的。
在已建立最小分辨率等级之后,把要发送的图像输入到图像发送单元(功能框122)。在图像输入到系统时,还确定其它必需的操作参数。这些操作参数可以包括例如,该图像是原始图像还是对先前图像的修改,以及图像是否保密。可用定义的参数产生用于该系统的控制信号,或可用图像数据对其编码。
图像发送单元20确定图像是原始图像还是对先前图像的修改(判断框124)。如果图像是原始的、未修改图像,将路由选择开关26设定到工作图像存储器28和比较图像存储器30(功能框126)。图像存储在工作图像存储器28中(功能框128),并清除比较图像存储器30(功能框130)。原始图像由此送到分解单元35,在此将其存储在主存储器36中(功能框140)。
如果操作参数指示该图像是修改图像(判断块124),或换句话说是对原始图像的修改,仅将路由选择开关26设定到工作图像存储器28(功能框132)。然而,在把修改图像存储到工作图像存储器28之前,首先将工作图像存储器28中先前存储的图像通过图像处理器32传送到比较图像存储器30(功能框134)。一旦传送完成,把修改的图像存储在工作图像存储器28中(功能框138)。然后,图像处理器32确定修改图像与先前图像之间的差别,以形成差别图像(功能框138)。接下来,把差别图象送到图像分解单元35,在此将其存储在主存储器(ISU)36中(功能框140)。
图像存储到分解单元35的主存储器(ISU)36中之后,由图像处理器38把图像分解成离散信息块,再次存储在主存储器(ISU)36中(功能框142)。可利用例如子波技术或其它锥形图像分解方案来分解图像。这些方法是本领域技术人员熟知的,因此在此不做描述。简言之,原始图像分解成一个基本图像S0和一系列图像细节D1、D2、…、Dn。基本图像S0和图像细节D1、D2、…、Dn都存储在分解单元35的主存储器(ISU)36中。图像细节D1、D2、…、Dn可与基本图像S0重组,以提供细节图像。例如,与D1组合的S0将提供比基本图像高一个分辨率等级的细节图像。同样,与D1和D2组合的S0将提供比基本图像高两个分辨率等级的图像细节。按照这一概念,与D1、D9、…和Dn组合的S0将提供具有最高可提供分辨率等级的图像细节,对应于分解的最大原始等级。为了更详细地说明子波技术,见S.G.Mallat在IEEE Transactions on Pattern Analysis and Machine Intelligence的vol.11,no.7,pp674-693(1989年7月)发表的题为“多分辨率信号分解理论子波表现”,在此将其引入作为参考。
由来自图像接收单元60的图像数据请求开始实际的图像传输。当图像发送单元20接收到图像数据请求时(判断框144),图像发送单元20开始发送图像。通常,可经诸如快速关联控制信道(FACCH)或慢速关联控制信道(SACCH)之类的专用控制信道DCC发送图像数据请求和复位信号。应指出,由于不发出图像数据,可以把专用控制信道DCC用于信号传输。需要这样一个专用控制信道DCC的附加因素是在图象序列传输期间的进行过程中是否还有通话。
当图像发送单元20接收到图像数据请求时(判断框144),路由选择开关42设定到主存储器(ISU)36(功能框146)。正如功能框148概括指示的,处理图像数据请求并准备把请求的数据传输到图像显示单元60。当接收到第一图像数据请求时,主存储器(ISU)36通常转送包含基本图像的信息块。在图像数据请求之后,主存储器(ISU)36响应每个图像数据请求来准备包含下一个图像细节等级的信息块。如果接收到对多个信息块的请求,主存储器(ISU)36或是将多个细节组合成单个信息块,或是以与基本图像上提高的细节等级对应的顺续串组合请求的块数(功能框148)。如功能块150所指示的,每当接收到对图像数据的请求时,计数器模块40增加计数,以确保信息块的数量不超过可为该图像提供的最大细节等级。实际上,图像发送单元20也可以在未首先从图像接收单元60接收图像数据请求的情况下发送附加图像细节。这是通过向图像发送单元20引入分开的分辨率控制装置实现的。这种情况下,图像发送单元20的用户可以响应来自图像接收单元60的用户的口头请求发送附加图像细节。然后,图像数据中的控制码向图像接收单元60通知输入数据的特性。
如果是保密数据,则在传输前进行图像加密。在图像数据传输前,图像发送单元20确定其是否是保密数据(功能框152)。如果是保密数据,将路由选择开关46设定到加密装置48并对数据加密(功能框154,156)。保密图像可包括例如,签字、专有计划、或发送者不想让直接通话外的其它方截获或使用的敏感数据。如果图像不保密,设定路由选择开关46旁路加密装置48(缺省模式)。无论那种方法,将图像数据送到发射机模块52,以传输到图像接收单元60(功能框158)。
将图像按离散信息块逐次发送到图像接收单元60。当从图像接收单元60接收到图像数据请求时,图像发送单元20通过发送图像数据的请求等级来进行响应。通常,响应初始图像数据请求仅发送基本图像。该图像通常是比原始图像小的数量级。然而,初始图像也可由基本图像和一个或多个图像细节构成。这种情况下,发送前在图像发送单元20中组合基本图像和细节图像。
如果需要更多细节,接收方可发出针对更多细节的附加图像数据请求(实时的)。对于每个附加图像数据请求,图像发送单元20通过发出包含下一个等级的图像细节的信息块来进行响应。在每次发送时更新计数器模块40,以保持对发送的信息块数量的计数(功能框150)。在图像接收单元60,该图像细节与接收的基本图像和任何先前的图像细节重组,以改善图像分辨率。如果图像发送单元20接收多图像细节的请求,在与先前的图像重组前,将包含下一级图像细节的信息块的对应数量依次发送到图像接收单元60,以进一步提供分辨率(功能框148)。
继续传输图像直到发出最后的信息块或直到从图像接收单元60接收到复位信号。图像发送单元20在功能框160确定是否已接收复位信号。如果未从图像接收单元60接收复位信号或未终止呼叫,主存储器(ISU)36将继续处理来自图像接收单元60的图像数据请求,直到达到最大等级的分辨率。然而,如果接收到复位信号,如功能框40所示,将路由选择开关42设定到图像输入装置22/计数器模块40。结果是,通知图像输入装置22图像接收单元60准备接收下一个图像(功能框166),并复位计数器模块40(功能框168)。复位信号的接收也可以是向图像发送单元20表明图像接收单元60的用户可接受先前图像分辨率的标志。如果发出另一个图像(判断框170),则以功能框122的图像输入重新开始。
如果不发送其它图像,或是终止呼叫并结束通信,或是该系统等待观察用户是否决定发出另一幅图像(判断框172)。应指出,如果在判断框160未接收到复位信号,但呼叫终止(判断框162),则在呼叫结束前复位计数器模块40。
现在参考图5,更详细地分析图像接收单元60的操作。如前面部分所描述的,图像发送处理以从图像接收单元60向图像发送单元20传输图像数据请求开始(判断框182)。这是通过启动分辨率等级控制装置102实现的,分辨率等级控制装置102可以包括例如由接收方按下的按钮。第一次按下按钮102被称为初始图像数据请求。当接收单元60发出初始图像数据请求时(判断块184),设定重组单元75中的路由选择开关76,将输入数据送到主存储器(IDU)78(功能框186)。实质上,图像接收单元60请求最小分辨率的图像或基本图像。
当通过再次按下按钮102请求附加图像细节时(判断框184),在发送后续图像数据请求前通常将路由选择开关76设定到辅助存储器(功能框192)。这样可通知重组单元75将输入图像数据加到已接收的现有图像。更具体地说,为了附加图像细节而启动按钮102实际上导致三种情况启动定时器104,由计数器模块106登记与按钮102的启动数量对应的增量(功能框194),并将路由选择开关76设定到向辅助存储器80以路由选择输入的附加细节(功能框192)。超出规定时间后,定时器104命令计数器模块106向图像发送单元20发出与计数器模块106登记的增量对应的图像数据请求。例如,如果按动按钮102两次,经专用控制信道DCC发出两个信息块的请求,同样,如果接收方已启动按钮102三次,将请求图像发送单元20发送三个包含附加图像细节的信息块。在任何一种情况下,增加计数器模块106,以持续对请求的信息块数量的计数(功能框188,194)。
然后,在通信单元65的接收机模块68接收请求的图像数据(功能框190,196)。如在前面部分中描述的,该数据包含编码的控制信息,以便在图像接收单元60中操纵特定处理。例如,图像数据包含指示该图像是原始图像还是差别图像的代码。这些代码与图像数据一起传送并分别分别其在重组单元75和解密单元70的路由。
如果在图像输入装置22按照发送方指令的结果对该图像加密,则在图像数据包括的代码中作出这样的指示。如果对数据加密(初始数据请求的判断框198和附加图像细节的判断框206),将路由选择开关72设定到解密装置74,以便对图像解密(功能框200,208)。解密单元具有复原图像发送单元20的加密算法并使数据返回其原始未加密状态的能力(功能框202,210)。如果图像数据未加密,设定路由选择开关72以允许图像数据旁路解密装置74。无论那种方式,将图像数据送向重组单元75。
重组单元75重组传输前已分解的图像。操作中,将初始或基本图像送到主存储器(IDU)78并存储在其中(功能框204)以作为将要加入附加细节的图像。将请求并接收的任何附加图像细节送到辅助存储器80并存储在其中(功能框212)。接收图像细节时,由图像处理器82把主存储器(IDU)78和辅助存储器80二者中的内容组合成单个重新构成的图像(功能框214)。重新构成的图像(在此称之为细节图像)至少包括基本图像,但可包括与所有可提供的图像细节(全分辨率图像)重组的基本图像。因此,一旦重新构成,在把细节图像送到叠加组合单元85前将其存储在主存储器(IDU)78中(功能框216)。
如前所述,要叠加在先前发送的图像上的差别图像的传输形成了所希望的修改图像,而不必向接收方发送整个修改图像。因此,根据发送方规定的图像特性,设定路由选择开关86把图像从重组单元75送到完整图像存储器88或部分图像存储器90(判断框218)。一般来说,原始图像存储在完整图像存储器88中(功能框220,222),而差别图像存储在部分图像存储器90中(功能框224,226)。如果差别图像存储在部分图像存储器90中,图像处理器92则将完整图像存储器88中的图像与部分图象存储器90中的图像组合,以改正修改的图像(功能框228)。把修改的图像(也称为合成图像)存储在完整图像存储器88中(功能框230)。在完整图像存储器88中已存储原始图像或修改图像以后,将图像送到显示器95以便由接收方观看(功能框232)。
应指出的重要一点是通过分辨率控制在每个累接中将原始图像以其最终接受的分辨率与差别图像组合。因此,根据该方法,显示器95上显示的最终修改图像可包括一个基本图像和多个全部为不同分辨率的差别图像。
修改图像后,图像接收单元60将保持在静态状态,并等待用户或是请求附加细节(判断框182)、复位(判断框234),或是终止呼叫(判断框236)。如果用户在已获得可接受分辨率的图像后选择复位,图像接收单元60复位计数器模块106并向图像发送单元20发出复位信号(功能框238,240)。应指出,也可通过使按钮102启动大于可同时请求的最大细节数量的次数来实现复位。另外,如前所述,复位信号的传输也是向图像发送单元20指示图像接收单元60的用户可接受先前图像的分辨率的标志。处理由此回到判断框182以等待图像接收单元60的用户的决定。如果要接收另一幅图像,该处理通过启动按钮102发出图像数据请求重新开始。
如果呼叫终止(判断框236),复位计数器模块106(功能框242),并在呼叫结束前将最终复位信号发送到图像发送单元20(功能框244)。
本发明的叠加图像传输系统可以单独或与如上所述的多分辨率传输系统结合使用。换句话说,该叠加图像系统可独立于多分辨率图像系统工作。因此,叠加图像系统以其基本形式和借助前面描述的装置,通过图像发送单元20的图像输入装置22接受原始图像。然后,把原始图像从图像发送单元发送到图像接收单元60,在此将整个原始图像显示在显示器95上。通过旁路复位装置108,图像接收单元60向图像发送单元20发出其准备接收差别图像的信号。当修改图像输入到图像输入单元22时,图像发送单元20确定修改图像和原始图像之间的差别并形成差别图像。然后,将差别图像发送到图像接收单元60,在此与先前发送的原始图像重新组合。一旦重新组合差别图像和原始图像,在显示器95上显示修改的图像。
该处理的一个实例是发送者通过图像输入单元22向系统中输入一个未签名的手写信函来发送到接收方。发送者正在搜索与信函内容有关的接收方的批准。这样,未签名的手写信函是该过程中的原始图像,将其存储在工作图像存储器28中。发送者从接收方接收对信函的口头批准。然后,发送者对手写信函签字并通过图像输入单元22再次将其输入。原始图像(未签字信函)首先传送到比较图像存储器30,然后将修改图像(签字信函)存储在工作图像存储器28中。然后,图像处理器32确定原始图像和修改图像之间的差别。在该实例中,差别在于加入了发送者的签字。因此,由图像处理器32形成的差别图像仅包含发送者的签名。由于信函本身已发送到接收方,不需要再次发送修改图像的组成部分。因此,该处理的目的是通过仅发送签名并且然后将其与在图像接收单元60已接收的信函重组以改正修改图像来节省图像传输时间。
图6是说明图像发送单元20和图像接收单元60组合成单一的组合图像发送/接收单元的功能方框图,由标号25概括表示,组合图像发送/接收单元能够发送和接收多分辨率叠加图像数据。同类装置也是如前所述通过通信媒体110链接。图7更详细地示出组合发送/接收单元245。所有部件与针对前面图1至5中描述的图像发送单元20和图像接收单元60逐个描述的那些部件相同。唯一同步的部件是用于组合图像发送/接收单元245的双重用途的通信单元,组合图像发送/接收单元245包括单独的发送模块252,单独的接收模块254,和为引导在接收模块252收集的图像数据而增加的路由选择开关256。
图8更详细地说明了图6和7的组合图像发送/接收单元245的操作。在前面的图4和5中已描述了单独的发送和接收图像的处理。在此不重复这些处理的操作。组合图象发送单元20和图像接收单元60导致了两个单元之间的某些相互作用,这些相互作用对于两个单独单元来说不需要的。在此仅进一步详细讨论这些特性。
正如前面描述的,如功能框260所示,通过建立将要发送或接收的任何图像的最小等级的分辨率来开始两个同类装置之间的呼叫。然后,对于组合图像发送/接收单元245,必须决定该单元是发送还是接收图像(判断框262,264)。如果组合图象发送/接收单元245要发送图像(判断框262),把在图像输入装置22输入的图像存储在工作图像存储器28和完整图像存储器88中(判断框272和功能框276)。如果输入图像是修改图像(判断框272),首先将工作图像存储器28中先前的图像通过图象处理器32传送到比较图像存储器30。然后,把修改图像存储在工作图像存储器28和完整图像存储器88中(功能框284),并得到差别图像(功能框286)。由用户在图象输入装置22定义的参数也是必需的,以便通知路由选择开关(S4)256将现在通过接收模块254新输入的数据指定给组合图像发送/接收单元245的发送部分。在其它方面,分解和加密功能与前面描述的相同,如果未从接收方接收到复位信号或呼叫未终止,则继续处理来自接收方的图像数据请求,直到达到最大等级的分辨率(在判断框274开始)。接收到复位信号之后,给用户一个发送另一个图像(判断框262)、从其它方接收图像(判断框264)、或终止呼叫(判断框266)的选择。
如果要发送另一个图像,该处理以功能框272的图像输入重新开始。如果不发送其它图像,或是终止呼叫(功能框266),或是系统等待观察用户是否决定发送另一个图像或接收图像。应指出,如果在判断框310中未接收复位信号,也可终止呼叫(判断框312)。在任何一种情况下,在通信结束前复位计数器模块40(功能框268和320)。
如果组合图像发送/接收单元245的用户打算接收图像数据(判断框264),通过按下按钮102向发送方发出图像数据请求(判断框322)。该动作还指示路由选择开关(S4)256把图像数据路由选择到组合图像发送/接收单元245的接收机部分(功能框324)。接收机部分以与图5描述的相同方式工作。当图像最终显示在显示器95上时,对于可做出并存储在工作图像存储器28中的任何修改,还将其送回到图像输入装置22,以使其被识别为“原始”图像。如果在接收到初始基本图像后对分辨率不满意,接收方可象以前一样按下按钮102来提高分辨率。这对应于如判断框322中所示的对附加数据的请求。
按照上一段的说明继续增加调谐图像分辨率的处理,直到接收方满意或已达到最大清晰度数值。如判断框380和382所示,如果用户未发出复位信号或未终止呼叫,接收部分将仅显示最后的图像并继续等待用户或是请求附加细节(判断框322)、复位、或终止呼叫。如果用户选择发出复位信号(判断框380),在发出复位信号(功能框386)前复位计数器模块106。应指出,也可通过使按钮102启动大于可同时请求的最大清晰度数值的次数来实现复位。无论那种方式,复位信号是通知发送方接收机部分准备接收下一个图像并复位发送装置的计数器模块40。如前所述,复位信号的传输也是表明接收方可接受先前图像的分辨率的标志。处理由此回到判断框262和264以等待组合图像发送/接收单元245的用户的决定。如果要接收另一幅图像,该处理通过启动按钮102发出图像数据请求重新开始。如果不请求其它图像并且不重新启动复位按钮,则终止呼叫(判断框382)。这种情况下,复位计数器模块106(功能框388),并在呼叫结束前将最终复位信号发送到其它通信方。
所描述的用于发送叠加图像的多分辨率图像数据的方法说明了提高的效率等级,该方法可通过使通信的多方确定传送叠加图像时所需的最佳分辨率等级来实现。该方法的交互性还允许多方优化以多图像序列发送的每个图像的分辨率。因此,该方法将产生更快的图像传输,特别是如果用户的要求不需要最高等级的分辨率时更是如此。另外,单个图像可包括各自为不同分辨率的不同部分。因此,当应用射频通信时,该方法通过降低存储器需求、带宽需求、功耗、和广播时间起到提高图像通信效率的作用。
当然,在不脱离本发明精神和本质特征的情况下也可用在此描述的方式之外的具体方式实现本发明。因此,无论从那方面来看,应认为这些实施例是对本发明的说明而不是对其限制,包括在所附权利要求的含义和等同范围内的所有改变包含在本发明中。
权利要求
1.一种经射频通信系统中的无线装置发送叠加图像数据的方法,包括步骤a)在一个图像发送单元中存储原始图像;b)从该图像发送单元向一个图像接收单元发送原始图像;c)在图像接收单元中存储原始图像;d)在图像发送单元中修改原始图像以形成一个修改图像;e)在图像发送单元中存储修改图像;f)把修改图像与原始图像比较,并提取差别以形成一个差别图像;g)把差别图像发送到图像接收单元;h)把差别图像加到原始图像,以便在图像接收单元重新生成修改图像;和i)在图像接收单元中存储修改图像。
2.根据权利要求1所述的方法,其中原始图像和后面的修改图像存储在图像发送单元中的工作图像存储器中。
3.根据权利要求2所述的方法,进一步包括当后面的修改图像存储在工作图像存储器中时把工作图像存储器中最后的图像传送到图像发送单元中的比较图像存储器的步骤。
4.根据权利要求3所述的方法,其中图像发送单元中的图像处理器把工作图像存储器中的图像与比较图像存储器中的图像比较,并确定两个图像之间的差别以形成差别图像。
5.根据权利要求1所述的方法,其中原始图像和后面的修改图像存储在图像接收单元中的一个完整图像存储器中。
6.根据权利要求5所述的方法,其中差别图像存储在图像接收单元中的一个部分图像存储器中。
7.根据权利要求6所述的方法,其中图像接收单元中的图像处理器将完整图像存储器中的图像与部分图像存储器中的图像重新组合以重新生成修改图像。
8.根据权利要求7所述的方法,其中修改图像存储在图像接收单元的完整图像存储器中。
9.根据权利要求8所述的方法,其中在图像接收单元显示完整图像存储器中的图像。
10.根据权利要求1所述的方法,其中发送原始图像的步骤包括把原始图像分解成一个基本图像和一个或多个图像细节;在图像发送单元中存储分解的原始图像;从一个图像发送单元向一个图像接收单元发送基本图像;从该图像接收单元接收一个或多个附加数据请求;和响应该附加图像数据请求从图像发送单元向图像接收单元发送附加图像细节。
11.根据权利要求10所述的方法,其中发送附加图像数据请求的步骤包括对多重图像细节发送多重图像数据。
12.根据权利要求11所述的方法,其中发送附加图像细节的步骤包括响应多重图像数据请求发送多重图像细节。
13.根据权利要求12所述的方法,其中发送多重图像细节的步骤包括在向图像接收单元发送之前组合多重图像细节。
14.根据权利要求12所述的方法,其中发送多重图像细节的步骤包括以一串离散信息块发送图像细节。
15.根据权利要求10所述的方法,包括在图像发送单元存储发送到图像接收单元的图像细节总数的数量的步骤。
16.根据权利要求15所述的方法,其中发送附加图像细节的步骤确定先前发送到图像接收单元的图像细节的总数,发送下一个图像细节,和增加总数。
17.一种在图像发送单元和图像接收单元之间传送叠加图像的方法,包括步骤a)把原始图像分解成包括一个基本图像和一个或多个图像细节的离散信息块;b)在图像发送单元中存储信息块;c)从一个图像接收单元向图像发送单元发出第一个图像数据请求;d)响应第一图像数据请求,把包含基本图像的信息块从图像发送单元发送到图像接收单元;e)在图像接收单元显示基本图像;f)从图像接收单元向图像发送单元发送一个或多个附加图像数据请求;g)响应附加图像数据请求,把包含图像细节的附加信息块从图像发送单元发送到图像接收单元;h)在图像接收单元把图像细节与由图像接收单元接收的基本图像和任何先前的图像细节组合,以生成比先前图像更高分辨率的新细节图像;i)在图像接收单元显示新的细节图像;j)在图像发送单元修改原始图像以形成修改图像;k)把修改图像与原始图像比较,并提取图像之间的差别以形成差别图像;l)从图像发送单元向图像接收单元发送差别图像;m)在图像接收单元将原始图像与差别图像重新组合,以改良修改图像;和n)在图像接收单元显示修改图像。
18.根据权利要求17所述的方法,其中原始图像和后面的修改图像存储在图像发送单元中的工作图像存储器中。
19.根据权利要求18所述的方法,进一步包括当后面的修改图像存储在工作图像存储器中时把工作图像存储器中最后的图像传送到图像发送单元中的比较图像存储器的步骤。
20.根据权利要求19所述的方法,其中图像发送单元中的图像处理器把工作图像存储器中的图像与比较图像存储器中的图像比较,并确定两个图像之间的差别以形成差别图像。
21.根据权利要求17所述的方法,其中原始图像存储在图像接收单元的一个完整图像存储器中。
22.根据权利要求17所述的方法,其中后面的差别图像存储在图像接收单元的一个部分图像存储器中。
23.根据权利要求22所述的方法,其中图像接收单元中的图像处理器把部分图像存储器中的差别图像与完整图像存储器中的图像的先前累接组合,以生成新的、修改图像,并把新的、修改图像存储在所述完整图像存储器中。
24.根据权利要求23所述的方法,其中在图像接收单元显示修改图像。
25.根据权利要求17所述的方法,其中发送附加图像数据请求的步骤包括为多重图像细节发出多重图像数据。
26.根据权利要求25所述的方法,其中发送附加图像细节的步骤包括响应多重图像数据请求发送多重图像细节。
27.根据权利要求26所述的方法,其中发送多重图像细节的步骤包括在向图像接收单元发送之前组合多重图像细节。
28.根据权利要求27所述的方法,其中发送多重图像细节的步骤包括以一串离散信息块发送图像细节。
29.根据权利要求17所述的方法,包括在图像发送单元存储发送到图像接收单元的图像细节总数的数量的步骤。
30.根据权利要求29所述的方法,其中发送附加图像细节的步骤确定先前发送到图像接收单元的图像细节的总数,发送下一个图像细节,和增加总数。
31.一种叠加图像数据传输系统,包括a)一个具有一个存储器的图像发送单元,用于存储原始图像和该原始图像的后续修改;b)一个在图像发送单元中的图像处理单元,用于把原始图像与修改图像比较以生成差别图像;c)一个包括图像显示器的图像接收单元;d)一个将图像发送单元与图像接收单元链接的通信装置,用于把原始图像和差别图像发送到图像接收单元;和e)在图像接收单元中的图像处理装置,用于将差别图像与原始图像组合以改良修改图像。
32.根据权利要求31所述的叠加图像数据传输系统,进一步包括一个在图像发送单元中的图像分解单元,用于在图像发送到图像接收单元前将其分解。
33.根据权利要求32所述的叠加图像数据传输系统,其中图像接收单元包括用于把发送前分解的图像重新组合的装置。
34.一种叠加图像数据的多分辨率传输系统,包括a)一个具有存储器的图像发送单元,用于存储原始图像和后续的修改图像;b)一个在图像发送单元中的图像比较装置,用于确定原始图像和后续修改图像之间的差别,以生成差别图像;c)一个具有存储器的图像发送单元,用于以信息块存储分解图像;d)一个图像分解装置,用于把图像分解成一个基本图像和一个或多个图像细节,该图像细节随后可与基本图像组合,以生成分辨率越来越高的细节图像;e)一个包括图像显示器的图像接收单元;f)一个将图像发送单元与图像接收单元链接的通信装置;g)请求装置,用于从图像接收单元向图像发送单元发出图像数据请求,图像发送单元响应图像数据请求,以基本图像开始以离散单元向图像接收单元发送图像数据,并通过图像细节单元逐步进展,直到达到最后的图像细节;h)一个在图像接收单元中的图像处理装置,用于把基本图像与图像细节组合,以便通过增加每个图像细节生成分辨率越来越高的细节图像;i)一个在图像接收单元中的复位装置,用于发送一个图像传输序列并通知图像发送单元进入接收另一个图像的准备状态;和j)一个在图像接收单元中的图像处理装置,用于将差别图像与原始图像组合以生成修改图像。
全文摘要
本发明涉及经射频通信系统中的无线设备传送叠加图像的图像数据的方法。原始图像经通信信道发送到接收单元。然后修改原始图像以形成修改图像。将修改图像与原始图像比较以确定修改图像和原始图像之间的差别。这些差别包括此后发送到接收方的差别图像。在接收端,将差别图像与先前发送的原始图像重新组合以改正修改图像。在一个优选实施例中,最好是分解原始图像和差别图像,并响应来自接收单元的图像数据请求将其逐次发送到接收单元。
文档编号H04N1/417GK1225218SQ97196388
公开日1999年8月4日 申请日期1997年7月9日 优先权日1997年7月9日
发明者阿默·哈桑, 戴维·马修斯 申请人:爱立信公司