用于限制可视信息的存储或发送的方法和设备的制作方法

专利名称：用于限制可视信息的存储或发送的方法和设备的制作方法
技术领域：
本发明总的来说涉及无线视频传输装置和方法。更具体地，本发明涉及为可以被这种无线视频传输装置捕获的机密信息提供安全性。
背景技术：
蜂窝电话、PDA(个人数字助理)和其他便携电子装置在最近的几年已经成为日常生活装置。随着它们的演化，在装置性能扩展的同时其价格也继续下跌。当前，可以在许多场合使用这种装置与互联网无线连接、玩游戏以及执行电子邮件和其他文本消息传送功能。不难预料到，随着时间推移，这种装置价格继续下跌，性能将继续扩展，从而使得利用这种装置成为人们日常生活的一个常设部分。
无线双向通信产品的出现使得用户具有便携的实况视频和静止图片传输能力。例如，发展了具有集成摄像机和显示器的蜂窝电话和PDA(个人数字助理)以提供视频电话呼叫和图像捕获。类似地，数字摄像机可能配备有无线收发信机，从而能使它们发送图像给其他装置用于打印、存储和共享。这种能力在未来可能变得更普遍，并且可以合理预料到，所捕获的图像分辨率随着时间将得到增强。还可以预料到，由于便携装置中存储器的限制，静止图像将被捕获然后通过无线网络和互联网进行传送以便远程存储。这可能导致后面所述的问题。


在所附的权利要求中具体阐述了本发明的特点，相信这些特点是新颖的。但是本发明本身，关于其结构和操作方法，及其目的和优点通过参考下面结合附图对本发明的详细描述可以充分理解，其中该描述说明了本发明的特定示范性实施例。
图1表示被捕获的抽样图像，其包含机密信息。
图2表示一个保密设备框图，其使用根据本发明的特定实施例限制可视图像的存储或传输的系统。
图3表示根据本发明的特定实施例具有模糊背景的图像。
图4表示根据本发明的特定实施例具有替换背景的图像。
图5表示根据本发明的特定实施例具有已删除背景的放大图像。
图6是根据本发明的特定实施例的处理流程图；图7是根据本发明的特定实施例用于使图像模糊的几种方法的流程图。
图8是根据本发明的特定实施例的无线发射装置的框图。
具体实施例方式
尽管本发明容许多种不同形式的实施例，但是在附图中表示的以及在此详细描述的是特定实施例，应该理解，本公开应该认为是本发明的原理示例而不意味着将本发明限制为这里所示出和描述的特定实施例。在下面的描述中，同样的标记用于说明在附图的几个视图中相同、类似或相应的元件。
在此使用的术语“一个”被定义为一个或多于一个。在此使用的术语“多个”定义为两个或多于两个。在此使用的术语“另一个”定义为至少一个第二个或更多。在此使用的术语“包括”和/或“具有”被定义为包含(即，开放性语言)。在此使用的术语“耦合”定义为连接，但是不需要是直接地也不需要是机械地。在此使用的术语“程序”被定义为用于在计算机系统上执行的指令序列。程序或计算机程序可以包括子程序、功能、过程、对象方法、对象实现、可执行应用、java小程序(applet)、小服务程序、源代码、目标代码、共享库/动态加载库和/或被设计用于在计算机系统上执行的其他指令序列。
蜂窝电话或其他无线通信装置中的视频/图像记录能力的一个问题在于，它开启了使用这种装置从一些位置传输活动图像的可能性，在这些位置这种图像可能包含受保护信息。实例包括当前不允许摄像机的工作环境、安全机构和军事设施以及赛事图像广播由于授权给广播公司而受到保护的体育赛事。例如考虑，在图1中示出的图像100。该图像表示了背对着背景120的人脸110，该背景包括一个交易所揭示牌(一个白板)。如果在一个诸如公司研究设施这样的保密设施内采用该图像，那么该交易所揭示牌可能包含对于拥有该研究设施的公司来说机密的信息。因此，该信息可能由于图像100发送到该设施之外而被意外或有意泄漏。
由于具有视频能力的电话和其他通信装置对于消费者来说成为了普通的腰系或手提(belt worn or purse carried)装置，因此不可能总是要求用户在这些保密场合拿掉这些产品，因为这些用户依赖于它们通信。这就引入了问题，也就是在允许大量用户在这些地方使用他们装置的同时如何保护活动图像的机密、专有、敏感或受保护内容。
本发明，在特定示范性实施例中，通过例如经无线连接在特定用户位置控制用户装置的图像编码来解决该问题。这在图2中进行了说明，在图2中，保密设施200包括如204、206、208和210这样的一个或多个发射机，它们用来控制无线装置(例如，本例中的蜂窝电话)以修改它的图像传输能力。无论何时如蜂窝电话216这样的装置进入指定位置，在该指定位置受到来自无线发射机204、206、208和210的发射包络的保护(如分别代表发射机204、206、208和210发射范围的虚线环224、226、228和230所示)，那么一个无线连接被建立并且用来控制装置216的图像编码，以至于该图像的特定区域(或整个图像)以降低的质量(降低的信噪比、每个像素减少的比特、增加的噪声或失真等等)编码、或被省略、或用替换信息替换。简而言之，该图像的至少一部分被模糊以防止机密或专有信息的传输。该方法在保护一部分图像内容的同时允许用户有限使用装置216的视频/图像通信功能。
虽然该例使用来自发射机204、206、208和210的无线连接，但是在特定位置完成这种控制可以通过许多技术的任一种来实现，这些技术包括(但不限于)把专用无线控制信号定域发送给用户装置(例如，如上所述的信标或信标网络)；用户装置到无线网络节点(小区)或无线LAN(局域网)的连接，其中该连接具有控制连接到那个网络节点的所有用户的图像编码的专用信令；基于当前用户位置信息(全球定位系统等)、用户节点(小区)连接的位置、用户ID、用户简档(profile)或其组合对各个用户装置进行无线网络控制。
返回对用户装置的图像编码控制可能与失去具有控制信息的无线信号、接收具有返回对用户装置的图像编码控制的控制信息的无线信号、改变到新的网络节点(小区)或检测到位置改变有关，并且可能包含定时器以便在短时间失去控制信号(例如，装置关/开)时保持控制。
可以按与特定实施例一致的方式来使用几种现有技术实现本发明，包括(但不限于)允许灵活控制发送图像的哪一部分以及相应的图像质量的数字图像编码方法(例如，具有失真率控制和感兴趣区编码的JPEG(联合图像专家组)，基于对象编码的MPEG(运动图像专家组))、现有的用于人脸检测的图像处理算法、具有图像/视频通信(图像编码)能力的用户装置以及经无线信令控制用户图像/视频的图像编码的能力。
用于实现图像编码控制的几种可能技术包括以下几种，并且可以应用于“静止”或“运动”图像编码，但是本领域技术人员应该认识到也可以使用其他技术。
1)降低整个图像的图像质量(低SNR(信噪比)、每个像素的比特少等)、省略整个图像或替换为替代图像。
2)使用人脸检测算法，以便没有特定大小的脸部会导致图像的图像质量降低(低SNR、每个像素的比特少等)、省略该图像信号或替换为替代图像。
3)使用人脸检测算法和感兴趣区(ROI)图像编码，以便在围绕特定大小的脸部的图像区域用高分辨率(高PSNR、每个像素的比特多等)编码并且图像的剩余区域用低分辨率(低PSNR、每个像素的比特少等)编码。这提供了模糊或失真的背景，以致只有用户脸部清楚，从而防止发送背景信息。在不脱离本发明的情况下也可以使用其他技术来使背景模糊或失真。
ROI图像编码是建议的JPEG2000标准的一部分，通过把图像分为“拼接块(tile)”来实现，其中对每个拼接块分别进行图像编码。脸部检测算法可以识别具有脸的部分的拼接块，从而用较高分辨率来编码这些拼接块。
4)在1-3之一中，可以发送替换图像来代替被发射图像中的受保护区域。替换图像例如可以是空白图像、指示图像受限原因的指定消息或甚至是广告。
图3、4和5说明当应用于图1的原始图像100时使用上述的ROI编码和图像替换的几种可能方式。作为例子，如图3所示的图像可以表示图像300，其具有用高分辨率编码的脸部图像310并且用低得多的分辨率编码的背景320。例如，脸部310可以用每个像素8比特编码，而图像320的其他部分省略了一些子带而用每个像素2比特编码。为了执行该处理，该图像首先通过一个脸部检测算法(当前已知许多这种算法)，并且在脸部图像310应用(或保持)高分辨率编码而图像的其他部分320用低得多的分辨率重新编码以便使得除了脸部之外的所有内容模糊。
图4说明一个已处理的图像，其中使用产生脸部图像410的脸部检测算法检测脸部。背景图像完全被去掉并且用广告420代替背景。可以替换成任何合适的背景图像，包括(但不限于)消息、广告、单色或多色屏或任何其他合适的背景。
图5利用一种检测脸部图像的检测算法，然后把该脸部图像510放大到适于在一个方向上大约填满无线装置的屏幕520的尺寸。在这种情况中，删除所有背景信息。
在所示的实例中，包含该脸部图像的矩形图块与被认为是背景的其他信息分开。但是，不应该认为这是限制，因为存在能够检测脸部轮廓本身的算法并且可以使用这样的算法。此外，在根据本发明的实施例中，其他的形状也可以包括脸部图像。
如图6的处理600中所示可以概括说明上述的处理，处理600在604开始。在608，构成无线装置(例如，蜂窝电话216)一部分的摄像机捕获一个可视图像(静止或运动)。如果在612该装置从本地发射机(例如，发射机204、206、208或210)主动接收一个控制信号，那么处理该图像以便以特定方式使它模糊(例如，去掉或模糊背景、删除图像、替换图像等等)。然后在620存储和/或发送该模糊图像，在624处理返回。在没有有效控制信号的情况中，在620发送未经模糊的图像。
因此，根据本发明的特定实施例，在用户装置所执行的用于限制可能被存储或发送的可视信息的方法包括捕获可视图像；在该用户装置处检测控制信号；响应于该控制信号，模糊该可视图像的至少一部分以便产生模糊的可视图像。然后可以存储和/或发送该图像。
在图7的流程图616中描述了616中用于模糊可视图像的几种技术，流程在700开始。该流程图描述了具有选项1到4所示的几种选项的处理。这些选项可以在对视频施加约束的系统的控制下实现，用户或者可以简单地表示几种假设的选项，而只有一个(或几个)选项实际上可用。该流程图只是几种可用选项的说明并且与本发明的实施例相一致，不应该认为是限制。选项704例如可以包括选项1，其中整个可视图像在714被删除并且在724返回之前在718用一个替换可视图像代替。该替换可视图像可以是空白屏、彩屏、广告、消息或任何其他合适的图像。
在选项2中，图像首先在730通过脸部检测算法720。如果在734没有检测到脸部，控制转到718，在那里提供替换图像。如果在734检测到脸部，那么在724返回之前背景被分离并被模糊(例如，通过降低背景中信息块的分辨率)。
在选项3中，在750通过脸部检测算法处理该图像，并且如果在754没有检测到脸部，那么控制转到718，在718提供替换图像。如果在754检测到脸部，那么在758去掉该背景并且在724返回之前在762插入替换背景。替换背景可以是空白屏、彩屏、广告、消息或任何其他合适的图像。
在选项4中，在770通过脸部检测算法处理该图像，并且如果在774没有检测到脸部，那么控制进行到718，在那里提供替换图像。如果在774检测到脸部，那么在778去掉该背景并且单独保持脸部图像。在根据本发明的一个实施例中，在724返回该图像之前在782把脸部图像放大到大约完全填满该无线装置的屏幕。
无线控制可以经到无线网络的连接来实现。该无线网络例如可以包括大型蜂窝系统，在该系统中特定小区或微微小区(pico-cell)相应于图像受保护的区域。作为替换，用户能够使用多种无线网络(例如，GSM(全球移动通信系统)网络和Bluetooth微微网)，在这种情况下网络中的一个对任一网络上的所有传输进行图像编码控制。这些实例包括以下，但是应该理解，这些是说明性实例，不应该认为是限制。
实例1运动场所建立一个微微小区基站网络以支持几个无线服务提供商，例如那些提供GSM和CDMA(码分多址)服务的提供商。微微小区的范围很小(几百码)，以致在那个场所的用户仅仅是那些微微小区的用户，并且在那个场所中的用户受服务提供商迫使而不得不使用那些代替广域小区的基站。因此，服务提供商然后控制在那个场所的所有用户，以使用上面技术之一允许用户进行视频呼叫，其包括人脸清晰，而体育赛事的大场景不清晰。该服务特点对于用户装置和网络来说可以用软件花费很少就能实现，并且可以通过体育赛事赞助商来补贴以保护其广播权利。此外，可以从用在可视图像中被模糊和省略的区域中的广告销售中获得广告收入。
实例2在公司研究和开发中心，整个设施可能覆盖有短距离无线网络(例如，无线局域网)，该无线网络在建筑物内具有微微网基站。可以建立并协调这些微微网，以便在该建筑物中的用户总是位于微微网覆盖中，而在该设施外一定距离的用户在该无线局域网(WLAN)覆盖范围之外。
为了在建筑物中被允许，具有图像捕获能力的CDMA电话被要求在该无线LAN上操作。一旦进入该设施，该CDMA电话将自动向该无线LAN登记，该无线LAN然后发送信号给该装置以控制所有捕获图像的图像编码。对所有捕获的图像，不管这些图像是存储在该装置中还是用于在该WLAN和在CDMA网络上传输，都要控制图像编码。结果，在人脸(以及身体)后面的所有背景都被模糊，以防止设施、专有装置、会议通告等等的视频图像传输。
如装置800，在图8中概括描述了一个适于在此所述操作的示范性无线图像捕获和发射装置。装置800包括图像捕获转换器(transducer)元件804，例如基于CCD(电荷耦合装置)的视频或静止摄像机。图像捕获转换器元件804的输出传送给编码器808，其把来自该图像捕获转换器元件804的信号转换为数字形式供存储或传输使用。图像功能管理器812控制从编码器808到图像存储器(例如，闪存)816以及为了在天线824上广播从编码器808到第一无线收发信机820的图像数据流。在天线824和收发信机820接收的图像也受图像功能管理器812的管理并且传送到图像存储器816或解码器830(或两者)。解码器830把该数据图像形式解码为适于在装置800的图像显示器834上显示的信号。
第二无线收发信机和相关天线844用于接收控制图像编码的控制信息并且把这种信息传送到图像编码控制块850。图像编码控制块850基于从第二无线收发信机840接收的控制信息调整图像编码的分辨率和质量。在另一个实施例中，未提供该第二无线收发信机840与相关天线844，而从该第一无线收发信机接收该控制信息。本领域技术人员在考虑到本公开的情况下可以想到其他变形。
本领域技术人员应该认识到，在本发明的范围内可能有许多变形。例如，在上面的例子中，对图像捕获、存储和传输的控制基于用户在该控制源的发射机附近。但是，可以使用其他参数来确定用户发送可视信息的权利，这些参数例如是用户位置信息、用户到特定网络或网络节点的连接性、指定权利、用户ID、用户简档等或这些参数的一些组合。在一些变化中，该方法能够从信息受保护的位置捕获和传输视频/图像，在这些位置该无线连接控制所记录的视频/图像的图像编码以适于该用户装置支持的所有无线协议和图像存储格式。在上面例子建议模糊图像的特定方法的地方，也可以使用其他方法，包括(但不限于)降低整个图像上的图像质量、省略图像或用替换图像代替该图像。在使用人脸检测算法的其他实施例中，没有指定大小的脸部可能导致整个图像的图像质量降低，或者图像被省略，或者图像被替换图像所代替。
在人脸检测算法和感兴趣区(ROI)图像编码一起使用的其他替换方式中，相应于脸部(以及可能的人体)的图像区域使用高图像质量进行发射，其余区域用低图像质量进行发射或被省略或用其他替换图像内容代替。在根据本发明的另一个方法中，网络服务提供商可以接收未修改的视频，然后重新处理该用户的现场视频信号以获得期望的图像内容保护。
虽然上面的实施例利用专用无线信号的接收，但是在其他实施例中，所有捕获图像的图像编码控制还可以通过用键盘输入到用户装置的手动代码输入来实现。在其他实施例中，对于在无线网络中的特定节点，为了使系统(1)最佳化带宽和降低用户成本(2)增加图像周围的广告以降低用户成本，可以允许该用户选择一个允许系统控制他的图像编码的选项。可以如该文件中所述实现这种图像编码。
本领域技术人员将认识到，已经根据示范性实施例描述了本发明，这些实施例基于程序处理器的使用来实现诸如编码器808、解码器830、图像功能管理器812和/或图像编码控制850那些的功能。但是，本发明应该不受这样的限制，因为本发明可以使用等效的硬件部件来实现，硬件部件例如是专用硬件和/或专用处理器，它们等效于所描述和阐述的本发明。类似地，可以使用通用计算机、基于微处理器的计算机、微控制器、光学计算机、模拟计算机、专用处理器和/或专用硬布线逻辑来构成本发明的替换等效实施例。
本领域技术人员应该意识到，在不脱离本发明的情况下，用来实现上述实施例的程序步骤和相关数据可以使用任何合适的电子存储介质来实现，存储介质例如是磁盘存储器、只读存储器(ROM)装置、随机访问存储器(RAM)装置、光学存储元件、磁存储器元件、磁光存储器元件、闪存、磁心存储器和/或其他等效的存储器技术。这些替换存储器装置应该认为是等效的。
如在此的实施例中所述，可以使用执行程序指令的程序处理器来实现本发明，这些程序指令在上面以流程图的形式已经被概括描述，其可以存储在任何合适的电子存储介质上(例如，磁存储器、光存储器、半导体存储器等)或通过任何合适的电子通信介质传输。但是，本领域技术人员应该认识到，在不脱离本发明的情况下，上述的处理可以以任意多种变化、许多合适的编程语言来实现。例如，通常可以改变所执行的特定操作的顺序、可以增加附加的操作或可以删除操作而不脱离本发明。在不脱离本发明的情况下，可以增加/或增强差错捕捉，并且可以在用户接口和信息表示中做出变化。这些变化是可以想到的并认为是等效的。
尽管结合具体实施例描述了本发明，但是显然，根据前面的描述，许多替换、修改、排列和变化对于本领域技术人员来说都是显然的。相应地，本发明包含落在所附的权利要求的范围内的所有这些替换、修改、排列和变形。
权利要求
1.一种在用户装置执行的用于限制能够被存储或使用发射机发送的可视信息的方法，其包括捕获可视图像；在所述用户装置检测控制信号；以及响应于所述控制信号，模糊所述可视图像的至少一部分以产生模糊的可视图像。
2.根据权利要求1的方法，进一步包括发送所述模糊的可视图像。
3.根据权利要求1的方法，其中，所述模糊包括降低所述可视图像的至少一部分的分辨率以产生所述模糊的可视图像。
4.根据权利要求1的方法，其中，所述模糊包括降低所述可视图像的背景部分的分辨率以产生所述模糊的可视图像。
5.根据权利要求1的方法，其中，所述模糊包括在所述该可视图像中检测脸部；以及降低除了所述脸部之外的所述可视图像的至少一部分的分辨率以产生所述模糊的可视图像。
6.根据权利要求1的方法，其中，所述模糊包括用替换图像代替所述可视图像的至少一部分以产生所述模糊的可视图像。
7.根据权利要求1的方法，其中，所述模糊包括在所述可视图像中检测脸部；以及模糊除了所述脸部之外的所述可视图像的至少一部分以产生所述模糊的可视图像。
8.根据权利要求1的方法，其中，所述模糊包括尝试在所述可视图像中检测脸部；并且如果没有检测到脸部，那么降低所述可视图像的分辨率以产生所述模糊的可视图像。
9.一种在具有发射机的装置上执行的用于限制能够被存储或使用发射机发送的可视信息的方法，其包括捕获可视图像；在所述发射机处检测控制信号；响应于所述控制信号，模糊所述可视图像的至少一部分以产生模糊的可视图像；以及发送所述模糊的可视图像。
10.一种用于捕获和存储或发送可视图像的设备，其包括图像捕获转换器，其捕获可视图像；编码器，其接收所述图像捕获转换器的输出；用于接收控制信号的装置，该控制信号确定如何编码已捕获的图像；以及图像编码控制器，其基于所述控制信号在所述编码器处控制可视图像的编码，以便在所述控制信号的控制下可选择地模糊所述图像的至少一部分。
全文摘要
一种在发射机(800)上执行的用于限制能够被存储或使用发射机发送的可视图像(608)的方法。无论何时在发射机(800)处检测(612)到控制信号，那么就模糊(616)该可视图像的至少一部分以产生模糊的可视图像。该模糊的图像然后被存储和/或发送(620)。可以通过任何数量的技术来模糊该图像，包括用替换图像(718)代替该图像、模糊、使该背景(738)的分辨率失真或降低、替换背景(762)或去掉该背景(778)。
文档编号G06K15/00GK1672164SQ03817912
公开日2005年9月21日 申请日期2003年6月25日 优先权日2002年6月26日
发明者罗伯特·马克·戈尔达伊, 保罗·爱德华·戈尔达伊, 埃里克·托马斯·伊顿, 萨尔瓦多·西贝卡斯 申请人:摩托罗拉公司