产生图像帧流的方法和系统与流程

1.本发明涉及视频编码，并且更具体地，涉及以带宽有效的方式产生视频流。


背景技术：

2.诸如监控相机的相机被用于室内和室外的用于监控多种环境的许多不同应用中。描绘所捕获的场景的图像可以由例如操作者或保安人员进行监控。在许多情况下，操作者可能对捕获的图像中的某些对象比其它对象更感兴趣。例如，监控相机的操作者可能对人类活动非常感兴趣，但可能对图像中其它移动的或变化(但不重要)的对象(诸如动物、过往交通工具或在风中移动的树木)不太感兴趣。
3.但是，传统编码器通常以相同的方式对视频流的整个图像帧进行编码，而不管操作者的兴趣如何。因此，图像帧中“较少兴趣”的部分通常显著增加带宽，尤其是当背景因移动对象而发生微小变化时。这也可能导致比仅保留图像或视频流中最“感兴趣”的信息所需的存储使用量更高的存储使用量。因此，寻找视频编码解决方案以进一步减少监控相机所使用的带宽以及减少对于长期存储的存储要求将是感兴趣的。


技术实现要素：

4.根据第一方面，本发明涉及一种在编码系统中用于产生图像帧流的方法。该方法包括：
5.·
将图像帧流中的图像帧分割成一个或多个背景区段和一个或多个实例区段；
6.·
创建包含一个或多个背景区段的背景图像帧；
7.·
将一个或多个实例区段中的至少一些实例区段分类为感兴趣的可移动对象和非感兴趣的可移动对象；
8.·
在背景更新时间段期间，当非感兴趣的可移动对象已经移动到显露(进一步的)背景区域时，更新背景图像帧，以将所显露的/进一步的背景区域包括在背景图像帧中；
9.·
创建包含感兴趣的可移动对象的前景图像帧；
10.·
对经更新的背景图像帧的像素块进行编码；
11.·
对前景图像帧的像素块进行编码；
12.·
产生具有第一帧率的经编码的前景图像帧流；以及
13.·
产生具有低于第一帧率的第二帧率的经编码的、经更新的背景图像帧流。
14.与使用传统编码时相比，该方法减少了流视频所需的流带宽，因为只有操作者感兴趣的信息以高图像帧率(例如，每秒30个图像帧)进行流式传输，而操作者很少或非感兴趣的信息以低得多的速率(诸如每分钟一个图像帧)进行流式传输。由于背景以低比特率进行流式传输，因此例如还可以捕获场景的缓慢整体变化，诸如由于从黑夜到白天的缓慢过渡而导致的光线变化，或者晴天变成多云，或者当晚上路灯亮起时。与具有完全固定的背景相比，这有助于操作者更好地了解整个场景，并确保光设置被更新为在两个流之间大致是相同的。进一步，通过减少操作者需要在头脑中进行处理的信息量(即，图像数据)，她可以
将注意力集中在监视场景的最重要方面，并更准确地检测任何潜在的危险或威胁。更进一步，降低比特率还可以为手头的特定用例提供最佳的视觉质量，因为节省的带宽可用于增强实例区段。背景区段可以是背景区域，并且实例区段可以是通过对象检测所检测到的对象。感兴趣的可移动对象可以是用户感兴趣的可移动对象，并且非感兴趣的可移动对象可以是用户非感兴趣的可移动对象。
15.根据一个实施例，图像帧的分割是使用全景分割完成的，其中，图像帧中的像素被分配给表示包括一组特定类型对象的区域的背景区段，或者被分配给表示单个对象的实例区段。全景分割是本领域普通技术人员熟知的技术，并且可以被描述为实例分割(即，识别和分割图像中的单个实例)和语义分割(即，根据像素所属的类(而不是特定实例)对图像中的像素进行分割)的组合。因此，全景分割特别适用于这种类型的应用，其中在编码和传输方面应将图像的一部分(例如，背景)与单个对象(例如，感兴趣的对象和/或非感兴趣的对象)区别对待。这促进了本发明与出于多种目的而可能已经使用了全景分割的现有系统的集成。
16.根据一个实施例，该方法进一步包括从对象类型列表接收用户选择，用户选择指示哪些类型的对象应当被视为感兴趣的可移动对象和非感兴趣的可移动对象。具有选择哪些对象是感兴趣的可移动对象和非感兴趣的可移动对象的能力为操作者提供了极大的多功能性，因为该确定可以基于一天中的时间或一周中的时间而改变。例如，在正常营业时间停下来查看店面的个人对于操作者来说可能不是非常感兴趣的，而在凌晨3点表现出相同行为的人可能是值得操作者更密切地关注的。因此，在这种情况下，可以选择人类作为感兴趣的可移动对象(即使操作者的兴趣可能会因一天中的时间不同而不同)。然而，无论一天中的什么时间，坐在同一店面外的狗都可能被视为非感兴趣的可移动对象。进一步，通过提供可能的对象类型的列表，可以向用户呈现有限且易于理解的对象选择。例如，即使可以识别船，但通常不会在店面发现船，并且因此，即使系统可能具有这样做的能力，但也不需要将船包括在操作者可以从中选择感兴趣的可移动对象的列表中。
17.根据一个实施例，感兴趣的可移动对象包括以下中的一项或多项：人类、车辆、武器、包和面罩。每个监视场景都是独一无二的，但该列表代表了在常见监视场景下的一些更常见的可移动对象。虽然这些对象中的一些对象本身可能无法移动，但当它们被人类操作时可能会移动。例如，自行车本身可能不是感兴趣的可移动对象，但被人员骑到受监视区域的自行车很可能被视为感兴趣的可移动对象，等等。
18.根据一个实施例，在背景更新时间段期间，非感兴趣的可移动对象的移动由运动和对象检测器跟踪，并且在背景更新时间段期满之前，背景图像帧被更新多次。可以使用本领域普通技术人员熟悉的一系列深度学习算法来完成运动和对象检测。这些技术的非详尽列表包括：基于区域的卷积网络(r-cnn)、基于区域的快速卷积网络(fast r-cnn)、基于区域的更快速卷积网络(faster r-cnn)、基于区域的全卷积网络(r-fcn)、你只看一次(you only look once，yolo)、单发监测器(ssd)、神经架构搜索网络(nasnet)和基于掩模区域的卷积网络(mask r-cnn)。可以在https://medium.com/zylapp/review-of-deep-learning-algorithms-for-object-detection-c1f3d437b852处找到这些中的每一个的描述，同时还可以参考进一步的详细资料。
19.例如，假设非感兴趣的移动对象是坐在墙前面的狗。当狗移动时，之前被狗挡住的
墙的部分会显露出来，并且需要填充以示出墙，而不是在将背景帧发送给操作者时，狗原来所在的地方出现一个“敞开的洞”。例如，如果背景更新周期为一分钟，则狗可能移动多次，并且与上个背景更新时间段期满时狗所在位置相比，它最终会出现在图像帧的完全不同的部分。这对于操作者来说可能看起来很尴尬，并且出于这个原因(除其它外)，在背景更新时间段期间多次更新背景帧是有利的。进一步，如果狗在更新时间期间移动到足以离开场景并显露了整个背景，则根本不需要渲染狗，而是可以更新整个背景。这可以在单个更新(或多个更新)中完成。然而，如果狗逐位移动或改变方向(例如，部分向右移动，并且然后部分向左移动)，则更新不能作为单个更新来完成，并且在背景更新时间段期间需要多次渐进式更新。
20.根据一个实施例，对前景图像帧进行编码包括：仅对用于与感兴趣的可移动对象相对应的像素的像素数据进行编码，以及将前景图像帧的剩余部分编码为黑色像素。仅以传统方式对用于感兴趣的可移动对象的像素数据进行编码并将图像帧的剩余部分编码为黑色像素会导致比特率显著降低，并且因此降低/减少了在传输经编码的前景图像帧时的带宽需求。应当注意，虽然这里提到了黑色像素(通常被编码为零)，但是对于任何一致的像素值都可以实现相同或非常相似的节省。由于重复相同的像素值(黑色或其它)并没有真正添加任何新信息，因此可以非常有效地将其压缩为紧凑的表示。
21.从概念上讲，通过考虑黑色方块的编码方式，可以更容易地理解通过使用这种技术所实现的比特率节省。通过为每个像素发送字节来对黑色方块中的每个像素进行编码，即使该字节始终具有相同的值(即零)也需要大量内存。然而，一种表示黑色方块的等效方式是发送其左上角的坐标，以及黑色方块的宽度和高度，即只有4个值。对于大的黑色方块，与为黑色方块中的每个像素发送一个零值相比，发送该表示所需的数据实际上是微不足道的。因此，使用该技术时所需的带宽与仅发送感兴趣的对象所需的带宽基本上相同。当然，不同的现实生活中的编码器使用不同的编码方案，并且存在许多特定于编码器的节省带宽的方法可以实现与该技术类似的结果。然而，一般原理保持不变，即，将非感兴趣的区域涂黑，或者使用其它一些节省带宽的方法对非感兴趣的区域进行编码，从而使带宽的使用与根本不发送图像的这些部分的情况基本上相同。
22.根据一个实施例，第一帧率是大约每秒三十个图像帧，并且第二帧率是大约每分钟一个图像帧。具有显著低于典型图像帧更新速率的背景图像帧更新速率显著减少了传输的数据量和所需的带宽。
23.根据一个实施例，方法进一步包括：将实例区段分类为非感兴趣的静止对象，以及更新背景图像以包括非感兴趣的静止对象。例如，树木、标记、闪烁的霓虹灯等可以被识别为实例区段，并且虽然对象的一部分可以移动，但通常不需要以快的帧速率更新这样的对象。相反，对象可以被归类为非感兴趣的静止对象并被包括在背景图像帧中，并且因此以较慢的帧速率更新，这再次有助于显著节省传输的数据。
24.根据一个实施例，方法进一步包括：在背景更新时间段结束时，验证对背景图像帧的更新的完整性；响应于确定背景图像帧更新不完整，确定哪个非感兴趣的可移动对象导致不完整；以及将导致不完整的非感兴趣的可移动对象包括在前景图像帧中。再次参考上面关于狗的示例，如果在背景更新时间段结束时狗尚没有充分移动到显露了狗后面的所有背景，则可以通过将狗包括在更快的前景图像流中而回退到用于该区域的传统编码。否则
将存在不包含更新信息的像素区域。这允许了背景更新按时完成。
25.根据一个实施例，验证完整性包括确定是否已经更新整个背景图像帧。这是确定完整性的标准的、直接的方法，因为其使用大多数系统中已有的信息。在一个实施方式中，这可以通过检查对于每个像素坐标、在背景更新间隔期间的任何时间(即，在任何图像中)是否已经在该坐标处看到背景像素来完成。当然，用于如何在编码器中实现这一点的确切机制将取决于手头的特定编码器，但对于不同类型的解码器，上述概念描述将保持不变。
26.根据一个实施例，当非感兴趣的可移动对象已经移动到显露背景区域时更新背景图像帧包括：将非感兴趣的可移动对象的移动与以下中的一项或多项进行比较：区域相关的阈值、距离相关的阈值和时间相关的阈值；以及当非感兴趣的可移动对象的移动超过至少一个阈值时，更新背景图像帧。例如，在背景更新时间段期间，在触发背景更新之前，可以为非感兴趣的可移动对象设置最小移动区域、最小移动距离和/或最小时间段。同样，以狗为例，如果狗仅移动几英寸或仅摇尾巴，则其可能是不足以触发背景图像帧更新的移动。然而，如果狗向左移动两英尺或从躺下移动到坐起等，则其可能是足够的移动，从而使有必要背景更新。操作者可以根据多种因素(诸如对象的类型和现场的特定情况)来配置准确的阈值。
27.根据一个实施例，基于可用的计算资源设置阈值，例如，使得背景图像帧的更新的频率被限制为可用计算资源能够适应的更新频率。例如，如果相机系统具有有限的计算资源，则尝试尽可能长时间地推迟任何背景图像帧更新可能是有利的，而如果相机系统具有充足的计算资源，则可以进行更频繁的更新。
28.根据第二方面，本发明涉及一种用于产生图像帧流的编码系统。该系统包括运动和对象检测器以及编码器。运动和对象检测器被配置为：
29.·
将图像帧流中的图像帧分割成一个或多个背景区段和一个或多个实例区段；以及
30.·
将一个或多个实例区段中的至少一些实例区段分类为感兴趣的可移动对象和非感兴趣的可移动对象。
31.编码器被配置为：
32.·
创建包含一个或多个背景区段的背景图像帧；
33.·
在背景更新时间段期间，当非感兴趣的可移动对象已经移动到显露(进一步的)背景区域时，更新背景图像帧，以将所显露的/进一步的背景区域包括在背景图像帧中；
34.·
创建包含感兴趣的可移动对象的前景图像帧；
35.·
对经更新的背景图像帧的像素块进行编码；
36.·
对前景图像帧的像素块进行编码；
37.·
产生具有第一帧率的经编码的前景图像帧流；以及
38.·
产生具有低于第一帧率的第二帧率的经编码的、经更新的背景图像帧流。
39.系统优点与方法的那些优点相对应并且可以类似地变化。
40.根据第三方面，本发明涉及一种用于产生图像帧流的计算机程序产品。计算机程序包含与以下步骤相对应的指令：
41.·
将图像帧流中的图像帧分割成一个或多个背景区段和一个或多个实例区段；
42.·
创建包含一个或多个背景区段的背景图像帧；
43.·
将一个或多个实例区段中的至少一些实例区段分类为感兴趣的可移动对象和非感兴趣的可移动对象；
44.·
在背景更新时间段期间，当非感兴趣的可移动对象已经移动到显露(进一步的)背景区域时，更新背景图像帧，以将所显露的/进一步的背景区域包括在背景图像帧中；
45.·
创建包含感兴趣的可移动对象的前景图像帧；
46.·
对经更新的背景图像帧的像素块进行编码；
47.·
对前景图像帧的像素块进行编码；
48.·
产生具有第一帧率的经编码的前景图像帧流；以及
49.·
产生具有低于第一帧率的第二帧率的经编码的、经更新的背景图像帧流。
50.计算机程序具有与方法的优点相对应的优点并且可以类似地变化。
51.在附图和下面的描述中阐述了本发明的一个或多个实施例的细节。本发明的其它特征和优点根据描述和附图以及权利要求将是显而易见的。
附图说明
52.图1是示出根据一个实施例的其中可以应用本发明的各种方法和系统的示例性环境100的示意图。
53.图2是示出根据一个实施例的图1中图示的相机系统108的详细视图的框图。
54.图3是示出根据一个实施例的用于处理图像帧流的方法的流程图。
55.图4是根据一个实施例的从相机系统发送到接收器的前景图像视频流和背景图像视频流的示意图示。
56.各附图中的相同的附图标记表示相同的元件。
具体实施方式
57.如上所述，与使用传统编码时相比，本发明的多种实施例的目标是减少流视频所需的带宽。这是通过仅流式传输操作者感兴趣的信息并以高速率流式传输该信息来实现的。操作者很少感兴趣或非感兴趣的信息以明显较低的速率进行流式传输。
58.简而言之，本发明的多种实施例可以被描述为涉及包括相机(例如，固定式相机)的相机系统，该相机例如拍摄其中操作者对人类活动感兴趣的场景的图像。固定式相机是安装后在操作期间不改变其视场的相机。然而，相机可以是能够在平移方向和倾斜方向上改变其视场并且放大和缩小其视场的平移倾斜变焦(ptz)相机。在相机是ptz相机的情况下，应当理解，在捕获场景的对其应用了本发明的图像时，ptz相机将处于静止阶段或静止模式，即ptz相机应被设置为具有一个或相同的平移、倾斜和变焦设置。因为操作者对人类活动感兴趣，所以需要识别与这样的活动有关的任何信息并频繁地将与这样的活动有关的任何信息从相机发送到接收器，在接收器处操作者可以查看图像并监控人类活动。该图像信息被称为感兴趣的对象的图像信息。相反，场景中的背景主要用于将前景对象的动作置于可理解的情景中，并且因此可以更少地更新/发送。背景要么是静止的，要么可能包含其运动在某种意义上是非感兴趣的并且不应被渲染的对象。这种运动的一个示例是树枝在风中摇摆。
59.作为进一步降低带宽的手段，与除了感兴趣的对象之外的可移动对象(即可以改
变其地理位置的对象)有关的图像信息在理想情况下根本不被发送，这不仅节省带宽而且允许操作者只关注感兴趣的对象。这种对象在本文中将被称为“非感兴趣的可移动对象”。非感兴趣的可移动对象的示例是动物。另一示例是一些种类的车辆。例如，如果安全相机监控建筑物的入口，通常更感兴趣于跟踪在门外步行的人员的行为，而不是快速骑自行车或开车经过建筑物入口的自行车上的或小汽车内的人员。在又一示例中，可以基于诸如位置之类的其它规则来确定什么被认为是非感兴趣的对象。例如，可以选择将监视区域外的人员视为非感兴趣的可移动对象，并按照上面对动物的描述来对待他们，而将监视区域内的人员视为感兴趣的对象。
60.在背景更新时间段期间，跟踪非感兴趣的可移动对象的移动，并用背景的一些部分(这些部分被非感兴趣的可移动对象挡住，并在非感兴趣的可移动对象移动时显露出来)更新背景图像。背景图像可以随着非感兴趣的对象在背景更新时间段期间的移动而被逐渐地更新。与具有感兴趣的对象的信息的帧率相比，背景图像以较低的帧率发送。如上所述，非感兴趣的对象将不会示出给操作者。为此，一个实施例包括避免在背景帧和前景帧中的任何一个中包括非感兴趣的可移动对象。
61.在一个实施例中，如果非感兴趣的对象在背景更新时间段期间尚未移动到足以显露任何背景部分，则在感兴趣的对象的流中发送与非感兴趣的对象有关的图像信息，以免在图像中出现“洞”。接收器可以将图像信息的图像与感兴趣的对象(并且可能是非感兴趣的对象)和最新的背景图像放在一起。现在将通过示例并参考附图来描述本发明的各种实施例。
62.图1示出了其中可以实现本发明的各种实施例的示例性环境100的示意图。在图1中可以看出，其中人员104走向建筑物106的场景102由相机系统108捕获。应当注意，所描绘的场景102仅是出于说明目的的简化视图。场景102可以在更一般的意义上被描述为任何三维物理空间，其大小和形状由记录场景的相机的视场来限定。
63.在图2中更详细地图示了例如固定式相机系统或处于静止模式的ptz相机系统(即，当捕获待对其应用本发明的图像帧时，具有同一固定的ptz设置的ptz相机系统)的相机系统。相机系统108具有捕获场景102并将其投射到图像传感器112上的镜头110。镜头110和图像传感器112一起形成图像捕获系统109。图像传感器112捕获一系列图像帧，这些图像帧共同形成视频流。图像捕获系统109耦接到包括图像处理管线202和编码器204(这两者将在下面更详细描述)的图像处理和编码系统205。图像处理和编码系统205优选地位于相机系统108内部，但也可以位于相机系统108的外部。例如，在模块化相机系统中，图像捕获系统109以及图像处理和编码系统205可以布置为彼此分离并且布置为彼此通信。进一步，图像捕获系统109可以是可移动的，而图像处理和编码系统205可以是固定的。
64.在一些实施例(诸如图2中所示的实施例)中，图像处理和编码系统205进一步包括运动和对象检测器206。编码器204以及运动和对象检测器206被包括在编码系统210中，在本公开中有时将该编码系统210称为增强型编码系统210，因为与传统编码系统相比其被增强了。图像处理管线202接收来自图像传感器112的信号并执行各种类型的图像处理操作，然后增强编码系统210将视频流编码为适合于通过网络经由输入/输出接口208传输到操作者的格式，如下文将更详细描述的。在图1中，经编码的视频通过无线电链路116以无线方式传输到有线网络118，并最终传输到连接到网络118的客户端120，但是当然存在可以使用的
无线传输和有线传输模式的多种组合。
65.客户端120具有显示器，操作者可以在显示器中查看来自相机的图像视频流。通常，客户端120还连接到服务器，在该服务器处可以存储和/或进一步处理视频。通常，客户端120还用于例如通过操作者在客户端120处发出控制命令来控制相机108。例如，操作者可以指示相机对场景102的特定细节进行放大，或者指示在人员104开始远离树木106时跟踪人员104。然而，也存在这种情形，在该情形中，操作者不控制相机，而相机是静止的并且仅提供用于操作者在客户端120上查看的图像流。
66.如图2中所示，相机系统108包括：将场景102成像在图像传感器112上的镜头110、图像处理管线(ipp)202、编码器204、运动和对象检测器206以及用于与其它装置通信的输入和输出接口208。ipp对从图像传感器112接收的图像数据执行一系列的各种操作。这样的操作可以包括：过滤、去马赛克、色彩校正、噪声过滤(用于消除空间和/或时间噪声)、失真校正(用于消除例如桶形失真的影响)、全局和/或局部色调映射(例如，能够对包含宽强度范围的场景进行成像)、变换(例如，旋转)、平场校正(例如，用于消除渐晕的影响)、应用覆盖(例如，隐私遮蔽、解释性文本等)。ipp 202可以与运动和对象检测器206相关联，运动和对象检测器206用于执行对象检测和分类以及将在下面进一步详细描述的一系列其它功能。应当注意，在一些实施例中，这些操作中的一些操作(例如，诸如桶形失真校正、旋转等的变换操作)可以由ipp 202外部的一个或多个子系统(例如，在ipp 202和编码器204之间的单元中)执行。
67.在图像ipp 202之后，图像被转发到编码器204，在该编码器204中信息根据编码协议被编码并且使用输入/输出接口208通过网络118被转发到接收客户端120。运动和对象检测器206用于执行对象检测和分类以及将在下面进一步详细描述的一系列其它功能，以向编码器204提供执行编码操作所需的必要信息。应当注意，在图2中图示的相机系统108还包括诸如处理器、存储器等的许多其它部件，这些部件在传统的相机系统中是常见的，并且它们的目的和操作对于本领域普通技术人员来说是众所周知的。为了清楚起见，在图2的图示和描述中省略了这些部件。存在许多传统的视频编码格式。与本发明的各种实施例一起工作的一些常见的视频编码格式包括(仅给出一些示例)：高效视频编码(hevc)，也称为h.265和mpeg-h part 2；高级视频编码(avc)，也称为h.264和mpeg-4part10；通用视频编码(vvc)，也称为h.266、mpeg-i part 3和未来视频编码(fvc)；vp9、vp10和aomedia video 1(av1)。
68.图3示出了根据一个实施例的用于处理由相机捕获的图像帧流的方法。如图3中可以看出，方法首先将图像帧分割成背景区段和实例区段(步骤302)。该步骤可以由运动和对象检测器206执行。例如，运动和对象检测器206可以响应于来自编码器204的请求来执行分割。如上所述，编码器204以及运动和对象检测器206被包括在增强型编码系统210中。如上所述，在一个实施例中，该分割使用全景分割来完成。全景分割创建感兴趣的对象(例如，人)的实例和非感兴趣的对象(例如，动物)的实例，即每个单独的对象都是可识别的。全景分割进一步创建一个或多个背景区段，即不包含任何实例分割的区域(例如，树木，并且各个树木彼此之间没有区别)。通过这种分割，可以对不同的感兴趣的对象进行彼此不同的处理，并且还可以对与感兴趣的对象不同的背景进行处理。应当注意，编码可以根据手头的特定实施例和场景而变化。例如，森林可能被更好地编码为背景区段，而室内环境中的盆栽植
物可能被编码为非感兴趣的静止但可移动的对象(因为盆栽植物也可能被某人移动)。因此，根据手头的特定情况，本领域普通技术人员可以设想许多变化。
69.接下来，创建背景图像帧(步骤304)。该步骤可以由编码器204执行。背景图像帧包含在步骤302中识别的背景区段。在一些实施例中，背景图像帧还包含非感兴趣的静止对象，如下文将进一步详细描述的。在其它实施例中，背景仅包含背景区段。应当理解，背景图像帧的创建并不是针对每一帧进行的。进一步应当理解，可以在背景更新时间段期间利用来自后续图像帧的信息来更新所创建的背景图像帧，如下面将参考步骤314描述的。
70.接下来，将实例区段分别分类为感兴趣的移动对象和非感兴趣的移动对象(步骤306)。该步骤可以由运动和对象检测器206执行。可以基于手头的特定用例来确定什么被认为是感兴趣的移动对象和非感兴趣的移动对象。例如，在一些实施例中，操作者可以在给定的一天选择奶牛是感兴趣的移动对象，而人是非感兴趣的移动对象。在不同的一天，情况可能相反，并且操作者也可以将汽车作为感兴趣的移动对象等。通常，操作者可以从系统已经预先训练识别的对象类别列表中分别选择哪些对象被认为是感兴趣的移动对象和非感兴趣的移动对象。通过进行这种选择，只有感兴趣的移动对象的信息才会被发送到操作者，并且她不会被视频流中的“无关”信息分散注意力。
71.在一些实施例中，还存在另一种类别：非感兴趣的静止对象。这些对象是实例区段，尽管是静止的，但仍包含一些移动。非感兴趣的静止对象的一个示例是树木。树木是可以使用全景分割来识别的对象的实例。树木在某种意义上是静止的，因为它不会改变位置。树枝可以在风中移动，但对于大多数监控情况，这种移动通常是很少感兴趣的或非感兴趣的。因此，树木是非感兴趣的静止对象，并且为了节省带宽，可以将树木添加到不经常更新的背景图像帧中。在大多数实施例中，为操作者提供了选项来定义什么移动是“可接受的”用于将非感兴趣的静止对象包括在背景图像帧中，或者可以存在预定义的标准用于由相机系统自动做出这样的决定。
72.通常，非感兴趣的可移动对象既不被编码也不被发送到操作者，因为如上所述它们是很少感兴趣的或非感兴趣的。然而，与可移动但预计不会静止的动物相反，非感兴趣的静止但可移动的对象(例如，盆栽植物)有时可以被包括在背景中。在许多情形下，是否在背景部分中包括非感兴趣的静止但可移动的对象的决定取决于操作者所认为的可接受的物品。如下文将进一步详细描述的，背景图像帧可以以大约每分钟一个图像帧的速率被发送到接收器和操作者。在步骤306中的分类之后，过程分为与感兴趣的运动对象(即前景图像帧)的处理有关的快分支以及与背景图像的处理有关的慢分支。现在将描述这些分支中的每一个。
73.在步骤308中，创建包含感兴趣的可移动对象的前景图像帧。该步骤可以由编码器204执行。如上所述，仅在前景图像帧中包括感兴趣的可移动对象，并且从前景图像帧和背景图像帧中排除非感兴趣的可移动对象使得可以向对场景进行监控的操作者提供最相关的信息。使用图1的场景102作为示例，如果操作者仅对人类活动感兴趣，则前景图像帧中将仅包括人员104。如上所述，人员只是感兴趣的可移动对象的一个示例。其它常见示例包括车辆、武器、包或面罩，具体取决于手头的特定场景或监视情形。
74.在创建前景图像帧之后，每个帧中的像素块由编码器204编码(步骤310)。对于前景图像帧，编码器204使用传统技术对属于感兴趣的移动对象104的像素块进行编码，并将
前景图像帧的其余部分编码为黑色像素。将像素编码为黑色像素(或任何其它颜色)如上所述允许将像素块编码为具有位置坐标、宽度和高度，这与传统编码相比节省了大量数据。在步骤312中，产生具有第一帧率的经编码的前景图像帧流。这可以由编码器204执行。经编码的前景图像帧流可以以第一帧率发送到接收器，或者经编码的前景图像帧流可以被发送到储存器。
75.现在转到过程300的慢分支，在步骤314中，设置定义背景更新时间段的定时器。在该背景更新时间段期间，当由于非感兴趣的可移动对象改变其位置而显露了背景区域时，背景图像帧被更新。该步骤可以由更新背景图像帧的编码器204以及确定非感兴趣的可移动对象的运动的运动和对象检测器206来执行。进行这些更新是为了避免在背景更新时间段期满时在背景中出现“洞”。背景更新时间段通常与背景图像帧的帧率有关，一般在一分钟左右。根据非感兴趣的可移动对象的数量和移动量，在背景更新时间段期间，背景图像帧可能会被更新多次，以填充由于非感兴趣的可移动对象的移动而产生的任何“空白区域”。
76.如上所述，使用运动和对象检测器206来跟踪任何非感兴趣的可移动对象的移动。在一些实施例中，运动和对象检测器206用作用于确定何时需要更新背景图像帧的触发器。例如，可以设置阈值，使得如果非感兴趣的可移动对象在背景图像帧中移动超过一定数量的像素，则触发背景图像帧的更新。例如，可以基于可用的计算资源来设置阈值。例如，具有有限的计算资源的相机系统更新背景图像帧的频率可以低于具有丰富的计算资源的相机的更新频率。
77.在一些实施例中，在背景更新时间段结束时，验证对背景图像帧的更新的完整性以确保完整的背景图像帧。这可以由编码器204执行。在该上下文中，“完整性”仅指：确保背景图像中不存在由非感兴趣的可移动对象的移动所导致的且在背景更新时段结束时尚未用背景像素信息填充的“洞”。如果确定对背景图像帧的更新不完整，则运动和对象检测器206可用于确定哪个非感兴趣的可移动对象导致该不完整，并且该对象可以转而与感兴趣的可移动对象一起作为前景图像帧的部分进行如上所述的处理。
78.接下来，类似于快分支，在慢分支中，经更新的背景图像由编码器编码(步骤316)。应当注意，即使背景图像帧在背景更新时间段期间可以被更新多次，但每个更新时间段仅对背景图像帧进行一次编码(例如在每个背景更新时间段结束时对背景图像帧进行一次编码)。背景图像的编码可以使用传统的编码技术。
79.最后，在步骤318，产生具有第二帧率的经编码的、经更新的背景图像帧流。如上所述，第二帧率低于第一帧率。与前景图像帧的帧率相比，经编码的背景图像帧流可以以更慢的帧率发送到接收器。图4示意性地示出了经编码的前景图像帧流404如何以第一帧率从相机系统108发送到接收器402，以及经编码的背景图像帧流406如何以更慢的第二帧率从相机系统108发送到接收器402。应当注意，在图4中，为了便于说明，背景图像帧被图示为每三个前景图像帧发送一次。然而，在典型的场景中，前景图像帧流的帧率通常为每秒30帧，并且背景图像帧流的帧率通常约为每分钟一帧，因此在实际场景中，两个流之间的差异比图4中图示的差异要大得多。当两个图像流离开相机系统时，它们处于可以被接收器402(例如传统的解码器)进行解码并且以其它方式进行处理的格式。接收器402可以被包含在图1中图示的客户端120中或者可以连接到图1中图示的客户端120。
80.在接收器402处，两个图像流融合在一起以创建合成图像流以供操作者查看。这可
以使用本领域普通技术人员熟悉的各种标准技术来完成。例如，可以是沿着对象的边缘逐渐融合以使操作者的观看体验更加愉快。实现这种逐渐融合的方式有很多种，这是本领域普通技术人员所熟悉的。例如，可以对对象像素和背景像素相加和平均，可以应用权重使得较高的权重被赋予背景，并且可以使用指定权重的混合曲线(也称为阿尔法(alpha)混合)。
81.结束语
82.虽然上面的示例是在可见光的背景下描述的，但是如果进行适当的修改，以不同帧速率编码和发送背景和前景帧的相同一般原则也可以应用于热像仪的背景中，这主要是由于在可见光范围与红外光范围内工作的相机中使用的图像传感器的性质。
83.在本文中公开的系统、系统的部件(诸如图像处理管线、编码器以及运动和对象检测器)以及方法可以被实现为软件、固件、硬件或者它们的组合。在硬件实施方式中，以上描述中对功能单元或部件之间的任务划分不一定对应于物理单元的划分；相反，一个物理部件可以执行多种功能，并且一项任务可以由多个物理部件协同完成。
84.特定部件或所有部件可以被实现为由数字信号处理器或微处理器执行的软件，或者被实现为硬件或专用集成电路。这种软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域技术人员众所周知的，术语计算机存储介质包括以任何方法或技术实现的用于存储信息(例如，计算机可读指令、数据结构、程序模块或其它数据)的易失性和非易失性、可去除和不可去除的介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其它存储器技术、cd-rom、数字多功能磁盘(dvd)或其它光盘储存器、磁录音带、磁带、磁盘储存器或其它磁存储装置，或者可用于存储所需信息并可以由计算机访问的任何其它介质。
85.图中的流程图和框图图示了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。就这一点而言，流程图或框图中的每个框可以表示包括用于实现指定逻辑功能的一个或多个可执行指令的模块、区段或指令的部分。在一些替代实施方式中，框中标注的功能可以不按照图中标注的顺序发生。例如，根据所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或者有时可以以相反的顺序执行这些框。还将注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以通过基于专用硬件的系统来实现，这些系统执行指定的功能或动作或执行专用硬件和计算机指令的组合。
86.应当理解，本领域技术人员可以通过多种方式对上述实施例进行修改，并且仍然可以使用如上述实施例所示的本发明的优点。因此，本发明不应限于所示实施例而应仅由所附权利要求限定。此外，如本领域技术人员所理解的，所示出的实施例可以被组合。