热感摄像机运行状况监控的制作方法

热感摄像机运行状况监控


背景技术：

1.本发明涉及热感摄像机，并且更具体地，涉及自动检测与热感摄像机有关的各种类型的问题。
2.热感摄像机被用于各种各样的监控情况。它们通常比在电磁波谱的可见范围内操作的监控摄像机更优选，因为热感摄像机基本上可以在任何光条件下操作，范围从漆黑到日光。它们对诸如阴影、背光、黑暗以及甚至伪装的对象的不同的光条件也不敏感。即使在诸如烟、雾、灰尘和光雾的困难的天气条件下，热感摄像机通常也具有非常好的性能。此外，由于热感摄像机即使在完全黑暗中也不需要泛光灯，因此它们也减少了光污染并降低了能耗。
3.热感摄像机可以检测非常小的温差，这使得人更难以与背景混合。因此，热感摄像机极其擅长检测被复杂的背景遮蔽或隐藏在深阴影中的人。另外，许多其它类型的对象也具有与周围环境不同的温度，使得检测变得容易。至少由于这些原因，热感摄像机可被用于广泛的安全应用，诸如工业场所、机场和发电厂周围的周边防护。它们的检测能力也使它们例如在搜索和救援操作中成为有价值的工具。
4.作为示例，来自热感摄像机的实况视频可以在视觉摄像机检测到运动之前很久就通知摄像机操作者有人在停车场的汽车间行走。当涉及识别时，在隐私是问题的情况下(诸如在学校中)，有可能使用热感摄像机。
5.与视觉摄像机相比，热感摄像机可以通过将高图像对比度与运动检测相结合而提供更可靠的检测和形状辨认。这导致更少的错误警报并减少人员不必要的响应和动作。摄像机还将热信息添加到图像中，使得当温度改变时可以监控处理并检测异常行为，例如，以发现建筑物中的热泄漏或确定汽车是否已在近期被驾驶。
6.通常，由热感摄像机捕获的视频不被连续地监控。相反，只有当事件发生时，操作者才会收到警报，并且然后将确定问题可能是什么并采取适当的行动。这意味着，如果热感摄像机被篡改或意外地被重定向，或者如果热感摄像机变脏，这可能在相当长的时间内未被注意到，并且可能导致各种安全性和可靠性问题。这对于包括大量(比方说一千个左右)监控摄像机的系统尤其重要，在该系统中，对于摄像机操作者而言，以足够的规律性检查每个摄像机的“运行状况”可能是不可行或不可能的。至少由于这些原因，需要更好的方法来检测热感摄像机的故障。


技术实现要素：

7.根据第一方面，本发明涉及一种计算机系统中的用于检测热感摄像机的问题的方法。该方法包括：
8.·
为热感摄像机确定当前对比度值；
9.·
确定当前对比度值是否从参考对比度值偏离超过预定值；并且
10.·
响应于确定当前对比度值从参考对比度值偏离超过预定值且持续超过预定的时间段，提供热感摄像机的问题的指示。
11.这提供了自动检测热感摄像机是否存在诸如透镜上存在污垢、图像传感器的劣化或被卡住的机械快门、摄像机已被篡改等的问题的方式，并提醒用户这样的问题。这在大的监控摄像机系统中尤其有用，在大的监控摄像机系统中连续地手动监控所有摄像机可能是不可行的。
12.根据一个实施例，问题可以是以下中的一个：热感摄像机已被篡改、热感摄像机已被重定向以及热感摄像机的透镜以导致传输损耗的方式受到影响。也就是说，使用本文中描述的技术可以发现各种不同类型的问题。此外，虽然在单个摄像机中问题可以很容易地手动检测，但是在可能包含数百或数千个摄像机的大型系统中，未检测到的摄像机问题的风险可能增加，并且因此具有用于检测摄像机故障的可靠的、自动的方法至关重要。
13.根据一个实施例，可以使用以下中的一个来确定参考对比度值和当前对比度值：sobel算法、laplace算法、michelson对比度算法和图像熵算法。不同类型的算法在某些情况下可以证实或多或少是有用的，并且可能需要不同的计算资源，因此能够基于当前的特定情况来适配算法可以使问题检测高效且准确。
14.根据一个实施例，参考对比度值基于与以下中的一项或多项有关的johnson准则：具有与均质背景的温度不同的温度的对象的检测、辨认和识别。
15.根据一个实施例，通过在一段时间内将机器学习过程应用到测量的对比度值来生成参考对比度值。这允许使用随时间变化的参考对比度值，而不是固定的参考对比度值，这样可以显著提高系统的精度。
16.根据一个实施例，该方法可以包括：响应于当前对比度值从参考对比度值偏离超过预定值的最早的确定而启动定时器；以固定的时间间隔，重复当前对比度值的确定和当前对比度值是否从参考对比度值偏离的确定；并且响应于检测到当前对比度值保持从参考对比度值偏离超过预定值并且自定时器被启动以来持续超过预定的时间段，提供与热感摄像机相关的问题的指示。也就是说，定时器可以基于检测到的对比度值以及它们如何与预定的对比度值相关而被启动和被重置，并且预定的时间段可以被设置，以限定警报应在什么点被生成。结合对比度测量使用定时器是确定是否已经发生了问题，或是否只是在特定图像被拍摄时发生了暂时的问题(例如，鸟飞过摄像机或者碎片暂时地覆盖了摄像机透镜)的容易且计算上低成本的方式。当然，还可能存在导致对比度值下降到某一阈值以下而摄像机不存在任何问题的与天气相关的事件(诸如浓雾或显著的降水)。
17.根据一个实施例，固定的时间间隔范围从大约一天至三天。通常，热感摄像机的退化不会非常迅速地发生，因此一般而言，用这种类型的频率进行测量是足够的。然而，这也是针对当前的特定情况。例如，如果摄像机对于潜在的破坏者是可接近的，或者如果它被安装在有许多鸟的地点中，则设置较短的时间间隔可能比如果将摄像机放在够不着的地方并将摄像机很好地掩蔽更有用。
18.根据第二方面，本发明涉及一种用于检测热感摄像机的问题的系统。该系统包括存储器和处理器。存储器包含指令，该指令在由处理器执行时使得该处理器执行包括以下操作的方法：
19.·
为热感摄像机确定当前对比度值；
20.·
确定当前对比度值是否从参考对比度值偏离超过预定值；并且
21.·
响应于确定当前对比度值从参考对比度值偏离超过预定值且持续超过预定的
时间段，提供热感摄像机的问题的指示。
22.系统优点对应于方法的优点，并且可以被类似地改变。
23.根据第三方面，本发明涉及一种用于检测热感摄像机的问题的热感摄像机，该热感摄像机包括如以上所描述的系统。摄像机的优点对应于系统的优点，并且可以被类似地改变。
24.根据第四方面，本发明涉及一种用于检测热感摄像机的问题的计算机程序。该计算机程序包含对应于以下步骤的指令：
25.·
为热感摄像机确定当前对比度值；
26.·
确定当前对比度值是否从参考对比度值偏离超过预定值；并且
27.·
响应于确定当前对比度值从参考对比度值偏离超过预定值且持续超过预定的时间段，提供热感摄像机的问题的指示。
28.计算机程序涉及对应于方法的优点的优点，并且可以被类似地改变。
29.本发明的一个或多个实施例的细节在附图和下面的描述中阐述。基于说明书和附图以及基于权利要求，本发明的其它特征和优点将显而易见。
附图说明
30.图1是描绘根据一个实施例的用于检测热感摄像机的问题的过程的流程图。
31.图2是示出根据一个实施例的随时间变化的预定的对比度值和实际的对比度值测量的示意图。
32.各个附图中的相同的附图标记指示相同的元件。
具体实施方式
33.如以上所描述的，本发明的各种实施例的一个目标是能够自动检测热感摄像机的问题。总的来说，本发明的各种实施例如下工作。
34.由热感摄像机捕获的图像中的对比度值(即，图像的最高强度部分与最低强度部分之间的差异程度)随时间来测量，并且与对比度值阈值进行比较，该对比度值阈值代表正确地安装且正确地运行的热感摄像机。如果所捕获的图像的对比度值下降到对比度值阈值以下且在预定的时间内保持在对比度值阈值以下，则这可能指示热感摄像机已被篡改或遭受某种降级，并且可以提醒操作者进一步调查可能的问题。现在将通过示例并参考附图更详细地描述本发明的各种实施例。然而，首先将呈现热感摄像机的简要概述。
35.在电磁频谱的可见范围内操作的传统的网络摄像机与热感网络摄像机在许多方面是类似的，诸如压缩和联网特征、在不同的环境和情形下使用的不同的形状因子的可用性等。然而，两件事物明显不同：透镜和传感器。
36.因为常规的玻璃阻挡热辐射，所以常规的玻璃基光学器件和透镜不能被用于热感摄像机。目前，锗是热感摄像光学器件最常用的材料。是化学上类似于锡和硅的昂贵的类金属的锗阻挡可见光同时让ir光通过。还存在使用纯锗的替代方案。例如，一些透镜由被称为硫系玻璃的锗基材料制成，该材料允许更宽光谱的ir光通过。
37.热感摄像机中的传感器是对热红外(ir)辐射敏感的数千个检测器的阵列。用于热成像的检测器可大致被分为两种类型：冷却的ir传感器和非冷却的ir传感器。非冷却的ir
图像传感器更小并且用更少的移动部件构建，这使得它们比它们的冷却的同类产品便宜。具有冷却的传感器的摄像机通常需要维修，并且还要每8,000至10,000小时再填充冷却介质。大多数商用的热感摄像机使用非冷却的ir传感器，并且因此本文中的描述将涉及这种传感器。然而，应注意，根据本发明的各种实施例的技术还可以被应用于具有冷却的传感器的摄像机，并且权利要求不应被解释为仅限于具有非冷却的传感器的热感摄像机。
38.非冷却的传感器通常在波长约为8微米至15微米的长波红外(lwir)波段中工作，并且可以基于所有具有独特优点的各种材料。一种常见的设计是基于本领域普通技术人员所熟知的微辐射热测定计技术。微辐射热测定计通常构成像素的阵列，每个像素由包括热敏材料的微辐射热测定计构成，热敏材料的电阻率随着其吸收入射的ir辐射而变化。ir吸收材料通过电极连接到读出电路，并且反射器被布置在ir吸收材料内部，以反射回穿过吸收材料的ir辐射。为了减少对流对像素的热吸收特性的影响，微辐射热测定计被封装在真空中。吸气剂材料可以被沉积在微辐射热测定计中，以与微辐射热测定计内部释放的气体分子发生反应或吸收该气体分子，从而延长真空的寿命。入射在微辐射热测定计上的ir辐射改变ir吸收材料的电阻率，并且该改变被转移到读出电路以进行处理。电阻率的变化被转换成ir辐射源自其的所捕获的场景的一部分的温度。
39.热感摄像机的分辨率通常低于传统的网络摄像机。这主要是由于在热成像中涉及的更昂贵的传感器技术。像素更大，这影响传感器尺寸以及材料和生产的成本。目前，尽管甚至更高和更低的分辨率是可用的，但热感摄像机的典型分辨率范围为从160
×
120至640
×
480(vga)的高分辨率。
40.热感摄像机的分辨率还与其检测对象的能力有关。检测对象所需的分辨率以像素表示，并通过所谓的“约翰逊准则(johnson’s criteria)”来确定。这些准则提供了观察者在指定级别区分对象的50％的概率，并且对于热传感器，对象与其背景之间的温差需要至少为2℃(3.6℉)。在一个实施方式中，用于热感网络摄像机的约翰逊准则的级别如下：
41.·
检测(即，观察者可以看到对象存在)需要至少1.5个像素。
42.·
辨认(即，观察者可以区分对象，例如，栅栏前面的人)需要至少6个像素。
43.·
识别(即，观察者可以区分对象和对象特性，例如，手里拿着撬棍的人)需要至少12个像素。
44.约翰逊准则是在由人类观察者处理可见信息的假设下开发的。如果信息改为由应用算法处理，则对于可靠操作的目标所需的像素数量将有特定要求。所有视频分析软件算法需要与一定数量的像素一起工作，但是像素的确切数量可以变化。即使人类观察者能够检测到对象，应用算法通常需要在给定的检测范围内的更大数量的像素才能正常工作。
45.类似类型的准则可被用于确定图像的参考对比度，可以将测量的对比度值与该参考对比度进行比较，如现在将参考图1更详细地讨论的，图1示出了根据一个实施例的用于检测热感摄像机的问题的方法100的流程图。如在图1中可以看到的，方法100通过为由热感摄像机捕获的当前图像确定对比度值来从步骤102开始。对比度值可以以本领域普通技术人员熟悉的多种方式来确定。这里将给出几个示例以及它们各自的优点和缺点。应理解，基于当前的特定情况，各种方法可以被更好或更差地使用，并且在什么条件下使用什么特定算法是技术人员要做出的选择。
46.用于确定对比度的一种方法是使用迈克尔逊(michelson)对比度，michelson对比
度是图像中的对比度的全局度量。michelson对比度函数不捕获像图像中的锐边那样的任何特征，而是仅对图像中的最小像素强度和最大像素强度进行操作。图像中的最小像素强度与最大像素强度之间的差越大，函数的输出越大。
47.另一种用于确定对比度的方法是使用rms(均方根)对比度，rms对比度使用图像的均方根作为对比度的定义。rms公式不仅考虑像素强度，而且考虑图像的宽度和高度。该测量也是全局的，但是考虑了比图像中的最大像素强度值和最小像素强度值更多的像素。像素之间的高强度差异有助于提高对比度。
48.又一种用于确定对比度的方法是使用索贝尔(sobel)滤波器。sobel滤波器是通常被用作边缘检测算法而不是对比度测量的测量。它通过在图像上扫描两个单独的卷积核来工作，一个用于沿着x轴的边缘检测，并且另一个用于沿着y轴的边缘检测。由于sobel算子擅长检测图像中的锐边，因此它可以被看作是对比度的度量，因为当图像具有锐边时，高对比度通常被感知。这对于发现透镜未聚焦的图像样本是有用的，因为在图像中没有锐边。
49.sobel算法的输出是整个图像，这意味着sobel滤波之后必须是图像向下到单个值的某种映射，该单个值随后可被用于比较的目的。这可以通过若干种方式实现。测量对比度的一种直接方式是选取输出的sobel图像中的最大值。这在计算上成本较低；然而，图像中的单个锐边将足以将图像分类为具有高对比度，这可能并不总是期望的。另一种方式是进行考虑所有像素的测量，并基于sobel图像中的像素从零偏离多少来测量对比度。将sobel减小到单个对比度度量值的又一种方式是使用输出图像的平均值。这考虑了所有像素并允许所有边缘(在数量和锐度两者上)，以有助于输出值。应注意，这些仅仅是一些代表性的技术，并且存在落在本领域普通技术人员能力范围内的许多其它变型。
50.在确定对比度之后，在步骤104做出关于对比度值是否从参考对比度值偏离超过预定的对比度值的确定。在一些实施方式中，预定的对比度值可以是基于如以上所讨论的johnson准则来确定的固定值。也就是说，可以有用于检测的一个预定的对比度值，可以有用于辨认的另一个预定的对比度值以及用于识别的又一个预定的对比度值，并且可以基于特定情况而使用特定的预定的对比度值。
51.在一些实施方式中，可以不使用johnson准则来确定预定的对比度值。相反，它可以在摄像机的设置期间例如通过测量分别用于检测、辨认和识别在均质背景下的对象或人所需的预定的对比度值，并使用这些测量值作为预定的对比度值来通过实验确定。
52.在其它实施方式中，可以通过对所监控的场景进行散焦或以其它方式进行降级直到该场景在视觉上被操作者认为太“模糊”或具有太低的质量为止来模拟预定的对比度值，并且然后基于这样的模拟来设置预定的对比度值。
53.应注意，预定的对比度值还可以例如基于一天中的时间、一年中的时间等以及基于天气而随时间变化。该时间变量值可以例如通过测量一段时间内的对比度值并使用机器学习算法来限定对于给定的一组情况什么将是“正常的”对比度值，并且然后使用该“正常值”作为对比度参考值来确定。图2示意性地示出了实际的对比度测量(顶部曲线)如何随时间变化。这些测量可以被内插到描述随时间的预期变化的曲线(中间曲线)。最后，可以在任何给定时间被用作预定阈值的变化的预定阈值可以被设置(下方的虚线曲线)，例如内插曲线的值的80％。
54.如果所测量的对比度值落在可接受的范围内，则在步骤106，定时器被重置，并且
该过程返回到步骤102，并且如以上所解释的那样继续为另一图像测量对比度值。对比度测量发生的频率可以变化，但是在一些实施方式中，通常大约每10分钟进行一次对比度测量。
55.然而，如果所测量的对比度值落在可接受的范围之外，则在步骤108，定时器被读取，并且然后在步骤110中，定时器值被检查以查看定时器是否已经期满。如果定时器还没期满，则过程返回到如以上所描述的步骤102。这实际上意味着，测量的图像的对比度值首次低于预定的对比度值的时间被记录。然后，当为新图像确定对比度值并且这些对比度值(或它们中的至少相当大的部分)保持低于阈值时，该方法追踪这已经持续了多长时间。当已经经过了一定量的时间(即，定时器已经期满)并且对比度值仍然处于阈值之下时，在步骤112，警报被生成，这结束该过程。定时器的期满时间可以由用户确定，但是对于放置在室外环境中的摄像机，通常在一天至三天的范围内，并且对于放置在室内环境中的摄像机，通常更短。然而，应注意，这些值高度依赖于环境，并且在大多数情况下将必须由摄像机的操作者调整以适应当前的特定情况。
56.在步骤112中生成的警报可以例如是针对摄像机操作者的热感摄像机正遭受某种问题并且需要手动检查的警报，或者可以是针对维护团队的警报，以在摄像机上运行某种测试序列，或者可以是用于切换到覆盖相同的场景的不同的摄像机的指令，直到问题已经被解决。本领域普通技术人员可以想到许多变型。警报可以以若干种可能的方式中的任意一种呈现给操作者，例如通过视频管理系统中的屏幕上的消息、到操作者的移动电话的文本消息或经由控制中心中的扬声器的音频消息。
57.如本领域技术人员将认识到的，本发明的方面可以被实现为系统、方法或计算机程序产品。相应地，本发明的方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或组合软件和硬件方面的实施例的形式，所有这些在本文中通常被称为“电路”、“模块”或“系统”。此外，本发明的方面可以采取在一个或多个计算机可读介质(在其上体现有计算机可读程序代码)中包含的计算机程序产品的形式。
58.一个或多个计算机可读介质的任何组合可以被利用。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是，例如但不限于，电子系统、磁系统、光学系统、电磁系统、红外线系统或半导体系统、装置或设备，或前述的任何适当的组合。计算机可读存储介质的更具体的示例(非穷举列表)将包括以下：具有一条或多条配线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存)、光纤、便携式光盘只读存储器(cd-rom)、光存储设备、磁存储设备，或前述的任何适当的组合。在本文档的上下文中，计算机可读存储介质可以是能够包含或存储由指令执行系统、装置或设备使用的或与指令执行系统、装置或设备结合使用的程序的任何有形介质。
59.计算机可读信号介质可以包括例如在基带中或作为载波的一部分的传播的数据信号，其中计算机可读程序代码体现在该数据信号中。这样的传播的信号可以采取包括但不限于电磁、光学或其任何适当的组合的多种形式中的任何一种。计算机可读信号介质可以是任何计算机介质，该计算机介质不是计算机可读存储介质，并且可以传达、传播或传送由指令执行系统、装置或设备使用的或与指令执行系统、装置或设备结合使用的程序。
60.体现在计算机可读介质上的程序代码可以使用任何合适的介质来传输，介质包括但不限于无线、有线、光纤电缆、rf等，或前述的任何适当的组合。用于执行本发明的方面的
操作的计算机程序代码可以用一种或多种编程语言的任何组合来编写，该编程语言包括诸如java、smalltalk或c++等的面向对象的编程语言和诸如“c”编程语言或类似的编程语言的常规的过程编程语言。程序代码可作为独立软件包完全在用户的计算机上执行、部分地在用户的计算机上执行、部分地在用户的计算机上并且部分地在远程计算机上执行或者完全在远程计算机上执行。在后一种情况下，远程计算机可通过任何类型的网络(包括局域网(lan)或广域网(wan))连接到用户的计算机，或者可以(例如，通过使用因特网服务提供商的因特网)进行到外部计算机的连接。
61.参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述本发明的方面。流程图图示和/或框图的每个框，以及流程图图示和/或框图中的框的组合可以由计算机程序指令来实现。这些计算机程序指令可被提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器以产生机器，使得经由计算机或其它可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个框或多个框中指定的功能/动作的装置。
62.这些计算机程序指令还可以被存储在计算机可读介质中，该计算机可读介质可以引导计算机、其它可编程数据处理装置或其它设备以特定方式运行，使得存储在计算机可读介质中的指令产生包括实现流程图和/或框图的一个框或多个框中指定的功能/动作的指令的制品。
63.计算机程序指令还可以被加载到计算机、其它可编程数据处理装置或其它设备上，使得将在计算机、其它可编程装置或其它设备上执行一系列的操作步骤，以产生计算机实现的处理，使得在计算机或其它可编程装置上执行的指令提供用于实现流程图和/或框图的一个框或多个框中指定的功能/动作的处理。
64.附图中的流程图和框图图示了根据本发明的各种实施例的系统、方法和计算机程序产品的可能的实施方式的体系结构、功能和操作。在这点上，流程图或框图中的每个框可表示指令的包括用于实现指定的逻辑功能的一个或多个可执行指令的模块、段或部分。在一些可替代实施方式中，在框中指出的功能可不按照附图中指出的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以基本上同时被执行，或者框有时可以以相反的顺序被执行。还将注意，框图和/或流程图图示中的每个框以及框图和/或流程图图示中的框的组合可由执行指定功能或动作或者执行专用硬件和计算机指令的组合的专用的基于硬件的系统来实现。
65.已出于说明的目的呈现了对本发明的各种实施例的描述，但该描述并非旨在是详尽的或被限于所公开的实施例。许多修改和变型对于本领域普通技术人员将是显而易见的而不脱离所描述的实施例的范围和精神。因此，落入权利要求范围内的许多其它变型可以被本领域的普通技术人员预想到。
66.本文中使用的术语被选择以最佳地解释实施例的原理、实际应用或相对于市场中发现的技术的技术改进，或者以使本领域普通技术人员能够理解本文中公开的实施例。