用于减少描绘场景的视频图像流中的强度变化的方法与流程

本发明涉及用于减少描绘场景的视频图像流中的强度变化的方法。

背景技术：

视频监控在当今社会中被广泛使用，具有很多不同的应用。例如，许多商店典型地具有被安装来对付入店行窃的摄像机。同样地，也常常重要的是，监视室外位置，以便检测事故、偷窃或者定位失踪的人。例如，停车场、建筑物的入口以及道路是典型地有兴趣进行监视的一些示例。

然而，常常难以在具有低光照水平的场景中辨别细节，这是因为所捕获的视频典型地曝光不足。在这样的情况中增加光照水平的一种方式是引入照亮场景的外部光源，但是由于增加的功耗，这样的解决方案常常不是期望的，并且外部光源还能够公开视频摄像机的位置，这通常是不期望的。

替代方式是增加摄像机的曝光时间以便收集场景中的更多光。这样的解决方案使增加视频中的光照水平成为可能。然而，如果诸如手电筒之类的明亮的对象进入场景的一部分，问题就会出现。因为场景的那部分中的光照水平突然地增加，摄像机的曝光时间减少以便减少所收集的光的量并且因此设法避免场景的过度曝光。然而，得到的视频将不是最优的，这是因为场景的较暗部分将由于短的曝光时间而再次曝光不足，并且亮的部分典型地仍然部分地饱和。因此，需要对具有大的亮度改变的场景进行改善的视频监视。

技术实现要素：

鉴于以上所述，本发明的目的是提供用于减少描绘场景的视频流中的强度变化的方法和数字视频摄像机。

目标是缓解、减轻或者消除本领域中的一个或多个上面所述的缺陷和单个地或任何组合中的缺点并且解决至少上述问题。

根据第一方面，提供一种用于减少描绘场景的视频图像流中的强度变化的方法。该方法包括：使用被设置为第一传感器设置的图像传感器来捕获视频图像流的第一帧；检测第一帧的一部分中的强度值的局部改变，其中，第一帧的一部分表示场景的第一区域；基于第一帧中的强度值来确定第二传感器设置；使用被设置为第二传感器设置的图像传感器来捕获视频图像流的第二帧，该第二帧在第一帧之后；创建局部色调映射掩模，其中，场景的第一区域中的局部色调映射不同于场景的第一区域外部的区域中的局部色调映射，并且其中，场景的第一区域外部的区域中的局部色调映射基于第一传感器设置和第二传感器设置之间的关系；以及将局部色调映射掩模应用到视频图像流的第二帧。

在本申请的上下文中，词语“强度变化”应当被解释为帧内的像素中的强度值的变化。

在本申请的上下文中，词语“强度值的局部改变”应当被解释为帧的一部分内的像素中的强度值的增加或减小。

在本申请的上下文中，词语“局部色调映射掩模”应当被解释为包括与图像的色调映射有关的信息的图像掩模。

借助本方法，可以创建和应用局部色调映射掩模来补偿由场景的第一区域中的强度值的改变所引起的传感器设置的改变，该局部色调映射掩模在场景的第一区域外部的区域中。借助本方法，可以进一步，将局部色调映射掩模应用到以第二传感器设置所捕获的视频图像流中的第一帧。

传感器设置可以是从包括传感器曝光时间和传感器增益的组中选择的一个或多个。

在本申请的上下文中，词语“传感器增益”应当被解释为在图像传感器中应用的增益。应用的增益可以是模拟和/或数字增益。模拟增益在模拟信号被变换为数字信号之前增大来自图像传感器的模拟信号，即，在信号的a/d转换之前增大信号。数字增益增大数字信号，即，在模拟信号的a/d转换之后增大信号。

第二传感器设置可以是关于第一传感器设置进行的传感器曝光时间和/或传感器增益的调整。

第一传感器设置和第二传感器设置之间的关系可以是第一传感器设置和第二传感器设置之间的比率。

正当创建局部色调映射掩模时，场景的第一区域中的局部色调映射可以基于第二传感器设置。

使场景的第一区域中的局部色调映射基于第二传感器设置的优点是场景的第一区域中的色调映射可以改变与场景的第一区域相关联的第二帧的部分中的强度值。由此，可以减少视频图像流中的第二帧中的强度变化。

局部色调映射掩模可以进一步包括第一区域和第一区域外部的区域之间的梯度过渡。

包括第一区域和第一区域外部的区域之间的梯度过渡的局部色调映射掩模的优点是，可以在第二帧中实现与第一区域和第一区域外部的区域相关联的部分之间的渐变过渡。

该方法可以进一步包括：对于在第二帧之后的帧，朝向预先确定的局部色调映射掩模逐渐地调整局部色调映射掩模。

对于在第二帧之后的帧朝向预先确定的局部色调映射掩模逐渐地调整局部色调映射掩模的优点是，可以将较不复杂的局部色调映射掩模应用到第二帧之后的帧。与和确定局部色调映射掩模相关联的计算能力相比，较不复杂的局部色调映射掩模可以需要较少计算能力。

该方法可以进一步包括：检测第一帧的第二部分中的强度值的第二局部改变，其中，第一帧的第二部分表示场景的第二区域；并且其中，正当创建局部色调映射掩模时，场景的第二区域中的局部色调映射不同于场景的第二区域外部的区域中的局部色调映射，并且其中，场景的第二区域外部的区域中的局部色调映射基于第一传感器设置和第二传感器设置之间的关系。

正当创建局部色调映射掩模时，场景的第二区域中的局部色调映射可以基于第二传感器设置。

使场景的第二区域中的局部色调映射基于第二传感器设置的优点是场景的第二区域中的色调映射可以改变与场景的第二区域相关联的第二帧的部分中的强度值。由此，可以减少视频图像流中的第二帧中的强度变化。

该方法可以进一步包括：使用被设置为第一传感器设置的图像传感器来捕获视频流的中间帧，该中间帧在第一帧之后并且在第二帧之前；检测中间帧的另一部分中的强度值的另一局部改变，其中，中间帧的另一部分表示场景的另一区域；基于中间帧中的强度值来确定第三传感器设置；使用被设置为第三传感器设置的图像传感器来捕获视频图像流的第三帧，第三帧在第二帧之后；创建另一局部色调映射掩模，其中，场景的第一区域和场景的另一区域中的局部色调映射不同于场景的第一区域和场景的另一区域外部的区域，并且其中，场景的第一区域和场景的另一区域外部的区域中的局部色调映射基于第一传感器设置和第三传感器设置之间的关系；将另一局部色调映射掩模应用到视频流的第三帧。

正当创建另一局部色调映射掩模时，场景的第一区域和场景的另一区域中的局部色调映射可以基于第三传感器设置。

使场景的第一区域和场景的另一区域中的局部色调映射基于第三传感器设置的优点是色调映射可以改变与场景的第一区域和场景的另一区域相关联的第三帧的部分中的强度值。由此，可以减少视频图像流中的第三帧中的强度变化。

根据第二方面，提供一种被配置为捕获描绘场景的视频图像流的数字视频摄像机。数字视频摄像机包括：图像传感器，被配置为以不同的传感器设置被设置，并且捕获视频图像流的不同的帧；控制电路，包括：强度评估功能，被配置为由被设置为第一传感器设置的图像传感器所捕获的第一帧的一部分中的强度值的局部改变，其中，第一帧的一部分表示场景的第一区域；传感器设置确定功能，被配置为基于第一帧中的强度值来确定第二传感器设置；局部色调映射掩模功能，被配置为创建局部色调映射掩模，其中，场景的第一区域中的局部色调映射不同于场景的第一区域外部的区域中的局部色调映射，并且其中，场景的第一区域外部的区域中的局部色调映射基于第一传感器设置和第二传感器设置之间的关系，并且局部色调映射掩模功能将局部色调映射掩模应用到被设置为第二传感器设置的图像传感器所捕获的第二帧。

当可适用时，第一方面的上述特征也适用于该第二方面。为了避免过度的重复，对以上进行参考。

图像传感器和控制电路可以在帧级别同步。

图像传感器和控制电路在帧级别同步的优点是，可以对于视频图像流中的同一帧改变局部色调映射掩模和传感器曝光设置。

控制电路的功能可以被实施为在通用处理器上或在图形处理单元、现场可编程门阵列、固定功能的专用集成电路或模拟电路上运行的计算机软件部分。

根据第三方面，提供一种具有记录在上面的程序代码的非暂时性计算机可读记录介质，当所述程序代码在具有处理能力的设备处被执行时，被配置为执行本方法。

当可适用时，第一和第二方面的上述特征也适用于第三方面。为了避免过度的重复，对以上进行参考。

根据在下面给出的具体实施方式，本公开的应用的进一步范围将变得明显。然而，应当理解，具体实施方式和特定示例在指示本发明构思的优选变体时仅仅作为说明被给出，这是因为根据该具体实施方式，本发明构思范围内的各种改变和修改将对本领域技术人员变得明显。

因此，应当理解，该发明构思不局限于所描述的方法的特定步骤或所描述的系统的构成部分，因为此方法和系统可以改变。也将理解的是，在本文使用的术语仅仅用于描述特定实施例的目的并且不意图进行限制。必须指出，如在说明书和所附权利要求中使用的，冠词“一”、“该”和“所述”意图意指存在一个或多个要素，除非该上下文清楚地另外指示其他。因此，例如对“单元”或者“该单元”的引用可以包括若干设备，等等。此外，词语“包括”、“包括有”、“包含”以及类似的措辞不排除其他要素或者步骤。

附图说明

现在将参考示出本发明的实施例的附图来更详细地描述本发明的以上和其他方面。图不应当被考虑为将本发明限制到特定实施例；而是它们被用于解释和理解本发明。

如在图中所图示出的，层和区域的尺寸被夸大以用于说明目的，并且因此，被提供以图示出本发明的实施例的通用结构。贯穿本文相同附图标记指的是相同要素。

图1a图示出描绘场景的初始帧。

图1b图示出描绘场景的第一帧。

图1c图示出描绘场景的第二帧。

图1d图示出具有减少的强度变化的第二帧。

图2是减少描绘场景的视频流中的强度变化的方法的方框图。

图3图示出被配置为捕获描绘场景的视频图像流的数字视频摄像机。

具体实施方式

现在将参考附图在下文更全面地描述本发明构思，在附图中示出了本发明构思的当前优选的变体。然而，可以以许多不同的形式实施该发明构思并且该发明构思不应当被理解为受限于在本文阐述的变体；更确切些，为了彻底性和完整性而提供这些变体，并且这些变体向本领域技术人员充分传达本发明构思的范围。

现在将参考图1a至图1d来描述减少描绘场景的视频流中的强度变化的方法。图1a至图1d图示出由将关于图3更详细地描述的数字视频摄像机30所捕获的帧。

图1a图示出描绘场景的初始帧40。场景包括场地460、道路440、道路一侧470以及天空480。场地460包括第一结构410、第二结构420以及湖430。已经使用被设置为第一传感器设置的图像传感器302捕获了初始帧40。第一局部色调映射掩模已经被应用于初始帧40。第一局部色调映射掩模可以基于用于捕获初始帧的数字视频摄像机30的第一传感器设置。如在图1a中看出的，配置第一局部色调映射掩模以优化初始帧40中的亮度级的范围。换句话说，第一结构410、第二结构420、湖430以及道路440在初始帧40中是可见的。而且，第一特征412、第二特征414、第三特征416以及第四特征418在第一结构410上是可见的。

图1b图示出描绘与图1a中相同的场景的第一帧50。第一帧50由被设置为第一传感器设置的图像传感器302来捕获。如在图1b中看出的，汽车550已经进入了第一帧50中的场景。汽车550被包括在第一帧50的部分590中，并且部分590表示场景的第一区域。汽车550的前灯552是明亮的，并且由图像传感器302对于图1b中描绘的场景所收集的光的强度水平的范围大于由图像传感器302对于图1a中描绘的场景所收集的光的强度水平的范围。换句话说，在图1a和图1b中示出的示例中，第一帧50中的最高强度水平高于初始帧40中的最高强度水平。数字视频摄像机30中的控制电路304中的强度评估功能306将检测场景的部分590中的强度值的局部增加。控制电路304中的传感器设置确定功能308将基于第一帧50中的强度值来确定第二传感器设置。换句话说，传感器设置确定功能308调整图像传感器302的第一传感器设置以补偿当捕获视频图像流中的稍后的帧时的强度值的增加。例如，为了补偿场景中的亮度的增加，可以减小传感器曝光时间和/或传感器增益。因而，控制电路304将图像传感器302设置为第二传感器设置。

图1c图示出描绘与图1a和图1b中相同的场景的第二帧60。第二帧60由被设置为第二传感器设置的图像传感器302来捕获。在该特定示例中，第二传感器设置是传感器曝光时间的减少，使得第二传感器曝光时间是第一传感器曝光时间的一半。第二局部色调映射掩模已经被应用于第二帧60。配置第二局部色调映射掩模以优化第二帧。如在图1c中看出的，第二传感器设置补偿来自汽车550的前灯552的强度值的增加。第二传感器设置的结果是，在汽车将是清楚地可见时，当在所成像的场景中缺乏明亮的光源的情况下，与用于那些区域的最优设置相比较，道路440、场地460、道路一侧470和天空480将是曝光不足的。这些区域440、460、470、480中的强度转变将是惊人的。如在图1c中所例证的，由于第二传感器设置和第二局部色调映射掩模而至少降低第一结构410、第二结构420、湖430和道路440的可视性。换句话说，第二局部色调映射掩模优化第二帧60，使得汽车550的前灯552不是完全饱和的，同时第二帧60的其他部分不是完全地曝光不足(即，至所有信息丢失的程度)。然而，将存在这些其他部分中的强度的几乎瞬时的转变，并且在第二帧60中这些没有完全曝光不足的区域中的细节不是可见的。例如，在图1c中在第二帧60中，场地460中的第一结构410和第二结构420不是可见的。

图1d图示出具有减少的强度变化的第二帧70。通过基于第一传感器设置和第二传感器设置创建局部色调映射掩模并且将其应用到图1c中图示出的第二帧60来实现第二帧70中的强度变化的减少。局部色调映射掩模被配置为使得场景的第一区域外部的色调映射基于第一传感器设置和第二传感器设置之间的关系。在图1d中示出的示例中，第一区域外部的区域中的色调映射基于第一传感器设置和第二传感器设置之间的比率。在该特定示例中，第一区域外部的区域中的色调映射补偿传感器曝光时间的改变。

因而，场景的第一区域中的对象的强度将被映射到第二帧70的部分590中的特定像素强度值。具有场景的第一区域中的对象的强度的一半的场景的第一区域外部的对象将被映射到第二帧70中的相同的特定像素强度值。换句话说，根据场景中的强度是否在场景的第一区域中，将场景中的强度映射到第二帧70中的不同的像素强度值。

局部色调映射掩模还被配置为使得场景的第一区域中的色调映射基于第二传感器设置。换句话说，第一区域中的色调映射是对于图1c中的第二帧60应用的局部色调映射。

关于图1a至图1d所描述的帧也被包括在视频图像流中，然而，图1b中的第一帧50是跳过帧并且将因此对于观察视频图像流的人是不可见的。同样地，对于具有减少的强度变化的第二帧70，有利地不包括图1c中的第二帧60。

图2是用于减少描绘场景的视频流中的强度变化的方法20的方框图。

该方法20包括使用被设置为第一传感器设置的图像传感器302来捕获s202视频图像流的第一帧50。

第一帧50可以是视频图像流中的跳过帧。第一帧50可以是视频图像流中的隐藏帧。换句话说，视频图像流中的第一帧50在方法20中被使用，但是在视频图像流中可以不可见。

传感器设置可以是从包括传感器曝光时间和传感器增益的组中选择的一个或多个。传感器设置可以是传感器曝光时间和传感器增益的组合。传感器设置可以是传感器曝光时间和传感器增益的乘积。

该方法20进一步包括检测s204第一帧50的部分590中的强度值的局部改变。第一帧50的部分590表示场景的第一区域。第一帧50的部分590可以与前景对象相关联。前景对象可以例如是图1中描绘的场景中的汽车550。可以动态地更新第一帧50的部分590。例如，可以在第一帧50之后的帧中使第一帧50的部分590移动，例如，之后是汽车550移动通过场景。

该方法20进一步包括基于第一帧中的强度值来确定s206第二传感器设置。第二传感器设置可以是关于第一传感器设置进行的传感器曝光时间和/或传感器增益的调整。第二传感器设置可以是关于第一传感器设置进行的传感器曝光时间和传感器增益的组合的增加或减小。

该方法20进一步包括使用被设置为第二传感器设置的图像传感器来捕获s208视频图像流的第二帧70，第二帧70在第一帧50之后。第二帧70可以与第一帧50连续。第二帧70可以与第一帧50不连续。

该方法20进一步包括创建s210局部色调映射掩模，其中，场景的第一区域中的局部色调映射不同于场景的第一区域外部的区域中的局部色调映射，并且其中，场景的第一区域外部的区域中的局部色调映射基于第一传感器设置和第二传感器设置之间的关系。第一传感器设置和第二传感器设置之间的关系可以是第一传感器设置和第二传感器设置之间的比率。场景的第一区域中的局部色调映射可以基于第二传感器设置。

该方法20进一步包括将局部色调映射掩模应用s212到视频图像流的第二帧70。局部色调映射掩模可以在多个步骤中被应用到第二帧70。例如，初始局部色调映射掩模可以被应用到第二帧70，并且在应用初始局部色调映射掩模之后，校正的局部色调映射掩模可以被应用到第二帧70。初始局部色调映射掩模可以基于第一传感器设置。校正的局部色调映射掩模可以被配置为调整场景的第一区域外部的区域中的局部色调映射。换句话说，局部色调映射掩模可以是初始局部色调映射掩模和校正的局部色调映射掩模的组合。

局部色调映射掩模可以进一步包括第一区域和第一区域外部的区域之间的梯度过渡。

该方法20可以进一步包括：对于在第二帧70之后的帧，朝向预先确定的局部色调映射掩模逐渐地调整局部色调映射掩模。换句话说，可以朝向预先确定的局部色调映射掩模调整局部色调映射掩模。可以对于第二帧70之后的每个帧逐步地作出调整。可以朝向用于预先确定的数量的帧的预先确定的局部色调映射掩模来逐渐地调整局部色调映射掩模。换句话说，在第二帧70之后的预先确定的数量的帧之后，可以将局部色调映射掩模调整为预先确定的局部色调映射掩模。预先确定的局部色调映射掩模可以基于用于第二帧70之后的帧的传感器设置。

该方法20可以进一步包括检测s216第一帧50的第二部分中的强度值的第二局部改变，其中，第一帧50的第二部分表示场景的第二区域。在此种情况中，正当创建s210局部色调映射掩模时，场景的第二区域中的局部色调映射不同于场景的第二区域外部的区域中的局部色调映射，并且其中，场景的第二区域外部的区域中的局部色调映射基于第一传感器设置和第二传感器设置之间的关系。场景的第二区域中的局部色调映射可以基于第二传感器设置。

该方法20可以进一步包括使用被设置为第一传感器设置的图像传感器来捕获s218视频流的中间帧。在这样的情况中，中间帧在第一帧50之后并且在第二帧70之前。

该方法20可以进一步包括检测s220中间帧的另一部分中的强度值的另一局部改变。在此种情况中，中间帧的另一部分表示场景的另一区域。

该方法20可以进一步包括基于中间帧中的强度值来确定s222第三传感器设置。

该方法20可以进一步包括使用被设置为第三传感器设置的图像传感器302来捕获s224视频图像流的第三帧，第三帧在第二帧70之后。

该方法20可以进一步包括创建s226另一局部色调映射掩模，并且场景的第一区域和场景的另一区域中的局部色调映射不同于场景的第一区域和场景的另一区域外部的区域。在此种情况中，场景的第一区域和场景的另一区域外部的区域中的局部色调映射基于第一传感器设置和第三传感器设置之间的关系。

该方法20可以进一步包括将另一局部色调映射掩模应用s228到视频流的第三帧。

图3图示出被配置为捕获描绘场景的视频图像流的数字视频摄像机30。数字视频摄像机30包括被配置为以不同的传感器设置被设置的图像传感器302。图像传感器302被进一步配置为捕获视频图像流的不同的帧40、50、60、70。

数字视频摄像机30进一步包括控制电路304。控制电路304包括强度评估功能306、传感器设置确定功能308以及局部色调映射掩模功能310。

强度评估功能306被配置为检测由被设置为第一传感器设置的图像传感器302所捕获的第一帧50的部分590中的强度值的局部改变。第一帧的一部分590表示场景的第一区域。

传感器设置确定功能308被配置为基于第一帧50中的强度值来确定第二传感器设置。

局部色调映射掩模功能310被配置为创建局部色调映射掩模，其中，场景的第一区域中的局部色调映射不同于场景的第一区域外部的区域中的局部色调映射，并且其中，场景的第一区域外部的区域中的局部色调映射基于第一传感器设置和第二传感器设置之间的关系。

局部色调映射掩模功能308被进一步配置为将局部色调映射掩模应用到由被设置为第二传感器设置的图像传感器302所捕获的第二帧70。

图像传感器302和控制电路304可以在帧级别同步。换句话说，控制电路304可以将局部色调映射掩模应用到由被设置为第二传感器设置的图像传感器302所捕获的最早的帧。在这里描述的示例中，由具有第二传感器设置的图像传感器302所捕获的最早的帧是第二帧60、70。

控制电路304的功能306、308、310可以被实施为在通用处理器上或在图形处理单元、现场可编程门阵列、固定功能的专用集成单元或模拟电路上运行的计算机软件部分。

本领域技术人员认识到，本发明构思并不局限于在以上描述的优选的变体。相反，许多修改和变化可能处于所附权利要求的范围内。

例如，第一和第二传感器设置之间的差别可以是传感器增益的改变，而非关于图1a至图1d所描述的传感器曝光时间的改变。可替代地，第一和第二传感器设置之间的差别也可以是传感器曝光时间的改变和传感器增益的改变两者。

另外地，能够由本领域技术人员根据对附图、本公开和所附权利要求的研究在实践所要求保护的发明时理解和实现所公开的变体的变化。