采用基于噪声的适应性调整的编码技术的制作方法

专利名称：采用基于噪声的适应性调整的编码技术的制作方法
采用基于噪声的适应性调整的编码技术
站旦 Ff足
具有视频和图像处理能力的设备正在变得越来越普遍。例如，很多便携和 固定的设备现在能够捕捉、显示、编码和解码图像用于视频应用。这些能力通 常对设备的资源——诸如其处理和存储器资源施加相当大的负载。结果，可能 引起很多不合需要的效应。例如，诸如视频编码之类的操作可导致设备的净空
(headroom)减少，从而致使设备不能执行另外的任务。对于便携设备，与视频 编码相关联的负担也可致使设备电池寿命降低。
不幸的是，针对减轻这种不合需要的效应的努力可导致其他的缺点。这些 缺点包括设备成本增加和通过视频/图像处理操作递送的图像的质量下降。因 此，需要用于在不施加相当大的处理负载或与这些负载相关联的负面效应的情 况下提高视频/图像处理操作的质量的技术。
附图简述


图1是示出装置的实施例的图示。
图2是示出可包括在编码模块中的实现实施例的图示。
图3是图像的示例性视图。
图4示出逻辑流程的实施例。
图5是示例性传感器阵列的视图。
图6示出逻辑流程的实施例。
图7A和7B是示出像素分布曲线和分布的图示。
图8示出系统的实施例。
具体实施例方式
各实施例一般涉及基于噪声特性进行适应性调整的编码技术。在一个实施 例中，例如，噪声确定模块确定图像传感器的一个或多个噪声特性。编码器模块基于该确定选择一个或多个设置以编码从图像传感器接收的图像。以此方 式，可采用不损害被编码图像的质量的编码设置。因而，可在不损害编码性能 的情况下获得执行和处理效率。可描述并要求保护其他实施例。
各实施例可包括一个或多个元件。元件可包括被安排执行某些操作的任何 结构。可按给出的一组设计参数或性能限制所需，将每一个元件实现为硬件、 软件或其任意组合。尽管可用一特定拓扑结构中的有限数量的元件作为示例描 述实施例，但该实施例可按给出实现所需包括替换拓扑结构中的或多或少的元 件。值得注意的是，对"一个实施例"或"实施例"的任何引用都表示结合实 施例描述的特定特征、结构或特性被包括在至少一个实施例中。在说明书的各 位置出现的短语"在一个实施例中"不一定全指同一实施例。
I.装置
图1是示出可用于处理图像和/或视频序列的装置100的实施例的图示。 例如，该系统可捕捉、编码和/或压縮图像/视频信号。这种编码可采用一个或 多个取决于与图像捕捉相关联的噪声特性的设置或参数。
如图1所示，装置IOO可包括各种元件。然而，实施例不限于这些元件。 具体地，图1示出装置100可包括光学组件102、图像传感器104和图像处理 模块106。可将这些元件实现在硬件、软件、固件或其任意组合中。
光学部件102可包括一个或多个光学器件(例如，透镜、反射镜等)以将视 场内的图像投影到图像传感器104内的多个传感器元件。例如，图1示出具有 透镜103的光学部件102。此外，光学部件102可包括控制这些光学器件的排 列的机构。例如，这种机构可控制聚焦操作、孔径设置、变焦操作、快门速度、 有效焦距等。然而，实施例不限于这些示例。
图像传感器104可包括传感器元件的阵列(未示出)。这些元件可以是互补 金属氧化物半导体(CMOS)传感器、电荷耦合器件(CCD)或其他适当的传感器元 件类型。这些元件可生成与入射到传感器的光相对应的模拟强度信号(例如电 压)。此外，图像传感器104还可包括将模拟强度信号转换成经数字编码的强 度值的模拟-数字转换器(ADC)。然而，实施例不限于该示例。
因此，图像传感器104将通过光学部件102接收的光120转换成像素值。这些像素值中的每一个都表示相应传感器元件处的具体光强度。尽管将这些像 素值描述为数字的，但它们也可选择地是模拟的。
图像传感器104可具有各种可调设置。例如，其传感器元件可具有一个或
多个定量控制光至电信号的转换的增益设置。此外，图像传感器104的ADC 可具有一个或多个积分时间，它控制传感器元件输出信号被累加的持续时间。
可基于诸如周围照明等环境因素适应性调整这种设置。此外，图像传感器104 可具有图像处理能力。这种能力可将RAW像素数据转换成红、绿和蓝(RGB) 或YUV数据用于显示和/或压縮。此外，这种能力可提供图像定标和噪声降低 特征。
图1示出由图像传感器104生成的像素值可被排列成表示一个或多个图像 的信号流122。因此，信号流122可包括具有多个像素值的帧或字段的序列。
每一个帧/字段(也称为图像信号)可对应于特定时间或时间间隔。在实施例中， 信号流122是数字的。或者，信号流122可以是模拟的。
此外，图1示出图像传感器104可向图像处理模块106提供传感器信息 124。该信息可包括与图像传感器104相关联的操作状态信息(例如，会话初始 化)以及其一个或多个设置。传感器设置的例子包括传感器元件增益和ADC积
分时间。
图像处理模块106可包括噪声确定模块108和基于噪声的适应性编码模块 110。这些元件可用于适应性的基于噪声的编码。例如，噪声确定模块108确 定与图像传感器104相关联的一个或多个噪声特性。该确定可按各种方式来进 行。例如，该确定可包括计算与一个或多个屏蔽像素(本文中也称为黑暗像素) 的强度值相关联的统计数据。这些统计数据的例子包括平均值、标准偏差和/ 或方差。
噪声确定模块108可在触发事件发生时作出其确定。这种事件的例子包括 视频/图像会话的初始化和图像传感器104的一个或多个设置的改变。示例性设 置包括增益和积分时间。
基于噪声的适应性编码模块110根据一个或多个基于所确定的噪声级的 参数对从图像传感器接收的图像信号进行编码(例如，压縮)。该编码可采用各 种压縮技术来利用信号流122固有的冗余(例如，空间冗余和/或时间冗余)。这种技术可包括块匹配算法，这将在下文详细描述。
装置100可在各种设备中实现，诸如手提式装置或嵌入式系统。这种设备
的例子包括移动无线电话、IP语音(VoiP)电话、个人计算机(PC)、个人数字助 理(PDA)和数码相机。此外，该系统还可在采用标准公共交换电话网(PSTN)电 话线、综合数字服务网(ISDN)电话线和/或分组网(例如，局域网(LAN)、因特 网等)的基于陆上线路的视频电话中实现。
图2示出可包括在编码模块110内的示例性实现200。该实现可包括多种 元件，诸如编码器202、帧存储模块204以及参数设置模块207。然而，实施 例不限于这些元件。
编码器202可采用基于混合变换的运动补偿编码方案。然而，实施例不限 于该示例。这种编码方案可利用空间和时间冗余来减少呈现图像所需的数据 量。因此，编码器202可遵循例如一个或多个运动图像专家组(MPEG)标准， 诸如MPEG-2和MPEG-4。编码器202还可遵循一个或多个由国际电信联盟 (ITU)电信标准化部分(ITU-T)建立的标准。这些标准的例子包括H.261、 H.263 和H.264。
图2示出编码器202包括转发部分205和重构部分206。转发部分205接 收未被压縮的图像信息并以编码(例如，压縮)形式输出该信息。然而，转发部 分205依赖重构部分206来提供用于编码的预测信息。
帧存储模块204存储图像信号，诸如帧。例如可从诸如图像传感器104 之类的图像传感器接收这些帧。另外，帧存储模块204存储从编码器202接收 的重构帧。因此，帧存储模块204可包括诸如存储器之类的存储介质。以下提 供存储介质的例子。
参数设置模块207可基于它可从例如噪声确定模块108接收的噪声信息 256设置编码器202的一个或多个参数。因此，噪声信息256可与图像传感器 相关联。模块207可基于该信息设置各个参数。设置的例子包括阈值，诸如在 运动估计算法中使用的零运动检测阈值。
再次参考编码器202，图2示出其转发部分205可包括运动估计模块208、 组合(例如，差分)节点210、转发变换模块212、量化模块214、编码模块216 以及选择内预测模块218。图2还示出重构部分206可包括运动补偿模块220、内预测模块222、路由模块224、逆量化模块226、逆变换模块228、组合(例 如，求和)节点230以及环内解块滤波器232。
图2示出帧存储模块204将当前帧250(也示为F。)提供给转发部分205。 此外，帧存储模块204向转发部分205提供基准帧252(在图2中也示为F'。.,)。 然而，可替换地提供一个以上的基准帧。编码器202以诸如16x16图像像素区 之类的宏块为单元处理这些帧(然而，对于帧间预测编码，可按大小可变的区 域的形式处理基准帧)。例如，图2示出对应于当前帧Fj勺宏块Bn。
编码器202可按帧内预测模式或帧间预测模式编码这些宏块中的每一个。 这些模式中的每一种采用预测块，在图2中示为P。同样，对于这些模式中的 每一种，预测块P的生成基于用作基准的重构帧。
在帧内预测模式中，模块222由先前已被编码、解码和重构的当前帧n 中的样本形成预测块P^。这些样本在图2中被示为uF'n。可根据各种模式执 行帧内预测。因此，模块218针对Fn内的每个块选择这些模式之一。基于该选 择，帧内预测模块222生成预测块P帧内。
在帧间预测模式中，模块220通过应用运动补偿预测技术从一个或多个基 准帧形成预测块P,。例如，图2示出基准帧252，该基准帧252是先前被编 码和重构的帧F'n-l。然而，可将两个或更多经编码和重构的帧用作基准帧。
帧间预测模式利用运动估计模块208和运动补偿模块220。运动估计模块 208估计用于当前帧Fn内的一个或多个块的运动向量。这些运动向量基于基准 帧FV,内的相应块。运动估计的一种方法包括采用块匹配算法。以下参考图3 和图4描述这种算法的例子。
对于帧Fn内的每一个块，运动补偿模块220基于基准帧内相对应的块产 生预测块P ,。该相应块是由运动估计模块208估计的运动向量确定的。
如图2所示，路由模块224选择P,或P咖作为预测块P。该选择可基于 帧F。和一个或多个其他帧的特性。组合节点210进而计算当前宏块Bn(在当前 帧Fn内)和预测宏块P之间的差。这产生残差或差宏块Dn。转发变换模块212 将Dn变换成一组变换系数(例如，利用4x4块变换)。这些系数进而由量化模块 214量化成量化系数X。这些量化系数被发送至编码模块216，编码模块216 可对它们进行重新排序或熵编码。结果，编码模块216输出宏块Bn的经压縮的信息流258。该流可包括经 编码的系数以及用于解码该宏块的辅助信息。这种辅助信息的例子可包括宏块 预测模式、量化器步长、描述如何运动补偿宏块的运动向量信息等。可按各种 方式处理流258。例如，可将信息流258发送至远程设备和/或存储在存储介质 中。
如上所述，重构部分206可包括运动补偿模块220、内预测模块222、路 由模块224、逆量化模块226、逆变换模块228、组合节点230以及解块滤波器 232。
逆量化模块226从量化模块214接收经量化的宏块系数X并对它们重新 定标。可将这些重新定标的系数发送至逆变换模块228，该逆变换模块228对 系数执行逆变换(例如逆4x4块变换)以获取差宏块Dn'。 Dn'可能与原始差 宏块Dn不等同。这是因为量化模块214引入的失真引起的。
图2示出差宏块Dn'与预测宏块P组合(例如求和)以产生重构宏块uB'n。 该重构宏块是原始宏块的失真版本。为了减小该失真，将解块滤波器232应用 到原始宏块。同样，解块滤波器232将宏块重构成重构帧254(也被示为F'n)。
如以上参考图2所述，图像压縮技术可采用运动估计和压縮。 一种运动估 计方法包括对在不同时间捕捉的两个图像中所包含的大小相同的图像数据块 进行比较的块匹配算法(BMA)。
还可参考以下附图和所附示例对以上实施例的操作进行进一步的描述。某 些附图可包括逻辑流程。尽管本文提供的这些附图可包括具体的逻辑流程，但 应意识到该逻辑流程仅仅提供了如何实现本文描述的一般功能的例子。此外， 除非另外指出，否则所给出的逻辑流程不一定需要按所提供的顺序来执行。此 外，给出的逻辑流程可通过硬件元件、由处理器执行的软件元件或其任意组合 来实现。实施例不限于该上下文。
II.块匹配算法
如上所述，图2的实现可采用块匹配算法来估计运动。这些算法涉及生成 估计块从一个图像至另一个图像的水平和垂直位移的运动向量(MVx， MVy)。 BMA运动向量的范围被所使用的搜索窗口的大小所约束。图3是示出当前帧(或当前图像)的示例性源块302的图示。源块302在相 对应的搜索窗口 304内。可在块302和与搜索窗口 304内的块302有一位移的 先前图像的大小相等的块之间进行比较。
在图3中，分别沿x和y轴方向测量宽度和高度。因此，图3示出具有N 列宽度和M行高度的源块302。此外，图3示出具有N+2n,列宽度和M+2nM 行高度的搜索窗口 304。
块内元件(或像素)的数目、用于块比较的尺度、每一块所需比较的数目以 及位移搜索模式的是定义与运动估计相关联的成本的因数的例子。例如，成本 随着这些因数的值的增加而增加。这可按成本函数的形式来表示。
绝对差的和(SAD)已获得作为确定运动向量的基础(或尺度)的广泛采用。 这是由于其简单和直接的实现。对于当前块302，可将SAD计算为以下方程式 1中所表达的。
&4D(&，办)=ZZ |/Cttn^(m，") — /『(m + c/x," +办〗 (1)
rt=ctc m:办
在方程式(l)中dx和dy分别表示在x和y方向上当前块和先前块之间的 位移；Ieurr(x,y)表示在位置x， y处当前图像或帧的元素值；Ip^(x,y)表示在位置 x， y处先前图像或帧的元素值。
因此，方程式(l)的SAD为特定块提供一组值。具体地，方程式(l)示出
SAD是位移dx和dy的函数。如以上所表达的，该块具有N列乘M行的大小。
由此，运动向量(MVx，MVy)可根据以下的方程式(2)来计算。 —,MK力=miV 一2 &4來办) (2)
如方程式(2)所表达的，特定块的运动向量表示区域9f中产生最小SAD值 的位移。因此好表示对SAD进行估值的搜索窗口(例如， 一组位移，或dx、 dy配对)。
贯穿整个区域或搜索窗口执行穷举搜索包括对窗口内的每一列和每一行 位移进行估值。例如，贯穿图3的搜索窗口的搜索的操作数量由+An,列和+Z-m, 行的范围确定。因此，在计算这一 SAD中涉及的绝对差与求和操作的总数在 以下的方程式(3)中表达。
C完全搜索=(2"' + Ox (2附,+ l)x (M x AO (3)
为了保存处理资源和/或能量，很少将完全搜索用于典型的图像序列(视频信号)。相反， 一般执行搜索窗口的简化搜索(或子采样)，因为这通常得到可接 受的质量。这种子采样方法被称为快速搜索算法。在快速搜索算法中， 一般计 算固定数量的块SAD。
图4示出可用于估计图像内块的运动的逻辑流程400。为了清楚的目的， 该流程估计单块的运动，该块在本文中被称为所考虑的块。
在框402，执行初始化操作。这可包括设置初始的算法参数和值。例如， 框402可确定初始的所考虑的块。
在框404，保持或存储块运动向量的历史。具体地，为图像中的每一个块 生成历史。如果使用可变块大小方案，则框404在每次执行时间压縮序列时更 新块大小和先前位置。
在框405选择初始块匹配位移或位置。该初始位置可以是零运动位置。然 而，该位置可替换地是似乎最有可能产生最佳匹配的位置。例如，这种位置可 根据在框404保持的运动向量历史信息来确定。
框406为所考虑的块初始化块匹配算法(BMA)。该初始化可包括针对框 405选择的初始位置或位移执行块匹配计算，诸如SAD。在框408，确定计算 结果是否小于指示在连续的帧之间该块没有运动的零运动阈值。如果是这样的 话，则流程前进到框410。
框410终止所考虑块的BMA。因此，在框410，初始位移(例如，零位移) 变成所考虑的块的估计运动向量。因此，可通过在框408处采用阈值来避免需 要多块比较的整个搜索序列。
然而，如果框408确定SAD大于零运动阈值，则操作前进到框412。在 这个框处，BMA继续。这可包括在多个位移处搜索以生成运动向量。例如， 这可包括完全搜索。然而，这也可替换地包括执行快速搜索算法。这种算法采 用一种或多种早期退出技术，每一种技术都评估特定计算(例如，块SAD)的退 出阈值。如果计算在完成时不太可能生成匹配则这些阈值能够避免过度的计 算。
在这种搜索完成后，操作前进到框410，此处该运动向量变为所考虑的块 的估计的运动向量。
图4的例子示出零运动阈值的使用。该阈值的有效选择导致搜索例程退出场景的齐性区域。这导致显著的性能改进。相反，当该阈值选择不当时，性能 和图像质量两者都会受到影响。因此，通过有效的零运动向量检测，极有可能 降低视频编码的运动估计的成本。 一种示例性方法基于图像传感器噪声调节零 运动阈值。以下详细描述该方法。
III.基于噪声的适应性调整
诸如图1的系统之类的系统可包括CMOS图像传感器元件。这种元件收 集入射到场景上的光子。该收集得到多个像素元件中的每一个的强度值。在这 种设备中，若干噪声源可起使这些像素值的信噪比(SNR)降级的作用。
如上参考图1所述，图像传感器104可包括像素元件的阵列。这种阵列的 一个实施例在图5中示出。具体地，图5提供图像传感器阵列500的视图。该 阵列包括活动像素区502、预加载像素区504和黑暗像素区506。阵列500可 包括元件的多种排列。例如，元件可被排列成行和列的图案。然而，可采用诸 如轴向和螺旋图案的替换排列。
图像传感器阵列500可以是具有1620列和1220行的超扩展图形阵列 (UXGA)。如此，活动像素区502可具有1600列和1200行，预加载像素区504 可用未屏蔽的3行和3列包围区502，且黑暗像素区506可用屏蔽的7行和7 列包围区504。
活动像素区502用作图像捕捉靶。该区域包括响应于光的像素。预加载像 素区504可包括称为"预滤器"像素的未屏蔽像素。这种像素可用于各种初始 化和图像处理操作。
黑暗像素区506可包括通过例如金属层屏蔽光的像素。因而，这些像素(也 被称为基准黑暗像素)可用作确定图像传感器噪声特性的基准。
当CMOS传感器图像阵列暴露于来自景区图像的光时，光子撞击图像阵 列。结果，在阵列中的每一个CMOS传感器中生成电荷。每个电荷的一部分 与来自场景图像的光子率成比例。
然而，除归因于图像光子的电荷外，若干噪声源可起使与这些电荷相关联 的信噪比(SNR)降级的作用。因此，每个电荷的一部分可归因于作为各种类型 的噪声出现的处理错误。这些类型可包括散粒噪声、固定图形噪声、模数转换器(ADC)噪声以及在由这种CMOS传感器生成的图像中的其他芯片内和芯 片外噪声源。这种噪声使感测的图像质量降级。这种噪声作用可被分解，如以 下方程式(4)所表达的。
在方程式(4)中，〈c7,2〉表示噪声方差且〈cr,. >表示标准差。因此，基于上 述内容，与系统相关联的噪声可通过从传感器阵列读取诸如黑暗像素区506中 的像素之类的黑暗(即屏蔽)像素的值并计算平均值和标准偏差来测量。
这可包括存储阵列中的这种黑暗像素值、根据方程式(5)计算平均像素值 Z，然后根据方程式(6)计算像素值标准偏差〈cr^ > 。
在操作期间(例如，视频会话期间)，图像传感器的曝光参数可随着环境改 变和场景内容改变而改变。这种参数的例子包括传感器增益和传感器积分时间 (也称为曝光积分时间)。随着这些改变，传感器的噪声基底可增加或降低。
图6是示出逻辑流程600的图示。该流程包括初始化会话的框602。这可 包括例如发起视频会话并建立视频传感器(例如，CMOS图像传感器)的初始设 置。这种设置的例子包括增益和/或积分时间。这种初始设置可通过曝光控制算 法来建立。参考图l的实施例，曝光控制算法可由图像处理模块106来执行。 然而，这种控制可替换地或附加地由图像传感器104来执行。例如，图像传感 器104可执行自动曝光控制(AEC)。
在框604，确定图像传感器的一个或多个噪声特性。这可包括读取黑暗像 素并计算统计数据，诸如这些像素的强度值的标准偏差。
基于这些噪声特性，可在框606设置一个或多个压縮参数。零运动向量阈 值是这种参数的例子。随着随机传感器噪声增加，真正的场景运动越来越多地 被掩蔽。这使得不能检测低场景运动并可导致很多无效运动估计搜索发生。
因此，可将零运动阈值设置成随着噪声增加和降低。例如，可将该阈值设 置成(或基于)黑暗像素强度值的标准偏差。然而，可另外或替换地设置除零运动阈值以外的参数。
如框608所指示地，可在一个或多个触发条件发生时执行噪声特性的确定
和压縮参数的设置。触发事件可包括图像传感器设置的变化，诸如增益和/或曝 光积分时间。
框60示出可针对预定时间间隔检查触发事件，诸如在已捕捉预定数量的 帧之后。
图7A是参照不同的CMOS图像传感器设置示出示例性分布曲线的图示。 这些分布曲线示出在位置范围上像素值的变化。为了清楚的目的，该位置范围 被示为沿图的水平轴的一维。然而，这种分布曲线可在多维范围上绘制。
更具体地，图7A示出三个分布曲线702。这些分布曲线各自对应于特定 增益和积分时间。另外，图7A示出各自对应于分布曲线702的三个噪声基底。 例如，噪声基底704a对应于分布曲线702a，噪声基底704b对应于分布曲线 702b，而噪声基底704c对应于分布曲线702c。
此外，图7A示出样本噪声波形706。例如，噪声波形706a对应于分布曲 线702a，噪声波形706b对应于分布曲线702b，而噪声波形706c对应于分布 曲线702c。此外，图7A中示出噪声波形706中的每一个的噪声基底708。
图7B是参照图7A的CMOS图像传感器设置示出像素值分布的图。更具 体地，图7B示出像素值分布与其对应的噪声基底如何相关。例如，图7B示 出对应于噪声基底710a的分布708a、对应于噪声基底710b的分布708b以及 对应于噪声基底710c的分布708c。这些分布和噪声基底配对中的每一个都对 应于特定图像传感器设置(例如增益和积分时间)。
图7A和7B提供的信息示出随着增益设置变高，随机传感器噪声能够掩 蔽真正的场景运动，使得不可能检测低场景运动，并可导致很多无效运动估计 搜索发生。例如，这可发生在低光度下的图像齐次区域中或采用低成本光学装 置的设备中。
因此，可通过诸如零运动向量阈值之类的参数的动态适应性调整获取显著 的性能改进。这种适应性调整可基于传感器阵列噪声特性。或者，这种适应性 调整可直接基于一个或多个图像传感器参数，诸如增益和/或积分时间。IV.系统
图8示出系统800的实施例。该系统可适于与本文所述的诸如装置100、 实现200、逻辑流程400和600等一个或多个实施例一起使用。因此，系统800 可根据诸如本文所述的技术之类的技术捕捉和压缩图像。此外，系统800可显 示图像并存储相应数据。此外，系统800可与远程设备交换数据。
如图8所示，系统800可包括设备802、通信网络804以及一个或多个远 程设备806。图8示出设备802可包括图1的元件。此外，设备802可包括存 储器808、用户接口810、通信接口 812和电源814。
存储器808可存储数据形式的信息。例如，存储器808可包含编码或未编 码格式的图像。替换地或附加地，存储器808可存储控制逻辑、指令和/或软件 组件。这些软件组件包括由一个或多个处理器执行的指令。这些指令可提供系 统800中的一个或多个元件的功能。
存储器808可利用能够存储数据的任何机器可读或计算机可读介质来实 现，包括易失性和非易失性存储器。例如，存储器808可包括只读存储器(ROM)、 随机存取存储器(RAM)、动态RAM(DRAM)、双数据率DRAM(DDRAM)、同 步DRAM(SDRAM)、静态RAM(SRAM)、可编程ROM(PROM)、可擦除可编 程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、诸如铁电聚合物 存储器之类的聚合物存储器、奥氏存储器、相变或铁电存储器、硅-氧化-氮化-氧化-硅(SONOS)存储器、磁卡或光卡、或适于存储信息的任何其他类型的介质。 值得指出可将存储器808的某些部分或全部包括在存储器800的其他元件中。 例如，可将存储器808的部分或全部与图像处理模块106 —起包括在同一集成 电路或芯片中。或者可将存储器808的某些部分或全部设置在集成电路或其他 介质上，例如外部的硬盘驱动器。实施例不限于该上下文。
用户接口 810便于用户与设备802的交互。该交互可包括由用户输入信息 和域向用户输出信息。因此，用户接口 810可包括一个或多个设备，诸如键盘、 触摸屏、话筒和/或音频扬声器。此外，用户接口810可包括显示器以输出信息 和/或呈现由设备802处理的图像/视频。示例性显示器包括液晶显示器(LCD)、 等离子体显示器和视频显示器。
通信接口 812用于在一个或多个通信网络上与其他设备交换信息。该信息可包括由设备802发送的图像和/或视频信号。同样，该信息可包括接收自远程 设备的传输，诸如图像/视频传输的请求和指导设备802的操作的命令。
通信接口 812可用于无线或有线通信。对于无线通信，通信接口 812可包 括诸如收发机、天线和控制逻辑之类的组件，以便根据一个或多个通信协议执 行操作。因此，通信接口 812可根据各种协议在无线网络上通信。例如，设备 802和806可根据各种无线局域网(WLAN)协议工作，如IEEE 802.11系列协议， 包括IEEE 802.lla、 IEEE 802.1 lb、 IEEE 802.1 le、 IEEE 802.1 lg、 IEEE 802.1 In 等。在另一个例子中，这些设备可根据无线城域网(WMAN)移动宽带无线接入 (MBWA)协议工作，诸如来自IEEE 802.16或IEEE 802.20系列协议的协议。在 另一个例子中，这些设备可根据各种无线个人区域网(WPAN)工作。这种网络 包括例如IEEE 802.16e、蓝牙等。同样，这些设备可根据微波存取全球互通 (WiMax)协议工作，诸如IEEE 802.16指定的一个。
同样，这些设备可根据一个或多个标准采用无线蜂窝协议。这些蜂窝标准 可包括例如码分多址(CDMA)、 CDMA 2000、宽带码分多址(W-CDMA)、增强 通用分组无线业务(GPRS)以及其他标准。然而，实施例不限于该上下文。
对于有线通信，通信接口 812可包括诸如收发机和控制逻辑之类的组件， 以便根据一个或多个通信协议执行操作。这些通信协议的例子包括以太网(例 如，IEEE 802.3)协议、集成服务数字网络(ISDN)协议、公共交换电话网(PSTN) 协议以及各种电缆协议。
此外，通信接口 812可包括输入/输出(I/0)适配器、将I/0适配器与相应的 有线通信介质、网络接口卡(NIC)、磁盘控制器、视频控制器、音频控制器等 连接的物理连接器。有线通信介质的例子可包括导线、电缆、金属引线、印刷 电路板(PCB)、底板、交换结构、半导体材料、双绞线、同轴电缆、光学纤维 等。
电源814向设备802的元件提供工作电能。因此，电源814可包括至诸如 交流(AC)源之类的外部电源的接口。附加地或替换地，电源814可包括电池。 这种电池可以是可拆卸和/或可充电的。然而，实施例不限于这些示例。
V.结论本文阐述了众多特定细节以提供对实施例的全面理解。然而，本领域的技 术人员将理解，可在没有这些特定细节的情况下实施各实施例。在其他实例中， 没有详细描述公知的操作、组件和电路以免混淆实施例。能够意识到，本文披 露的特定结构和功能细节是代表性的且不一定限制实施例的范围。
各实施例可利用硬件元件、软件元件或两者的组合来实现。硬件元件的例 子可包括处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容
器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑设备(PLD)、数 字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器 件、芯片、微芯片、芯片组等。软件的例子可包括软件组件、程序、应用、计 算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、 软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、 指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其 任意组合。确定是否利用硬件元件和/或软件元件来实现实施例可根据任何数量 的因素而改变，这些因素诸如期望的计算速率、功率级、耐热性、处理周期预 算、输入数据率、存储器资源、数据总线速度和其他设计或性能限制。
某些实施例可利用"耦合"和"连接"连同其派生词来描述。这些术语彼 此不是同义词。例如，某些实施例可利用术语"连接"和/或"耦合"来描述以 指示两个或多个元件彼此直接的物理或电接触。然而，术语"耦合"还可表示 两个或多个元件没有彼此直接接触，但彼此仍协作或相互作用。
某些实施例可例如利用可存储指令或指令集的机器可读介质或制品来实 现，这些指令在由机器执行时导致机器执行根据实施例的方法和/或操作。这种 机器可包括例如任何适当的处理平台、计算平台、计算设备、处理设备、计算 系统、处理系统、计算机、处理器等，并可利用硬件和/或软件的任何适当的组 合来实现。机器可读介质或制品可包括例如任何适当类型的存储器单元、存储 器设备、存储器制品、存储器介质、存储设备、存储制品、存储介质和/或存储 单元，例如，存储器、可移动或不可移动介质、可擦除或不可擦除介质、可写 或可重写介质、数字或模拟介质、硬盘、软盘、紧致盘只读存储器(CD-ROM)、 可记录紧致盘(CD-R)、可重写紧致盘(CD-RW)、光盘、磁介质、磁光介质、可 移动存储卡或盘、各种类型的数字通用盘(DVD)、磁带、盒式磁带等。指令可包括利用任何适当的高级、低级、面向对象、可视、编译和/或解释编程语言实 现的任何适当类型的代码、诸如源代码、编译代码、解释代码、可执行代码、 静态代码、动态代码、加密代码等。
除非具体指出，否则应意识到，诸如"处理"、"计算"、"推算"、"确
定"等术语指的是计算机或计算系统或类似的电子计算设备的动作和/或进程， 它们将计算系统寄存器和/或存储器内表示为物理量(例如，电子)的数据处理和 /或变换成计算系统存储器、寄存器或其他这种信息存储、传输或显示设备内类 似地表示为物理量的其他数据。实施例不限于该上下文。
尽管以对结构特征和/或方法动作特定的语言描述了主题，但应理解，所 附权利要求书中定义的主题并非必须限于上述的特定特征或动作。相反，将上 述的特定特征和动作披露为实现权利要求的实例形式。
权利要求
1. 一种装置，包括确定图像传感器的一个或多个噪声特性的噪声确定模块；以及根据一个或多个编码参数设置对从所述图像传感器接收的一个或多个图像信号进行编码的编码模块，所述一个或多个编码参数设置基于所述一个或多个噪声特性。
2. 如权利要求1所述的装置，其特征在于，所述编码模块包括 对与所述一个或多个图像信号相对应的一个或多个图像内的相应块之间的运动进行估计的运动估计模块；其中所述运动估计模块基于所述一个或多个噪声特性适应性调整一个或 多个运动估计参数。
3. 如权利要求2所述的装置，其特征在于，所述一个或多个运动估计参 数包括块匹配算法的零运动阈值。
4. 如权利要求1所述的装置，其特征在于，所述编码模块在所述一个或 多个噪声特性指示噪声级增加时增加零运动向量阈值，并在所述一个或多个噪 声特性执行噪声级降低时降低所述零运动向量阈值。
5. 如权利要求1所述的装置，其特征在于，所述噪声确定模块确定一个 或多个黑暗像素值统计数据，所述一个或多个噪声特征基于所述一个或多个黑 暗像素值统计数据。
6. 如权利要求1所述的装置，其特征在于，还包括-提供所述一个或多个图像信号的图像传感器。
7. 如权利要求6所述的装置，其特征在于，所述图像传感器包括生成多个黑暗像素值的多个屏蔽传感器；以及 其中所述一个或多个噪声特性包括所述黑暗像素值的一个或多个统计数据。
8. 如权利要求6所述的装置，其特征在于，还包括将一个或多个图像投 影到所述图像传感器的光学组件，所述一个或多个图像对应于所述一个或多个 图像信号。
9. 如权利要求1所述的装置，其特征在于，还包括显示对应于所述一个或多个图像信号的图像的显示器。
10. 如权利要求l所述的装置，其特征在于，还包括将所述一个或多个经 编码的图像信号发送至远程设备的通信接口。
11. 一种装置，包括根据多个黑暗像素值确定图像传感器的一个或多个噪声特性的噪声确定 模块；以及根据一个或多个编码参数设置对从所述图像传感器接收的一个或多个图 像信号进行编码的编码模块，所述一个或多个编码参数设置包括块匹配算法的 零运动阈值，其中所述零运动阈值基于所述一个或多个噪声特性。
12. —种方法，其包括确定图像传感器的一个或多个噪声特性；以及基于所述一个或多个噪声特性适应性调整视频编码器的一个或多个参数 设置。
13. 如权利要求12所述的方法，其特征在于，确定所述一个或多个噪声 特性包括确定一个或多个黑暗像素值统计数据。
14. 如权利要求12所述的方法，其特征在于，所述适应性调整所述视频 编码器视频的一个或多个参数设置包括调节块匹配算法的零运动向量阈值。
15. 如权利要求14所述的方法，其特征在于，调节所述零运动向量阈值包括在所述一个或多个噪声特性指示噪声级增加时增大所述零运动向量阈值；以及在所述一个或多个噪声特性指示噪声级降低时降低所述零运动向量阈值。
16. 如权利要求12所述的方法，其特征在于，在触发事件出现时执行所 述一个或多个参数设置的适应性调整，所述触发事件包括所述图像传感器的增 益的变化和所述图像传感器的积分事件的变化的至少之一。
17. —种包括含指令的机器可读存储介质的制品，在所述指令被执行时使 系统能够确定图像传感器的一个或多个噪声特性；以及基于所述一个或多个噪声特性适应性调整视频编码器的一个或多个参数 设置。
18. 如权利要求17所述的制品，其特征在于，使系统能够确定所述一个或多个噪声特性的所述指令包括在被执行时使所述系统能够确定一个或多个 黑暗像素值统计数据的指令。
19. 如权利要求17所述的制品，其特征在于，还包括在被执行时使所述 系统能够基于所述一个或多个噪声特性调节块匹配算法的零运动向量阈值的 指令。
20. 如权利要求17所述的制品，其特征在于，还包括在被执行时使所述 系统能够执行以下步骤的指令-接收视频信号；以及 用所述视频编码器编码所述视频信号。
全文摘要
描述了一种编码图像信号的系统、装置、方法和制品。该装置可包括确定图像传感器的一个或多个噪声特性的噪声确定模块。此外，该装置可包括根据基于所述一个或多个噪声特性的一个或多个编码设置对从图像传感器接收的一个或多个图像进行编码的编码模块。噪声特性可基于诸如黑暗像素值统计数据的各种因数。描述并要求保护其他实施例。
文档编号G02B13/16GK101416091SQ200780011619
公开日2009年4月22日 申请日期2007年3月22日 优先权日2006年3月31日
发明者B·阿尔德里奇 申请人:英特尔公司