用于低功率、始终开启的照相机系统的图像压缩技术的制作方法

1.本发明涉及图像压缩技术领域，特别涉及用于低功率、始终开启的照相机系统的图像压缩技术。


背景技术：

2.驾驶舱语音记录器和飞行数据记录器记录并保存飞机坠毁前几分钟的传感器读数；事实证明，这些记录在确定坠机原因方面很有价值。
3.在许多其他情况下，在触发事件之前开始的记录可能是有价值的。例如但不限于，在交叉路口发生汽车“事故”前的最后几分钟的视频记录可以确定例如哪个司机闯了停车标志或红色交通信号灯；以及在警察拔枪和开火之前警察与他人互动的最后几分钟的音频视频记录，除了有助于训练之外，还可以帮助确定射击是否合理。在发生窃贼闯入建筑物、汽车或自动柜员机之前不久，由监控照相机记录的视频可以提供比窃贼闯入后记录的更好和不同的嫌疑人视图，并且有助于识别嫌疑人。此外，与仅接在停放的汽车被撞后开始的视频记录相比，在停放的汽车被第二辆车撞到之前不久开始的视频记录可以提供对第二辆车的车牌更好的视图。
4.将视频记录在半导体存储器中并通过保存一些事件前视频和一些事件后视频来响应于触发事件的始终开启的图像感测系统在所有上述情况中都是有用的。系统可以将非易失性存储器或无线电中的事件前和事件后视频传送到其他设备以进行进一步处理并可能用于人工审查。


技术实现要素：

5.为解决上述结束问题，在一个发明，本发明提供了一种压缩和存储预览视频的方法，包括：接收未压缩视频并分析未压缩视频的参考帧以确定调色板；使用调色板，对参考帧执行从由颜色空间缩减图像压缩和基于变换的图像压缩组成的组中选择的压缩，以生成压缩参考帧；确定表示后继图像帧的与参考帧不同的区域的差异块；生成包括差异块的压缩图像数据的差异帧；生成包括调色板、压缩参考帧和差异帧的视频流，并将视频流存储在极低电压存储器中；以及将用于参考帧的多个再同步码和用于差异帧的多个再同步码注入视频流中，再同步码包括对于再同步码唯一的字节序列。
6.在另一方面，本发明提供了一种压缩和解压缩预览视频的方法，包括上文所述的压缩和存储预览视频的方法，进一步包括：读取视频流，并且使用和压缩以解压缩出解压缩参考帧；使用解压缩参考帧和差异帧，以对后继图像帧进行解压缩；检测视频流中的比特错误，并在图像帧中的第一位置处停止预览视频的解压缩；扫描视频流中的再同步码；以及在图像帧中的第二位置处的再同步码之后恢复预览视频的解压缩。
7.在另一方面，本发明提供了一种低功率系统，包括：未压缩视频的源；第一压缩引擎，被配置为接收未压缩视频，并产生第一压缩视频；再同步码生成器，被配置为将再同步码插入第一压缩视频中；低电压半导体存储器，被连接以存储第一压缩视频；解压缩单元，
被配置为从低电压半导体存储器中读取第一压缩视频，并对第一压缩视频进行解压缩，以产生解压缩视频；错误检查器，被配置为在从低电压半导体存储器读取第一压缩视频时扫描第一压缩视频；再同步码检测器，被配置为在从低电压半导体存储器读取第一压缩视频时扫描第一压缩视频；其中，解压缩单元被配置为在错误检查器检测到第一帧中的错误时停止对视频进行解压缩，并且在再同步码检测器检测到再同步码时恢复解压缩。
8.在另一方面，本发明提供了一种低功率照相机系统，包括上文所述的低功率系统，其中未压缩视频的源是电子摄像机。
9.在另一方面，本发明提供了一种压缩和存储预览视频的方法，包括：接收未压缩视频，并对未压缩视频的帧执行图像压缩，以生成压缩帧；生成包括压缩参考帧和压缩差异帧的视频流，并将视频流存储在极低电压存储器中；以及将用于参考帧的多个再同步码和用于差异帧的多个再同步码注入视频流中，再同步码包括对于再同步码唯一的字节序列。
10.在另一方面，本发明提供了一种压缩和解压缩预览视频的方法，包括上文所述的压缩和存储预览视频的方法，进一步包括：读取视频流，并使用压缩参考以解压缩出解压缩参考帧；使用解压缩参考帧和差异帧对后继图像帧进行解压缩；检测视频流中的比特错误，并在从解压缩图像帧和后继图像帧中选择的选定图像帧中的第一位置处停止预览视频的解压缩；扫描视频流中的再同步码；以及在选定图像帧中的第二位置处的再同步码之后恢复预览视频的解压缩。
附图说明
11.图1是实施例中的具有极低功率域和在事件时激活的全功率域的图像感测系统的框图，低功率域被配置为检测事件并捕获事件前后视频。
12.图2是实施例中的在解压缩已经存储在超低功率半导体存储器中的视频时从比特错误中恢复的方法的流程图。
13.图3示出实施例中的图像帧中的可以将再同步码插入压缩视频流中的可能位置。
14.图4是在实施例中的分离的高和低电压存储器子系统的框图，此子系统从存储在低电压存储器中的块的图像数据将块头部存储在在高电压下操作的单独存储器中。
15.图5是压缩视频的块的图示，其在小的全电压头部存储器中分布有包括长度的块头部，其中每个块的数据存储在更大的低电压低功率存储器中。
具体实施方式
16.图像感测系统
17.始终开启的图像感测系统100应当在检测到的事件之间具有极低的功耗，特别是在系统由电池供电的情况下。挑战不仅涉及低功率图像感测器架构和低功率边缘计算，还涉及必须在低功耗的情况下存储大量视频数据。
18.成像系统100包括极低功率域102，并且可以包括在事件时激活的全功率域104，低功率域102被配置为检测事件并捕获事件前和事件后视频。低功率域102包括电子摄像机106、视频压缩引擎108、低功率半导体存储器110、事件检测器112以及相关的功率和控制电路114。成像系统100根据图2的方法200操作。
19.照相机106被配置为观察202环境，并且成为作为图像序列的原始或未压缩视频数
据的源。照相机106将图像序列馈送到图像分析器107，图像分析器107确定在压缩图像和视频流中有用的图像特征，诸如在颜色空间缩减中有用的颜色直方图。这些图像特征和图像序列被馈送到压缩引擎108，压缩引擎108将图像序列压缩204为压缩视频数据，该压缩视频数据作为压缩视频流存储206到低功率半导体存储器110中。为了实现极低功率操作，低功率存储器在极低电压下操作，但与类似存储器在更高电压下操作时相比，极低电压工作的比特错误率更高。这些比特错误率在极低电压和极低功率操作时变得显著。在一实施例中，低功率半导体存储器110是在低于0.7伏的电源电压下操作的静态随机存取存储器(sram)。
20.压缩视频数据通常被存储206为压缩视频流，流包括可变大小的块的序列，每个块具有头部，该头部包含块长度、以及指定块是否包含颜色空间缩减的数据、调色板或其他压缩数据的。
21.事件检测器112可以从照相机106接收视频，并且基于图像内容中的显著变化来检测事件。事件检测器112还可以接收外部检测到的事件，诸如但不限于由红外运动传感器检测到的运动，或来自窗户破损传感器的警报信号。在由事件检测器112检测到事件时，事件检测器112与全功率域104的功率和控制电路122通信，以对全功率域104进行通电，于是压缩视频流被从低功率存储器110读取208到图像处理器120，图像处理器120由存储器142中的固件140配置为作为视频解压缩单元144来执行，并且在一些实施例中，执行视频再压缩单元146，其中视频图像帧被从存储在低功率半导体存储器110中的快速压缩压缩视频格式解压缩210，并且可以再压缩212成工业标准的视频压缩格式。在替代实施例中，单独的专用硬件可以执行视频解压缩插值以填充空隙和再压缩的功能。一旦被再压缩，工业标准压缩视频被写入214到非易失性存储器126，通过数字无线电124传输到其他设备，或者两者都被写入非易失性存储器126并通过数字无线电124传输。在替代实施例中，存储在低功率存储器110中的快速压缩压缩视频以经修正以添加冗余和再同步信息的工业标准压缩视频格式存储；在此实施例中，在解压缩之后去除冗余和再同步信息以进行插值以填充任何空隙并且在将工业标准压缩视频写入214到非易失性存储器126、通过数字无线电124将视频传输到其他设备、或在都写入非易失性存储器126之前并通过数字无线电124进行传输。
22.在实施例中，数字无线电124可以是蓝牙无线电，并且在其他实施例中，数字无线电124可以是ieee802.11兼容无线电或被配置为经互联网的工业标准视频的蜂窝电话数字无线电。在替代实施例中，诸如mipi或usb之类的有线接口(未示出)代替数字无线电124以允许将压缩视频传送到其他设备。
23.视频压缩
24.视频通常被记录为图像帧的序列。
25.一些视频压缩设备压缩每个图像帧，
26.许多视频压缩设备，包括低功率视频压缩引擎108，通过将第一图像帧压缩为压缩参考帧，然后是压缩一个、两个、四个或更多差异帧或图像间插值帧的序列来产生压缩视频——差异帧表示第一图像帧和后继图像帧之间的差异。当下一个图像帧和参考帧之间的差超过阈值，或者预定数量的图像帧已被压缩为差异帧时，参考帧和差异帧的模式重复另一个压缩为压缩参考帧的图像帧，然后压缩为差异帧的附加图像帧的序列。在其他图像压缩技术中，诸如在工业标准h.264或mpeg-4编码中，差异帧可能基于多达16个参考帧。
27.在替代实施例中，低功率视频压缩引擎108使用没有参考帧的单帧压缩技术。
28.每个差异帧通常包含帧头部，后跟一系列差异块，每个差异块可以具有块头部，该块头部给出块尺寸和位置信息，其中当参考帧和差异帧用于重建压缩的图像帧时，块应该替换来自参考帧的图像信息。每个差异块还包括应该替换一部分参考帧的图像信息。在诸如h.264的替代压缩方案中，每个差异块可以具有块头部，该块头部给出参考帧图像的一部分的块尺寸和位置信息，并带有指示该部分应在差异帧中何处被复制的指示符。
29.压缩参考帧可以通过颜色空间缩减或本领域已知的其他图像压缩技术来压缩。图像帧可以通过调色板缩减、离散余弦变换方法，诸如行业标准的联合图像专家组(jpeg)压缩，或其他单帧压缩技术进行压缩。
30.例如但不限于，在可用于压缩参考帧和差异帧两者的颜色空间缩减图像压缩方法中，未压缩的数据可以通过从未压缩的数据导出多达接近256种颜色的数量的调色板来编码，调色板的每种颜色都近似于压缩的图像中出现的颜色，并在颜色空间缩减的视频中由单个8位字节表示。调色板中的每种颜色都解码为8到16位的红色、绿色和蓝色强度，总共24到48位的颜色信息。然后将调色板与编码为8位字节序列的图像信息组合在压缩的图像中。每个8位字节代表未压缩的图像的像素，每个字节都是调色板的索引。压缩的图像可以通过接收调色板进行解码，然后接收图像信息的8位码字节。当接收到图像信息码字节时，调色板用于将像素解码为用于每个像素的红色、绿色和蓝色强度。这种颜色空间缩减可以将压缩的图像的数据量减少大约三倍。
31.在特定实施例中，为了避免图像的暗区域中的颜色伪影，使用无损或接近无损的压缩方法来压缩图像的暗像素区域，而其他区域使用基于调色板的颜色空间缩减方法进行压缩。在替代实施例中，使用无损或接近无损压缩方法来压缩图像的暗像素区域，而其他区域使用基于变换的图像压缩方法来压缩。
32.当颜色空间缩减或基于变换的图像压缩与用于通过低功率视频压缩引擎108压缩单个图像的无损或接近无损压缩方法相结合时，块长度必须包括在块头部中以允许解码器确定用于每个像素的是哪个方法。
33.比特错误的影响
34.如果存储器用于存储未压缩图像数据，则存储器中的比特错误不会导致严重的错误传播。对于未压缩视频数据，错误将被限制在受颜色插值影响的非常小的区域内。
35.当低功率半导体存储器110存储206来自低功率压缩引擎108的压缩视频数据流时，比特错误可能会通过帧和几个后续帧传播，因为即使是单个比特错误也会影响后续解码，可能会破坏显著的一个或多个帧的部分。
36.例如，如果存储器110用于存储使用任何类型的图像压缩的压缩视频，该图像压缩将块长度合并到压缩视频流中，则即使单个比特错误也可能导致整个后续视频流不可解码，因为即使是块长度中的单个比特错误也可能导致编码器和解码器之间失去同步。如果同步丢失，随后的块头部和帧头部可能不会被解码器识别为块头部或帧头部；实际上，块头部可以被解释为数据的一部分，反之亦然。甚至除了块长度之外的部分视频流中的比特错误也会影响帧的剩余部分或后续帧；例如，认为调色板中的比特错误会破坏整个帧中与该颜色匹配的像素，或者参考帧中的比特错误会导致后续帧中的像素损坏，除非被不同的帧替换。
37.再同步码
38.为了限制压缩视频流中的比特错误的影响，再同步码生成器116或再同步码插入单元周期性地在视频流的块之间注入216再同步码，因为它存储在低功率半导体存储器110中。每个再同步码是不能在视频流本身中出现的一个或多个字节的序列。例如，但不限于，在颜色空间缩减期间，少于256个条目的调色板可以与一个特定码(诸如“ff”十六进制)一起使用，该码可能会出现在保留的颜色空间缩减的视频的块中，该码出现在每个再同步码中。
39.当压缩视频流被读入图像处理器时，图像处理器120在错误检查器150中对流进行错误检查218以寻找同步的丢失或其他错误。在实施例中，错误检查器150使用范围检查中的一个或多个：块尺寸、块类型的验证、块数据的垂直奇偶校验、块头部的“合理性(sanity)”或范围检查，以及块和/或块头部的循环冗余检查，以检测压缩视频流中可能导致解压缩错误的比特错误。
40.当压缩视频流从低功率半导体存储器110被读取到图像处理器120中时，再同步码检测器148扫描流以寻找再同步码。
41.在错误检查器150检测到压缩视频流中的错误时，或者当在视频解压缩期间检测到错误，诸如解压缩的像素数据上的范围错误时，视频解压缩停止，由再同步码检测器148扫描220压缩视频流，直到找到以下再同步码，于是视频解压缩恢复222；视频解压缩的停止和恢复会在正在解压缩的帧中产生间隙或空白。
42.在实施例中，为了允许图像处理器120知道视频解压缩应该在图像帧中的何处恢复，再同步码包括图像帧中的位置。每个空白在视频帧中都有一个相关的位置，在该位置检测到错误并停止解压缩，在视频帧中的另一个位置检测到再同步码并重新开始解压缩，因此它已识别出224空白位置。
43.空白隐藏
44.为了隐藏解压缩的帧中的间隙或空白(lacuna)，空白插值器154执行插值226以从先前帧中的对应像素生成用于所有丢失像素(空白的像素)的替换像素，并且如果存在对应像素，则对应后续帧中的像素。这些替换像素被替换到空白中以修复解压缩的图像。
45.最后，解压缩的图像可以通过再压缩单元146使用工业标准压缩方法被再压缩为压缩视频，该方法在一些实施例中可以是mpeg-4级别10h.264视频压缩编解码器兼容的。如由系统配置和设置所确定的，再压缩视频被写入非易失性存储器126和/或由数字无线电124传输到主机。
46.一旦触发事件之前保存在低功率半导体存储器中的视频和触发事件之后由照相机106观察到的足够视频都被压缩并保存在非易失性存储器126中或通过数字无线电124传输到主机，则全功率域被断电；视频继续由照相机106记录、压缩并存储在低功率半导体存储器110中。在一些实施例中，在触发事件之后由照相机106观察到的视频在预定时间之后结束，并且在其他实施例中，在当前或重复的触发事件结束之后结束。
47.图像中的再同步码
48.图3示出了可以将多个再同步注入到每个图像帧和每个运动或差异帧中。
49.拆分存储器实施例
50.在替代实施例中，低功率半导体存储器110被分成两个存储器，如图4中所示。在此实施例中，帧502、510和块头部504、506、508、512、514，特别是，块头部中的块长度存储在头
部存储器402中，该头部存储器402在完全的、相对高的电压下操作以确保低的比特错误率。自从比特错误在头部存储器中非常罕见，同步丢失和图像损坏的可能性很小，并且延伸到多个帧。
51.每个块的数据部分，在此称为块体520、522、524、526、528，位于更大的、低功率、低电压的半导体存储器404中。如图5中所示，低功率半导体存储器404的块体包含诸如颜色空间缩减的图像数据和用于差异帧的差异数据之类的数据，只有指向存储在头部存储器402中的块体的指针530、532、534、536。在此实施例中，当被破坏时，导致压缩引擎108和解压缩单元144之间的同步丢失的关键块长度位于低比特错误率较高电压的头部存储器402中，并且比在较高比特错误率的低压存储器404中的图像数据更不可能被破坏。
52.组合
53.指定为a的压缩和存储预览视频的方法包括接收未压缩视频并分析未压缩视频的参考帧以确定调色板；使用调色板，对参考帧执行选自颜色空间缩减图像压缩和基于变换的图像压缩的图像压缩，以生成压缩参考帧；通过比较参考帧和未压缩视频的后继图像帧，确定表示后继图像帧的与参考帧不同的区域的差异块；生成压缩差异帧；生成包含调色板、压缩参考帧和压缩差异帧的视频流，并将视频流存储在极低电压存储器中；在将视频流存储在极低电压存储器中之前，将用于每个参考帧的多个再同步码和用于每个差异帧的多个再同步码注入到视频流中，再同步码包括对于再同步码唯一的字节序列。
54.指定为aa的方法，包括指定为a的方法，其中多个再同步码的再同步码包括图像帧中的位置。
55.压缩和解压缩预览视频的方法，指定为ab，包括指定为a或aa的方法，并进一步包括：读取视频流，并使用调色板和压缩参考帧以解压缩出解压缩参考帧；使用解压缩参考帧和差异帧对后继图像帧进行解压缩；检测视频流中的比特错误，并在图像帧的第一位置处停止预览视频的解压缩；扫描视频流中的再同步码；在图像帧中的第二位置处的再同步码之后恢复预览视频的解压缩。
56.指定为ac的方法包括指定为ab的方法并且进一步包括在先前帧和后续帧之间进行插值以确定经插值的像素、以及在图像帧中的第一位置和第二位置之间将经插值的像素插入图像帧中。
57.指定为b的低功率系统包括未压缩视频的源；第一压缩引擎，被配置为接收未压缩视频并产生第一压缩视频；再同步码生成器，被配置为将再同步码插入第一压缩视频中；低电压半导体存储器，用于存储第一压缩视频；解压缩单元，被配置为从低电压半导体存储器中读取第一压缩视频，并对第一压缩视频进行解压缩，以生成解压缩视频；错误检查器被配置为在从低电压半导体存储器读取第一压缩视频时扫描第一压缩视频；再同步码检测器，被配置为在从低电压半导体存储器读取第一压缩视频时扫描第一压缩视频；其中，解压缩单元被配置为在错误检查器检测到第一帧中的错误时停止对视频进行解压缩，并且在再同步码检测器检测到再同步码时恢复解压缩。
58.指定为ba的低功率照相机系统，包括指定为b的低功率系统，其中未压缩视频的源是电子照相机。
59.指定为bb的低功率照相机系统包括指定为ba或b的系统并且进一步包括被配置为压缩解压缩视频以产生第二压缩视频的再压缩单元。
60.指定为bc的低功率照相机系统，包括指定为bb的系统，并且进一步包括插值单元，该插值单元被配置为对先前帧和后继帧的像素进行插值以生成经插值的像素，并将经插值的像素插入第一帧中。
61.指定为bd的低功率照相机系统包括指定为bc、bb、ba或b的系统，进一步配置为将第二压缩视频存储在非易失性存储器中。
62.指定为be的低功率照相机系统包括指定为bd、bc、bb或ba的系统，进一步配置为通过数字无线电传输第二压缩视频。
63.指定为bf的低功率照相机系统，包括指定为bd或bc的低功率照相机系统，其中插值单元被配置为将第一图像帧内的像素插值于在错误检查器检测错误和再同步码检测器检测再同步码之前解码的像素之间。
64.指定为c的始终开启的记录方法，包括：编码图像[252]以产生编码的数据序列[242]，该编码的数据序列包括(i)多个编码的图像片段，每个图像片段从图像的相应片段编码以及(ii)每个再同步码的序列，其每个再同步码识别多个编码的图像片段中的相应一个；以及将编码的数据序列存储在存储器中；为再同步码的序列中的每个再同步码生成多个解码的图像片段：从存储器中依次检索再同步码和由再同步码识别的编码的图像片段；解码由再同步码识别的编码的图像片段以产生多个解码的图像片段中的解码的图像片段；检测解码步骤中何时出现解码错误；响应于检测到解码错误，将解码的图像片段补偿为具有由再同步码定义的尺寸；在输出图像中由检索到的再同步码定义的位置处输出解码的图像片段。
[0065]
指定为ca的方法包括指定为c的方法，编码的数据序列包括与再同步码的序列交错的多个编码的图像片段，每个再同步码在编码的数据序列中紧接在由再同步码识别的编码的图像片段之前，并且检索包括：在再同步码的序列的先前检索的再同步码之后的编码的数据序列的部分中搜索再同步码；从再同步码的编码的数据序列末端和再同步码的序列的后续再同步码的开始之间读取编码的图像片段。
[0066]
指定为cb的方法包括指定为c或ca的方法，再同步码的序列中的每个再同步码通过紧接在编码的图像片段之前识别多个编码的图像片段中的相应编码的图像片段。
[0067]
指定为cc的方法，包括指定为c、ca或cb的方法，进一步包括：当解码的图像片段的初始解码的尺寸不同于由再同步码定义的尺寸时，生成解码错误。
[0068]
指定为cd的方法，包括指定为c、ca、cb或cc的方法，解码的图像片段包括多个像素值，每个像素值映射到解码的图像片段的多个像素坐标中的相应一个，检测包括在解码的图像片段的错误位置检测解码错误，错误位置被映射到多个像素坐标中的像素坐标；以及调整大小包括将错误位置处的像素坐标映射到以下之一：(i)在通信地连接到执行解码步骤的解码器的存储介质中剩余的像素值，(ii)映射到与像素坐标相邻的编码的图像的第二像素坐标的编码的图像的像素值和(iii)映射到像素坐标的包括图像的视频流的先前图像的像素值。
[0069]
指定为ce的方法，包括指定为c、ca、cb、cc或cd的方法，在编码时，再同步码的序列的每个再同步码包括以下中的至少一个(i)编码的图像的编码参数，以及与由再同步码识别的编码的图像片段有关，(ii)编码的图像片段的尺寸，和(iii)编码的图像片段在编码的图像中的起始位置。
[0070]
指定为cf的方法包括指定为c、ca、cb、cc、cd或ce的方法，当编码时，再同步码的序列中的每一个以不存在于多个编码的图像片段中的任何一个中的字节序列开始。
[0071]
指定为cg的方法，包括指定为c、ca、cb、cc、cd、ce或cf的方法，该图像是场景的图像并且包括多个图像区域，并且进一步包括当图像由成像设备捕获时，识别包括运动对象的场景的是场景区域的图像的图像的运动区域，运动区域是多个图像的图像区域中的一个；编码包括在除运动区域之外的多个图像区域的每一个中，在编码的图像的区域内以第一均匀间隔插入再同步码的序列的再同步码；并且在运动区域中，在编码的图像的区域内以第二均匀间隔插入再同步码的序列的注入码，第二均匀间隔比第一均匀间隔短。
[0072]
压缩和存储预览视频的指定为d的方法，包括接收未压缩视频并对未压缩视频的帧执行图像压缩以生成压缩的帧；生成包括颜色空间缩减参考帧和差异帧的视频流，并将视频流存储在极低电压存储器中；以及向视频流中注入用于参考帧的多个再同步码和用于差异帧的多个再同步码，再同步码包括对于再同步码唯一的字节序列。
[0073]
压缩和存储预览视频的指定da的方法，包括指定为d的方法，多个再同步码的再同步码包括图像帧中的位置。
[0074]
压缩和解压缩预览视频的指定为db的方法，包括指定为d或da的方法，并进一步包括读取视频流，并使用压缩参考帧以解压缩出解压缩参考帧；使用解压缩参考帧和差异帧对后继图像帧进行解压缩；检测视频流中的比特错误，并在从解压缩图像帧和后继图像帧中选择的选定图像帧中的第一位置处停止预览视频的解压缩；扫描视频流中的再同步码；并且在选定图像帧中的第二位置处再同步码之后恢复预览视频的解压缩。
[0075]
指定为dc的方法，包括指定为db的方法，该方法进一步包括在先前帧和后续帧之间进行插值以确定经插值的像素、以及在选定图像帧中的第一位置和第二位置之间将经插值的像素插入选定图像帧中。
[0076]
在不脱离本发明范围的情况下，可以对上述方法和系统进行改变。因此应当注意，包含在以上描述中或在附图中示出的内容应当被解释为说明性的而不是限制性的。所附权利要求旨在覆盖本文所述的所有通用和特定特征，以及本方法和系统的范围的所有陈述，就语言而言，可以说它们介于它们之间。