专利名称：对编码转换视频进行视觉检查的方法、设备和系统的制作方法
技术领域：
本发明涉及视频编码系统，更具体地涉及一种在将视频文件再编 码为例如另一视频格式的同时对视频文件进行视觉检查的方法、设备 和系统。
背景技术：
当将视频从一种格式再编码为另一种格式时，难以确定各种编码 参数会对产生的视频图像造成怎样的影响。 一些将原始视频与其产生 的新编码视频相比较的现有技术解决方案包括对视频流进行编码， 然后独立地播放原始视频和新编码视频，以检测任何差别。但是，编 码过程可能比较冗长，等待完成编码过程之后再比较视频流不允许在 编码过程中进行实时调整，并不是最有效的解决方案。此外，在这种 现有技术解决方案中，没有可靠的方法将视频流彼此同步以进行比较。
发明内容
本发明通过提出一种用于对编码转换视频进行实时视觉检査的方 法、设备和系统。
在本发明的一个实施例中， 一种用于在将视频流再编码为第二视 频格式的同时对视频流进行视觉检查的方法包括将解码视频流分割 为至少第一和第二部分；将视频流的第一分割部分再编码为第二视频 格式；以及将视频流的第二分割部分的解码视频帧和对应的再编码视 频帧设置成组合视频帧，以使解码视频帧和对应的再编码视频帧一并 出现在该组合视频帧中。
在本发明的备选实施例中， 一种允许在将视频流再编码为第二视 频格式的同时对视频文件进行视觉检査的视频混合器包括处理器和存
储池，所述视频混合器适于执行如下步骤逐帧地接收视频流的解码 的第二分割部分；逐帧地接收视频流的、对应的再编码的第一分割部 分；以及将视频流的第二分割部分的解码视频帧和对应的再编码视频
帧设置成组合视频帧，以使解码视频帧和对应的再编码视频帧一并出 现在该组合视频帧中。
在本发明的备选实施例中， 一种允许在将视频流再编码为第二视
频格式的同时对视频文件进行视觉检査的系统包括视频解码器，用
于对所接收的视频流进行解码；流分割器，用于将解码视频流分割为 至少第一和第二部分；编码器，用于接收解码视频流的第一分割部分， 并将所接收的解码视频流部分再编码为第二视频格式；以及视频混合 器，包括处理器和存储器。本发明的视频混合器适于执行如下步骤 接收视频流的解码的第二分割部分；接收来自编码器的、视频流的再 编码的第一部分；以及将视频流的第二分割部分的解码视频帧和对应 的再编码视频帧设置成组合视频帧，以使解码视频帧和对应的再编码 视频帧一并出现在该组合视频帧中。本发明的系统还可以包括显示设 备，用于在组合视频帧中显示解码视频帧和对应的再编码视频帧。
通过考虑以下结合附图的详细描述，可以容易地理解本发明的示 教，附图中-
图1示出了根据本发明实施例的视频编码和视觉比较(VEVC) 系统的高层框图2示出了适合在图1的VEVC系统中使用的视频混合器实施例
的高层框图3示意性地示出了在沿基本上相同的取向并排显示对应视频帧 的操作模式下的视频混合器的输出；
图4示意性地示出了在正常显示原始解码视频帧而沿x轴反转对 应的再编码视频帧的模式下视频混合器的输出；以及
图5示出了根据本发明实施例、在视频混合器中用于接收视频流 输入并将完成的宽帧通信至显示设备以进行视觉比较的方法的流程 图。
为了方便理解，使用相同的附图标记来指示附图中共有的相同元件。
具体实施例方式
本发明有利地提供了用于对编码转换视频进行实时视觉检査的方 法、设备和系统。虽然主要在对解码的原始视频流与再编码视频流的 帧进行视觉比较的情况下对本发明进行描述，但是所属领域的技术人 员可以理解，通过本发明的示教，本发明的构思可以应用于多于两个 的视频流的视觉比较。
图1示出了根据本发明实施例的视频编码和视觉比较(VEVC) 系统的高层框图。图1所示VEVC系统100包括视频源102、视频解 码器104、视频流分割器106、编码器108、视频混合器110和显示设 备(图中所示的是视频监视器)112。在图1的VEVC100中，将来自 视频源102的视频流通信至视频解码器104。在视频解码器104中， 将视频流解码为例如RGB或YUV，并将解码视频流通信至流分割器 106。流分割器106将解码视频流分割为两个基本上相同的流。将第一 流通信至编码器108，以将所接收的解码视频流编码为所需的第二视 频格式。将来自流分割器106的第二流通信至视频混合器110。
编码器108输出新编码的比特流，同时也向视频混合器110提供 一组再编码的预览帧。编码器108不调整所接收视频流的帧速率，这 样，通信至视频混合器110的解码的原始视频流的每个视频帧具有从 编码器108通信至视频混合器的同步视频帧。如图1的VEVC 100所 示，视频混合器110包括两个输入115和117。在图1的VEVC 100 中，通信至第一输入115的视频流是从流分割器106通信而来的解码 的原始视频流，通信至第二输入117的视频流是从编码器108通信而 来的再编码视频流。视频混合器110的输出包括单个(组合)视频帧， 该视频帧具有与原始视频帧基本上相同的高度，但是宽度是后者的两
倍。这允许将解码的原始视频流的视频图像与再编码视频流的视频图 像定位在要由视频监视器112显示的组合视频帧中，以便对图像进行 视觉检查，检测是否有任何差别。
图2描绘了适合在图1的VEVC系统100中使用的视频混合器 110的实施例的高层框图。图2的视频混合器110包括处理器210和 用于存储控制程序、缓冲池等的存储器220。处理器210与诸如电源、 时钟电路、高速缓存等常规支持电路230以及协助执行存储器220中 存储的软件例程的电路彼此协作。这样，可以考虑将在此所述的作为 软件过程的过程步骤中的一些在硬件内实现，例如，作为与处理器210 协作以执行多种步骤的电路。视频混合器110还包含输入输出电路 240，该输入输出电路240形成与视频混合器110进行通信的多种功能 元件之间的接口。例如，如图1所示，视频混合器IIO分别经由第一 路径Sl和第二路径S2与流分割器106和编码器108进行通信，并经 由输出路径01与显示设备112进行通信。
虽然将图2的视频混合器IIO描绘为编程用于执行根据本发明的 多种控制功能的通用计算机，但是本发明可以实现为硬件，例如，作 为专用集成电路(ASIC)。因此，在此描述的过程步骤要广义地解释 为可由软件、硬件或其组合等效地执行。
相对于视频采样的特定细节，对流分割器106和编码器108与视 频混合器110的连接进行协商。即，向视频混合器IIO通知第一输入 115具有图像(宽度X高度)和(帧速率)，第二输入117具有图像(宽 度X高度)和(帧速率)。在本发明的一个实施例中，至视频混合器 110的输入(例如，解码的原始视频流和再编码视频流)具有相同高 度和宽度，并且再编码视频流保留解码的原始视频流的帧速率，以便 进行正确同步。这种配置方便了对解码的原始视频流和再编码视频流 的最佳比较。更具体地，如果至视频混合器110的输入具有相同高度 和宽度，并且再编码视频流保留解码的原始视频流的帧速率，则输出 图像包括基本上相同的尺寸，并显示对应的视频帧，这使两个输出视 频图像之间的比较容易得多。
在至视频混合器110的输入(例如，解码的原始视频流和再编码
视频流)不具有相同高度和宽度、并且再编码视频流未保留解码的原 始视频流的帧速率的情况下，可选地，本发明的视频混合器，例如图 1的视频混合器100可以拒绝输入并不执行任何处理，或者可以对输 入之一或两个输入执行縮放例程。即，在后一种情况下，视频混合器 可以尝试对输入的属性(例如，高度、宽度和速率)进行縮放，以使 输出图像包括基本上相同的尺寸，并显示对应的视频帧。但是，在这 种实施例中，经调整的视频流可能产生质量下降的图像。
如上所述，首先，确定视频流的输入属性(例如，颜色空间、高 度、宽度、帧速率等)。接着，在视频混合器110中创建宽(组合)帧 (例如，{输入高度}乂{输入宽度*2}乂{量化})的缓冲池。对于由视 频混合器110接收的每个帧，在从缓冲池中选择的宽帧的适当位置处 存储该帧的复制件。例如，对于第一操作模式，将解码的原始视频帧 和对应的再编码帧复制到宽帧的各个位置处。在第一操作模式下，视
频混合器110使要在视频监视器112上显示的解码的原始视频帧和对
应的再编码视频帧在宽输出帧中是沿基本上相同的取向并排放置的。
图3示意性地描绘了这种操作模式下视频混合器110的输出。如图3 所示，在宽输出帧中沿基本上相同的取向显示解码的原始视频帧和对 应的再编码视频帧。可以实施本发明的这种模式，以检测由于例如编 码转换过程引起的图像之间相对较大的差别。
对于第二操作模式，将解码的原始视频帧复制到宽帧中的适当位 置，并将对应的再编码视频帧复制到宽帧中的位置处，以使在视频监 视器112上显示时，这些视频帧看起来是沿x轴彼此反转的。S卩，对 于第二操作模式，视频混合器110使要在视频监视器112上显示的解 码的原始视频帧和对应的再编码视频帧沿基本上相反的取向而并排放 置的。更具体地，在第二操作模式中，正常显示视频帧之一，而将第 二视频帧沿x轴反转，以使逐像素的差别更加明显。例如，在本发明 的一个实施例中，正常显示解码的原始视频帧，而沿x轴反转对应的 再编码视频帧。在本发明的可选实施例中，正常显示再编码视频帧， 而沿x轴反转对应的解码原始帧。图4示意性地描绘了在实施例的这 种模式下视频混合器110的输出，其中正常显示解码的原始视频帧，
而沿X轴反转对应的再编码视频帧。
在本发明的可选实施例中，在本发明的视频混合器中，将解码的 原始视频帧和对应的再编码视频帧复制到宽帧中的位置处，从而以蝴 蝶形配置在视频监视器U2上显示视频帧，以便将解码原始视频帧的 一半显示在对应的再编码视频帧的相应一半的旁边。即，在宽帧的一 侧(例如，左半部分)，将解码原始视频帧的第一半显示在对应的再编 码视频帧的相应第一半的旁边，在宽帧的另一侧(例如，右半部分)， 将解码原始视频帧的第二半显示在对应的再编码视频帧的相应第二半 的旁边。但是，这种实施例要求在视频混合器中进行附加处理，以在 宽帧中正确定位视频帧。
再次参照图1和2，在视频混合器110中，针对缓冲池的宽帧， 实现队列，以定义进入视频帧的顺序。在一个实施例中，队列包括两 个布尔标识符， 一个针对宽帧的填充的左半部分， 一个针对宽帧的填 充的右半部分，每一半表示解码的原始视频流或再编码视频流的完整 视频帧。对队列中的帧按顺序编号，从将队列看作各个帧本身。当宽 帧的两侧，即左半部分和右半部分均得到填充时，将宽帧中的图像通 信至视频监视器112。然后使等待递增到队列中的下一缓冲器。
图5描绘了根据本发明实施例、在视频混合器中用于接收视频流 输入并将完成的宽帧通信至显示设备以进行视觉比较的方法的流程
图。在步骤502进入图5的方法500，在此步骤中，本发明的视频混 合器接收输入视频帧。然后，方法500前进到步骤504。应该注意， 图5的方法500的步骤表示以宽帧的相同缓冲池进行操作的解码的原 始视频流和再编码视频流。
在步骤504，视频混合器确定缓冲器(宽帧)对于所接收的视频 帧是否是可用的。如果缓冲器不可用，则方法500前进到步骤506。 如果缓冲器可用，则方法500跳到步骤508。
在步骤506，阻挡所接收的视频帧，直到缓冲器可用为止。然后 方法500前进到步骤508。
在步骤508，将所接收的输入视频帧存储在队列中的第一逻辑缓 冲器中。然后方法前进到步骤510。
在步骤510，用所接收的输入帧分别填充宽帧的左侧和右侧。当 得到填充时，宽帧的每一半向视频混合器指示各个半部分均已填充。
然后方法前进到步骤512。
在步骤512，将完成的宽帧通信至显示设备。然后方法前进到步 骤514。
在步骤514，将与已通信的宽帧相关的缓冲器释放到队列中。然 后，退出方法500。
在本发明的可选实施例中，根据本发明的视频混合器可以包括独 立的线程，用于监视队列，以确定宽帧以及宽帧的各侧是否并在何时 得到填充。在这种实施例中，当完全填充了宽帧时，该线程将使图像 发送至显示器，并使相关缓冲器释放到队列中。
尽管以上内容描述了本发明的多种实施例，但是在不背离本发明 基本范围的情况下，可以设计本发明的其他实施例。因此，本发明的 保护范围由所附权利要求确定。
权利要求
1.一种用于在将视频流再编码为第二视频格式的同时对视频流进行视觉检查的方法，包括将解码视频流分割为至少第一和第二部分；将所述视频流的第一分割部分再编码为第二视频格式；以及将所述视频流的第二分割部分的解码视频帧和对应的再编码视频帧设置成组合视频帧，以使所述解码视频帧和所述对应的再编码视频帧一并出现在所述组合视频帧中。
2. 根据权利要求1所述的方法，包括对所述视频流的所述解码 部分或所述视频流的所述对应的再编码部分执行縮放例程，以对所述 视频流的各个部分进行縮放，从而使所显示的图像包括基本上相同的 尺寸。
3. 根据权利要求2所述的方法，其中对所述视频流部分中至少一 个的高度、宽度和帧速率中的至少一个进行縮放。
4. 根据权利要求1所述的方法，其中在所述组合视频帧中将所述 解码视频帧和对应的再编码视频帧设置为并排出现。
5. 根据权利要求1所述的方法，其中在所述组合视频帧中设置所 述解码视频帧和对应的再编码视频帧，以使视频帧沿x轴相对于彼此 反转而出现。
6. 根据权利要求1所述的方法，其中在所述组合视频帧中设置所 述解码视频帧和对应的再编码视频帧，以使解码视频帧的一半出现在 对应的再编码视频帧的相应一半的旁边。
7. 根据权利要求1所述的方法，包括保持宽帧的缓冲池，用于 存储所述组合的解码视频帧和对应的再编码视频帧。
8. 根据权利要求7所述的方法，其中针对所述缓冲池的宽帧，实 现队列，以定义所存储的视频帧的顺序。
9. 根据权利要求8所述的方法，其中所述队列包括两个布尔标识 符， 一个针对宽帧的己填充左半部分， 一个针对宽帧的已填充右半部 分，每一个半部分表示视频流的解码部分或视频流的再编码部分的完 整视频帧。
10. —种用于在将视频流再编码为第二视频格式的同时对视频文 件进行视觉检查的设备，包括处理器和存储器，所述设备适于执行如 下步骤接收所述视频流的解码的第二分割部分；接收所述视频流的、对应的再编码的第一分割部分；以及 将所述视频流的第二分割部分的解码视频帧和对应的再编码视频帧设置成组合视频帧，以使所述解码视频帧和所述对应的再编码视频帧一并出现在所述组合视频帧中。
11. 根据权利要求io所述的设备，其中所述设备还适于对所述视频流的所述解码部分或所述视频流的所述对应的再编码部分执行缩放 例程，以对所述视频流的所接收部分进行縮放，从而使所显示的图像 包括基本上相同的尺寸。
12. 根据权利要求IO所述的设备，其中所述存储器包括宽帧的 缓冲池，用于存储所述组合的解码视频帧和对应的再编码视频帧。
13. 根据权利要求12所述的设备，其中针对所述缓冲池的宽帧，实现队列，以定义所接收的视频帧的顺序。
14. 根据权利要求12所述的设备，其中所述设备在各个组合视频 帧中将所接收的解码视频帧和所接收的对应的再编码视频帧设置为并 排出现。
15. 根据权利要求12所述的设备，其中所述设备在各个组合视频 帧中设置所接收的解码视频帧和所接收的对应的再编码视频帧，以使 视频帧沿x轴相对于彼此反转而出现。
16. 根据权利要求12所述的设备，其中所述设备在各个组合视频 帧中设置所接收的解码视频帧和所接收的对应的再编码视频帧，以使 解码视频帧的一半出现在对应的再编码视频帧的相应一半的旁边。
17. —种用于在将视频流再编码为第二视频格式的同时对视频文 件进行视觉检査的系统，包括视频解码器，用于对所接收的视频流进行解码； 流分割器，用于将解码视频流分割为至少第一和第二部分； 编码器，用于接收解码视频流的第一分割部分，并将所接收的解码视频流部分再编码为第二视频格式；以及视频混合器，包括处理器和存储器，所述视频混合器适于执行如下步骤接收视频流的解码的第二分割部分；接收来自所述编码器的、视频流的再编码的第一部分；以及 将所述视频流的第二分割部分的解码视频帧和对应的再编码 视频帧设置成组合视频帧，以使所述解码视频帧和所述对应的再 编码视频帧一并出现在所述组合视频帧中；以及 显示设备，用于在所述组合视频帧中显示解码视频帧和对应的再 编码视频帧。
18. 根据权利要求17所述的系统，其中所述视频混合器还适于对 所述视频流的所述解码部分或所述视频流的所述对应的再编码部分执 行縮放例程，以对所述视频流的所接收部分进行缩放，从而使所显示 的图像包括基本上相同的尺寸。
19. 根据权利要求17所述的系统，其中所述视频混合器在各个组 合视频帧中设置所接收的解码视频帧和所接收的对应的再编码视频 帧，从而当所述显示设备进行显示时，所接收的视频帧并排出现。
20. 根据权利要求17所述的系统，其中所述视频混合器在各个组合视频帧中设置所接收的解码视频帧和所接收的对应的再编码视频 帧，从而当所述显示设备进行显示时，视频帧是沿x轴相对于彼此反 转而出现的。
21. 根据权利要求17所述的系统，其中所述视频混合器在各个组 合视频帧中设置所接收的解码视频帧和所接收的对应的再编码视频 帧，从而当所述显示设备进行显示时，解码视频帧的一半出现在对应 的再编码视频帧的相应一半的旁边。
全文摘要
本发明提供了一种在将视频文件再编码为例如另一视频格式的同时对视频文件与其源进行视觉比较的方法、设备和系统。根据本发明的实施例，将视频帧和对应的再编码视频帧放入单个宽(组合)视频帧中，以在相同帧中例如并排地显示每副图像。通过对源视频帧与再编码视频帧同步，并在相同的宽视频帧轴显示，可以在将视频再编码为所需的第二视频格式的同时从视觉上确定由例如编码过程引起的差别。
文档编号H04N17/00GK101107859SQ200580047133
公开日2008年1月16日 申请日期2005年5月31日 优先权日2005年1月24日
发明者格德·摩西·伯格 申请人:汤姆森许可贸易公司