视频处理系统和用于处理视频数据的方法

专利名称：视频处理系统和用于处理视频数据的方法
技术领域：
本发明涉及视频/音频内容传输，更具体地说，涉及这种视频/音频内容的 准备、传输和接收。
背景技术：
数字化视频/音频信息(多媒体内容)的广播早已为人们所熟知。有限接 入通信网络例如有线电视系统、卫星电视系统和直接广播电视系统支持通过受 控传输介质来传送数字化多媒体内容。对于线缆调制解调器系统来说，包含线 缆调制解调器设备的专用网络由线缆系统提供商精确控制，以确保多々某体内容 可以无错地传送到用户的接收器。类似的，对于卫星电视系统来说，专门的无线频i普将多媒体内容无错地传送到用户的接收器。此外，在直接广播电视系统 例如高清(HD)广播系统中，专门的无线频谱将多媒体内容从发射塔无错地 传送到接收设备。无错传送将使得接收设备可以及时接收到多媒体内容，这对 于传送的视频和音频的质量而言是非常关键的。上述有限接入通信网络中的一些现在支持按需节目，在这种节目中，多々某 体内容将发往一个或相对而言少数几个接收设备处。每一个上述系统可以服务 的按需节目的数量取决于其它的一些原因，例如多媒体源和一个或多个接收设 备之间可用的数据吞吐量。通常，按需节目是由一个或多个用户来发起的，并 且只在发起时候才能得到服务。公共可以访问的通信网络例如局域网(LAN)、无线局域网(WLAN)、广 域网(WAN)、无线广域网(WWAN)和蜂窝电话网络已经发展到了这样一种 程度，即其可以提供足够的数据率来为数据流化的多媒体内容提供服务。在由 有限接入网络提供服务时，数据流化的多媒体内容的格式是类似/相同的，例 如有线网络、卫星网络。但是，这些网络之中的每一个都由许多用户共享，这些用户相互争夺可用的数据吞吐量。如此一来，这些网络通常无法给予数据流 化的多4某体内容以优选的处理。通常，数据流化的多媒体内容是由第一电子设备例如网页服务器、个人计 算机、用户设备等构建/创建的，其穿越一个或多个通信网络进行传送，并由第二电子设备例如个人计算机、笔记本电脑、蜂窝电话、WLAN设备或WWAN 设备接收和处理。在创建多媒体内容时，第一电子设备从例如视频摄像机或存 储设备获取/读取多媒体内容，基于标准格式例如Quicktime、(运动图像专家 组)MPEG-2、 MPEG-4或者H.264等等对多々某体内容进行编码以创建编码的 音频和视频帧。编码的音频和视频帧将装载在数据包中顺序地从第一电子设备 发往提供服务的通信网络，这些数据包的目的地址为一个或多个第二电子设 备。顺序传送的编码音频/视频帧序列可称为视频流或者音频/视频流。 一种或 多种通信网络将数据包传送到第二电子设备。第二电子设备接收数据包，在必 要的时候对其重新排序，从数据包中提取编码的音频和视频帧。第二电子设备 的解码器对编码音频和/或^见频帧进行解码，以生成音频和视频数据。第二电 子设备随后存储视频/音频数据，和/或将视频/音频数据通过用户接口展示给用 户。音频/视频流可由一种或多种不同类型的通信网络例如LAN、 WAN、互联 网、WWAN、 WLAN、蜂窝网络等来传送。这些网络中的一些可能不支持为音频/视频流提供可靠性和/足够的数据率，这导致在第二接收设备处收到^^:量音频/视频。因此，需要一种结构和操作来格式化以及穿越这些网络来传送 以及接收音频/视频流。对于本领域的技术人员而言，通过将这种系统与本发 明的一些方面进行对比(参阅本申请接下来的部分以及相关附图)，传统和现 有方法的限制和弊端将变得非常明显。发明内容本发明提供了一种操作方法和装置，其在


中做了进一步的描述， 并在具体实施方式
和权利要求中做了完整的定义。根据本发明的一个方面，提供了一种视频处理系统，包括通信接口，用于从;現频源接收一见频数据，其接收与远端无线设备有关的至 少一个操作参数，并将输出视频流发往远端无线设备；;f见频处理电路，其与所述通信接口相连，用于接收所述视频数据和所述至 少一个操作参数，以及基于所述视频数据和所述至少一个操作参数来确定视频 处理参数，并基于所述视频处理参数处理所述4见频数据，以生成所述输出视频 流，和将所述输出视频流提供给通信接口以传送到远端无线设备。在本发明提供的视频处理系统中，所述一见频数据为进站纟见频流；处理所述视频数据包括修改所述进站视频流的帧率，以生成所述输出视频流。在本发明提供的视频处理系统中，所述修改所述进站i见频流的帧率以生成所述输出3见频流包括^修改进站—见 频流中视频帧的节目时钟基准(Program Clock Reference,简称PCR)以生成所 述输出视频流的^L频帧。在本发明提供的视频处理系统中，所述视频数据为进站视频流；处理所述一见频数据以生成所述输出#见频流包括修改所述进站一见频流中视1 频帧的解析度以生成输出视频流中的视频帧。(像素宽^/高度) 在本发明提供的视频处理系统中， 所述视频数据为进站;现频流；处理所述视频数据以生成所述输出视频流包括修改进站视频流中的4见频 帧的色彩解析度以生成输出视频流中的视频帧。 在本发明提供的视频处理系统中， 所述视频数据为具有色彩内容的进站视频流；处理所述视频数据包括删除进站视频流中视频帧的色彩内容以生成输出 ^L频流中的^f见频帧。在本发明提供的视频处理系统中， 所述视频数据为进站视频流；处理所述视频数据包括修改进站视频流中视频帧中感兴趣区域内的像素 密度以生成输出4见频流。在本发明提供的视频处理系统中，所述视频数据为进站视频流；处理所述视频数据包括剪裁进站视频流中视频帧中感兴趣区域外的视频 信息，以生成输出3见频流。优选地，与远端无线设备有关的至少一个操作参数包括 远端无线设备解码器的緩冲器的充满程度； 远端无线设备的剩余电量； 远端无线设备的显示器的显示解析度； 远端无线设备的显示器的色彩解析度；指示提供服务的无线网络当前分配给远端无线设备的数据吞吐量的指示符；与远端无线设备的解码器有关的解码错误反馈参数。 在本发明提供的视频处理系统中， 所述视频处理系统为服务器计算机。 在本发明提供的视频处理系统中，所述通信接口将所述^L频处理系统直接连接到所述视频源。 在本发明提供的视频处理系统中，所述视频处理系统构成无线接入设备的 一部分，该无线接入设备与远端无 线设备无线通信。冲艮据本发明的一个方面，提供了一种用于处理视频数据的方法，包括从视频源接收视频数据；接收与远端无线设备有关的至少 一 个操作参数；基于所述视频数据和所述至少一个操作参数来确定视频处理参数；基于所述视频处理参数处理所述视频数据，以生成输出视频流；发送所述输出视频流以传送到远端无线设备。在本发明提供的方法中，所述视频数据为进站视频流；处理所述视频数据包括修改所述进站视频流的帧率，以生成所述输出视频流o在本发明提供的方法中，所述修改所述进站视频流的帧率以生成所述输出视频流包括修改进站视 频流中视频帧的节目时钟基准以生成所述输出视频流的视频帧。 在本发明提供的方法中，所述一见频数据为进站一见频流；处理所述视频数据以生成所述输出视频流包括修改所述进站视频流中视 频帧的解析度以生成输出视频流中的视频帧。(像素宽>1/高度) 在本发明提供的方法中， 所述视频数据为进站视频流；处理所述视频数据以生成所述输出视频流包括修改进站视频流中的视频 帧的色彩解析度以生成输出视频流中的视频帧。 在本发明提供的方法中， 所述视频数据为具有色彩内容的进站视频流；处理所述视频数据包括删除进站视频流中视频帧的色彩内容以生成输出 一见频流中的3见频帧。在本发明提供的方法中， 所述视频数据为进站视频流；处理所述视频数据包括修改进站视频流中视频帧中感兴趣区域内的像素 密度以生成输出^L频流。 在本发明提供的方法中， 所述视频数据为进站视频流；处理所述视频数据包括剪裁进站视频流中视频帧中感兴趣区域外的视频 信息，以生成输出—见频流。优选地，与远端无线设备有关的至少一个操作参数包括8远端无线设备解码器的緩沖器的充满程度； 远端无线设备的剩余电量； 远端无线设备的显示器的显示解析度； 远端无线设备的显示器的色彩解析度；
指示提供服务的无线网络当前分配给远端无线设备的数据吞吐量的指示
符；
与远端无线设备的解码器有关的解码错误反馈参数。 通过参考附图阅读本发明的具体实施方式
，本发明的特征和优点将变得更 力口清晰。

图1是基于本发明的一种或多种实施例构建和运行的视频处理系统的部 分系统结构示意图2是基于本发明的一种或多种实施例构建和运行的另一3见频处理系统 的部分系统结构示意图3 M于本发明的一种或多种实施例运行的通信系统的系统结构示意
图4是基于本发明的一种或多种实施例构建和运行的无线设备的结构图； 图5是基于本发明至少一个实施例构建和运行的视频处理系统的结构框
图6是基于本发明的一种或多种实施例的视频处理操作的流程图； 图7是基于本发明的一种或多种实施例的一见频处理操作的流程图； 图8是基于本发明的一种或多种实施例的修改视频流的操作的流程图； 图9是基于本发明的一种或多种实施例的对感兴趣区域进行处理操作的 流程图10是基于本发明的一种或多种实施例对视频流的视频帧进行感兴趣区 域处理的流程图11是基于本发明的一种或多种实施例的构建无线链路的操作的流程图12是基于本发明的一种或多种实施例的构建无线链路的操作的流程
图13是基于本发明的 一种或多种实施例的建立/修改无线链路的操作的流 程图14是基于本发明的一种或多种实施例的进行接收校验/非接收校验视频
数据/流传送的操作的部分系统结构示意图15是基于本发明的一种或多种实施例的协议层操作的方框图16是基于本发明的 一种或多种实施例的进行接收校验/非接收校验视频
It据/流传送的4喿作的流程图。
具体实施例方式
图1是基于本发明的一种或多种实施例构建和运行的视频处理系统的部 分系统结构示意图。如图l所示，其中展示了视频源100、视频源102、网络 104、边缘设备106、无线接入设备108和无线设备110。视频源100和102存 储视频数据(在一些实施例中)，捕获i见频^t据(在一些实施例中)和同时存 储和捕获视频数据(在一些实施例中)。视频源100和102提供视频数据，这 些数据基于本发明实施例的多种操作发往无线设备110。视频数据可采用数据 块的方式或者^L频流的方式来传送。因此，；现频数据/一见频流112将通过网络 104采用块或流方式从视频源IOO发往边缘设备106。类似地， 一见频数据Af见频 流114将以块或流的方式从视频源102发往边缘设备106。应注意，视频源102 与边缘设备106直接相连，而视频源100通过网络104与边缘设备106相连。
网络104可包括一种或多种局域网(LAN)、 一种或多种广域网(WAN)、 互联网和/或其它类型的有线网络。当网络104包括有线网络时，该有线网络 可基于IEEE操作标准和/或其它操作标准中的一个或多个来操作。网络104还 可包括一个或多个无线网络，其包括一种或多种无线广域网(WWAN)、 一种 或多种无线局域网(WLAN)和/或一种或多种*奪窝网络。当网络104包括 WLAN时，WLAN可基于IEEE802.11x中的一种或多种标准来^:作。当网络104包括WWAN时，WWAN可基于WiMAX操作标准来操作。
边缘设备106在此处也可与视频处理系统或视频处理设备进行互换。边缘 设备106结构的一个特定实施例将参考图5进行详述。无线设备110结构的特 定实例将参考图4进行详述。边缘设备106单独支持或与图1中的一个或多个 其它设备一起支持的操作将参考图6-16进行详述。
图1中的边缘设备106连接到无线接入设备108，后者向无线设备110提 供一条无线链路。无线接入设备108和无线设备110支持基于一种或多种无线 接口标准的一种或多种无线链路。当这种无线接口是基于WLAN操作标准时， 该操作标准可遵守IEEE 802.1 lx操作标准中的一种或多种。当无线链路是由
路可基于WiMAX操作标准来建立和支持。此外，无线接入设备108和无线设 备IIO之间的无线链路可基于一种或多种蜂窝网络操作标准来支持和操作。这 些操作标准可包括例如TDMA标准例如一种或多种全球无线通信标准(GSM) 才喿作标准， 一种或多种CDMA标准例如IS-95x,和/或一种其它的2G或2.5G 标准。此外，该无线链路可基于3G、 4G或随后支持更高数据传输的操作标准 中的一个或多个来建立。这些才喿作标准可遵守北美标准例如1XEV-D0或 1XEV-DV操作标准，或者遵守GSM操作标准的3G和4G变种。此外，本发 明也支持其它操作标准。
通常，依据本发明实施例的第一个特征，边缘设备106接收与远端无线设 备IIO有关的至少一个操作参数116。基于与远端无线设备IIO有关的至少一 个操作# 116,边缘设备106处理^L频数据/一见频流112 (或114)来生成输 出视频流118，它是由无线接入设备108随后发往无线设备110的。由于与远 端无线设备110有关的操作参数116随时间变化，边缘设备106对视频数据的 处理也随时间变化。本发明相应特征的实施例将在下文结合图6和IO进行详 细描述。
基于本发明实施例的第二个特征，边缘设备106与无线设备IIO之间建立 接收校验通信链路，与视频源100或102之间建立非接收校验通信链路。在这 种情况下边缘设备通过非接收校验通信链路从视频源100或102接收视频流/视频数据110。然而，由于边缘设备106与无线设备110之间的通信链路不像 边缘设备106和视频源100或102之间通信链路那样健壮，因此边缘设备106 使用接收验证通信链路将视频流118发往远端无线设备。本发明的这一特征将 在下文参考图14-16进行详述。
此外，基于本发明实施例的第三个特征，边缘设备106负责在无线接入设 备108和远端无线设备IIO之间构建无线链路。在执行这些操作时，边缘设备 尝试采用这样一种方式来与远端无线设备IIO构建通信链路，该方式足以支持 输出视频流118所要求的数据吞吐量。由于无线接入设备108和远端无线设备 IIO之间的无线链路随时间变化，边缘设备106可采用这样的方式处理视频数 据/视频流112或114，即遵循无线接入设备108和远端无线设备IIO之间无线 链路的当前特征，以此来生成输出视频流118。此外，由于视频数据/视频流 112或114变化的特征，边缘设备106可动态修改无线接入设备108和远端无 线设备110之间无线链路的特征，以便足以对输出视频流118服务，但又不会 让无线接入设备108对应的提供服务的无线网络过负荷。在这种情况下，边缘 设备106用于自适应地请求无线链路参数，该参数支持输出视频流118的传输， 并采用这样的方式来处理3见频数据/一见频流112或114，使得输出一见频流118足 以由当前无线链路参数来服务。基于本发明的这一特征，边缘设备106将链路 控制参数发往无线接入设备108/或者与无线接入设备108交互以控制无线链 路参数。本发明这一特征的实施例将在下文参考图11~13进行详述。
图2是基于本发明的一种或多种实施例构建和运行的另一^L频处理系统 的部分系统结构示意图。与图1中的结构相比，图2中的边缘设备206与无线 接入设备108不直接相连。作为替代的，边缘设备206通过网络104连接到无 线接入设备108。网络104的结构遵循图1中描述的网络104的结构。在图2 的结构中，边缘设备206直接连接到视频源208，直接从视频源208接收视频 数据/视频流210。此外，边缘设备206通过网络104间接连接到视频源100， 并通过网络104从3见频源IOO接收一见频数据A见频流112。
无线接入设备108服务一条连接无线设备110的无线链路，并通过网络 104与边缘设备106相连。图2中的系统的操作遵循图1中描述的系统的操作。但是，图2中的系统与图1中系统的区别在于，边缘设备206通过网络104 将视频流212发往无线接入设备108。此外，边缘设备206通过网络104接收 与远端无线设备IIO有关的操作参数116,并将链路控制参数通过网络发往无 线接入设备。除了图1与图2中系统之间存在的这些结构和操作差异，图2 中的边缘设备206执行的操作与图1中描述的内容相同或相近。这种相同/相 近的操作将不再结合图2进行详述。
图3是基于本发明的一种或多种实施例运行的通信系统的系统结构示意 图。图3中的系统300包括多个通信网络302、 304、 306、 308和310，这些 网络为多个电子设备314、 316、 318、 320、 322、 324、 326、 328、 330、 332 和334服务。这些通信网络包括互联网/万维网(WWW) 302， 一种或多种广 域网/局域网(WAN/LAN) 304和306, —种或多种无线局域网/无线广域网/ 蜂窝网络(WLAN/WWAN/蜂窝网络)308和310。互联网/WWW302是熟知 的，其支持网际协议(IP)操作。WAN/LAN304和306支持电子设备314、 316、 318和320，也支持IP操作。WLAN/WWAN/蜂窝网络308和310支持无线设 备322、 324、 326、 328、 330、 332和334。
WLAN/WWAN/蜂窝网络308和310基于一种或多种无线接口标准例如 IEEE 802.llx、 WiMAX、 GSM、 EDGE、 GRPS、 WCDMA、 CDMA、 3xEV國、 3xEV-DV等来工作。WLAN/WWAN/蜂窝网络308和310包括回程网络，其连 接到互联网/WWW302，为无线设备322、 324、 326、 328、 330、 332和334 的无线链路服务。在提供这种无线服务时，WLAN/WWAN/蜂窝网络308和310 包括基础设备例如接入点和基站，以便为无线设备322、 324、 326、 328、 330、 332和334提供无线服务。WLAN/WWAN/蜂窝网络308和310服务的无线链 路在无线设备324-334之间共享，并且在数据吞吐量上是受限制的。这种数据 吞吐量上的限制是由无线链路共享导致的，无线链路因操作环境和/或无线链 路需要基本的数据吞吐量而降级。
依据图3中系统300的操作，i殳备314、 316、 318、 320、 322、 324、 326、 328、 330、 332和334之中的任意一个和可按照图1和图2中描述的3见频源一 样实现和操作的一见频源IOOA、 IOOB、 102A、 208A和/或208B，将在图4~16中进4亍详述。此外，无线设备322、 324、 326、 328、 330、 332和334中的每一个可按照图1和图2中描述的远端无线设备一样实现和操作，其将在图4~16中进行详述。此外，边缘设备106A、 106B、 206A、 206B、 206C和206D中的每一个可按照图1和图2中描述的边缘设备一样实现和操作，其将在图4-16中进行详述。应注意，在图3描述的实施例中，边缘设备106A和无线接入设备108A展示在一个单独方框中，边缘设备106B和无线设备108B展示在一个单独方框中。这种结构并非说明这些设备共享同一物理结构，其只是表明这些设备在网络308和310边缘处分别在功能上连接在一起。
图4是基于本发明的一种或多种实施例构建和运行的无线设备的结构图。无线设备110代表图1和图2中描述的无线设备110的实施例。图4对无线设备110的部件进行了大致的描述。图4中无线设备110的特定实施例可包括图4中描述的一些、多数和所有部件。
通常，无线设备IIO包括处理电路404、存储器406、无线网络接口 408、用户输入接口 412和用户输出接口 414。用户输入接口 412与耳麦422、鼠标420和4定盘418相连。用户输出接口 414连接音频/浮见频显示i殳备416。用户输出接口 414还可连接耳麦422。显示设备416可包括监视器、投影仪、扬声器和用于展示音频和视频给用户的其它部件。尽管无线设备的这些部件显示为物理上隔离的，但所有这些部件可设置在一个单独的机壳内，例如手持设备中。无线设备110具体实现了这种结构，并执行本发明有关音频/视频流接收、处理和操作参^馈的操作。因此，无线终端遵循图1~3中描述的结构和操作，并将在图6 ~ 16中进行详述。
在无线设备110的特定结构中，可使用专用的硬件来对音频和/或视频执行编码和/或解码操:作。在这种情况下无线设备110包括解码电路434和编码电路436。此外，无线设备IIO还可包括非专用的视频处理、协议栈、解码和/或解码资源。在这种情况下，无线设备110的这些操作将由处理电路404提供服务。处理电路404除了其PC操作外，还执行协议栈操作438,以及执行编码/解码操作440。在这种情况下，处理电路404中可包括特定的硬件，以执;f亍才乘作438和440。此外， 一见频处理揭:作、协议栈^喿作438和编码/解码才喿作
14440也可使用通用硬件(或者通用硬件和专用硬件的结合)来执行软件指令来完成。在这种情况下，处理电路404从存储器406获取视频处理指令424、协议栈指令426、编码/解码指令428和/或操作参MJ赍指令430。处理电路404执行各种指令424、 426、 428和/或430来执行指示的功能。处理电路404可包括一个或多个处理设备例如微处理器、数字信号处理器、应用专用处理器或其它类型的处理设备。存储器406可以是任意类型的数字存储器、易失性存储器或非易失性存储器、能够存储数字信息的例如RAM、 ROM、硬盘驱动器、闪存型RAM、闪存型ROM或者其它类型的数字存储器。
一般来说，无线设备110通过网络接口 408接收由数据包承载的视频流(视频/音频流)，并处理收到的视频流。此外，无线设备110在一些操作中，向边缘设备提供操作参MJ贵。在其它操作中，无线设备110可输出视频流，并将其封装在数据包中，通过网络接口 408发往另一设备。该网络接口 408支持WWAN、 WLAN和蜂窝无线通信中的一种或多种。因此，无线接口 408与处理电路404和存储器一同合作，在前述大多数实施例中支持标准化的通信协议操作。
图5A^于本发明至少一个实施例构建和运行的视频处理系统(边缘设备)的结构框图。边缘设备502可对应于图1中的边缘设备106和/或图2中的边缘设备206。边缘设备502执行前文结合图1 ~ 3描述的边缘设备操作，并且其将在图6-16中进行更为详细的描述。为完成这些操作，边缘设备502包括处理电路504和存储器506、第一和第二网络接口 508和510、用户设备接口512，并可包括专用电路。该专用电路可包括协议栈电路518和转码电路520。处理电路504和存储器506可与前文结合图4描述的无线设备110中的结构相同/相似。第一网全純口 508支持WAN/WWAN/互联网接口操作，而第二网络接口 510支持LAN和WLAN接口操作。当然，在不同的实施例中，单个网络接口可完成所有必要的通信接口操作，而在另一些实施例中，也可使用其它的网络接口。
协议栈操作和转码操作可由专用的硬件例如协议栈电路518和转码电路520来实现，也可使用软件来实现，或者使用软硬件结合来实现。在这种情况下，处理电路504除了其正常操作以外，还执行协议栈才喿作522和转码操作524。在这些操作中，处理电路504从存储器中获取软件指令，并执行这些软件指令，其中包含从存储器中获取正常的操作指令512、无线终端接口指令514、协议栈指令515和转码指令516，并执行这些指令。
图6是基于本发明的一种或多种实施例的视频处理操作的流程图。图6中的操作600开始于视频处理系统/边缘设备从视频源接收视频数据(步骤602)。该视频数据可采用块数据或者视频流的格式来传送。图1~3中的结构和图5中边缘设备/视频处理系统的特定实施例以及图4中的远端无线设备可用来执行图6中的操作600中的一些/全部操作。
边缘设备还接收与远端无线设备有关的至少一个操作参数(步骤604)。该与远端无线设备有关的至少 一个操作参数可由远端无线设备自身发往边缘设备。此外，该与远端无线设备有关的至少一个操作#可从无线接入设备(或另 一无线网络设备)接收到，该设备为远端无线设备服务或者监视与无线设备有关的无线网络的操作。例如，从远端无线设备处接收到的该至少一个操作参数可包括远端无线设备解码器緩存的充满程度，远端无线设备的剩余电量、远端无线设备显示器的显示解析度、远端无线设备显示器的色彩解析度、与远端无线设备解码器有关的解码错误指示和/或单独与远端无线设备操作有关的另一参数。上述操作参数中的每一个都可由远端无线设备生成，并在步骤604中的操作中传送到边缘设备。
与远端无线设备有关的至少一个操作参数还可由无线接入设备生成，该设备为远端无线设备服务，或者可由为无线网络服务的另一部件来生成。例如，远端无线设备可指示该至少一个操作参数用于指示提供服务的无线网络当前分配给远端无线设备的数据吞吐量。与远端无线设备有关的至少一个操作参数可随时间变化，其将对图6中操作600进一步产生影响。
图6中的操作600继续进行，边缘设备基于视频数据和至少一个处理参数来确定视频处理参数(步骤606)。操作600继续进行，边缘设备基于视频处理参数来处理视频数据，以生成输出3见频流(步骤608)。在步骤606和608的一个特定实施例中，视频数据为进站的视频流，其中包括多个视频帧。基于在步骤606中确定的^L频处理参数，步骤608的操作可包括处理该3见频数据，包括调整边缘设备收到的进站视频流的帧率，以生成输出视频流。在如步骤608中所述调整视频流帧率的过程中，视频帧的节目时钟基准(PCR)将基于步骤608中对帧率的调整而调整。
步骤608中处理操作的另一实施例包括调整进站视频流中视频帧的解析度，以生成输出视频流中的视频帧。通过在步骤608中调整视频流的解析度，视频流中视频帧在水平和垂直方向像素的数量将得到调整例如减少像素的数量。这种视频帧解析度方面的下降将使得输出视频流的质量比输入视频流要
求的远端无线设备中的处理资源(用于解码和将从视频流中生成的视频展示给用户)也更少。
在步骤608操作的另一实施例中，对进站视频流进行处理以生成输出视频流，是通过调整进站视频流中视频帧的色彩解析度来实现的。通过调整进站视频流中视频帧的色彩解析度，将生成输出视频流中的视频帧，每一视频帧中的信息量将得以降低。因此，远端无线设备用来在展示给用户之前进行发送和解码-见频流所需的无线资源和处理资源将得以降低。依据步骤608操作的一个类似实施例，对视频数据进行处理，以删除进站视频流中视频帧中的色彩内容，以生成输出视频流中的视频帧。在该实施例的一个具体例子中，进站视频流中视频帧中的色彩内容将删除，输出视频流仅仅为简单的黑白视频流。当然，仅包含黑白内容的输出视频流在发往远端无线设备时，将具有更少的数据吞吐量要求。此外，远端无线设备在处理黑白输出视频流时的解码要求也将得以降低。
在图6中步骤608中操作的另一实施例中，边缘设备识别进站视频流中视频帧中的感兴趣区域，并基于获知的感兴趣区域对视频帧进行调整。例如，该感兴趣区域可能是进站视频流中多个视频帧中每一帧中小块中心部分。基于获知的感兴趣区域，边缘设备可调整感兴趣区域内的像素密度，并剪裁感兴趣区域外的视频信息，和/或执行上述操作的合并操作。在删除感兴趣区域外部信息后或者调整感兴趣区域内信息的操作之后得到的视频帧的数据尺寸将得以降低(步骤610X有关感兴趣区域处理方面的内容将参考图9和IO进行详述。步骤606 610的操作可基于图6中步骤604中收到的信息随时间变化。因此，在图6中的操作600中，在将视频数据从视频源发往远端无线设备的过程中，边缘设备可有规律地、定期地或者偶尔地接收与远端无线设备有关的操作参数。基于当前收到的与远端无线设备有关的操作参数以及从视频源接收到的视频数据的特征，边缘设备可基于视频数据和与远端无线设备有关的至少一个操作参数动态确定视频处理参数。因此，在给定的时间，边缘设备可基于视频处理参数对视频数据进行不同的处理，以生成输出视频流。由于图6中的操作600是动态的，操作602 ~ 610可以连续进行调整，直到从视频源向远端无线设备进行的视频数据的传送完成。
图7是基于本发明的一种或多种实施例的视频处理操作的流程图。操作700开始于边缘设备从视频源接收视频数据(步骤702 )。边缘设备随后接收与远端无线设备有关的至少一个操作参数(步骤704)。该至少一个操作参数可直接从远端无线设备中接收到(通过无线链路和一个或多个中间的通信网络)。此外，该至少一个操作参数中的一些或者全部也可从为远端无线设备提供服务的无线接入设备(或者提供服务的无线网络的另一部件)中收到。基于步骤702中收到的视频数据中的内容和在步骤704中收到的至少一个操作参数，边缘设备可确定是否调整其视频处理参数(步骤706)。正如下文将结合图11-13进行详述的一样，从视频源到远端无线设备的视频数据的传送将至少部分地基于提供服务的无线网络和/或中间无线网络的可用吞吐量来进行。因此，在任意给定时间，边缘设备到远端无线设备吞吐量的可用性将影响视频数据处理的方式。
最初，在启动时刻，如图6中描述的那样，视频处理参数将得以确定。随后，在视频数据从视频源发往远端无线设备的传输过程中，边缘设备可更新或者修改其视频处理参数。当不需要进行修改时，操作继续从步骤706进行到步骤710。但是，若如步骤706确定需要对视频处理参数进行修改，边缘设备基于视频数据和至少一个操作参数来确定新的视频处理参数(步骤708)。随后的操作包括基于视频处理参数来处理视频数据以生成输出视频流(步骤710 )，该视频流是从由边缘设备通过至少 一个提供服务的无线网络发往远端无线设备的(步骤712)。图7中的操作700将继续进行，直到不再需要从视频源向远端无线设备传送视频数据。
图8是基于本发明的一种或多种实施例的修改视频流的操作的流程图。在图8中，步骤608和710中的操作将进行详述。图8中的操作608/710包括一定数量的特定处理操作。这些处理操作可以是在处理进站一见频数据以生成出站一见频流时单独进行、部分进行或者完全包含的，这些一见频流随后将发往远端无线设备。步骤608和710中的一些或者全部操作可在任意给定时间进行。此外，在一些操作中，图8中这些3见频处理的操作中任何一个部分都不需要进行，边缘设备仅是简单地将进站视频流作为出站视频流发往远端无线设备。
图8中的操作可包括修改进站视频流(视频数据)的帧率以生成出站视频流(步骤802)。 一般来说，当进站视频流的帧率进行了修改以生成出站视频流时，PCR也要求基于对进站视频流帧率的修改而进行修改(步骤804)。图8中的搡作608/710还可包括修改进站视频流中视频帧(视频数据)的像素解析度，以生成输出视频流(步骤806)。在修改进站视频流中视频帧的像素解析度的过程中，边缘设备仅仅简单地通过合并像素数据来P争低视频流中视频帧的像素的数量。例如，如果进站视频流的像素解析度为800x600，则步骤806的操作可包括将像素解析度从800 x 600修改为400 x 300。当然，修改视频帧的像素解析度还可包括从一个标准像素解析度转变到另 一标准像素解析度，第二像素解析度低于第 一像素解析度。
图8中的操作608/710还进一步包括修改进站视频流中视频帧的色彩解析度，以生成输出视频流(步骤808)。图8中的操作可包括删除进站视频流中视频帧的色彩内容，以生成输出视频流(步骤810)。通过降低视频帧的色彩解析度或者删除视频帧的色彩，可生成黑白视频帧，相比于进站视频流，输出视频流的数据大小将得以P争低。
需要对视频流进行处理，以保证输出视频流遵循提供服务的无线网络所支持的数据吞吐量。此外，需要对进站视频数据/视频流进行修改以生成输出视频流，以补偿远端无线设备的当前操作特征。例如，如果远端无线设备的可用处理资源非常有限或者可用电量非常有限，则远端无线设备所执行的解码处理操作需要降低。在降低解码器处理要求时，边缘设备修改视频数据/进站视频流，以生成出站视频流，这一操作需要采用降低远端无线设备解码器处理要求的方式来进行。降低后的远端无线设备解码器处理要求不仅释放了远端无线设备的资源，并且降低了该远端无线设备的耗电量。
图9是基于本发明的一种或多种实施例的对感兴趣区域进行操作的流程图。图6和图7中步骤608/710中的操作包括对感兴趣区域的处理。在执行感兴趣区域处理时，边缘设备确定进站视频流中视频帧中的特定感兴趣区域(步骤902)。在识别视频帧中的感兴趣区域时，边缘设备可从视频源接收辅助信息或者从视频流自身中提取信息。在获知特定视频帧中的一个或多个感兴趣区域时，边缘设备可修改视频帧中感兴趣区域内部或者感兴趣区域外部的像素密度(步骤904)。通过步骤904中的操作，边缘设备可保持视频帧中感兴趣区域的解析度而降低视频帧中感兴趣区域外部的解析度。此外，或者结合步骤904中的操作，边缘设备可对感兴趣区域外视频帧的信息进行剪裁(步骤906 )。通过删除进站视频流中视频帧中的视频信息，步骤906中的处理从数据角度来看，将降低视频帧的总体大小。视频帧数据大小的降低将降低从边缘设备到远端无线设备的数据传输要求。
图10是基于本发明的一种或多种实施例对视频流的视频帧进行感兴趣区域处理的流程图。如图IO所示，进站视频流可视为多个视频帧。例如，进站视频流中的多个视频帧1004可包括第一视频帧1006a。视频帧1006a可包括两个分开的感兴趣区域1012和1014。标识这些感兴趣区域的信息可包含在3见频帧自身中，或者由边缘设备作为单独的信息从提供进站视频流的视频源处接收。同理，；见频流的^L频帧1010的序列可包括感兴趣区域1016。
依据基于本发明的边缘设备的第 一操作，边缘设备可识别感兴趣区域1012，并裁剪—见频帧1006a以生成^见频帧1018a。同理，边續J殳备可裁剪多个视频帧1004，以生成视频帧序列1020,其中只包括感兴趣区域1012之内的信息。同理，在不同的操作中，边缘设备可识别感兴趣区域1014，并裁剪视频帧1006a,以生成^见频帧1018b。同理，该感兴趣区i或1014可用来生成一系列视频帧1030，其对应于感兴趣区域1014。在生成发往远端无线设备的输出视
20频流的过程中，边缘设备可生成视频帧序列1020和或视频帧序列1030,以发往远端无线设备。由于每个视频流1020和1030都包含相比于对应的视频流中的视频帧1004中较少的信息，将视频序列1020和/或1030作为视频流来进行传送所需的数据吞吐量少于传送作为视频流的序列1004所需的吞吐量。
在图10中，边缘设备对感兴趣区域的处理可包括识别进站视频流中视频帧序列1010中视频帧1006b中的感兴趣区域1016。在处理进站视频流中视频帧序列1010的过程中，边缘设备可基于对感兴趣区域1016的识别来剪裁视频帧1006b，以生成视频帧1018c。同理，边缘设备可以处理进站视频流中的每个3见频帧1010，以生成3见频帧序列1040,其对应于感兴趣区i或1016。在执4亍感兴趣区域处理时，边缘设备还可有效地修改输出视频流中的像素密度，这是通过对视频流1010中的视频帧进行剪裁来实现的。此外，边缘设备可简单地寸奮改^L频帧序列中每个一见频帧的解析度。
图11是基于本发明的一种或多种实施例的构建无线链路的操作的流程图。图11中的操作1100是由图1~3和图5中描述的边缘设备或者视频处理系统来执行的。操作IIOO开始于边缘设备接收请求从视频源向远端无线设备转发视频流的请求(步骤1102)。该请求可从视频源、远端无线设备或者中间设备例如无线接入设备处收到。视频流可由与边缘设备直接相连的视频源例如图1中描述的视频源102或者图2中的视频源208存储。此外，视频流也可从未与边缘设备直接相连的视频源处接收到，例如图1中的视频源100或者图2中的^L频源100。在每种情况下，图1中的边桑彖i殳备106或者图2中的206例如，确定足以将视频流通过至少一个提供服务的无线网络传送到远端无线设备所要求的数据吞吐量(步骤1104)。这个足以将视频流通过至少一个提供服务的无线网络发往远端无线设备的数据吞吐量要求是基于视频流的特征的。此外，该数据吞吐量要求也可基于其它的考虑，例如远端无线设备的已知的处理条件或者电池寿命。
边缘设备随后尝试通过至少 一个提供服务的无线网络建立到远端无线设备无线通信链路，其中该无线链路的参数支持数据吞吐量要求(步骤1106)。边缘设备在尝试通过至少一个提供服务的无线网络建立到远端无线设备的无线通信链路时采取的方式至少基于边缘设备与提供服务的无线网络中的部件
进行通信的方式。例如，在图1中，边缘设备106与无线接入设备108直接连接，因此可与无线接入设备设置在同一位置。在这种情况下，将使用边缘设备106与无线接入设备108之间的通信来建立无线通信链路。此外，在图2中，边缘设备206通过网络104连接到无线接入设备。在这种情况下，将在边缘设备206和无线接入设备108之间建立消息会话，该会话将被边缘设备206用来尝试建立无线通信链路。
操作继续进行，边缘设备无法与提供服务的无线网络建立具有无线链路参数的无线通信链路(步骤1108)。步骤1108中存在的问题可能是由提供服务的无线网络中缺少足够可用的无线资源而导致的。此外，提供服务的无线网络无法建立无线通信链路的原因也可能源于远端无线设备自身的一些限制，例如无法支持必要的协议、用户缺少足够的服务级别或者其它限制。基于步骤1108中遇到的问题，边缘设备与远端无线设备建立不同的无线通信链路，其支持不同的数据吞吐量，其小于步骤1104中的数据吞吐量要求(步骤1110)。在步骤1110中建立不同的无线通信链路的时候，边缘设备可选择不同的数据吞吐量要求。此外，边缘设备可以简单地请求提供服务的无线网络分配具有可用数据吞吐量的无线链路。在另一种情况下，边缘设备在步骤1110建立不同的无线通信链路，其用于将视频流发往远端无线设备。
边缘设备随后接收来自视频源的视频流(步骤1112 )。该边缘设备随后处理该视频流，这是通过修改该视频流的特征以使其满足通过步骤1110中的操作分配的不同的数据吞吐量来实现的(步骤1114)。随后，边缘设备将该视频流通过至少这条在步骤1110中分配的不同的无线通信链路发往远端无线i殳备(步骤1116)。边缘设备随后继续在步骤1116中像在步骤1114中一样通过至少该不同的无线通信链路将视频流发往远端无线设备，直到传输完成。基于步骤1112中收到的输入4见频流的特征，步骤1114中执行的处理步骤可随时间发生变化。此外，无线通信链路的特征也可基于提供服务的无线网络中资源的可用性而随时间变化。在这种情况下，基于提供服务的无线网络中资源可用性发生的变化，无线链路参数也随时间变化，导致无线链路在无线接入设备和远端无线设备之间支持不同的数据吞吐量。在这种情况下，基于提供服务的无线网
络所支持的吞吐量中发生的这些变化，步骤1114中执行的处理也将随通信链路的变化而变化。
此处结合图11中操作IIOO描述的无线链路参数包括无线网络中各种不同的无线参数。这些可选的或者可配置的无线参数对于不同的无线网络而言是不同的。然而， 一般说来，该无线链路参数包括时隙分配参数、信道分配参数、发射功率分配参数、波束赋形参数、多入多出(MIMO)参数、调制参数和编
交互来直接或间接地修改。然而，在一些实施例中，这些无线链路参数将基于边缘设备的控制而间接地修改。在这种情况下，边缘设备可简单地向提供服务的无线网络请求具有特定数据吞吐量的无线链路。在这种情况下，提供服务的无线网络中的一个或多个设备可选择这些无线链路参数来响应来自边缘设备的请求。
在步骤1104的操作中，边缘设备确定足以传送视频流的数据吞吐量要求。边缘设备在确定这种数据吞吐量要求时所依据的视频流的特征包括例如待传送的视频流的帧率、待传送的视频流中视频帧的像素解析度和/或视频流中视频帧的色彩解析度。这些特征可单独或者组合使用来标识足以将视频流从边缘设备发往远端无线设备的数据吞吐量要求。读者可以回忆一下，从视频源到边缘设备的数据传送的可用性是非常健壮的，因为用来将一见频流从边缘设备发往远端无线设备的无线链路是可变的，并且通常具有更少的数据承载能力。在这种情况下，边缘设备被要求不仅用于管理从视频源到远端无线设备的视频流的传输，还要处理视频流，以确保分配的无线通信链路足以传送4见频流。
依据本发明的一个特定实施例，在分配或建立无线链路参数时，边缘设备与提供服务的无线设备进行间接的交互。在这种情况下，边缘设备确定满足数据吞吐量要求所需要的服务质量(QOS)。在确定了 QOS之后，边缘设备与提供服务的无线网络进行交互，以分配无线通信链路，其无线链路参数满足QOS要求。在这种情况下，边缘设备基于确定的QOS间接地控制具有无线链路参数的无线链路的分配，以支持视频流的传输。这种QOS特征和确定过程既可用来标识数据吞吐量要求，也可用来标识步骤1110所提供的不同的吞吐量。
图12是基于本发明的一种或多种实施例的构建无线链路的操作的流程 图。图12中的操作1200类似于图11中的操作1100。但是，在图12的操作 1200中，无线链路在最初建立的时候具有足够的数据吞吐量来支持进站的视 频流。随后该无线链路基于传输视频流的不同要求做了修改。操作1200开始 于边缘设备接收请求将视频流从视频源转发到远端无线设备的请求(步骤 1210)。随后，边缘设备确定足以将视频流发往远端无线设备时所需的数据吞 吐量要求(步骤1204)。这一确定过程是基于视频流的帧率、视频帧大小、视 频流中^L频帧的内容和其它特征中的至少一个来进^f亍的。
随后，边缘设备通过提供服务的无线网络建立到远端无线设备的无线通信 链路，其无线链路参数足以支持数据吞吐量要求(步骤1206)。在为该无线通 信链路分配无线链路参数的过程中，边缘设备可直接与提供服务的无线网络的 一个或多个部件进行交互，以构建该无线链路。此外，边缘设备还可简单地确 定满足数据吞吐量时所要求的QOS，并且分配具有满足该QOS要求的无线链 路参数的无线链路。
随后，边缘设备从视频源接收视频流(或视频数据)(步骤1208)。边缘 设备随后通过至少一个无线通信链路发送视频流到远端无线设备(步骤 1210)。在图l所示的实施例中，边缘设备106与无线接入设备108直接相连， 并筒单地通过具有无线链路参数的无线接入设备108将视频流发送到无线设 备IIO。另一方面，在图2所示的实施例中，边缘设备206通过网络104和无 线接入设备108经无线链路将将视频流212传送到无线设备110。
再来看图12，在通过步骤1210将^L频流通过至少一个无线通信链路发往 远端无线设备的过程中，边缘设备可探测到或确定发生变化的数据吞吐量条件 的存在(步骤1212)。该变化的数据吞吐量条件可基于提供服务的无线网络的 限制以及其服务前一建立的无线通信链路的能力。例如，提供服务的无线网络 可能无法再支持满足数据吞吐量要求的无线链路。此外，边缘设备可确定视频 流的特征已经发生了变化，因此要求不同的数据吞吐量。在每种情况下， 一旦 在步骤1212得到肯定的确定，边缘设备将修改无线链路参数以支持不同的数
24据吞吐量要求(步骤1214)。步骤1214中的操作可由边缘设备通过与提供服 务的无线网络中的至少一个部件的交互来完成。由于不同的数据吞吐量要求或 者性能可能小于在步骤1206中建立的前一数据吞吐量要求，边缘设备可能被 要求在可选步骤1216中修改视频流。操作将从步骤1208 —直进行到步骤 1216，直到不再要求进行数据传输。
图13是基于本发明的 一种或多种实施例的建立/修改无线链路的操作的流 程图。如图13所示，将描述图11中步骤1106和1110中的各种操作以及图12 中的步骤1206和1214中的各种操作。在修改或建立无线链路参数时，将用到 图13操作中的一部分或者全部。依据本发明的实施例中的各种操作，读者应 当明白，这些无线链路参数可以单独一个进行设置或修改，也可以是多个一组 进行设置或修改。依据这些操作中的一些，无线链路参数可通过设置或变更为 远端无线设备服务的无线链路的时隙分配参数来建立或修改(步骤1302)。无 线链路参数还可通过设置或修改信道分配参数(步骤1304)或者通过设置或 修改发射功率分配参数(步骤1306 )，或者通过设置或修改波束赋形参数(步 骤1308)和/通过设置或<务改多入多出(MIMO)参数(步骤1310)来建立或 修改。该无线链路参数还可通过设置或修改调制参数(步骤1312)和/或设置 或修 支信道编码/块编码参数(步骤1314)来建立或修改。
图14是基于本发明的一种或多种实施例的进行接收校验/非接收校验 (reception verified/non-reception verified)3见步贞数据/;危传送的操4乍的部分系纟克结 构示意图。依据本发明的一个实施例，边缘设备在其自身与视频源之间以及自 身与远端无线设备之间建立不同类型的通信链路。在这种情况下，边缘设备 1410通过通信网络1408与视频源1402建立非接收验证通信链路(non-reception verified communication link)。通信网络1408可包括前文结合图1和图2描述 的一种或者多种类型的网络。非接收验证通信链路可包括用户数据报协议
(UDP)通信协议或者另 一非接收验证通信链路。接收验证通信链路(reception verified communication link)可由传输控制协议(TCP )、流化传输控制协议
(STCP)和/或流化一见频文件传输协;义(SVFTP)中的至少一种来提供服务。 视频源1402包括通信接口 1404和编码器(处理电路)1406。通信接口 1404与边缘设备1410的通信接口 1412相连，以建立和为非接收验证通信链路提供 服务。
通过通信接口 1412、并经由第二通信网络1418通过远端无线设备1420 的通信接口 1422,边缘设备1410与无线设备1420建立接收验证通信链路。 远端无线设备1420包括解码器(处理电路)1424。通常，第二通信网络1418 包括提供服务的无线网络，并可包括一个或多个中间的有线或无线网络。
例如，如图1所示，边缘设备106可通过无线接入设备108与远端无线设 备110建立接收验证通信链路。此外，边缘设备可通过图l所示的连接结构与 视频源100或102建立非接收验证通信链路。如图2所示，边缘设备206可通 过网络104和无线接入设备108与无线设备110建立接收验证通信链路。此外， 边缘设备可通过网络104与视频源208或100建立非接收验证通信链路。
再来看图14,边缘设备1410通过其通信接口 1412使用非接收验证通信 链路从视频源1402接收视频流(或视频数据)。边缘设备1410随后通过其通 信接口 1412使用接收验证通信链路将视频流发往远端无线接收设备。该接收 验证通信链路穿越第二通信网络1418，并由无线设备1420的通信接口 1422 提供服务。
在执行这些操作的过程中，边缘设备1410可能被要求补偿非接收验证通 信链路和接收验证通信链路所支持的不同数据吞吐量。在这种情况下，边缘设 备(视频处理系统)基于接收验证通信链路的特征来处理视频流。在这种情况 下，视频流的处理包括修改视频流的帧率、修改视频流中视频帧的像素解析度、 修改视频流中视频帧的色彩解析度和/或执行对视频流中视频帧中感兴趣区域 的处理。这些操作已经在图6-10中做了描述。这些特定操作可依据前文描述 的图14 ~ 16中的操作来执行。
图15是依据本发明一个或多个较佳实施例的协议层操作的框图。所示的 协议栈由视频源1402、边缘设备1410和远端无线设备1420来支持。通信网 络1408将视频源1402连接到边缘设备1410，通信网络1418将边缘设备1410 连接到远端无线设备1420。视频源1402接收视频数据或者以数据块的格式本 地存储有视频数据。该视频源1402可将视频数据以数据块或者数据流的格式传送到边缘设备1410。为支持将视频数据/视频流传送到边缘设备1410，视频 源1402为应用层1506、非接收验证链路层1508、网络层1510、媒介访问控 制(MAC)层1512和物理层1514服务。该协议栈的部件可遵循TCP/IP协议 栈或者其它标准协议栈。在图15所示的特定实施例中，非接收验证链路层1508 包括UDP层。此外，网络层1510可包括网际协议层。MAC层1512和物理层 1514取决于一见频源1402与通信网络1408相连的方式。MAC层1512和物理 层1514可提供一有线接口或无线接口，这取决于特定的实现。
在为到视频源1402的非接收验证通信链路提供服务时，边缘设备1410 包括非接收验证链路层1516、网络层1520、 MAC层1522和物理层1524。边 缘设备1410通过物理层1524、 MAC层1522、网络层1520和非接收验证链路 层1516从视频源1402接收视频数据/视频流。边缘设备1410还可包括应用层 1525，其用于提供一个接口来接收视频数据/视频流和输出。边缘设备1410通 过应用层1525接收4见频数据/—见频流，并可基于其处理要求处理该;f见频数据/ 视频流。应用层1527接收输出视频流并将其通过接收验证链路层1518、网络 层1520、 MAC层1522和物理层1524发往通信网络1418。当边缘i殳备1410 不处理视频流时，将在传输层(或另一层)进行桥接。通信网络1418将输出 视频流发往目地无线设备1420。通信网络1418包括至少一个提供服务的无线 网络。边缘设备1410的网络层1520、 MAC层1522和物理层1524用于接收 进站的视频数据/视频流，并传输输出视频流，尽管这种服务可通过不同的接 收和传输路径来进行。边缘设备的接收验证链路层1518可以是TCP层、STCP 层或者SVSTP层。远端无线设备1420包括对应的接收-^^正链路层1528。此 外，远端无线设备包4舌应用层1526、网全各层1530、MAC层1532和物理层1534。 这些通信协议层支持接收边缘设备1420传送的输出视频流。这些通信协议层 还支持与边缘设备1420进行通信，例如以便传输其操作参数。所示的远端无 线设备的协议栈支持在接收输出视频流时的其它要求，例如自动重传请求、数 据流、将数据添加到队列和其它操作。
图16是基于本发明一个或多个实施例的接收验证/非接收验证视频数据/ 流的操作的流程图。图16中的操作1600使用图14和15中描述的结构。图16中的操作1600开始于边缘设备与远端无线设备建立接收验证通信链路(步 骤1602)。操作继续进行，边缘设备与视频源建立非接收验证通信链路(步骤 1604)。步骤1602和1604的操作已经在前文结合图14和15做了描述。随后， 视频源将视频数据编码为视频流(步骤1606)。如前文所述，视频源可将视频 数据通过块格式或者视频流格式发往边缘设备。当视频数据采用视频流格式从 视频源发往边缘设备时，需要执行步骤1606。
随后，视频源通过非接收验证通信链路将视频数据/视频流发往边缘设备 (步骤1608 )。随后，边缘设备接收视频数据/视频流(步骤1610 )。在必要时， 边缘设备随后将视频数据编码为视频流，并在必要时对视频流进行转码和/或， 在需要时修改视频数据或修改视频流(步骤1612 )，这是基于到远端无线设备 的接收验证通信链路的特征来进行的。步骤1612的操作可基于前文所述的图 6-11中的操作来进行，这样一来，传送的视频流将由接收验证通信链路来支 持。当边缘设备将视频流通过接收验证通信链路发往远端无线设备时(步骤 1614),操作完成。在处理视频流的过程中，图16中的操作可基于前文结合图 6~ 13描述的实施例进行修改。此外，图16中的操作1600还可基于前文描述 的操作进行修改，这些操作可修改边缘设备和远端无线设备之间接收验证通信 链路的特征。
此处所使用的术语"电路"是指代执行多个主要功能的独立的电路或多功 能电路的一部分。例如，取决于实施例，处理电路可以实施为单芯片处理器， 也用多个处理芯片实施。另外，在一个实施例中第一电路和第二电路可以结合 在一个单独的电路中，在另一实施例中，操作或许独立地在分开的芯片上。本
文中所提及的术语"芯片"是指集成电路。电路可包括通用或专用硬件，或可 包括这样的硬件和相关的软件诸如固件或结果代码。
本专业普通技术人员会意识到，术语"基本上"或"大约，，，正如这里可 能用到的，对相应的术语提供一种业内可接受的公差。这种业内可接受的公差 从小于1%到15%,并对应于，但不限于，组件值、集成电路处理波动、温度 波动、上升和下降时间和/或热噪声。本专业普通技术人员还会意识到，术语
28"可操作地连接"，正如这里可能用到的，包括通过另一个组件、元件、电路 或模块直接连接和间接连接，其中对于间接连接，中间插入组件、元件、电路 或模块并不改变信号的信息，但可以调整其电流电平、电压电平和/或功率电 平。正如本专业普通技术人员会意识到的，推断连接(亦即， 一个元件根据推 论连接到另一个元件)包括两个元件之间用相同于"可操作地连接"的方法直 接和间接连接。正如本专业普通技术人员还会意识到的，术语"比较结果有利，，， 正如这里可能用的，指两个或多个元件、项目、信号等之间的比较提供一个想
要的关系。例如，当想要的关系是信号l具有大于信号2的振幅时，当信号l 的振幅大于信号2的振幅或信号2的振幅小于信号1振幅时，可以得到有利的 比较结果。
以上还借助于说明某些重要功能的功能模块对本发明进行了描述。为了描 述的方便，这些功能组成模块的界限在此处被专门定义。当这些重要的功能被 适当地实现时，变化其界限是允许的。类似地，流程图模块也在此处被专门定 义来说明某些重要的功能，为广泛应用，流程图模块的界限和顺序可以被另外 定义，只要仍能实现这些重要功能。上述功能模块、流程图功能模块的界限及 顺序的变化仍应被视为在权利要求保护范围内。
本发明的描述过程还借助方法步骤的方式来描述特定功能的执行过程及 其相互关系。为便于描述，文中对这些功能性模块和方法步骤的边界和顺序进 行了专门的定义。在使这些功能可正常工作的前提下，也可重新定义他们的边 界和顺序。但这些对边界和顺序的重新定义都将落入本发明的主旨和所声明的 保护范围之中。
此外，虽然描述细节的目的是清楚和明白上述实施例，本发明并不限于这 些实施例。任何本领域技术人员知悉的、对这些特征和实施例进行各种改变或 等效替换而得的技术方案，都属于本发明的保护范围。
权利要求
1、一种视频处理系统，其特征在于，包括通信接口，用于从视频源接收视频数据，其接收与远端无线设备有关的至少一个操作参数，并将输出视频流发往远端无线设备；视频处理电路，其与所述通信接口相连，用于接收所述视频数据和所述至少一个操作参数，以及基于所述视频数据和所述至少一个操作参数来确定视频处理参数，并基于所述视频处理参数处理所述视频数据，以生成所述输出视频流，和将所述输出视频流提供给通信接口以传送到远端无线设备。
2、 根据权利要求1所述的视频处理系统，其特征在于， 所述视频数据为进站视频流；处理所述视频数据包括修改所述进站视频流的帧率，以生成所述输出视频流。
3、 根据权利要求2所述的视频处理系统，其特征在于，所述修改所述进 站视频流的帧率以生成所述输出视频流包括修改进站视频流中视频帧的节目 时钟基准以生成所述输出视频流的视频帧。
4、 根据权利要求1所述的视频处理系统，其特征在于，所述视频数据为 进站纟见频流；处理所述—见频数据以生成所述输出一见频流包括"修改所述进站一见频流中视j 频帧的解析度以生成输出视频流中的视频帧。
5、 根据权利要求1所述的视频处理系统，其特征在于，所述视频数据为 进站纟见频流；处理所述视频数据以生成所述输出视频流包括修改进站视频流中的视频 帧的色彩解析度以生成输出视频流中的视频帧。
6、 根据权利要求1所述的视频处理系统，其特征在于，所述视频数据为 具有色彩内容的进站视频流；处理所述#见频数据包括删除进站#见频流中#见频帧的色彩内容以生成输出 #见频流中的3见频帧。
7、根据权利要求1所述的视频处理系统，其特征在于， 所述纟见频数据为进站纟见频流；处理所述视频数据包括修改进站视频流中视频帧中感兴趣区域内的像素 密度以生成输出—见频流。
8、 一种用于处理视频数据的方法，其特征在于，包括 从视频源接收视频数据；接收与远端无线设备有关的至少 一个操作参数； 基于所述视频数据和所述至少一个操作参数来确定视频处理参数； 基于所述视频处理参数处理所述视频数据，以生成输出视频流； 发送所述输出3见频流以传送到远端无线i殳备。
9、 根据权利要求8所述的方法，其特征在于， 所述^见频数据为进站一见频流；处理所述视频数据包括修改所述进站视频流的帧率，以生成所述输出视频流o
10、 根据权利要求9所述的方法，其特征在于，所述修改所述进站视频流 的帧率以生成所述输出视频流包括修改进站视频流中视频帧的节目时钟基准 以生成所述输出 一见频流的一见频帧。
全文摘要
一种视频处理系统，包括通信接口和视频处理电路。通信接口从视频源接收视频数据，其接收与远端无线设备有关的至少一个操作参数，并将输出视频流发往远端无线设备。视频处理电路，其与所述通信接口相连，用于接收视频数据和至少一个操作参数，以及基于视频数据和至少一个操作参数来确定视频处理参数，并基于视频处理参数处理视频数据，以生成输出视频流，和将输出视频流提供给通信接口以传送到远端无线设备。可通过调整帧率、PCR、像素解析度、色彩解析度、色彩内容和/或进站视频数据中感兴趣内容区域来处理视频数据(进站视频流)，以生成输出视频流。
文档编号H04N7/24GK101594529SQ20091014242
公开日2009年12月2日 申请日期2009年5月31日 优先权日2008年5月28日
发明者吉汉·卡若古, 大卫·罗斯曼, 托马斯·J·奎格利, 斯蒂芬·戈丹, 谢孟·陈, 迈克尔·达夫 申请人:美国博通公司