专利名称：分布式音频和视频处理的制作方法
技术领域：
一般而言，本发明涉及视听信号的数字处理，尤其涉及利用多个硬件和软件平台的视听数据的分布式处理。
背景技术：
数字音频和视频材料的普及导致大量的用户电子平台可用于辅助接收、解码、处理和显示数字编码视听内容在合适的显示器上。用户电子平台包含个人计算机(personal computer ;PC)、数字多功能光盘播放器(digital versatile disc player ;DVD 播放器)、高清晰 DVD 播放器(HD DVD 播放器)、蓝光播放器、数字电视(digital television ；DV)机、高清晰电视(high definition televsion ;HDTV)机和机顶盒。多种类型的接收器用于接收可以射频(radio frequency ； RF)传输信号、有线电视信号、卫星信号等形式传输的数据。音频和视频内容还可以计算机可读媒体形式，例如DVD、高清晰DVD、蓝光光盘 (blu-ray disc ;BD)、压缩光盘(compact disc ;CD)等形式，分布。或者，还可经由拨号连接、光纤连接、同轴电缆、数字用户线(digital subscriber line ；DSL)等透过远程通信网络，例如hternet，接收编码的视听数据。数字信号处理器(digital signal processor ；DSP)愈来愈广泛地用于处理音频和视频数据。由于在各种电子器件中嵌入数字信号处理器的成本逐渐降低，因而许多器件能够执行多种类型的数据、音频和视频处理任务。目前，在起居室或家庭娱乐中心经常可见到由不同厂商供应的外部调制解调器、 路由器、个人计算机、蓝光或高清晰DVD播放器以及显示器件互连在一起。例如DVD播放器、高清晰DVD播放器、蓝光光盘播放器、机顶盒等解码器可直接与显示器件互连。常见的显示器件包含阴极射线管(cathode ray tube ；CRT)监视器、平板显示器，例如液晶显示器 (liquid crystal display ;LCD)或数字光处理(digital light processing ;DLP)监视器、 等离子显示器以及其他数字电视机。常见的音频器件包含独立扬声器、一般发现在各种电视机中的内置扬声器以及用于自S/PDIF、同轴或光连接器接收数字音频的接收器。DVD播放器、高清晰DVD播放器、蓝光光盘播放器可形成个人计算机(PC)的部分。在这些平台上可发现不同程度的音频和视频处理能力。例如，个人计算机通常包含处理器、存储器、包含音频数字信号处理器的音频适配卡以及包含图形处理单元 (graphics processing unit ；GPU)的视频图形卡。该处理器、音频数字信号处理器和图形处理单元可对载入互连的蓝光驱动中的蓝光光盘的压缩音频和视频数据进行解码。该图形处理单元可执行一些视频处理，例如缩放或色彩空间转换。另外，该图形处理单元可为需要的视频解码步骤提供硬件加速模块以辅助解码。该音频数字信号处理器可执行一些音频处理，例如音调处理、均衡、三维虚拟(3D virtualization)或将一种音频格式转码为另一种音频格式。不过，该处理器还可执行个人计算机中所需的大多数或全部音频和视频解码任
5务，尤其在无硬件加速可用时。例如，在不具有专用图形处理单元和/或音频数字信号处理器的低成本个人计算机中。个人计算机通常经由标准的视频图形阵列(video graphics array ；VGA)电缆与CRT监视器互连。不过，相同个人计算机还可经由数字视频接口(digital visual interface ；DVI)电缆、高清晰多媒体接口(high definition multimedia interface ； HDMI)电缆或符合DisplayPort的电缆与复杂数字显示器连接。由于CRT监视器通常具有有限的处理能力，使用CRT监视器显示的视频源器件通常执行基本全部的视频处理。类似地，音频数据可经由L/R输出和/或符合S/PDIF的接口提供给外部扬声器。不过，其他类型的输出器件(例如数字电视机)本身具有视频处理能力，例如扫描速度转换、交错(interlacing)、去交错(de-interlacing)、降噪、缩放、色彩校正、对比校正、伽玛校正、锐利度增强、边缘增强及帧速率转换(frame rate conversion) 0在此情况下，至少一些处理可在该显示器件执行。可在源器件或接收器件执行的音频处理任务包含音量调整、扬声器均衡、三维虚拟、低音/高音控制、自动音量调节及声音均衡。不幸的是，当可以使用多个平台中(例如在源器件和接收器件上)的处理能力时， 该些能力并不总能得到有效的使用。例如，连接数字电视机的个人计算机只可能执行极少量的音频和视频处理或根本不执行音频和视频处理，而要求该数字电视执行几乎全部音频和视频处理需求。反之，该个人计算机可能执行几乎全部的处理任务，而未使用该显示器件中可用的具有潜在优势的图像处理算法。显然，这样一布局无法充分利用源器件(例如个人计算机)和接收器件(例如数字电视)中可用的处理器、图形处理单元、音频数字信号处理器等的处理能力。因此，仍然需要提供方法以有效使用多个互连平台，例如个人计算机和显示器件， 的处理能力。
发明内容
一种经由本地网络在与显示器件互连的多个器件之间分布视频和音频处理的方法，包括确定在该显示器件与该本地网络中的其他器件之间交换数据的网络传输协议和数据格式。该本地网络中该些器件的其中之一可自外部网络中的视频服务器或本地源，例如 DVD播放器，接收视听输入。通过使该本地网络上的至少一个器件执行至少一信号处理功能并利用确定的该数据格式和传输协议向该显示器件提供该处理数据以供显示，该显示器件分布音频和视频处理。该本地网络上包含该显示器件的各该器件所执行的该些处理任务彼此互补。该方法能够有效利用该本地网络上各器件中的闲置处理能力进行视频和音频处理。依据本发明的一个实施方式，本发明提供一种处理计算器件中接收的视听输入数据的方法，以经由本地网络在与该计算器件互连的显示器件上显示。该方法包含自该显示器件接收指令以执行与该显示器件中要被执行的第二信号处理功能互补的第一信号处理功能，以及使用该计算器件支持的网络传输协议中选定的其中之一以及该计算器件支持的数据格式中选定的其中之一。该方法还包含对该视听输入数据执行该第一信号处理功能以形成外部处理数据；将该外部处理数据编码成该选定的数据格式；以及在该本地网络上利用该选定的网络传输协议传输该选定数据格式中的该外部处理数据。
依据本发明的另一个实施方式，本发明提供一种经由本地网络利用与计算器件互连的显示器件处理和显示该计算器件中接收的视听输入数据的方法。该方法包含命令该计算器件对该视听输入数据执行第一信号处理功能以形成外部处理数据，该第一信号处理功能与该显示器件中要被执行的第二信号处理功能互补；将该外部处理数据编码成该数据格式；以及在该本地网络上利用该网络传输协议传输该数据格式中的该外部处理数据。该方法还包含在该显示器件中接收该数据格式的该外部处理数据；对该接收的外部处理数据执行该第二信号处理功能；以及在该显示器件上显示该接收的外部处理数据。依据本发明的另一个实施方式，本发明提供一种经由本地网络利用与计算器件互连的显示器件处理视频输入数据的方法。该方法包含利用选定的传输协议和数据格式在该显示器件中接收该视听输入数据。该方法还包含命令该计算器件接收该视听输入数据的部分并对其执行第一信号处理功能以形成外部处理数据，该第一信号处理功能与该显示器件中要被执行的第二信号处理功能互补；以及将该外部处理数据编码成该数据格式并向该显示器件传输该数据格式的该外部处理数据。该方法还包含利用该传输协议和该数据格式向该计算器件传输该部分；以及自该计算器件接受并显示该外部处理视听数据。依据本发明另一个实施例，本发明提供一种显示器件，其包含与显示屏幕通信的控制电路以及经由本地网络与计算器件互连的网络接口。该显示器件用于命令该计算器件对视听输入数据执行第一信号处理功能以形成外部处理数据。该第一信号处理功能与该显示器件要被执行的第二信号处理功能互补。该显示器件进一步命令该计算器件将该外部处理数据编码成选定的数据格式并在该本地网络上利用选定的网络传输协议向该显示器件传输该数据格式的该外部处理数据。该显示器件经一步接收以该数据格式传输的该外部处理数据；对该接收的外部处理数据执行该第二信号处理功能；以及在该显示器件上显示该接收的外部处理数据。依据本发明另一个实施例，本发明提供计算器件，其包含与存储器通信的处理器以及经由本地网络与显示器件互连的网络接口。该计算器件用于自该显示器件接收指令以执行与该显示器件中要被执行的第二信号处理功能互补的第一信号处理功能；以及使用该计算器件支持的网络传输协议和数据格式。该计算器件进一步对视听输入数据执行该第一信号处理功能以形成外部处理数据。该计算器件进一步将该外部处理数据编码成该数据格式。该计算器件进一步在该本地网络上利用该网络传输协议传输该数据格式中的该外部处理数据。下面参照附图并阅读本发明的特定实施例的下述说明后，本发明的其他实施方式和特征对于本领域的技术人员将变得更加清楚。
附图仅示例说明本发明的实施例。图1显示示范布局的示意图，其中，显示器件与个人计算器件互连，该计算器件经由网络与音频和视频内容提供商通信；图2显示图1所示的计算器件和显示器件中各模块的详细示意图；图3显示图2所示的计算器件的图形处理单元中各模块的示意图；图4显示图2所示的计算器件的音频处理器中各模块的示意图5显示依据本发明示范实施例在图1的计算器件与显示器件之间传输数据的逻辑数据传输图；图6显示依据本发明示范实施例在图1的计算器件与显示器件中的逻辑实体示意图；图7显示另一个示范布局的示意图，其中，两个显示器件与计算器件经由网络互连以合作处理自音频和视频服务器接收的音频和视频数据；以及图8显示另一个示范实施例的示意图，其中，图7所示的布局扩展至包含另外的器件以合作处理音频和视频数据。
具体实施例方式图1显示利用本地网络118互连显示器件102与个人计算器件104的简单模块示意图。计算器件104还可选择另外使用适当的音频/视频链路110与显示器件102互连。 计算器件104经由网关器件112和数据通信网络106，例如Internet，与音频和视频服务器108通信。网络106可为网际协议(internet protocol ；IP)网络或类似类型的广域网络(wide area network ；WAN)。因此，显示器件102可经由计算器件104自网络106(例如 Internet)请求和接收音频/视频内容。网关器件112可为调制解调器/路由器器件，其终止数据线116，该数据线可为同轴电缆、数字用户线(digital subscriber line ;DSL)、光纤链路等。因此，数据线116能够在器件112与网络106之间传输数据。器件112可选择由独立的调制解调器与路由器互连结合组成，该调制解调器互连或终止数据线116并且该路由器利用网络电缆114与计算器件104互连。网络电缆114可为以太网(Ethernet)电缆。应当了解，在网络环境，例如图1所示的布局下，客户端器件(例如计算器件104)可很容易地从数字内容服务器(例如音频和视频服务器108)接收数字内容(例如压缩音频和数字视频)。可通过下载、流式传输(streaming)、FTP等方式在器件104中接收数字内容。较通常地，可经由卫星接收器、数字地面接收器、同轴电缆等接收视听信号。另外，本地视频源，例如蓝光播放器、高清晰DVD 播放器或DVD播放器，可提供视听内容供显示器件102显示。显示器件102可为数字显示器件。例如，显示器件102可为数字电视(digital television ;DTV)，例如高清晰电视(high definition television ;HDTV)机。相应地， 链路110可为数字视频接口(digital visual interface ；DVI)电缆、高清晰多媒体接口 (high definition multimedia interface ；HDMI)电缆或符合 DisplayPort 的电缆。音频和视频处理可分布于网络118上的多个器件。如前所述，由于网络118上不同的器件之间可具有不同的音频/视频处理能力，因此分布式音频/视频处理极为理想。在本发明的示范实施例中，可利用网络118交换控制数据以及音频/视频数据，从而在器件(例如器件102和104)之间分布音频和视频的处理任务。如下面详细描述，示范器件(例如器件102和104)可利用网络118建立并协调数据交换机制以在该些器件之间分布音频和视频数据处理。因此，音频和视频数据可部分在显示器件102中处理，部分在计算器件104中处理，并最终显示于器件102上，同时利用网络118协调数据交换。图2显示计算器件104与显示器件102的简单模块图。计算器件104包含处理器 200，其可为传统的中央处理单元(central processing unit ；CPU)，例如与AMD x86微处理
8器系列兼容的微处理器。不过，处理器200还可具有PowerPC、Intel x86或其它架构。处理器200透过集成接口电路204和206与系统存储器模块210及周边互连。集成接口电路204和206经常分别被称作北桥和南桥，其提供处理器200与周边及存储器210的接口。如图所示，接口电路204互连处理器200与图形适配卡202、系统存储器模块210以及接口电路206。南桥(接口电路206)依次互连网络接口卡(network interface card ;NIC) 208、驱动212、音频适配器218 (亦即声卡)以及其他低速周边(未图示)。图形处理单元(graphics processing unit ；GPU) 240形成适配卡202的部分。图形处理单元240可例如为美国加州森尼维尔的先进微装置公司(Advanced Micro Devices he.)提供的图形处理器ATI Radeon系列的其中之一。高速扩展总线可为周边元件互连高速(Peripheral Component Interconnect Express ；PCIe)总线。在其他实施例中，图形处理单元240可为形成于计算器件104的主板上的集成图形端口的部分，在此情况下无需图形适配卡202。音频数字信号处理器(audio digital signal processor ;DSP) 214可形成音频适配器218的部分。音频适配器218可为符合PCIe的声卡，其与器件104内部的PCIe高速扩展总线互连。除音频数字信号处理器214外，音频适配器218还可包含总线接口电路、滤波器、数字模拟转换器(digital-to-analog converter ；DAC)、放大器等。显示器件102可包含处理电路，例如控制电路230、显示屏幕2 和扬声器232。电路230能够解码接收的音频和视频数据，处理解码后的音频和视频数据并提供网络接口。 电路230可与显示频幕2 和扬声器232互连以分别输出处理后的视频数据和音频数据。01 ] ^^^](application specific integrated circuit ； ASIC)。电路230可例如包含美国加州森尼维尔的先进微装置公司提供的数字音频处理器 Xilleon 系列的其中之一。电路230可包含解码器224，可为MPEG解码器；网络接口对6， 可包含以太网控制器；以及图像处理器220，可依次包含各子模块(未图示)以进行扫描速度转换、交错、去交错、降噪、缩放、色彩校正、对比校正、伽玛校正、锐利度增强、边缘增强、 帧速率转换等。电路230还可包含音频处理器216以处理音频数据，并可包含模块用于音频解码、 音量、平衡、音调控制、均衡、采样速率转换、延迟、同步等。如前所述，可通过本地网络118互连显示器件102与计算器件104。本地网络118 可为任意种类的数据通信网络，其具有足够带宽以使互连器件之间能够双向交换视听数据。本地网络118可为有线网络或无线网络。网络118例如可为IP网络。任意已知的物理层标准，例如以太网、蓝牙或Wi-Fi， 都可用于实施网络118。或者可使用专用通信协议。当然可有众多的替代方案。除本地网络118外，器件102和器件104还可选择由另外的链路，例如链路110或链路M4，互连，链路110可为HDMI电缆，链路244可例如为USB链路。图3显示器件102中各模块的更详细的示意图，该些模块通常实施于图形处理单元MO内。该些模块用于解码和处理输入视频。该些模块包含解码器302、缩放模块324、 去交错模块322、帧速率转换器(frame rate converter ;FRC) 320、色彩空间转换(color space conversion ；CSC)模块 328 以及降噪模块 326。
解码器302可为MPEG解码器，其类似解码器224(图幻，并可依次包含多个子模块，例如可变长度解码器(variable length decoder ;VLD) 312、反量化(inverse quantization ;IQ)模块 314、反离散余与玄变换(inverse discrete cosine transformer ； IDCT)、运动补偿(motion compension ；MC)模块318、本地存储器306等。运行期间，计算器件104可透过网络接口卡208经由网络106自内容服务器108 接收编码视听数据。或者，可在驱动212中载入包含音频和视频内容的适当媒体，例如蓝光光盘(BD)或高清晰DVD光盘。这样，器件104可自光盘读取编码数据、处理该编码数据以及向器件102传输该编码数据。数字音频和视频内容服务器，例如音频和视频服务器108，通常面向多种类型的网络(和客户端器件)，包含涉及低速连接，例如拨号线路，的网络。在传输视听 (audiovisual ；AV)内容前，该些音频和视频服务器通常不与客户端机器协商传输速率。 因此，并不总是以最好可能的位速率服务或提供该些视频数据。相反，通常以低的分辨率 (resolution)和/或帧速率提供该视听流，以使功能最小的预期目标客户端器件能够解码并输出该视频流或音频流。例如，每帧的分辨率可限于320X240像素，或者位速率可限于约 384kbit/So因此，计算器件104以极低的位速率自服务器108(经由网络106)接收视听流。另外，来自hternet的视听内容的传输格式一般仅能利用载有常用操作系统的通用中央处理单元在一些普通平台，例如个人计算机，中解码。解码此类视频的必要工具可能无法方便地在其他平台，例如具有硬连接解码器的显示器件，上使用。例如，在hternet 上提供流式传输内容的广受欢迎的音频和视频服务网站，例如CNN. com或^utube. com，通常以Flash Video (FLV)、QuickTime或DivX格式提供其内容，其仅能由专用应用程序解码 (例如Adobe Flash播放器软件或Flash Video)。不过，尽管Adobe Flash Player广泛存在于运行普通操作系统，例如Windows和MaC0S、LinuX和UNIX，的计算机上，但其并不容易实施于当前的数字电视机和其他显示器件中。数字电视机中的电路，例如电路230，通常适于接收标准流式格式的音频和视频数据，例如Dolby Digital AC3音频格式或者封装MPEG 编码的音频和视频数据的MPEG传输流(MPEG transport stream ；MPEG TS)数据包。可通过转码(transcode)解决器件104中接收的音频或视频流与显示器件102的期望输入格式之间的格式不兼容问题。因此，计算器件104可充当代理，以接收一种格式 (例如Macromedia FLV)的数据流并将其转码为另一种格式(例如MPEG传输流)，以使显示器件102 (可为数字电视机)能够接收、处理并在其屏幕2 上显示该计算器件104的该 MPEG TS输出。实施时，器件104首先解码所接收的数据流，并通过器件102期望的格式对该解码的视频和音频数据编码。为实现极低的位速率，在传输之前，服务器108通常对原始音频和视频数据进行高度压缩并编码。不幸的是，在解码并显示时，此类高度压缩数据流导致非常显着的视频和音频伪影(artifact)。该些伪影包含块状帧(其中宏块的边界明显)、蚊式噪声、低的帧速
率、单声道音频等。当对试图用于画中画(picture-in-picture ；PiP)或图中画 (picture-in-graphics ；PIG)显示的视频进行全屏幕显示放大时，视觉失真可能看起来更加严重。显示器件102除对自器件104收到的MEPG TS解码外，当全屏幕显示此类流时，显示器件102还需要充分利用其视频处理功能进行缩放、滤波、降噪、改进边缘或者改善显示图像。类似地，器件102中可执行例如同步、均衡等音频处理功能。不幸的是，任一器件，例如器件102，的显示/音频处理能力受其数量有限的存储器(例如存储器M2)以及处理电路(例如电路230)的最大运行速度限制。因此，即使充分使用时，电路230也可能不足以充分处理所接收的视听流以供及时回放。因此，在本发明的示范实施例中，计算器件104可用于辅助显示器件102执行至少部分必要的音频和/或视频处理任务。换句话说，显示器件102可将其一些处理任务卸载至计算器件104上。为此，在显示器件102与计算器件104之间需要可靠的数据交换机制。供计算器件104与显示器件102之间进行此类数据交换的物理媒体由本地网络118提供。如前所述， 本地网络118可为器件102与器件104之间的任意通信链路。例如，本地网络118可为利用符合IEEE以太网标准，例如802. 3i、802. 3u的有线链路或符合蓝牙或802. Ila的无线链路实施的IP网络。计算器件104和显示器件102可符合通用即插即用(Universal Plug and Play ； UPnP)标准。包含于此作为参考的UPnP AV架构1. 0版描述促进媒体内容(例如动画、图形、歌曲)自媒体服务器(例如PC、DVD播放器)向媒体播放器(例如电视、显示器、扬声器)流动的架构。另外，本地网络118上的数据交换可基于使用UPnP标准的数字生活网络联盟(digital living network alliance ；DLNA)的准则。符合UPnP 的器件利用超文本传输协议(hyper-text transfer protocol ；HTTP) 交换信息，该超文本传输协议运行在位于IP协议层上方的UDP或TCP协议顶层。当然，该 IP层可在，例如以太网、蓝牙等，多种物理和数据链路层上实施。方便地，网络使能显示器件，例如网络接口 246与本地网络118互连的显示器件 102，可很容易符合UPnP标准而无需硬件修改。由于UPnP使用开放的标准协议，例如TCP/ IP、HTTP和XML，因此本地网络118可使用任意适当的有线或无线媒体，例如网络电缆(例如以太网电缆)、射频(radio frequency ;RF)、电话线、电源线等。在UPnP环境中，数据交换包含源器件(媒体服务器)、接收器件(媒体播放器)和控制点。该控制点独立于任意特定的内容数据格式或传输协议，并在媒体服务器与媒体播放器之间协调内容数据传输。该控制点、媒体服务器和媒体播放器都是逻辑实体。一般而言，该些实体可分别实施于独立器件中，或者需要的话可联合实施于一个或多个物理器件。 例如，控制点和媒体播放器可一起实施于单个器件，例如显示器件102上，而媒体服务器可实施于计算器件上104。在其他实施例中，该控制点和该媒体服务器可实施于单个器件上。 有各种可能的布局，如上面所引用的UPnP架构文件所述。UPnP器件包含多个服务，其定义状态变量和动作。UPnP网络中的控制点执行多个任务。该些任务包含发现该网络上的其他器件、定位期望的内容、识别支持的协议以使内容匹配协议、配置器件、选择期望的内容并启动内容传输，以及最后在会话完成后清除。当状态变量变化时，特定UPnP器件中的各服务通过发送事件消息来发布更新。控制点可经由该些事件消息订阅接收该信息。事件消息包含状态变量名字和该些变量的当前值。为支持多个控制点，向全部订阅者发送全部事件消息并且订阅者接收与事件相关的全部状态变量的事件消息。在一示范实施例中，本地网络118可为互连计算器件104和显示器件102的以太局域网络。控制点可形成显示器件102的部分。控制点还可形成于计算器件104上。因此， 计算器件104与显示器件102经由UPnP协议彼此通信以进行认证、安置视频、指定媒体位置(例如URL)等。除控制点外，各显示器件102和计算器件104可实施媒体播放器和/或媒体服务器，以使它们能够同时发送和接收数据。因此，装载媒体服务器软件组件的计算器件104可将自网络106(例如Internet)接收并转码的视频数据传输至显示器件102。反过来，显示器件102中执行的媒体服务器组件(未图示)可将自计算器件104 接收的视频数据回传至要被处理的计算器件104中的媒体播放器组件，从而卸载一些视频处理步骤。图5显示依据本发明示范实施例在执行于计算器件104与显示器件102中的媒体服务器组件与媒体播放器组件之间进行数据传输的逻辑数据传输示意图。如图所示，器件104与器件102交换其能力(502、506)。为此，器件104可指定支持的传输协议和数据格式的列表以供显示器件102检索。随后，显示器件102可选择特定的传输协议和数据格式用于器件102与器件104之间的数据交换。器件102还可命令器件104执行特定的音频或视频处理任务(504)，例如降低 MPEG模块伪影(block artifact) 0例如，如果器件104中该MPEG模块伪影降低较好的话， 可执行上述指令。当然，器件104中执行的该音频或视频信号处理功能与显示器件102于收到该处理数据即执行的任意信号处理功能互补。器件102可请求视听数据(510)。器件104可接收执行音频或视频处理任务的指令(508)。器件104还可接收数据请求(512)。器件104可自视频和音频服务器108接收数据(514)并执行较早协商好的处理任务(亦即降低MPEG模块伪影，以及任意转码从而以所需数据格式提供数据)。计算器件104可自网络106(例如来自hternet的FLV编码视听数据)接受数据、解码并处理该接收数据，以及以器件102期望的格式编码该处理数据。接着，计算器件 104可将该编码数据发送至器件102 (模块518)。如前所述，数据可作为MPEG传输流(MPEG TS)发送。接着，器件104可向显示器件102传输以MPEG格式的该编码数据(518)。接着，显示器件102可执行一些本地处理以提取该视听内容。显示器件102中可执行的对该接收视频数据的本地处理例如包含解码该接收的MPEG流。显示器件102可执行另外的互补处理， 接着显示该处理数据(模块520)。如前所述，显示器件102可符合UPnP标准并可实施控制点。显示器件102中的控制点确定将媒体服务器的内容传送至媒体播放器的传输协议和数据格式。示范传输协议包括 IEEE_1394、HTTP GET、RTSP/RTP 等，示范数据格式包含 MPEG2、MPEG4、MP3、WMA、JPEG 等。 该控制点还可驻于器件104中或驻于与器件104和102通信的另一个器件中。在计算器件104或显示器件102中执行的处理可为包含解码、滤波、降噪、降低 MPEG模块伪影、缩放、去交错、扫描速率转换、色彩校正、对比校正、伽马校正、锐利度增强、 边缘增强、帧速率转换等普通数字视频信号处理任务的其中任意之一。与音频相关的其他任务可包含音调处理、均衡、三维虚拟或将一种音频格式转码为另一种格式。在替代实施例中，计算器件104与显示器件102之间的数据交换不必经由以太网实现。相反，可以使用任意网络媒体和协议。另外，可利用电源线、蓝牙、Wi-Fi、火线 (Fireffire ；IEEE 1394)、红外线等建立的任意互连可用于建立UPnP网络。图6显示示范显示器件102和计算器件104中执行的逻辑UPnP实体。显示器件 102和计算器件104可装载符合UPnP的软件，其包含全部执行于相同物理器件上的媒体服务器组件、控制点和媒体播放器组件。因此，如图所示，显示器件102可具有UPnP媒体播放器102_2和UPnP控制点 102-3。类似地，计算器件104可充当媒体服务器104-1。器件104可选择性包含媒体服务器和控制点，同时器件102可选择性包含媒体播放器(未专门显示)。媒体播放器是自媒体服务器(逻辑源器件)接受视听数据的逻辑接收器件。在接收与媒体播放器102-2和媒体服务器104-1 (602)的能力相关的数据后，控制点102-3可设定用于视听数据交换的网络传输协议和数据格式(604)，在媒体播放器102-2 和媒体服务器104-1之间分配处理任务(606)并发送要相应执行的信号处理指令(608)。媒体服务器104-1可指定计算器件104中支持的传输协议和数据格式的列表以供符合UPnP要求一致的显示器件102检索。当然，控制点102-3选定的该数据格式和网络传输协议受该媒体服务器和播放器支持。一经选定，该数据格式传输和协议即可用于在特定会话的整个过程中在媒体播放器 102-2与媒体服务器104-1之间交换数据。随后，器件104可例如从网关器件112接收视听输入数据(614)，并设定其媒体服务器104-1对该接收的视听内容具有访问权限。因此，媒体服务器104-1能够访问接收的音频和视频数据、处理该数据(616)并转码(成选定的数据格式)以及利用同意的传输协议经由网络118将该数据传输至器件102(618)。媒体服务器104-1可针对每个内容项目支持一个或多个传输协议和数据格式或能够将特定的内容项目格式实时转换为另一个格式。例如，媒体服务器104-1可接收FLV 格式的数据、处理该数据、将该处理数据编码或转码成MPEG传输流格式，以及将其传输至媒体播放器102-2 (亦即显示器件102)。当然，器件104(亦即媒体服务器104-1)不一定是PC(个人计算机)。相反，器件 104可为VCR(录像机)、CD/DVD播放器、点唱机(jukebox)、数字照相机、摄像机、PC、机顶
盒、卫星接收器、数字地面接收器、录音带播放器等。如前所述，控制点102-3可确定用于自媒体服务器104-1向媒体播放器102_2传输视听数据内容的传输协议和数据格式(604)。示范传输协议包含IEEE-1394、HTTP GET、 RTSP/RTP等，而示范数据格式包含MPEG2、MEPG4、MP3、WMA、JPEG等。控制点102-3可接收事件，例如标示从器件104向器件102的数据传输完成的事件。在确定或选择用于从计算器件104或者向计算器件104传输数据的网络传输协议 (例如HTTP GET)和数据格式(例如MPEG)后，显示器件102可命令计算器件104对该视听输入数据执行至少一信号处理功能(例如降低MPEG模块伪影)以形成外部处理数据；将该外部处理数据编码成选定的数据格式；以及利用该选定的网络传输协议以该数据格式传输该数据。接着，显示器件102可接收该外部处理数据(亦即在器件104中处理过)并将其显示于显示器件102上。显示器件102可命令计算器件104执行的处理功能(例如降低MPEG模块伪影)
13可与显示器件102本身执行的其他处理功能(例如去交错、色彩空间转换、对比校正、伽马校正、锐利度增强和边缘增强)互补。亦即，显示器件102卸载一些处理功能，以便其对所接收的数据流执行互补处理功能。例如，通过命令器件104在转码并以MPEG流发送视听数据之前执行MPEG模块伪影降低，显示器件102可卸载用以去除可观察到的模块伪影的滤波。因此，显示器件102可使用该UPnP控制器(控制点102- 命令该UPnP源(媒体服务器104-1)向UPnP接收器 (媒体播放器104-2)传输已处理视听数据(例如已执行降低MPEG模块伪影)。除必要的为符合数据格式而进行的转码外，可向器件104卸载至少一信号处理任务。最后，媒体播放器104-2可接收并播放该接收的处理数据(610)。接收编码为MPEG流的该外部处理数据时，媒体播放器102-2可利用解码器2M解码该接收的MPEG TS，以形成要被显示的图形(数据域或数据帧)。媒体服务器104-1和媒体播放器102-2可向控制点102_3发送事件通知，以通知该控制点有关媒体服务器102-1或媒体播放器104-2的状态变化。接收视听数据时，媒体播放器102-2可利用处理器200和/或图形处理单元240 执行任意额外的图像处理任务，例如滤波、降噪、帧速率转换等。在替代实施例中，可将器件102中接收的部分数据发送回器件104(或本地网络 118中的另一个器件)以供进一步的处理，接着由器件102接收以供显示。因此，器件102 中可具有另一个示例UPnP媒体服务器以传输要处理的数据，器件104(或网络118上的另一个器件)中可具有相应的UPnP媒体播放器以接收数据，以及相应的控制点以协调数据交换。此外，可具有其他示例服务器、播放器和控制点以将外部处理数据传回器件102。由于 UPnP媒体服务器可同时连接多个媒体播放器，媒体服务器104-1可选择性用于向器件102 发送多个数据流。在替代实施例中，多个器件可合作处理所接收的视频流。图7显示本发明另一个示范实施例的简化模块图。图7所示的布局类似图1所示的实施例。因此，类似的元件采用类似的附图标记，并加上撇号(’)以区别图7与图1的相应元件。如图所示，两个显示器件702A、702B(单独和整体显示器件70 利用适当的本地网络118’、视频链路110’或另一个可选链路对4’与个人计算器件104’互连。计算器件104’经由数据通信网络406，例如 Internet,与视频服务器408通信。显示器件702A、702B可通过链路710彼此互连。显示器件702A、702B可为复杂数字显示器(例如数字电视或数字高清晰电视)。 视频链路110’基本可与图1的视频链路110相同。显示器件702A、702B可分别包含处理电路，例如控制电路704A、704B、显示屏幕706A、706B以及扬声器704A、704B。电路704A、 704B能够解码并处理视频数据。电路704A、704B可为专用集成电路(ASIC)。电路704A和704B可具有不同的处理能力和内部存储器。具体而言，电路704B可比电路704A强大。例如，电路704A可为美国加州森尼维尔的先进微装置公司提供的Xilleon-240 数字视频处理器，而电路704B可为 Xilleon-260 数字视频处理器。电路704A、704B可分别具有MPEG解码模块，以及用于扫描速率转换、交错、去交错、降噪、缩放、色彩校正、对比校正、伽马校正、锐利度增强、边缘增强、帧速率转换等功能的其中一个或多个的图像处理模块。
运行期间，电路704A的处理功能(或其存储器大小)可能不允许其及时处理显示器702A自器件104，接收的视频流。因此，在图7所示的实施例中，显示器件702B可用于辅助显示器件702A执行所需视频处理任务的至少部分。换句话说，显示器件702A可将其一些处理任务卸载至显示器件702B。具体而言，由于电路704B比电路704A强大，如果电路704A在执行其他任务(例如缩放)的同时将滤波、降噪、去交错或帧速率转换等一些处理任务移交给电路704B，则可提升图7所示布局的总体性能。链路710可为以太网链路，其可供显示器件702A、702B之间进行符合UPnP视听标准的通信。该通信可为带内(in-band)(使用标准UPnP控制协议)，而数据传输可为带外 (out-of-band)(使用非UPnP传输协议)。具体而言，图5和图6中显示的数据交换和信号交换可发生于显示器件702A和显示器件702B之间，显示器件702A和显示器件702B的角色分别类似显示器件102和计算器件 104。在替代实施例中，视频处理任务可分布在图7所示的三个器件中，即计算器件 104，、显示器件702A和显示器件702B。在此情况下，显示器件702A将其视频处理任务的第一部分卸载至计算器件104’，同时将第二部分发送至显示器件702B以供处理。通过利用计算器件104’和显示器件702B中可用的闲置处理功能将提升该布局的总体效率。具体而言，显示器件702A可接收视听数据并本地处理至少一些该视听数据。接着，显示器件702A可将该视听数据的部分传输至计算器件104’或显示器件702B，该计算器件104’或显示器件702B可接受该部分数据，处理并输出外部处理数据(亦即在器件702A 之外处理)。接着，显示器件702A可接收该外部处理视频数据并将其显示于其显示屏幕上。很容易了解，图7的布局可扩展至N个器件，其在需要时分担视频和音频处理任务。上述UPnP架构很容易扩展至多个器件。相应地，图8显示经由以太网互连的计算器件104”与N个网络器件802-1、802_2、 802-3···802-N(单独和整体器件802)的示意图。计算器件104”经由数据通信网络106 (例如化丨一！！^丨)与音频和视频服务器108通信。器件802-1可与多个扬声器804A、804B、804C、 804D(单独和整体扬声器804)互连。如图所示，器件802可包含个人计算机、笔记本电脑、 显示器件等。运行期间，视听内容可由计算器件104”接收和转码，以及以类似图7的实施例所述的方式利用UPnP传送至显示器件802-1。接着，器件802-1将其接收的部分视听内容传输至一个或多个器件802-2、802-3...802-N以供视频处理。器件802-2、802-3...802_N可分别执行特定的视频或音频处理任务(例如缩放、降低模块伪影、降噪、采样速率转换、均衡处理等)，以有效分担否则将由器件802-1独自承担的计算负载。例如，一个或多个器件802-2、802-3···802-Ν可自器件802-1接收单声道音频以虚拟化并回传独立的音频通道流，以利用附着至器件802-1的扬声器804模拟环绕声音频 (surround sound audio)。随后，器件802-1自器件802_2、802_3…802-N接收处理音频视频数据并在其屏幕和扬声器804上输出该处理数据。实施例可包含UPnP网络，其中，如需要的话，单个物理器件可用于实施媒体播放器和控制点、或媒体服务器和控制点、或仅媒体服务器、仅媒体播放器以及仅控制点。该些逻辑实例的多种实施是可能的。另外，网络器件802不必全部都是PC(个人计算机)或显示器，而是可为任意适当的符合UPnP的器件。本领域的技术人员很容易了解，UPnP的使用在所述实施例中仅为示范性质，还可使用其他专用协议以在显示器件显示之前促进分担视频处理的不同器件之间的控制和数据传输。当然，上述实施例仅为说明性质而非限制。可对执行本发明的实施例进行形式、元件布局、细节以及操作顺序方面的多种变更。本发明想要包含落入如权利要求所定义的范围内的所有此类变更。
权利要求
1.一种利用计算器件处理视听输入数据的方法，以经由本地网络在与该计算器件互连的显示器件上显示，该方法包括i)自该显示器件接收指令以执行与该显示器件中要被执行的第二信号处理功能互补的第一信号处理功能，以及使用该计算器件支持的网络传输协议中选定的其中一个以及该计算器件支持的数据格式中选定的其中一个； )对该视听输入数据执行该第一信号处理功能以形成外部处理数据；iii)将该外部处理数据编码成该选定的数据格式；以及iv)利用该选定的网络传输协议在该本地网络上向该显示器件传输该选定数据格式中的该外部处理数据。
2.如权利要求1所述的方法，进一步包括指定该计算器件支持的该传输协议及该数据格式的列表，以在所述接收指令之前，供该显示器件检索。
3.如权利要求1所述的方法，进一步包括在所述执行该第一信号处理功能之前，解码该视听输入数据。
4.如权利要求1所述的方法，其中，该第一信号处理功能包括滤波、降噪、降低模块伪影、缩放、交错以及帧速率转换的至少其中之一。
5.如权利要求1所述的方法，其中，该本地网络为网际协议网络，而该显示器件和该计算器件符合通用即插即用标准。
6.一种经由本地网络利用与计算器件互连的显示器件处理和显示视听输入数据的方法，该方法包括i)命令该计算器件a)对该视听输入数据执行第一信号处理功能以形成外部处理数据；b)将该外部处理数据编码成选定的数据格式；以及c)在该本地网络上利用选定的网络传输协议向该显示器件传输该数据格式中的该外部处理数据； )在该显示器件中接收该数据格式中的该外部处理数据；iii)对该接收的外部处理数据执行与该第一信号处理功能互补的第二信号处理功能；以及iv)在该显示器件上显示该接收的外部处理数据。
7.如权利要求6所述的方法，进一步包括确定自该计算器件向该显示器件传输数据的该网络传输协议和该数据格式。
8.如权利要求6所述的方法，其中，该本地网络为网际协议网络，而该显示器件和该计算器件符合通用即插即用标准。
9.如权利要求6所述的方法，其中，该第二信号处理功能包括去交错、色彩校正、对比校正、伽马校正、锐利度增强及边缘增强、音频均衡、三维虚拟、音量控制、平衡以及音调控制的至少其中之一。
10.一种经由本地网络利用与计算器件互连的显示器件处理视听输入数据的方法，该方法包括i)利用选定的传输协议和选定的数据格式在该显示器件中接收该视听输入数据； )命令该计算器件接收该该视听输入数据的部分并对其执行第一信号处理功能以形成外部处理数据，该第一信号处理功能与该显示器件中要被执行的第二信号处理功能互补；以及将该外部处理数据编码成该数据格式并向该显示器件传输该数据格式的该外部处理数据；iii)利用该传输协议和该数据格式向该计算器件传输该部分；以及iv)自该计算器件接受并显示该外部处理视听数据。
11.如权利要求10所述的方法，进一步包括在该接收之前，自该计算器件支持的网络传输格式和数据格式的列表中选择以确定该网络传输格式和该数据格式。
12.如权利要求10所述的方法，进一步包括在该显示之前，在该显示器件中本地执行该第二信号处理功能。
13.如权利要求10所述的方法，其中，该本地网络实施网际协议层，而其中，该显示器件和该计算器件符合通用即插即用标准。
14.一种显示器件，包括与显示屏幕通信的控制电路以及经由本地网络互连计算器件的网络接口，该显示器件用于i)命令该计算器件对视听输入数据执行第一信号处理功能以形成外部处理数据，该第一信号处理功能与该显示器件中要被执行的第二信号处理功能互补；将该外部处理数据编码成选定的数据格式；以及在该本地网络上利用选定的网络传输协议向该显示器件传输该数据格式中的该外部处理数据； )接收以该数据格式传输的该外部处理数据；iii)对该接收的外部处理数据执行该第二信号处理功能；以及在该显示屏幕上显示该接收的外部处理数据。
15.如权利要求14所述的显示器件，进一步在命令该计算器件之前，与该计算器件有效通信以确定用于数据交换的该网络传输协议和该数据格式。
16.如权利要求14所述的显示器件，其中，该本地网络符合IEEE802.3i标准、IEEE 802. ;3u标准、火线、蓝牙、Wi-Fi以及IEEE 802. Ila的其中之一。
17.如权利要求14所述的显示器件，进一步经由该本地网络互连第二器件，该第二器件接收另一个视听输入数据流，该显示器件进一步用于i)命令该第二器件利用与该第二信号处理功能互补的第三信号处理功能处理该另一个数据流，以输出另一组外部处理数据；以及 )接收并显示该另一组外部处理数据。
18.如权利要求17所述的显示器件，其中，该显示器件在该本地网络上利用符合通用即插即用标准的协议与该计算器件和该第二器件交换数据。
19.如权利要求17所述的显示器件，其中，该视听输入数据包括单声道音频输入，而该第一信号处理功能、该第二信号处理功能和该第三信号处理功能的至少其中之一包括从该单声道音频输入模拟环绕声音频。
20.一种计算器件，包括与存储器通信的处理器以及经由本地网络与显示器件互连的网络接口，该计算器件用于i)自该显示器件接收指令以执行与该显示器件中要被执行的第二信号处理功能互补的第一信号处理功能；以及使用该计算器件支持的网络传输协议和数据格式； )对视听输入数据执行该第一信号处理功能以形成外部处理数据；iii)将该外部处理数据编码成该数据格式；以及iv)在该本地网络上利用该网络传输协议向该显示器件传输该数据格式中的该外部处理数据。
21.如权利要求20所述的计算器件，其中，自该显示器件接收该视听输入数据。
22.如权利要求20所述的计算器件，其中，自经由第二网络与该计算器件通信的视频服务器接收该视听输入数据。
23.如权利要求20所述的计算器件，其中，该第一处理功能包括降噪、降低模块伪影、 边缘增强、交错、帧速率转换以及缩放的至少其中之一；以及该第二处理功能包括去交错、 色彩校正、对比校正、伽马校正、锐利度增强、扫描速率转换以及三维虚拟的至少其中之一。
全文摘要
本发明揭露一种经由本地网络在与显示器件互连的多个器件之间分布音频和视频处理任务的方法。在一个实施例中，该显示器件将一些处理任务卸载至该本地网络上的计算器件以实现处理性能的提升。该计算器件接收视听数据、解码、处理、编码并以适当的数据格式向该显示器件传输该编码数据。该计算器件中的该处理与该显示器件中要被执行的任意处理互补。在另一个实施例中，该显示器件利用该本地网络上的多个器件执行特定的信号处理任务。网络中的其他器件执行该显示器指定的处理任务，并将处理数据发回该显示器件以供显示，从而有助于提升总体的视听数据处理性能。
文档编号H04N7/52GK102239695SQ200980148717
公开日2011年11月9日 申请日期2009年10月1日 优先权日2008年10月3日
发明者A·C·陈, G·阿罗拉 申请人:先进微装置公司