专利名称：用于改善家用网络gui响应时间和呈现的系统和方法
技术领域：
本发明一般地涉及家用网络(homenetwork)。
背景技术：
家用网络的使用规模日益增大。家用网络的用户使用诸如TV遥控设 备之类的输入设备，通过网络从客户端设备控制远程服务器。诸如DVD 播放器、个人视频控制器等之类的其它客户端设备一般也是网络的一部 分，从而服务器利用简单的遥控设备来实现对所有设备的集中控制。
这里可以理解，服务器在其上进行呈现的图形化用户界面(GUI) (例如，用户用来输入命令的客户端TV)不能被很容易地远程使用。更 具体而言，GUI通常显示静止文本数据，例如菜单、退出、返回等，但是 在显示时所使用的编码通常不能达到最佳视频编码，所谓的最佳视频编码 即用于最优化运动图片质量的视频编码。根据本发明可以理解，在显示具 有文本数据的静止图片时，该视频编码速率是低效率的，导致GUI文本数 据通常被显示得不是很清楚。
这里还可以意识到，很多基于服务器的家用网络系统对遥控命令的响 应较慢，有时会超过一秒。这是因为遥控命令强制进入的时隙可能会被其 它数据占用，这些数据例如音频/视频数据，因而从客户端设备到服务器的 命令的传输可能会被延迟一段很长并且会引起不便的时间，而非命令数据 的传输也会受到影响。
发明内容
公开了一种用于在网络中的视频显示上显示图形化用户界面(GUI) 的方法。该网络包括与服务器通信的客户端设备，并且该客户端设备接收 来自用户输入设备的输入。该方法包括使用第一视频编码在视频显示上显
示运动视频，并且使用第二视频编码在视频显示上显示GUI，所述第二视 频编码不同于所述第一视频编码。
在非限制性实现方式中，客户端设备是TV，用户输入设备是与该TV 通信的无线遥控设备，视频显示是由所述TV建立的，并且来自遥控设备 的信号被所述TV接收，并被发送给服务器。
在一些实现方式中，第一视频编码可以是定义图片组(GOP)的 MPEG编码。第一编码中的每个GOP包括一个内帧(intra-frame， I 帧)、多个预测帧(P帧)和多个双向预测帧(B帧)。在特定的非限制 性实施例中，第一编码中的GOP是由包括1个I帧、4个P帧和10个B 帧的15个帧定义的，这些帧可能按照如下顺序I、 B、 B、 P、 B、 B、 P、 B、 B、 P、 B、 B、 P、 B、 B。作为对照，在非限制性实现方式中，第 二编码可以定义这样的图片组(GOP)，在该图片组中，比第一编码的 GOP中的帧数目更多并且/或者其I帧中的数据量比第一编码的I帧中的数 据量更大。例如，第二编码的GOP所包括的I帧数目可以基本为第一编码 的GOP的I帧数目的两倍，并且第二编码的GOP中的每个I帧所承载的 数据量可以基本为第一编码的GOP中的I帧中所承载的数据量的两倍。第 二编码的GOP可以只包含I帧和多个P帧，而不包含B帧。例如，第二编 码的GOP可以包括30个帧，即1个I帧和29个P帧。
另一方面，在其中由服务器响应于从用户输入设备接收到的命令来控 制客户端音频/视频设备的系统中， 一种用于辅助实现较快的命令响应时间 的方法包括设立多个传输周期。每个周期包括无竞争(contention-free)时 段(CFP)和竞争(contention)时段(CP)。音频/视频流在CFP中被从 服务器发送到客户端设备，并且CFP的时间分配被用于该音频/视频流， 并且在每个周期中都被预留，直到该音频/视频流结束。在每个周期的CFP 中，至少一个时隙被预留来专用于在服务器和客户端设备之间发送由用户 输入设备发起的命令。
在该第二方面的非限制性实现方式中，时隙的带宽不大于每秒几千字 节。时隙和流不局限为在时间轴上连续。如果需要，则该时隙可以一直被 预留给命令，直到流传输结束为止。
遥控命令可以在该时隙中从客户端设备被发送到服务器。此外，该时 隙也可双向使用以在服务器和客户端设备之间交换信息。例如，CFP中的 第一时隙部分可被预留给从服务器到客户端设备的消息，而CFP中的第二 时隙部分可被预留给从客户端设备到服务器的消息。
如果CFP基本被占用，则该方法可以包括在CP期间将由用户输入设
备生成的初始命令从客户端设备发送到服务器。在这种情况下，该方法可
以包括响应于接收到初始命令，预留CFP中的时隙给后面的命令。然后， 如果在预定的时段内没有接收到命令，则该时隙可被释放并且下一个命令 可被当作初始命令并在CP期间发送。
在非限制性实现方式中，如果命令引起客户端设备或服务器中的中 断，则该中断被赋予最高优先级。所述周期可以是与AC线路周期同步的 信标周期，并且CP可以是一次性访问周期，而不保证对于后面的周期， 也预留相同的时间分配。
另一方面， 一种用于如下系统的服务器使用第一视频编码来向客户端 设备发送图形化用户界面(GUI)信号，所述系统包括用户输入设备和被 配置为显示来自所述服务器的音频/视频流的客户端设备。该服务器还使用 不同于第一视频编码的第二视频编码来向客户端设备发送视频流信号。
再一方面，公开了一种用于系统的服务器。该系统具有用户输入设备 和被配置为显示来自所述服务器的音频/视频流的客户端设备，并且该服务 器在至少两个连续信标周期中的无竞争时段(CFP)中预留至少一个时 隙，来在服务器和客户端设备之间传输由用户输入设备发起的图形化用户 界面(GUI)命令。每个信标周期还具有各自的竞争时段(CP)。
又一方面， 一种系统包括服务器、接收来自服务器的音频/视频流的客 户端设备以及与客户端设备通信以向其输入命令的用户输入设备。命令被 从客户端设备发送到服务器。提供了用于使用第一编码对视频流信号编码 以显示在客户端设备上的装置，还提供了用于使用不同于第一编码的第二 编码对图形化用户界面(GUI)信号编码以在客户端设备上显示GUI的装 置。此外，该系统还包括用于在具有竞争时段(CP)的传输周期中的无竞 争时段(CFP)中预留至少一个时隙的装置，该时隙被预留给从客户端设
备向服务器传输由用户输入设备发起的命令。
参考附图可以最佳地理解关于本发明的结构和操作的各种细节，在附 图中，相似的标号表示相似的部件，在附图中
图l是被实现为电力线(power line)网络的非限制性家用网络的示意
图2是非限制性网络服务器的框图3是被实现为网络上的TV的非限制性客户端设备的框图4-a是用于常规视频的图片组(GOP)中的帧的示意图4-b是根据本发明原理的用于GUI呈现的非限制性图片组(GOP)
中的帧的示意图；以及
图5是图示根据本发明原理的用于加快GUI响应时间的非限制性信令
序列的示意性时序图。
具体实施例方式
先参考图1，其中示出了被实现为具有网络设备的电力线网络的非限 制性家用网络，可以理解该网络可以是以太网、802.11无线网络或者任何 其它网络。服务器2可以从电缆10接收信号或者从调制解调器9接收互联 网数据。调制解调器9例如可以是电缆调制解调器或者ADSL电话线调制 解调器。此外，服务器2通过电力线1来向客户端TV 14发送音频/视频 流，或者如上所述通过另一种类型的网络干线来向客户端TV 14发送音频/ 视频流。作为响应，客户端TV 14对该音频/视频流进行解码，并在屏幕上 显示解码后的视频。另外，客户端TV 14可以从遥控器12接收命令，例 如播放、停止、快进、快退、频道加/减、音量高/低等等。取决于命令， 这些命令中的一些将被转发给服务器2。在任何情况下，诸如DVD播放 器、PVR等之类的附加客户端设备也都可以作为网络的一部分。
图2示出了服务器2的非限制性实现方式的框图。模拟电缆信号在调 谐器/前端309中被调谐和解调。来自调谐器/前端309的视频输出在模数
转换器(A/D) 310中被进行模数转换，并被发送给交换机314。 A/D 310 的输出例如可以是ITU-RBT.656格式4的。类似地，来自调谐器/前端309 的音频输出可以在A/D 311中被进行模数转换并被发送给交换机314。按 照相同的方式，来自诸如DVD播放器之类的源的外部模拟音频/视频信号 在A/D 312和313中被进行模数转换并被发送给交换机314。
如图2所示，交换机314的输出在混合器315中与由图形化引擎316 生成的图形化用户界面(GUI)数据进行混合。混合后的结果在MPEG编 码器317中被进行MPEG编码。
这里可以理解，外部模拟视频输入可能已经包括了 GUI数据。例如， DVD播放器可以向服务器2输出菜单屏幕。在这种情况下，不需要添加 GUI，并且不需要通过混合器315来进行混合。而是数字信号直接进入 MPEG编码器317。
这里可以预期，MPEG编码器317以固定速率或可变速率来对输入流 进行编码。在可变速率模式中，编码速率被调节以满足传输条件。当噪声 增加并且因而实际带宽变小时，编码速率被降低。如果网络状况改善，则 编码速率可以恢复到初始(较高)速率。
仍然参考图2，流路由器318以适当的方向路由输入流。采用图2中 所示的路径中的一条路径，MPEG编码器输出可被发送到电力线通信(或 其它网络)接口 319以进行网络传输。或者，流可被发送到硬盘驱动器 (HDD)接口 320以记录到HDD 321中。流路由器318还可以接收来自 HDD接口 320的重放流并将其发送到PLC接口 319。
如图2中所示，服务器2具有中央处理单元(CPU) 302，其通过内部 总线300控制所有的服务器组件。CPU 302运行存储在存储器301中的控 制软件程序。此外，可以提供键盘304来通过总线300向CPU 302发送用 户输入数据。液晶显示器或其它类型的可视显示器303可以指示从CPU 302发送来的数据(例如，调谐状态、网络状态、错误消息等)。图1中 所示的调制解调器9可被连接到服务器2中的以太网端口 306，以使得来 自调制解调器9的数据可以通过以太网接口 305被发送到CPU 302并被处 理。如果需要，CPU 302可通过红外(IR)接口 307向IR鼠标308发送
IR命令，IR鼠标向诸如DVD播放器之类的外部源发送IR命令。
现在转向图3，其示出了被实现为客户端TV 14的非限制性客户端设 备的框图，其中客户端设备的PLC接口 108可以接收通过电力线1发送的 信号。在一些实现方式中，来自PLC接口 108的输出信号在解复用器109 中被解复用，并被分别发送到音频解码器IIO和视频解码器114。在混合 器116中，来自视频解码器114的解码后的视频信号与在图形化引擎119 中所生成的图形化数据进行混合，并且在视频数模转换器(D/A) 117中 被进行数模转换。当GUI数据从服务器2被发送时，不需要使用图形化引 擎，并且输入数据被直接发送到视频D/A 117。在任一情况下，在客户端 设备的TV实现方式中，D/A 117的输出被发送到显示驱动器118并被显 示在视频显示器120上。
在音频方面，来自音频解码器110的解码后的音频信号在音频D/A 111中被进行数模转换，在放大器112中被放大并被发送给扬声器113。 在一种非限制性实现方式中，音频D/A 111、放大器112和扬声器113可
以处理左右两个音频通道。
在所示出的非限制性客户端设备中，客户端设备CPU 102可以通过电 力线1与服务器2中的CPU 302交换同步数据(命令、数据等)。客户端 CPU 102通过内部总线IOO控制所有的客户端设备组件。客户端CPU 102 可以通过总线IOO运行存储在存储器101中的控制软件程序，并且在总线 100上的IR接口 103可以接收来自图1中所示的遥控器12的命令。命令 通过客户端总线IOO被发送到客户端CPU 102，并且如果需要则通过电力 线1被转发到服务器2中的CPU 302。
以上描述了服务器和客户端设备的非限制性实现方式，现在将注意力 转向图4-a和图4-b来理解本发明的区别编码方面。在MPEG视频格式 中， 一个图片组(GOP)由l个内帧(I帧)、若干个预测帧(P帧)和双 向预测帧(B帧)构成。典型的GOP包括15个帧(时长大约为半秒)1 个I帧、4个P帧和10个B帧，通常按照I、 B、 B、 P、 B、 B、 P、 B、 B、 P、 B、 B、 P、 B、 B的顺序(图4-a)。
这里可以理解，通常情况下，GUI数据很少是运动的。相反，GUI数
据在大多数情况下都是静止图片，直到用户按下遥控按钮。因此，根据本
发明的原理，当GUI被显示时，服务器2中的MPEG编码器317采用与 "常规"视频编码不同的方式来对GUI数据编码，例如使GOP的长度更 长，例如使GOP的长度是上述"常规"GOP长度的两倍(30个帧)。此 外，与"常规"编码的视频流的I帧中的数据相比，可以为每个GUI GOP I帧分配两倍的数据量。在这些情况下的总数据率仍保持不变，而是通过 对I帧应用更高的速率来提高GUI图片质量。
此外，在对GUI GOP进行编码时，不需要使用B帧。这是因为可以 知道B帧需要在客户端设备的MPEG解码器114中进行帧的重新排序，这 会引起至少一帧的延迟。在对运动图片进行编码时，B帧可减少必须被发 送的数据量，但是在诸如GUI图像之类的静止图片的情况下，B帧的数据 大小几乎与P帧的数据大小相同。
因此，考虑到以上认知， 一个GUI GOP例如可被编码为如图4b中所 示的30个帧1个I帧和29个P帧。当用户选择GUI模式时，应用这种 编码模式。当GUI模式结束并且系统返回到常规运动视频播放模式时，初 始("常规")编码被转换为例如图4-a中所示的样式。这种编码切换可 以在工作中被执行，而不会停止或中断视频。
以上描述了用于改善GUI图像显示的区分编码，现在将注意力转向图 5来说明可被用来加速命令响应的网络访问定时。服务器2或另一设备周 期性地广播信标900。信标周期可与AC线路周期(50Hz或60Hz)同步。 典型的信标周期由无竞争时段(CFP)和竞争时段(CP)构成，下面将进 一步限定。音频/视频流是异步的，并且其使用CFP。 一旦获得用于该音频 /视频流的时间分配(time allocation)，则在每个信标周期中都会预留该时 间分配(示为901a、 901b)，直到流结束为止。
另一方面，CP被用于例如载波侦听多路访问(CSMA) 。 CP的使用 基于先到先服务的原则并且是一次性访问，因此即使在当前信标周期中得 到了一次时间分配(902)，也不保证在下面的信标周期中将为任何特定 处理预留相同的时间分配。
考虑到这一点，本发明意识到目前的遥控命令在CP中被发送，而CP
在被完全占用的情况下会引起与其它消息的冲突，导致命令的执行会延迟 一个或多个信标周期。这些延迟进而导致较慢的命令响应。为了解决此问
题，本发明使用CFP进行命令传输。当服务器2开始发送AV流(901) 时，在CFP中为命令预留时隙(903)。该时隙可以具有非常窄的带宽， 例如每秒1千或几千字节，该带宽足以发送遥控命令。时隙903和流901 不需要在时间轴上连续。用于命令的时隙优选地被专门预留给遥控命令， 直到流传输结束为止。
在任何情况下，客户端TV 14都可以在该时隙期间向服务器2发送从 遥控器12接收的遥控命令。此外，该CFP时隙可以被双向使用以在服务 器2和客户端TV 14之间交换信息。例如，可以应用TCP/IP，其中发送器 要求来自接收器的确认。或者，可以为传入消息和传出消息分别预留不同 的时隙。即使当在服务器2和客户端TV 14之间没有发送命令时，也可以 预留CFP时隙。
另一方面，如果CFP处于或接近满容量时，服务器2可能希望保留尽 可能大的带宽，因此可以应用以下方法。在CP (CSMA)期间发送第一命 令。作为响应，在CFP中预留CFP时隙给后面的命令。(通常，用户连 续数次按压遥控按钮来改变频道、音量级别等。)所有后面的命令都使用 CFP (903)来发送。如果用户在某一时间(例如，30秒)内没有按压按 钮，则CFP时隙903可以被释放以用于另一次传输。因而，只有当用户使 用遥控器时才预留CFP时隙。
优选地，遥控命令应当在服务器2和客户端TV 14中立即被处理。如 果命令引起客户端或服务器CPU (102或302)的中断，则最高优先级应 被赋予该中断。
应当理解虽然假定使用MPEG编码，但是本文中所提出的原理可以被 应用于其它AV编解码技术，例如可以应用H.264/MPEG4 AVC。
现在可以意识到本发明所具有的优点包括以下几点。当GUI工作时， 应用不同的编码样式来改善响应和GUI图片质量。此外，利用无竞争时段 中的时隙来将遥控命令传输到目的地，因此不会出现很大的传输延迟。而 且，不需要特殊的硬件，因为本发明可以根据需要仅通过软件的变化来实现。
虽然本文中示出并详细描述了特定的用于改善家用网络GUI响应时间 和呈现的系统和方法，但是应当理解本发明所包含的主题只通过权利要求 书来限定。
权利要求
1.一种用于如下系统的服务器(2)，该系统包括至少一个用户输入设备(12)和被配置为显示来自所述服务器(2)的音频/视频流的至少一个客户端设备(14)，所述服务器(2)使用第一视频编码向所述客户端设备(14)发送图形化用户界面(GUI)信号；并且使用不用于所述第一视频编码的第二视频编码来向所述客户端设备(14)发送视频流信号。
2. 如权利要求1所述的服务器(2)，其中所述客户端设备(14)是 TV，所述用户输入设备(12)是与所述TV通信的无线遥控设备，并且来 自所述遥控设备的信号被所述TV接收，并被发送给所述服务器(2)。
3. 如权利要求1所述的服务器(2)，其中所述第一视频编码适合用 于视频流，并且所述第二视频编码适合用于图形。
4. 如权利要求3所述的服务器(2)，其中所述第一视频编码是定义 图片组(GOP)的MPEG编码，每个GOP包括一个内帧(I帧)、多个预 测帧(P帧)和多个双向预测帧(B帧)。
5. 如权利要求3所述的服务器(2)，其中所述第二编码定义图片组 (GOP)，所述第二编码中的GOP包括以下特征中的至少一个特征比所述第一编码的GOP中的帧数目多，或者I帧中的数据量比所述第一编码 的I帧中的数据量多。
6. 如权利要求5所述的服务器(2)，其中所述第二编码的GOP包 括比所述第一编码的GOP更多的I帧数目，所述第二编码的GOP中的每 个I帧承载比所述第一编码的GOP的I帧中所承载的数据量更多的数据
7. 如权利要求5所述的服务器(2)，其中所述第二编码的GOP仅 至少包括I帧和P帧，但不包括B帧。
8. 如权利要求5所述的服务器(2)，其中所述第二编码的GOP包 括30个帧，这30个帧包括1个I帧和29个P帧。
9. 如权利要求5所述的服务器(2)，其中所述第二编码的GOP只 包括I帧。
10. —种用于如下系统的服务器(2)，该系统包括至少一个用户输 入设备(12)和被配置为显示来自所述服务器(2)的音频/视频流的至少 一个客户端设备(14)，所述服务器(2):在至少两个连续信标周期的无竞争时段(CFP)中预留至少一个时 隙，以在所述服务器(2)和所述客户端设备(14)之间传输由所述用户 输入设备(12)发起的图形化用户界面(GUI)命令，每个信标周期还具 有各自的竞争时段(CP)。
11. 如权利要求IO所述的服务器(2)，其中所述时隙的带宽不大于 每秒几千字节。
12. 如权利要求10所述的服务器(2)，其中所述时隙和所述流不局 限为在时间轴上连续。
13. 如权利要求10所述的服务器(2)，其中所述时隙被预留给命 令， 一直到流传输结束为止。
14. 如权利要求10所述的服务器(2),其中所述遥控命令在所述时 隙中被从所述客户端设备(14)发送到所述服务器(2)。
15. 如权利要求IO所述的服务器(2)，其中所述时隙可双向使用以 在所述服务器(2)和所述客户端设备(14)之间交换信息。
16. 如权利要求15所述的服务器(2)，其中所述CFP中的第一时隙 部分被预留给从所述服务器(2)到所述客户端设备(14)的消息，并且 所述CFP中的第二时隙部分被预留给从所述客户端设备(14)到所述服务 器(2)的消息。
17. 如权利要求IO所述的服务器(2)，其中，如果所述CFP基本被 占用，则作为从所述客户端设备(14)接收到初始命令的响应，所述服务 器(2)将所述CFP中的时隙预留给后面的命令，其中，如果在预定的时 段内没有接收到命令，则所述时隙被释放，并且下一个命令被看作为初始 命令并在所述CP期间被发送。
18. 如权利要求IO所述的服务器(2)，其中，如果所述命令引起所 述客户端设备(14)或所述服务器(2)的中断，则所述中断被赋予最高 优先级。
19. 如权利要求IO所述的服务器(2)，其中所述周期是与AC线路周期同步的信标周期。
20. 如权利要求10所述的服务器(2)，其中所述CP是一次性访问时段，而不保证将为下一周期预留相同的时间分配。
全文摘要
通过使用专为GUI设计的视频编码，同时使用常规的视频编码来进行视频呈现，改善了家用网络中的GUI呈现。此外，通过在客户端设备(14)接收到命令和服务器(2)执行这些命令之间的传输周期的无竞争时段(CFP)中预留用于传输由用户输入设备(12)发起的命令的时隙，缩短了GUI命令响应时间。
文档编号H04N7/16GK101366277SQ200680032848
公开日2009年2月11日 申请日期2006年8月31日 优先权日2005年9月7日
发明者岩村隆一 申请人:索尼株式会社;索尼电子有限公司