发送设备、接收设备、通信系统、通信方法和程序的制作方法

专利名称：发送设备、接收设备、通信系统、通信方法和程序的制作方法
技术领域：
本发明涉及发送设备、接收设备、通信系统、通信方法和程序。
背景技术：
近年来，已经提出经由网络来传送图像数据(包括运动图像数据)的各种应用和 服务。当经由网络来发送/接收图像数据时， 一般，在数据被发送给网络之前在发送侧通过 编码(压縮)处理来减少数据量，并且在数据被再现之前在接收侧对所接收到的编码后的 数据执行解码(解压縮)处理。 例如，作为最知名的图像压縮处理技术，可以使用称为MPEG(运动画面专家组)的 压縮技术。当使用MPEG压縮技术时，通过MPEG压縮技术生成的MPEG流被存储在通信分组 中，以用于经由网络的递送。此外，在图像数据被具有不同性能的各种接收终端接收的假定 下，在MPEG4或JPEG2000中引入了对要发送/接收的数据分级地执行编码的称为渐进式编 码的技术。此外，还开始提出将一张图片分裂成N行(N大于等于l)以在分裂出的集合(称 为行块)中对图像进行编码的称为基于行的编解码的压縮技术，以用于减少对图像进行编 码和解码的延迟时间。 通过应用这样的图像压縮技术来经由网络递送图像数据不限于由运营商(例如 内容提供商)经由因特网向用户的递送，并且还可以用在诸如办公室或家庭LAN(局域网) 之类的小型网络中。 使用小型家用网络的图像数据递送的利用形式包括这样的示例令连接到网络 的显示装置显示诸如HDD(硬盘驱动器)和BD(蓝光光盘(注册商标))之类的大型存 储装置中所存储的图像数据。预期在未来，随着由例如DLNA(Digital Living Network Appliance,数字生活网络联盟)进行的对用于数字装置之间的数据交换的标准规范的准 备，小型网络的这种利用也将增加。 当使用小型网络来递送图像数据时，提高用户用来操作再现设备或显示装置的用 户界面的易用性也很重要。例如，在DLNA指南中，还考虑了这样的机制，该机制通过相互链 接来搜索连接到网络的装置以提示作为该搜索的结果获得的可用服务内容的信息。
例如，可以引用日本专利申请文件特开2007-135195号公报作为用于改进与图 像数据的递送有关的用户界面这一目的的技术开发的示例。在日本专利申请文件特开 2007-135195号公报中，提出了这样的技术在向无线通信终端递送图像数据时向接收终 端发送图像控制信号，该图像控制信号包括与用户界面有关的控制数据(例如，由用户输 入的图标以及图标的位置信息)。

发明内容
然而，当在出现通信线路误差的环境中经由网络来传送与用户界面有关的控制数 据时，很难以高水平既维持控制数据的发送/接收的可靠度又维持对用户操作的快速响 应。这是因为，与通过忽略通信 差来实现实时数据递送的图像数据相比，要求在装置之间被可靠地发送/接收控制数据。如果例如与用户界面有关的控制数据丢失，则显示装置很 难正确地配置并且显示用户界面，使得用户难以提供恰当操作的指令。 另一方面，如果试图维持控制数据的发送/接收的可靠度，则当通信误差发生时 的重传频率增加，会抑制网络的频带并且有损对用户操作的快速响应。随着为了为用户提 高易用性的目的而引起的有关用户界面的协议的复杂度增加，以及伴随的控制数据容量增 加，变得越发难以忽略这样的问题的影响。 因此，鉴于以上问题做出了本发明，并且希望提供当经由网络提供用户界面时对
通信误差的容限增强的新颖的改进的发送设备、接收设备、通信系统、通信方法和程序。 根据本发明一个实施例，提供了一种发送设备，包括通过将基于用来控制用户界
面的第一控制数据而生成的用户界面图像叠加到内容图像上来生成叠加后的图像数据的
图像叠加部件；以与一个场中的N行(N大于等于1)相对应的编码单位对由图像叠加部件
生成的叠加后的图像数据进行编码的图像压縮部件；以及发送由图像压縮部件编码出的叠
加后的图像数据的通信部件。 该发送设备还可以包括将用来控制通信的第二控制数据与由图像压縮部件编码 出的叠加后的图像数据进行复用的复用部件，其中通信部件可发送被复用部件与第二控制 数据复用的叠加后的图像数据。 通信部件还可与已经接收到叠加后的图像数据的另一设备所显示的用户界面图 像相关联地接收从外部设备发送的操作信号。 根据本发明另一实施例，提供了一种接收设备，包括通信部件，该通信部件接收 叠加后的图像数据，数据叠加后的图像数据是通过将基于用来控制用户界面的第一控制数 据而生成的用户界面图像叠加到内容图像上而生成的并且是以与一个场中的N行(N大于 等于1)相对应的编码单位被编码的；以及图像解码部件，该图像解码部件以编码单位对由 通信部件接收到的叠加后的图像数据进行解码。 接收设备还可以包括分离部件，该分离部件在叠加后的图像数据被图像解码部件 解码前从叠加后的图像数据分离出用来控制通信的第二控制数据。 通信部件可将所接收到的叠加后的图像数据中所包含的误差率与某一阈值相比 较，并且如果误差率不大于阈值，则使得图像解码部件对叠加后的图像数据进行解码。
如果所接收到的叠加后的图像数据中所包含的误差率大于某一阈值，则通信部件 可向叠加后的图像数据的发送源设备发送对误差通知的响应信号。 叠加后的图像数据可以是包含两种或更多种图像数据的被分级编码出的图像数 据，两种或更多种图像数据包括具有低图像质量的低频图像数据和具有高图像质量的高频 图像数据，并且如果某一频率的低频图像数据被通信部件接收到作为叠加后的图像数据， 则图像解码部件可对所接收到的叠加后的图像数据进行解码，而不论更高频率的图像数据 是否被接收到。 根据本发明另一实施例，提供了一种发送设备，包括通过将基于用来控制用户界 面的第一控制数据而生成的用户界面图像叠加到内容图像上来生成叠加后的图像数据的 图像叠加部件；对由图像叠加部件生成的叠加后的图像数据进行编码的图像压縮部件；将 用来控制通信的第二控制数据与由图像压縮部件编码出的叠加后的图像数据进行复用的 复用部件；以及发送被复用部件与第二控制数据复用的叠加后的图像数据的通信部件。
根据本发明另一实施例，提供了一种接收设备，包括接收叠加后的图像数据的通
信部件，叠加后的图像数据是通过将基于用来控制用户界面的第一控制数据而生成的用户
界面图像叠加到内容图像上而生成的并且是与用来控制通信的第二控制数据复用的；从由
通信部件接收到的叠加后的图像数据中分离出第二控制数据的分离部件；以及对被分离部
件从中分离出第二控制数据的叠加后的图像数据进行解码的图像解码部件。 根据本发明的另一实施例，提供了一种通信系统，包括发送设备和接收设备，该发
送设备具有通过将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到 内容图像上来生成叠加后的图像数据的图像叠加部件，以与一个场中的N行(N大于等于1)
相对应的编码单位对由图像叠加部件生成的叠加后的图像数据进行编码的图像压縮部件 和发送由图像压縮部件编码出的叠加后的图像数据的发送侧通信部件，该接收设备具有接 收由发送设备发送的叠加后的图像数据的接收侧通信部件，以编码单位对由接收侧通信部 件接收到的叠加后的图像数据进行解码的图像解码部件。 根据本发明另一实施例，提供了一种通信方法，包括以下步骤在发送设备中通过 将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上来生 成叠加后的图像数据；以与一个场中的N行(N大于等于1)相对应的编码单位对所生成的 叠加后的图像数据进行编码；从发送设备向接收设备发送所编码出的叠加后的图像数据； 在接收设备中接收由发送设备发送的叠加后的图像数据；以及以编码单位对所接收到的叠 加后的图像数据进行解码。 根据本发明另一实施例，提供了一种具有指令的计算机程序产品，这些指令使得
控制发送设备的计算机用作通过将基于用来控制用户界面的第一控制数据而生成的用户
界面图像叠加到内容图像上来生成叠加后的图像数据的图像叠加部件；以与一个场中的N
行(N大于等于1)相对应的编码单位对由图像叠加部件生成的叠加后的图像数据进行编码
的图像压縮部件；以及发送由图像压縮部件编码出的叠加后的图像数据的通信部件。 根据本发明另一实施例，提供了一种具有指令的计算机程序产品，这些指令使得
控制接收设备的计算机用作接收叠加后的图像数据的通信部件，叠加后的图像数据是通
过将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上而
生成的并且是以与一个场中的N行(N大于等于1)相对应的编码单位被编码的；以及以编
码单位对由通信部件接收到的叠加后的图像数据进行解码的图像解码部件。 根据上述根据本发明的发送设备、接收设备、通信系统、通信方法和程序，当经由
网络提供用户界面时能够增强对通信误差的容限。


图1是示出根据一个实施例的通信系统的概况的示意图； 图2是例示根据一个实施例的发送设备的配置的框图； 图3是例示根据一个实施例的应用程序部件的详细配置的框图； 图4是例示根据一个实施例的压縮部件的详细配置的框图； 图5是图示出根据一个实施例的图像叠加处理的说明图； 图6是例示根据一个实施例的发送处理的流程的流程图； 图7是例示根据一个实施例的接收设备的配置的框7
图8是例示根据一个实施例的解码部件的详细配置的框图； 图9是例示通信分组的配置的说明图； 图10是例示根据一个实施例的接收处理的流程的流程图； 图11是例示根据一个实施例的同步处理的具体流程的流程图； 图12是例示根据变形例的解码部件的配置的框图； 图13是示出执行小波变换的编码器的配置示例的框图； 图14是例示通过二维图像的频带分裂获得的频率分量的说明图； 图15是概念性地示出基于行的小波变换中的变换处理的示意图；以及 图16是示出通用计算机的配置示例的框图。
具体实施例方式
以下，将参考附图来详细描述本发明的优选实施例。注意，在本说明书和附图中， 用相同的标号来标注具有基本相同的功能和结构的结构元件，并且省略对这些结构元件的 重复说明。 将按照下面示出的次序来描述"具体实施方式
"
1.根据一个实施例的通信系统的概况
2.根据一个实施例的发送设备的描述
3.根据一个实施例的接收设备的描述
4.概要 〈1.根据一个实施例的通信系统的概况〉 首先将参考图1来描述根据本发明一个实施例的通信系统1的概况。
图1是示出根据本发明一个实施例的通信系统1的概况的示意图。参考图l，通信
系统1包括网络10、发送设备100、接收设备200和远程控制设备300。在图1中，网络10是使用LAN、 WAN、 ADSL、电力线、LVDS连接线、HDMI、无线
LAN(IEEE802. 11)、蓝牙、WiMax或超宽带无线电(UWB)的任何网络。网络10例如扮演连接
发送设备100和接收设备200的家庭网的角色。网络10可以是有线网络或无线网络。 发送设备100通常被配置为诸如存储如视频内容之类的图像数据的HDD录像机和
BD录像机之类的记录/再现设备。可替换地，发送设备100例如可以是接收并且中继所广
播的节目的调谐器或输出由成像装置成像的图像数据的成像设备。例如，发送设备100从
内建的记录介质读取、从外部接收或成像出图像数据，并且之后，对图像数据进行压縮以发
送给接收设备200。注意，在这里的压縮中包括诸如信道编解码之类的编码。此外，发送设
备IOO经由接收设备200的屏幕向用户提供用于接受用户的操作的用户界面。 接收设备200被配置为例如使用CRT (阴极射线管)、PDP (等离子显示面板)、液晶
显示器或OLED(有机发光二极管)的显示装置。接收设备200经由网络10接收例如从发送
设备100发送的图像数据并且在屏幕上显示通过对图像数据进行解码所获得的内容图像。
接收设备200还在屏幕上显示用户界面图像(例如，包含菜单和图标的图像)202，以允许用
户操作发送设备100或接收设备200。 远程控制设备300输出用来操作发送设备100或接收设备200的操作信号，作为 例如根据来自用户的指令的红外信号或无线电信号。当操作信号从远程控制设备300被输出时，操作信号例如被接收设备200检测到。然后，接收设备200经由网络10向发送设备 100发送传达操作内容的操作数据。可替换地，从远程控制设备300输出的操作信号可以被 例如位于遥远地点的发送设备100直接检测到。 利用上述通信系统1的配置，可以实现这样的利用形式，其中，用户使用安装在家 中任何位置的接收设备200来访问位于遥远地点的发送设备100，以欣赏由发送设备100 保留的内容。然而，在这样的情况中，在网络10中可能发生由例如因周围环境或通信的暂 时拥塞而生成的噪声(引起暂时不稳定状态的因素，例如多径、增益损失和瞬时中断)所引 起的通信误差。对于图像数据，不论由通信误差引起的数据损失如何，根据诸如UDP(用户 数据报协议)和RTP(实时传输协议)之类的协议，保持实时特性的数据递送都继续。另一 方面，如果要向网络10单独发送用来控制用户界面的控制数据，则作为由TCP (传输控制协 议)等引起的数据重转的结果，通信被延迟，有损对用户操作的快速响应。因此，以下详细 描述的本发明的一个实施例中，通过预先将基于用来控制用户界面的控制数据而生成的用 户界面图像叠加到内容图像上，来消除发送/重传控制数据的必要性。
〈2.根据一个实施例的发送设备的描述〉 图2是例示根据本实施例的发送设备100的配置的框图。参考图2，发送设备100 包括应用程序部件110、压縮部件120和通信部件140。
[应用程序部件IIO] 应用程序部件110根据用户的操作获取某图像数据并且向压縮部件120提供图像 数据。应用程序部件110还向压縮部件120提供用来控制用户界面以使得用户操作各个应 用程序的第一控制数据和用来控制通信的第二控制数据。 如图3中所示，应用程序部件110例如可以由各个应用程序112a至112n和公共 接口 (公共IF)114构成。 在图3中的示例中，应用程序112a至112n可以是任何应用程序，例如在发送设备 100中操作的内容再现应用程序、广播节目接收应用程序或视频拍摄应用程序。应用程序 112a至112n例如响应于来自用户的请求，获取某图像数据和音频数据并且向压縮部件120 输出所获得的数据。应用程序112a至112n还执行用来输出前述第一控制数据和第二控制 数据和用来经由公共接口 114获取操作数据的操作。 公共接口 114是共同管理由发送设备100向用户提供的用户界面的接口。公共接 口 114例如可以是原始的用户界面，例如根据例如DLNA的UI之类的标准化规范进行操作 的XMB(Xross Media Bar，跨界导航菜单)或中间件。 例如，公共接口 114生成用来控制用户界面的第一控制数据，并且向压縮部件120 输出第一控制数据。第一控制数据可以包含与用户界面的显示有关的任何控制数据，例如， 可由用户选择的菜单列表、与每个菜单对应的图标的标识符和屏幕上图标所应当显示的位 置。公共接口 114还向压縮部件120输出用来控制应用级的通信的第二控制数据。
此外，例如，当从图1中示出的远程控制设备300输出的或被接收设备200中继的 操作数据被输入时，公共接口 114根据操作数据来向应用程序112a至112n中的一个提供 操作指令。当如下所述，与所叠加的图像数据有关的误差被通知时，公共接口 114可以再次 向压縮部件120输出前述第一控制数据。
[压 部件120]
参考图2，将继续对根据本实施例的发送设备100的配置的描述。 当图像数据和第一控制数据从应用程序部件110被提供时，压縮部件120通过将
用户界面图像叠加到内容图像上来生成叠加后的图像数据，并且对叠加后的图像数据进行
编码。压縮部件120还将第二控制数据或从应用程序部件110提供的编码后的音频数据与
叠加后的图像数据进行复用。本实施例中的内容图像可以是由从应用程序部件iio提供的
图像数据代表的任何图像。 图4是例示压縮部件120的详细配置的框图。 在图4中的示例中，压縮部件120包括图像叠加部件122、控制发送准备部件124、 音频压縮部件126、图像压縮部件128和复用部件130。 图像叠加部件122将基于用来控制用户界面的第一控制数据而生成的用户界面 图像叠加到内容图像上来生成叠加后的图像数据。 图5是图示出图像叠加部件122进行的图像叠加处理的说明图。在图5中，示出 3个图像图像II、图像12和图像13。这些图像中，图像II是显示从应用程序部件110提 供的图像数据的内容的内容图像。另一方面，图像12是诸如基于从应用程序部件110提供 的第一控制数据中所包含的菜单的列表之类的数据而生成的用户界面图像。在图5中的示 例中，图像12有"菜单1"到"菜单4" 4个菜单字符串以及其中所显示的一组对应的图标。 图像叠加部件122将用户界面图像12叠加到内容图像II上来生成叠加后的图像数据13。
在图5中的示例中，图像叠加部件122使用户界面图像12是透明的，将用户界面 图像I2叠加到内容图像I1上。但是，图像叠加部件122的图像叠加不限于这样的示例。例 如，图像叠加部件122可以不使用户界面图像12是透明的，将用户界面图像12叠加到内容 图像II上。可替换地，图像叠加部件122可以将内容图像II和用户界面图像12并排排列 在任何方向上而不叠加。此外，图像叠加部件122可以仅显示用户界面图像12作为叠加后 的图像数据。这里，图像叠加是指用户界面图像以任何形式插入到发送数据流中。
回到图4，控制发送准备部件124临时保存从应用程序部件110提供的第二控制数 据并且之后向后述复用部件130输出第二控制数据。 音频压縮部件126根据诸如PCM、 ADPCM、 MP3、 WMA、 AAC、 ATRAC3plus和ATRAC3之 类的任何音频编码方法来压縮从应用程序部件IIO提供的音频数据。从通信系统1中的发 送设备100发送的图像数据不必一定伴随有音频数据。S卩，在发送设备100的配置中可以 省略音频压縮部件126。 图像压縮部件128对每一编码单位(与一个场中的N行(N大于等于1)相对应) 的由图像叠加部件122生成的前述叠加后的图像数据进行编码。S卩，如果N大于等于l，则 图像压縮部件128根据基于行的编解码来压縮由图像叠加部件122生成的前述叠加后的图 像数据。 以下将参考图13至图15来描述基于行的小波变换机制，作为基于行的编解码的 一个示例。 基于行的小波变换是这样的编解码技术每次扫描原始图像的一行基带信号时， 执行水平方向的小波变换，并且每次读出某一数目的行时，执行垂直方向的小波变换。
图13是示出执行小波变换的编码器800的配置示例的框图。图13中所示的编码 器800在3层(3个级别)中执行作为最常见的小波变换的八度分裂(octave splitting),以生成分级编码后的图像数据。 参考图13，编码器800包括级别1处的电路部件S10、级别2处的电路部件820和 级别3处的电路部件830。级别1处的电路部件810具有低通滤波器812、下采样器814、 高通滤波器816和下采样器818。级别2处的电路部件820具有低通滤波器822、下采样器 824、高通滤波器826和下采样器828。级别3处的电路部件830具有低通滤波器832、下采 样器834、高通滤波器836和下采样器838。 输入图像信号被电路部件810的低通滤波器812(传递函数H0(z))和高通滤波器 816(传递函数Hl(z))分裂成多个频带。通过频带分裂获得的低频分量(1L分量)和高频 分量(1H分量)分别被下采样器814和下采样器818削减(thin out)为分辨率的一半。
由下采样器814削减出的低频分量(1L分量)的信号被电路部件820的低通滤波 器822(传递函数H0(z))和高通滤波器826(传递函数Hl(z))进一步分裂成多个频带。通 过频带分裂获得的低频分量(2L分量)和高频分量(2H分量)分别被下采样器824和下采 样器828削减为分辨率的一半。 此外，由电路部件820的下采样器824削减出的低频分量(2L分量)的信号被电 路部件820的低通滤波器832 (传递函数HO (z))和高通滤波器836 (传递函数Hl (z))进一 步分裂成多个频带。通过频带分裂获得的低频分量(3L分量)和高频分量(3H分量)分别 被下采样器834和下采样器838削减为分辨率的一半。 以这种方式，通过将低频分量分级分裂成多个频带直到某一级别来顺次生成频率 分量。在图13的示例中，作为直到级别3的频带分裂的结果，生成下采样器818所削减出 的高频分量(1H分量)，下采样器828所削减出的高频分量(2H分量)，下采样器838所削 减出的高频分量(3H分量)，下采样器834所削减出的低频分量(3L分量)。
图14是示出通过对二维图像进行直到级别3的频带分裂所获得的频率分量的示 图。在图14中的示例中，通过级别1的频带分裂(水平/垂直方向)得到4个分量1LL、 1LH、1HL和1HH的各个子图像。这里，LL指示水平和垂直分量都为L，并且LH指示水平分 量为H而垂直分量为L。接着，ILL分量再次被分裂成多个频带来获得2LL、2HL、2LH和2HH 的各个子图像。此外，2LL分量被再次分裂成多个频带来获得3LL、3HL、3LH和3HH的各个子 图像。 作为以这种方式重复执行小波变换的结果，输出信号形成包含子图像的分级结 构。基于行的小波变换是通过进一步基于行来扩展这样的小波变换而获得的。
图15是概念性地示出基于行的小波变换的变换处理的示意图。这里，例如，针对 基带的每8行在水平方向执行小波变换。 在这种情况中，如果要在3层中关于8行来执行小波变换，则针对最低级别的频带 3LL子图像生成一行编码后的数据并且针对下一级别的子频带3H(子图像3HL、3LH和3HH) 中的每一个生成一行编码后的数据。此外，针对下一级别的子频带2H(子图像2HL、2LH和 2HH)中的每一个生成两行编码后的数据，进一步，针对最高级别频带1H(子图像1HL、1LH和 1HH)中的每一个生成四行编码后的数据。 每个子频带的一组行将称为选区(precinct) 。 S卩，作为行块的一种形式(这种形 式是一组行)，选区是要作为基于行的小波变换的编码单位的一组行，这里，编码单位一般 是指要成为编码处理的单位的一组行。即，编码单位不限于基于行的小波变换中的选区，并且可以是诸如JPEG2000和MPEG4之类的现有分级编码中的编码处理的单位。
参考图15，在图15中的左侧示出的基带信号802中由8行组成的选区(图15中 的阴影区)被构造为如图15中的右侧所示的变换之后的基于行的小波变换后的信号804 中的以下内容具有1H中的1HL、1LH和1HH中的每一个的4行(图15中的阴影区)、具有 2H中的2HL、2LH和2HH中的每一个的两行(图15中的阴影区)和具有3LL、3HL、3LH和3HH 中的每一个的一行(图15中的阴影区)。 根据这样的基于行的小波变换处理，可以通过与JPEG2000中的瓦片分解(tile decomposing) —样，将图片分解成更细粒度尺寸来执行处理，使得发送和接收图像数据时 的延迟可以变得更短。此外，与JPEG2000中的瓦片分解相对地，基于行的小波变换执行使 用小波系数的划分而不是每基带信号的划分，因此具有这样的特征瓦片边界中没有出现 像块噪声一样的图像质量劣化。 以上已经描述了基于行的小波变换作为基于行的编解码的一个示例。由图4中示 出的图像压縮部件128执行的压縮处理不限于基于行的小波变换。图像压縮部件128适用 于任何基于行的编解码，例如诸如JPEG2000和MPEG4之类的现有分级编码。
回到图4，复用部件130将由图像压縮部件128编码出的叠加后的图像数据和从控 制发送准备部件124输出的第二控制数据以及从音频压縮部件126输出的编码后的音频数 据进行复用。然后，复用部件130向通信部件140输出复用后的叠加图像数据。
再回到图2，将继续对根据本实施例的发送设备100的配置的描述。
[通信部件140] 通信部件140包括发送数据生成部件142、发送/接收控制部件144、物理层控制 部件146、物理层Tx 148、切换部件150、天线部件152、物理层Rx 154和接收数据分离部件 156。 发送数据生成部件142生成包含从压縮部件120输出的叠加后的图像数据的通信 分组。当执行例如基于TCP、UDP或IP协议的通信时，发送数据生成部件142通过将TCP或 UDP头部和终端识别信息(例如，以太网(注册商标)的MAC地址或IP地址)添加到叠加 后的图像数据上来生成IP分组。 发送/接收控制部件144控制TDMA(时分多址)方法、CSMA(载波侦听多址)或 FDMA(频分多址)方法中的MAC(媒体接入控制)层。发送/接收控制部件144还可以基于 根据导频而非载波的相关性来识别分组的PSMA (Preamble Sense Multiple Access,导频 侦听多址)来执行对MAC层的控制。 物理层控制部件146基于来自发送/接收控制部件144或发送数据生成部件142 的指令来控制物理层。物理层Tx 148基于来自物理层控制部件146的请求来开始操作并 且向切换部件150输出从发送数据生成部件142提供的通信分组。 切换部件150具有用来切换数据的发送和接收的功能。例如，当从物理层Tx 148 提供通信分组时，切换部件150经由天线部件152发送这些通信分组。当经由天线部件152 接收通信分组时，切换部件150将所接收到的分组提供给物理层Rx 154。
物理层Rx 154基于来自物理层控制部件146的请求来开始操作并且将接收到的 分组提供给接收数据分离部件156。 接收数据分离部件156分析从物理层Rx 154提供的接收分组，并且在将要递送给应用程序部件110的数据输出给应用程序部件110之前对数据进行解复用。例如，接收数 据分离部件156可以参考接收分组中所包含的TCP或UDP头部的端口号来识别要递送给应 用程序部件110的数据。 在通信系统1中，存在可由发送设备100接收的两种数据。这两种数据中，第一数 据是在观看由接收设备200显示的用户界面图像的用户的指令被接收之后由远程控制设 备300输出的操作数据。第二数据是当检测到有关叠加后的图像数据的误差时由接收设备 200返回的有关误差的统计数据。 操作数据被包含在从远程控制设备300输出的操作信号中。发送设备100的通信 部件140直接地或经由接收设备200接收来自远程控制设备300的操作信号。然后，由通 信部件140从操作信号中分离出的操作数据被输入到应用程序部件110中。如果操作信号 例如是作为红外信号从远程控制设备300输出的，则图2中所示的通信部件140外部所设 置的红外接口 (未示出)可以接收操作信号，以向应用程序部件110输出操作数据。
另一方面，有关误差的统计数据被包含在从接收设备200发送的响应信号中。当 从接收设备200接收响应信号时，发送设备100的通信部件140从响应信号中分离出有关 误差的统计数据，以向应用程序部件110输入有关误差的统计数据。因此，例如，应用程序 部件110可以再次向压縮部件120输出用来控制用户界面的第一控制数据。
[处理流程的示例] 接着，图6是例示由使用图2至图5描述的发送设备100进行的叠加后的图像数 据的发送处理的流程的流程图。 参考图6，首先由应用程序部件110向压縮部件120输出将使接收设备200显示的 内容图像的图像数据(S102)。此时，如有必要，还向压縮部件120输出音频数据
接着，由应用程序部件110向压縮部件120输出第一控制数据或第二控制数据 (S104)。 然后，压縮部件120判定从应用程序部件IIO输出的控制数据是第一控制数据还 是第二控制数据(S106)。如果该控制数据是第一控制数据，则处理进行到S108。另一方面， 如果该控制数据不是第一控制数据，则处理进行到S112。 在S108，由压縮部件120的图像叠加部件122使用从应用程序部件110输入的 图像数据和第一控制数据来生成用户界面图像被叠加到内容图像上的叠加后的图像数据 (S108)。 接着，由图像压縮部件128以与一个场中的N行(N大于等于1)相对应的编码单 位来对叠加后的图像数据进行编码。 接着，从应用程序部件110输入的第二控制数据与由图像压縮部件128压縮后的 叠加后的图像数据相复用(S112)。此时，如有必要，由音频压縮部件126压縮后的音频数据 也被复用。 然后，由通信部件140生成包含复用之后的叠加后的图像数据的通信分组，并且 之后将其经由网络10发送给接收设备200(S114)。 已经使用图2至图6描述了根据本实施例的发送设备100。接着，将描述接收从发 送设备100发送的叠加后的图像数据的接收设备200的配置。
〈3.根据一个实施例的接收设备的描述〉
图7是例示根据本实施例的接收设备200的配置的框图。参考图7，接收设备200 包括通信部件240、解码部件270和应用程序部件290。
[通信部件240] 通信部件240包括发送数据生成部件242、发送/接收控制部件244、物理层控制 部件146、物理层Tx 148、切换部件150、天线部件152、物理层Rx 154和接收数据分离部件 256。 发送数据生成部件242基于发送/接收控制部件244的请求来读出要发送给发送 设备100的数据，以生成发送分组。例如，发送数据生成部件242生成IP分组并且之后将 IP分组输出给物理层Tx 148。 和发送设备100的发送/接收控制部件144类似，发送/接收控制部件244控制 MAC层。发送/接收控制部件244还将由例如稍后描述的接收数据分离部件256所检测到 的叠加后的图像数据的误差率与某一阈值相比较，并且如果误差率更高，则使得通信部件 240向发送设备IOO发送包括有关误差的统计数据以通知误差的发生的响应信号。稍后将 进一步描述对叠加后的图像数据中所包含的误差的检测。 接收数据分离部件256分析从物理层Rx 154提供的接收分组并且在将要递送给 解码部件270的数据输出给解码部件270之前对数据进行解复用。例如，当执行基于IP协 议的通信时，接收数据分离部件256参考接收分组中所包含的目的地IP地址和目的地端口 号，使得可以识别递送给解码部件270的数据。
[解码部件270] 解码部件270例如以与一个场中的N行(N大于等于1)为单位对从接收数据分离 部件256输出的叠加后的图像数据进行解码，并且之后将经解码的叠加后的图像数据输出 给应用程序部件290。 图8是例示解码部件270的详细配置的框图。参考图8，解码部件270包括应用程 序数据分离部件272、音频解码部件274和图像解码部件276。 应用程序数据分离部件272通过参考从接收数据分离部件256输入的数据的应用 程序头来确定媒体的类型并且之后分发数据。例如，如果输入数据是编码后的音频数据，则 应用程序数据分离部件272将音频数据输出给音频解码部件274。如果输入数据是经过编 码的叠加后的图像数据，则应用程序数据分离部件272将叠加后的图像数据输出给图像解 码部件276。如果输入的数据是第二控制数据，则应用程序数据分离部件272将第二控制数 据输出给应用程序部件290。 当与基于图片的编解码相比较时，在基于行的编解码中可用于图像数据的接收和 解码的控制的时间更短。因此，为了以稳定的同步状态对叠加后的图像数据进行解码，应用 程序数据分离部件272临时存储从接收数据分离部件256输入的叠加后的图像数据并且通 过确定某一同步定时来输出叠加后的图像数据。稍后将使用图ll来进一步描述应用程序 数据分离部件272的这样的同步处理。 音频解码部件274根据诸如PCM、 ADPCM、 MP3、 WMA、 AAC、 ATRAC3plus和ATRAC3之 类的任何音频编码方法来对从应用程序数据分离部件272输入的音频数据进行解码。音频 解码部件274所解码出的音频数据被输出给应用程序部件290。与发送设备100的音频压 縮部件126 —样，在接收设备200中可以省略音频解码部件274。
14
图像解码部件276以与一个场中的N行相对应的编码单位对从应用程序数据分离 部件272输入的叠加后的图像数据进行解码。由图像解码部件276解码出的叠加后的图像 数据被输出给应用程序部件290。
[应用程序部件290] 回到图7，将继续对应用程序部件290的配置的描述。 应用程序部件290对从解码部件270提供的经过解码的叠加后的图像数据进行再 现。因此，在接收设备200的屏幕上显示叠加后的图像数据中所包含的内容图像上所叠加 的用户界面图像。应用程序部件290使用诸如扬声器之类的音频输出设备来对从解码部件 270提供的解码后的音频数据进行再现。 在接收设备200的配置中应当注意的是不需要将由解码部件270的图像解码部 件276解码出的叠加后的图像数据进一步分离成内容图像的图像数据和用户界面图像的 第一控制数据。如果通信误差出现，则这样的误差可能被包含在叠加后的图像数据的一部 分中。然而，即使在这样的情况中，如果误差率不超过某一量，则由接收设备200显示的图 像中的用户界面图像也可以被用户识别，这是因为用户界面图像被叠加在内容图像之上。 结果，根据诸如UDP和RTP之类的将重要性附加在实时特性上的协议，可以容易地向用户提
供用户界面。[误差检测] 对接收设备200中的叠加后的图像数据中的误差的检测例如可以由图7中示出的 物理层Rx 154或接收数据分离部件256实现。在物理层Rx 154中，例如，可以使用诸如循 环冗余校验、Reed-Solomon码、Gold码或Viterbi算法之类的公知技术来检测接收分组中 所包含的比特或符号的误差。在接收数据分离部件256中，例如，可以从RTP头部中丢失的 序列号来检测分组损失。还可以通过无线电通信中相位偏移或信号强度中的波动来检测通 信误差。 发送/接收控制部件244被通知以这种方式检测到的叠加后的图像数据的误差以 计算误差率。之后，发送/接收控制部件244例如将预先定义的某一阈值与所计算出的误 差率相比较。如果误差率大于预定阈值，即，如果即使叠加后的图像数据被解码和被显示之 后用户仍难以正确地识别用户界面图像，则发送/接收控制部件244向发送设备100发送 对误差通知的响应信号。如果误差率不大于阈值，即如果确定用户可以识别用户界面图像， 则发送/接收控制部件244允许继续对叠加后的图像数据的解码处理。
这里描述由发送/接收控制部件244进行误差率的阈值确定的示例。可替换地， 还可以由解码部件270或应用程序部件290来进行阈值确定。
[通信分组的配置示例] 图9示出UDP/IP分组的配置，作为本实施例中可以由接收设备200接收的通信分 组的示例。 在图9中，在9a至9d 4个阶段中示出一个IP分组的内部配置。参考9a， IP分组 由IP头部和IP数据构成。IP头部例如包含诸如目的地IP地址之类的有关基于IP协议的 通信路径控制的控制信息。 接着，参考9b， IP数据又由UDP头部和UDP数据构成。UDP头部例如包含作为应 用程序标识信息的目的地端口号。
接着，参考9c，UDP数据又由RTP头部和RTP数据构成。RTP头部包含诸如序列号 之类的用来保证例如数据流的顺序性的控制信息。 接着，参考9d，RTP数据由图像数据的头部(图像头)和通过基于行的编解码所编 码出的叠加后的图像数据构成。图像头例如包含图片编号、行块编号(或当以一行为单位 编码时的行编号)或子频带编号。图像头还可以由每个图片所附加的图片头和每个行块所 附加的行块头构成。 [OH3][处理流程示例] 接着，图10是例示使用图7至图9所描述的接收设备200进行的叠加后的图像数 据的接收处理的流程的流程图。 参考图10，首先由通信部件240接收从发送设备100发送的通信分组(S202)。
接着，例如由通信部件240的发送/接收控制部件244来判断通信路径上所发生 的误差率是否大于某一阈值(S204)。如果误差率大于某一阈值，则处理进行到S206。
在S206从接收设备200向发送设备100发送对误差发生的通知的响应信号 (S206)。因此，发送设备100可以认识到由于劣化的通信环境，服务提供受到阻碍。
另一方面，如果在S204通信路径上所发生的误差率小于某一阈值，则处理进行 到S208。在S208，判断所接收到的通信分组中所包含的数据是否是叠加后的图像数据 (S208)。如果所接收到的通信分组中包含的数据不是叠加后的图像数据，则处理进行到 S210。 在S210，由解码部件270的音频解码部件274对除了叠加后的图像数据以外的数 据，例如，音频数据，进行解码(S210)。音频解码部件274所解码出的音频数据被输出给应 用程序部件290。在该步骤，例如，从解码部件270的应用程序数据分离部件272向应用程 序部件290输出第二控制数据。 另一方面，如果所接收到的通信分组中所包含的数据是叠加后的图像数据，则由 应用程序数据分离部件272执行对叠加后的图像数据的解码起始点的同步处理(S212)。
图11是例示应用程序数据分离部件272进行的同步处理的具体流程的流程图。
参考图ll，首先检测输入到应用程序数据分离部件272中的叠加后的图像数据的 头部(例如，图9中所示的图像头)，使得从行块编号等中识别出图片的开头(S302)。
接着，在识别出图片的开头之后，应用程序数据分离部件272激活用于测量时间 的定时器并且等待解码起始点的到达(S304)。这里，直到解码起始点的等待时间被预先设 置为例如能够吸收每编码单位的数据量的波动或由于通信路径上的抖动等引起的延迟的 时间。然而，直到解码起始点的等待时间优选地尽可能短，以增强用户界面的响应性。
然后，当解码起始点到来时，应用程序数据分离部件272开始对每编码单位的数 据传送时间的测量(S306)。这里，每编码单位的数据传送时间是指显示一个编码单位的叠 加后的图像数据所能够花费的时间。例如，当1080/60p(屏幕尺寸为2200x1125，60fps的 逐行扫描方法)的视频被解码时，如果加上空白时间，则显示一行所能够花费的时间约为 14. 8 [ ii s]，如果不加上空白时间，则约为15. 4[ ii s]。如果编码单位是N行的行块，则每编 码单位的数据传送时间将是前述显示一行所能够花费的时间的N倍。 此外，应用程序数据分离部件272判断在该时间点是否完成了对特定频率分量的 叠加后的图像数据的接收(S308)。该步骤中的特定频率分量例如被预设为具有要对用户显
16示的最小图像质量的频率分量。特定频率分量可以是叠加后的图像数据中所包含的最低频率分量或根据图像类型所设置的某一频率分量。如果对特定频率分量的叠加后的图像数据的接收未完成，则处理进行到S310。另一方面，如果对特定频率分量的叠加后的图像数据的接收已完成，则处理进行到S312。 如果处理进行到S310，则最少要显示的频率分量(特定频率分量)的叠加后的图像数据可能由于数据延迟或数据误差还未被接收到。在该情况中，向没有成功接收到数据的行(或行块)插入哑数据(S310)，所述行(或行块)没有成功接收到数据是因为如果等待数据的接收，则同步定时会偏移，导致图像显示的延迟。例如，这里所接收到的频率分量可以按原样与仅针对接收失败的频率分量插入的鹏数据一起使用。这里所要插入的鹏数据例如是前一图片(或前一图片之前的图片)的相同行(或相同行块)的叠加后的图像数据、固定的图像数据或基于运动补偿的预测数据。 另一方面，在S312，从应用程序数据分离部件272向图像解码部件276传送包含特定频率分量的叠加后的图像数据(S312)。叠加后的图像数据的传送继续直到每编码单位的数据传送时间结束为止(S314)。然后，当每编码单位的数据传送时间结束时，处理进行到S316。 在S316，判断是否还留有此时尚未完成传送的待解码的叠加后的图像数据(S316)。如果还有尚未完成传送的待解码的叠加后的图像数据，则删除叠加后的图像数据(S318)。 之后，判断是否完成了对图片中所有行的处理(S320)。如果还留有尚未完成处理的任何行，则处理返回S306以重复对每编码单位的数据传送时间的测量和叠加后的图像数据向图像解码部件276的传送。另一方面，如果所有行的处理都已完成，则用来对一张图片的叠加后的图像数据进行解码的同步处理完成。 回到图IO，将继续对叠加后的图像数据的接收处理的流程的描述。 由图像解码部件276对作为应用程序数据分离部件272的同步处理的结果而被传
送给图像解码部件276的叠加后的图像数据以编码单位顺次进行解码(S214)。经过解码的
叠加后的图像数据从图像解码部件276输出给应用程序部件290。如果在直至S320的处理
被完成一次之后检测到指示下一图片的开头的头部，则可以使用第一同步定时而不测量解
码起始时间。 然后，应用程序部件290在接收设备200的屏幕上显示经过解码的叠加后的图像数据(S216)。因此，用户可以在屏幕上观看用来操作发送设备100或接收设备200的用户界面图像。 已经使用图IO和图11描述了根据本实施例的接收设备200所执行的叠加后的图
像数据的接收处理。如从以上描述可以理解的，即使在接收设备200的显示装置中所显示
的叠加后的图像数据中包含达到未超过某一阈值这样的程度的通信误差，也可以使得用户
在视觉上识别用户界面图像。并且在本实施例中，如果对多级频率分量的预设特定频率分
量的叠加后的图像数据的发送/接收成功，则即使丢失其它频率分量也可以显示具有与至
少特定频率分量相对应的图像质量的用户界面图像。[变形例的描述] 作为本实施例的变形例，可以如图12中所示来配置接收设备200的解码部件270。参考图12，接收设备200的解码部件270除了包括图8中所示的应用程序数据分离部件272、音频解码部件274和图像解码部件276之外，还包括终端识别部件278。
终端识别部件278通过参考例如分组中的IP头部来识别从通信部件240输入的应用程序数据的发送源的终端，并且根据识别结果来分发数据。例如，如果数据是从远程控制设备300接收的，则终端识别部件278向应用程序部件290输出数据作为从操作信号获得的操作数据。如果包含叠加后的图像数据的数据是从发送设备ioo接收的，则终端识别部件278向应用程序数据分离部件272输出这些数据。 根据以上变形例，当操作信号是从远程控制设备300接收的时，接收设备200可以从所接收到的操作信号中获取操作数据来将操作数据中继到发送设备100。 S卩，即使发送设备100和接收设备200被彼此分离地安装使得难以直接向发送设备100发送来自远程控制设备300的操作信号，用户也可以在观看接收设备200中所显示的用户界面图像的同时操作发送设备100。 作为另一变形例，接收设备200的解码部件270或应用程序部件290可以在屏幕上识别由于通信误差而接收失败的行块的位置，以判断是否根据其位置来解码或显示该图像。屏幕上的行块的位置可以从图9中所示的行块编号等来识别。
〈4.概要> 已经使用图1至图13描述了根据本发明一个实施例的通信系统1。如上所述，根据本实施例，即使接收设备200的屏幕上所显示的叠加后的图像数据包含达到未超过某一阈值的程度的某些通信误差，用户也可以在视觉上识别用户界面图像。此外，如果对多级频率分量中的预设特定频率分量的叠加后的图像数据的发送/接收成功，则显示具有与至少特定频率分量相对应的图像质量的用户界面图像。因此，在从发送设备IOO经由网络10向接收设备200提供用户界面的情况中，增强了误差容限。此外，提高了用户操作的响应性。
此外，根据本实施例，由于用来控制用户界面的第一控制数据未被发送给网络，所以可以避免由于增大的用户界面规范复杂度而引起的控制数据的容量的增加和由于增大的协议复杂度而引起的通信效率的降低。 此外，通过使用基于行的编解码，减少了图像的编码和解码以及发送/接收中所
处理的一个单位的信息量，带来了诸如高速处理和硬件规模的縮小之类的优点。 在另一实施例中，可以通过基于图片的编解码来对叠加后的图像数据进行编码。
还在这样的情况中，用户界面图像在被叠加到内容图像上之后被发送/接收，因此，用来控
制用户界面的第一控制数据未被发送给网络。因此，即使在一部分数据中发生通信误差，也
可以使得用户能够在视觉上识别用户界面图像。 这里描述的处理序列可以通过硬件或软件来实现。当使得软件来执行处理序列或其一部分时，构成软件的程序被结合到专用硬件中的计算机或图16中所示的通用计算机可以用于其执行。 在图16中，CPU(中央处理单元)902控制通用计算机的总体操作。描述处理序列的一部分或全部的数据或程序被存储在ROM(只读存储器)904中。由CPU 902用来执行处理的执行程序或控制数据被临时存储在RAM(随机存取存储器)906中。
CPU 902、R0M 904和RAM 906经由总线908相互连接。输入/输出接口 910也被连接到总线908。输入/输出接口 910是将CPU 902、 R0M904和RAM 906连接到输入部件912、输出部件914、存储部件916、通信部件918和驱动器920的接口 。 输入部件912接受来自用户的指令或经由诸如按钮、开关、控制杆、鼠标或键盘之
类的输入装置输入的信息。显示装置914如上所述具有例如CRT、 PDP、液晶显示器或0LED
之类的屏幕，并且为用户显示内容图像或用户界面图像。 存储部件916例如是由HDD或半导体存储器构成，并且存储程序、程序数据、内容数据等。通信部件918经由网络执行有线或无线的通信处理。必要时在通用计算机中设置驱动器920，并且例如在驱动器920中插入可移除介质922。 本领域技术人员应当理解，根据设计要求和其它因素可以进行各种修改、组合、子组合和更改，只要它们在所附权利要求或其等同物的范围以内即可。 在本实施例中，例如描述了用无线线路作为通信线路的示例。然而，可以使用有线线路而不是无线线路来作为另一实施例。通过用合适的功能替换例如物理层Tx 148、天线部件152和物理层Rx 154，和上述网络10 —样，可以使用利用LAN、WAN、ADSL、电力线、LVDS连接线、HDMI、无线LAN(IEEE802. 11)、蓝牙、WiMax或超宽带无线电之类的任何网络。
此外，在本实施例中，假定使用TCP或UDP/RTP协议。然而，本发明不限于这样的示例并且适用于可以区分图像数据和控制数据的任何协议。 例如，使用流程图描述的根据一个实施例的发送处理和接收处理不必按照流程图中描述的次序来执行。处理步骤可以包含并行执行或独立地单独执行的步骤。
本申请包含与2008年12月11日在日本专利局提交的日本优先权专利申请JP2008-315615中所公开的主题有关的主题，其全部内容通过引用被结合于此。
权利要求
一种发送设备，包括图像叠加部件，所述图像叠加部件通过将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上来生成叠加后的图像数据；图像压缩部件，所述图像压缩部件以与一个场中的N行(N大于等于1)相对应的编码单位对由所述图像叠加部件生成的叠加后的图像数据进行编码；以及通信部件，所述通信部件发送由所述图像压缩部件编码出的叠加后的图像数据。
2. 根据权利要求1所述的发送设备，还包括复用部件，所述复用部件将用来控制通信的第二控制数据与由所述图像压縮部件编码 出的叠加后的图像数据进行复用，其中所述通信部件发送被所述复用部件与所述第二控制数据复用的叠加后的图像数据。
3. 根据权利要求2所述的发送设备，其中，所述通信部件还与已经接收到所述叠加后 的图像数据的另一设备所显示的用户界面图像相关联地接收从外部设备发送的操作信号。
4. 一种接收设备，包括通信部件，所述通信部件接收叠加后的图像数据，所述数据叠加后的图像数据是通过 将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上而生 成的并且是以与一个场中的N行(N大于等于1)相对应的编码单位被编码的；以及图像解码部件，所述图像解码部件以所述编码单位对由所述通信部件接收到的所述叠 加后的图像数据进行解码。
5. 根据权利要求4所述的接收设备，还包括分离部件，所述分离部件在所述叠加后的 图像数据被所述图像解码部件解码前从所述叠加后的图像数据分离出用来控制通信的第 二控制数据。
6. 根据权利要求4所述的接收设备，其中，所述通信部件将所接收到的叠加后的图像 数据中所包含的误差率与某一阈值相比较，并且如果误差率不大于所述阈值，则使得所述 图像解码部件对所述叠加后的图像数据进行解码。
7. 根据权利要求6所述的接收设备，其中，如果所接收到的叠加后的图像数据中所包 含的误差率大于所述某一阈值，则所述通信部件向所述叠加后的图像数据的发送源设备发 送对误差通知的响应信号。
8. 根据权利要求4所述的接收设备，其中，所述叠加后的图像数据是包含两种或更多种图像数据的被分级编码出的图像数 据，所述两种或更多种图像数据包括具有低图像质量的低频图像数据和具有高图像质量的 高频图像数据，并且如果某一频率的低频图像数据被所述通信部件接收到作为所述叠加后的图像数据，则 所述图像解码部件对所接收到的叠加后的图像数据进行解码，而不论更高频率的图像数据 是否被接收到。
9. 一种发送设备，包括图像叠加部件，所述图像叠加部件通过将基于用来控制用户界面的第一控制数据而生 成的用户界面图像叠加到内容图像上来生成叠加后的图像数据；图像压縮部件，所述图像压縮部件对由所述图像叠加部件生成的叠加后的图像数据进 行编码；复用部件，所述复用部件将用来控制通信的第二控制数据与由所述图像压縮部件编码 出的叠加后的图像数据进行复用；以及通信部件，所述通信部件发送被所述复用部件与所述第二控制数据复用的叠加后的图 像数据。
10. —种接收设备，包括通信部件，所述通信部件接收叠加后的图像数据，所述叠加后的图像数据是通过将基 于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上而生成的 并且是与用来控制通信的第二控制数据复用的；分离部件，所述分离部件从由所述通信部件接收到的叠加后的图像数据中分离出所述 第二控制数据；以及图像解码部件，所述图像解码部件对被所述分离部件从中分离出所述第二控制数据的 所述叠加后的图像数据进行解码。
11. 一种通信系统，包括 发送设备，包括图像叠加部件，所述图像叠加部件通过将基于用来控制用户界面的第一控制数据而生 成的用户界面图像叠加到内容图像上来生成叠加后的图像数据；图像压縮部件，所述图像压縮部件以与一个场中的N行(N大于等于1)相对应的编码 单位对由所述图像叠加部件生成的叠加后的图像数据进行编码；以及发送侧通信部件，所述发送侧通信部件发送由所述图像压縮部件编码出的叠加后的图 像数据；以及接收设备，包括接收侧通信部件，所述接收侧通信部件接收由所述发送设备发送的叠加后的图像数 据；以及图像解码部件，所述图像解码部件以所述编码单位对由所述接收侧通信部件接收到的 叠加后的图像数据进行解码。
12. —种通信方法，包括以下步骤在发送设备中通过将基于用来控制用户界面的第一控制数据而生成的用户界面图像 叠加到内容图像上来生成叠加后的图像数据；以与一个场中的N行(N大于等于l)相对应的编码单位对所生成的叠加后的图像数据 进行编码；从所述发送设备向接收设备发送所编码出的叠加后的图像数据； 在所述接收设备中接收由所述发送设备发送的叠加后的图像数据；以及 以所述编码单位对所接收到的叠加后的图像数据进行解码。
13. —种计算机程序产品，具有指令，所述指令使得控制发送设备的计算机用作 图像叠加部件，所述图像叠加部件通过将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上来生成叠加后的图像数据；图像压縮部件，所述图像压縮部件以与一个场中的N行(N大于等于l)相对应的编码 单位对由所述图像叠加部件生成的叠加后的图像数据进行编码；以及通信部件，所述通信部件发送由所述图像压縮部件编码出的叠加后的图像数据。
14. 一种计算机程序产品，具有指令，所述指令使得控制接收设备的计算机用作 通信部件，所述通信部件接收叠加后的图像数据，所述叠加后的图像数据是通过将基 于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上而生成的 并且是以与一个场中的N行(N大于等于1)相对应的编码单位被编码的；以及图像解码部件，所述图像解码部件以所述编码单位对由所述通信部件接收到的所述叠 加后的图像数据进行解码。
全文摘要
本发明提供了一种发送设备、接收设备、通信系统、通信方法和程序。该发送设备包括通过将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上来生成叠加后的图像数据的图像叠加部件；以与一个场中的N行(N大于等于1)相对应的编码单位对由所述图像叠加部件生成的叠加后的图像数据进行编码的图像压缩部件；以及发送由所述图像压缩部件编码出的叠加后的图像数据的通信部件。
文档编号H04N5/445GK101753868SQ200910259118
公开日2010年6月23日 申请日期2009年12月11日 优先权日2008年12月11日
发明者石见英辉 申请人:索尼株式会社