专利名称：用于对内容数据进行上转换的设备和方法
技术领域：
本发明涉及用于对包括多个成分的内容数据进行上转换
(upconvert) 的设备和方法。
背景技术：
迄今为止，已经研究出与用于实现更真实更强大的图像和 声音的上转换处理有关的各种技术，诸如用于增强视频图像质 量和声音质量的技术。
随着显示画面的大小和分辨率的增加，未来对配备有图像 质量增强技术的产品需求也将增长。例如，已经开始研究用于 通过分类/适应处理将标准清晰度(SD)视频图像转换为高清 晰度(HD)视频图像(分辨率转换)的技术。此外，已经提出 了用于增强图像质量的各种技术，诸如用于通过Y校正(伽马校 正)或轮廓校正来生成高质量视频图像的技术。
日本特开平07-321662讨论了 一种结合时域处理和频域处 理以增加处理精度的技术。日本特开2004-246526讨论了 一种用 于考虑到获得数据处的真实事件来实现更精确地与该真实事件 相对应的高精度处理结果的技术。
此外，对配备有声音质量增强技术的产品的需求也在增加。 日本特开平09-261071讨论了 一种用于将从致密盘(CD)提取 的并具有采样频率f S的多位音频数据的格式转换为具有采样频 率mxfS(m为整数)的l位音频数据的技术。该技术甚至能够 再现不能由CD实现的微妙声音或细微差别。
存在两种用于上转换处理的方法，即，用于与内容数据的 再现并行地处理该数据的方法和用于在时间上不与所述再现并行地处理内容数据的方法。
例如，在通过动态伽马校正来提升视频图像质量的情况下， 可以与再现几乎并行地处理内容数据。另一方面，在通过分辨 率转换提升视频图像质量或通过格式转换提升声音质量的情况 下，在某些情况中，由于其高处理负荷，因而不能与再现并行 地处理内容数据。
例如，如上所述，在将从CD提耳又的多位音频数据的格式转 换为l位音频数据的情况下，如果系统吞吐量不是很高，则处理 要花费音乐的再现时间的几倍时间。在该情况下，可以将内容 数据临时存储在记录介质中，然后逐步进行上转换。在以这种 方式逐步上转换数据的情况下，如果处理时间很长，则会发生 以下问题。也就是说，当用户想要再现正在处理的内容数据时， 不能再现该内容数据。
根据数字广播标准和数字多用途盘(DVD)等封装介质采 用的运动图片专家组2( MPEG-2 )标准，多个基本流(elementary stream, ES)被复用。具体地，例如视频图像、声音以及附加
信息等的多个成分被复用。
根据该标准，多个视频成分被复用，以使用户能够同时或 者通过自由地切换角度来观看多角度视频图像(在不同角度利 用多个照相机拍摄的视频图像)。此外，可以通过复用多个音频 成分来支持多种语言。
在对通过复用多个成分(基本流)获得的内容数据进行上 转换时，如果并行上转换所有成分，则对该系统施加高处理负 荷。然而，在许多情况下不必同时上转换所有成分。
例如，如果用户只想观看多角度视频图像的主视频图像， 则优选在子视频图像之前(先于)增强主视频图像的质量。如 果用户希望以高的声音质量观看音乐节目，则优选在图像质量之前(先于)增强声音质量。
发明内容
本发明的实施例可以提供一种可以有效地对包括多个成分 的内容数据进行上转换的信号处理设备和信号处理方法。
根据本发明的一方面， 一种上转换设备，用于对包括能够 由再现设备再现的两个或更多个成分的内容数据进行上转换，
所述上转换设备包括上转换控制部件，用于生成用于所述内 容数据的上转换控制信息；以及处理部件，用于根据所生成的 所述上转换控制信息，对所述内容数据的一个或更多个成分进 行上转换。
根据本发明的另一方面， 一种方法，用于对包括能够由再 现设备再现的两个或更多个成分的内容数据进行上转换，所述 方法包括以下步骤生成用于所述内容数据的上转换控制信息； 以及根据所生成的所述上转换控制信息，对所述内容数据的一 个或更多个成分进行上转换。
根据本发明的典型实施例，在对包括多个成分的内容数据 进行上转换时，能够以高效的顺序对多个成分进行上转换。这 增强了用户的便利性。
根据以下参考附图对典型实施例的详细说明，本发明的其 他特征和方面将变得明显。
包含在说明书中并构成说明书的 一部分的附图示出本发明 的典型实施例、特征和方面，并与说明书一起用于解释本发明 的原理。
图l是示出根据本发明第一典型实施例的信号处理设备的结构的框图。图2是示出图l的上转换处理单元的内部结构的框图。 图3示出存储在图1的存储器中的内容信息的例子。图4是示出第 一 典型实施例的上转换处理过程的流程图。 图5是示出用于确定上转换目标成分和处理顺序的过程的流程图。图6示出用于检查上转换处理进程的画面例子。 图7示出上转换处理所需的时间段。图8示出根据第 一典型实施例的变形例的内容信息的例子。 图9是示出用于由用户确定成分的上转换处理顺序的过程 的流程图。图10示出用于设置上转换处理顺序的图形用户界面(GUI) 画面的 <列子。图ll示出更新后的内容信息的例子。图12示出才艮据本发明第二典型实施例的自动显示的向导画 面的例子。图13示出根据本发明第三典型实施例的内容信息的例子。 图14示出第三典型实施例的种类列表信息的例子。 图15是示出根据本发明第四典型实施例的信号处理设备的 结构的框图。图16示出由图15的观看历史收集单元收集到的观看历史信 息的例子。图17是示出第四典型实施例的处理过程的流程图。
具体实施方式
下面将参考附图详细说明本发明的各典型实施例、特征和方面。第一实施例图1是示出根据本发明第 一 实施例的信号处理设备1 0 0的结 构的框图。在图l中，将通过天线(或线缆)接收到的广播信号 输入到调谐器单元101。调谐器单元101对从天线接收到的广播信号进行解调、纠错或其他处理，以生成并输出传送流(TS ) 格式的数据(TS数据)。分离单元102提取从与从调谐器单元101输出的多个信道相 对应的TS数据选4奪的信道的数据。然后，分离单元102向解码 器103输出视频数据和音频数据，并向流数据处理单元116输出 电子节目指南(EPG)数据和广播数据。解码器103对来自分离单元102的音频数据进行解码，并将 解码后的数据输出到音频输出单元105。音频输出单元105对由 解码器10 3解码后的音频数据进行放大和数字-模拟转换，然后 将所生成的数据输出到扬声器107。另外，解码器103对来自分 离单元102的视频数据进行解码，并将该数据输出到画面合成单 元104。流数据处理单元116经由总线将从分离单元102输出的EPG 数据和广播数据存储在存储器117中。画面合成单元104响应于 从远程控制器119输入的用户指令，读取存储在存储器117中的 EPG数据或广播数据，以组成EPG画面或数据广播画面。然后， 画面合成单元10 4将该数据与来自解码器10 3的视频数据结合， 并将所生成的数据输出到视频输出单元10 6 。碎见频输出单元10 6 将由画面合成单元104组成的画面显示在显示单元108上。存储/再生控制单元109响应于从远程控制器119输入的用 户指令，将来自调谐器单元101的TS数据存储在数据存储单元 IIO中，或者从数据储存单元110读取TS数据，以再生该数据。 此外，存储/再生控制单元109在上转换处理中再生存储在数据存储单元110中的TS数据。存储/再生控制单元109在再生中将从数据存储单元110读取的T S数据输出到分离单元10 2 。上转换处理单元113 (处理部件)对从解码器103输出的视 频数据和音频数据进行上转换处理，并将所生成的数据输出至)J 编码/复用单元lll。图2是示出图1的上转换处理单元113的内部结构的框图。从 解码器10 3输出的数据经由选择器3 01输入到上转换处理单元 113。具体地，将从解码器103输出的视频成分(视频基本流) 输入到高质量图像生成单元302以增强图像质量，并且将从解码 器103输出的音频成分(音频基本流)输入到高质量声音生成单 元303以增强声音质量。如果从解码器103输出的数据包括上转换目标成分以外的 成分，则将该数据输入到编码/复用单元lll而不进行上转换。 上转换控制单元112(上转换控制部件)根据成分属性信息("成 分类型"或"标签值")来控制选择器301的操作。将来自高质量图像生成单元302的质量增强视频数据和来 自高质量声音生成单元303的质量增强音频数据输入到编码/复 用单元lll。在图l中，编码/复用单元1U对上转换后的视频数据和音频 数据进行编码，并将所生成的数据与从流数据处理单元116输出 的广播数据一起复用。通过存储/再生控制单元109将由编码/复 用单元lll复用的TS数据存储在数据存储单元110中。上转换控制单元112控制上转换处理单元113的上转换操 作。具体地，上转换控制单元112将与存储在数据存储单元110 中的内容数据(TS数据)有关的内容信息存储在存储器117中， 然后基于内容对该内容信息进行登记、更新以及删除。当存储/再生控制单元109将该内容存储在数据存储单元110中或者预约数据存储单元110以存储该内容时，登记内容信息。该内容信息可以与内容数据一起存储在数据存储单元110 中。下面将详细说明上转换控制单元112的控制操作。在此，本发明中的上转换处理是指实际上难以实时执行的 质量增强处理(增强图像质量和声音质量)，即，需要比内容的 实际时间长度更长的时间的质量增强处理。例如，该上转换处 理假定为用于参考多个视频帧再现细节并将视频数据转换为高 清晰度视频图像的处理等的施加高处理负荷的质量增强处理。在这样的情况下，使用复杂的算法，从而难以实时进行上 转换处理。此外，在执行再现忠实于原始声音的声音和再现逼 真声音等复杂的声音质量增强处理的情况下，难以实时进行上 转换处理。为此，在本发明的典型实施例中，逐步上转换存储在数据 存储单元110中的内容数据(TS数据)。也就是说，经由分离单 元102和解码器103将通过存储/再生控制单元109从数据存储单 元110读取的内容数据(TS数据)提供给上转换处理单元113， 然后对该内容数据进行上转换。用户界面(UI)控制单元114根据从远程控制器119输入的 用户指令或系统操作状态，从存储器117获取各种类型的GUI 数据(图像数据、文本数据等)。然后，UI控制单元114控制画 面合成单元104以组成各种GUI画面。主控制单元115对信号处理设备100中的各模块进行控制。 光接收单元118接收从远程控制器119输入的远程控制信号，并 将该信号传送给各控制单元。图3示出存储在图1的存储器117中的内容信息的例子。在图 3中，内容信息表包括节目识别信息、成分属性信息、关于上转 换处理顺序的信息、以及是否完成上转换处理的信息。节目识别信息用于识别存储在数据存储单元110中的内容 数据(节目)。该信息由包括在EPG数据中的"服务id"、"事件id"、 "开始时间，，以及"事件名称，，组成。"服务id，，是用于识别广播站 (或信道编号)的识别编号。"事件id"是用于识别节目的识别 编号。"开始时间"表示目标节目的开始日期和时间，"事件名称" 表示节目名称。在节目映射表(PMT)中描述"标签值"，并将其分配给内 容数据的各成分。无线电工商业协会(ARIB)标准STD-B10将 成分的"标签值"指定为"成分标签"。例如，ARIB STD-B10将范 围从0 x 00到0 x 0F中的"标签值，，分配给一见频成分，将范围从0 x 10到0 x 2F中的"标签值，，分配给音频成分，将范围从0 x 30到0 x 7F中的"标签值"分配给其他成分。在事件信息表(EIT)中描述"成分类型"，并且"成分类型" 表示内容数据的各成分(主视频数据、子视频数据l、子视频数 据2、主音频数据、子音频数据l、子音频数据2等)的属性。由 EIT中的描述符"text—char，，来定义"成分类型"。此外，在允许用 户同时观看多个多角度视频图像或允许用户可切换地观看图像 的多 一见角TV月良务中定义"Gr.ID，，。由EIT中的成分组描述符 "component—group—id，，来定义"Gr.ID"。上转换控制单元112根据内容数据中的成分的成分属性信 息("成分类型"或"标签值")来确定上转换处理顺序。例如， 节目A的成分的上转换处理顺序被确定为"主视频数据(默 认)"、"主音频数据(默认)"、"子视频数据l"、"子音频数据 1"。在该情况下，确定该处理顺序，使得视频数据先于音频数 据，并且主成分先于任何子成分。此外，由于低优先级，不对"子 视频数据2"和"子音频数据2"进行上转换处理，并且不确定它们的处理顺序。然而，上述处理顺序是例子并且本发明不局限于 此。下面说明用于确定上转换处理顺序的过程。已上转换/未上转换的列中的信息是表示各成分的上转换 处理是否完成的标志。如果完成了上转换处理，则设置"0x 01"。 另一方面，如果未完成上转换处理，则设置"0x00"。在本典型 实施例中，只打算对视频数据和音频数据进行上转换处理而不对其他数据(EPG数据或广播数据)进行上转换处理，从而设 置"0 x FF"。图4是示出第一典型实施例的上转换处理过程的流程图。在 步骤S401,当系统操作可用性低于预定的阈值时，上转换控制 单元112开始控制上转换处理。在本典型实施例中，如果资源(中 央处理单元(CPU))的操作负荷低，则将对存储在数据存储单 元110中的内容数据进行上转换。然而，上转换控制单元112可 以响应于开始上转换处理的用户指示，开始控制该上转换处理。在步骤S402,上转换控制单元112从存储器117读取作为上 转换目标的内容数据的内容信息，并确定上转换目标成分和上 转换处理顺序。稍后将参考图5详细说明步骤S402中的操作。接下来，在步骤S403,存储/再生控制单元109再生存储在 数据存储单元110中的内容数据。在步骤S404，分离单元102将 再生的内容数据分离为视频数据、音频数据以及其他数据。在 步骤S405,解码器103对从分离单元102输出的视频数据和音频 数据进行解码。接下来，在步骤S406,上转换处理单元113对从解码器103 输出的视频数据和音频数据中的上转换目标成分进行上转换。在步骤S407,编码/复用单元111对从上转换处理单元113输 出的各成分进行编码。接下来，在步骤S408,编码/复用单元111 将编码后的成分与来自流数据处理单元116的成分(E P G数据或广播数据等) 一起进行复用，以生成TS数据。在步骤S409，存储/再生控制单元109将复用后的内容数据 (TS数据)存储在数据存储单元110中。在步骤S410中，上转 换控制单元112更新存储器117中的内容数据，从而为已上转换 的成分设置"已上转换"。以这种方式对所有内容数据执行上述 上转换处理，直到整个内容数据成为"已上转换"。然后，完成 系列处理。图5是示出图4的步骤S402中用于确定上转换目标成分和 上转换处理顺序的处理的详细流程图。在步骤S501，上转换控 制单元112读取存储在存储器117中的内容信息，并获取各内容 的"开始时间"。然后，在步骤S502，上转换控制单元112将具有最早"开始 时间"的内容数据指定为上转换目标内容数据。然而，如果所指 定的内容数据已经被上转换或者包括非上转换目标成分，则将 具有次早"开始时间"的内容数据指定为上转换目标。接下来，在步骤S503，上转换控制单元112获取所指定的 内容数据的内容信息中的EIT,并分析内容数据中的各成分的 成分属性信息("成分类型"或"标签值")。然后，在步骤S504, 上转换控制单元112基于成分属性信息，确定上转换目标成分和 各成分的处理顺序。在本典型实施例中，如图3中所示，将上转换处理顺序设置 为"主视频数据"、"主音频数据"、"子视频数据l"、"子音频数 据l，，的顺序(增加"标签值，，的顺序)。对于符合多视角TV服务 的内容数据，将处理顺序设置为增加"Gr.ID"值的顺序和在相同 的"Gr.ID，，中增加成分标签值的顺序。在此，将"主视频数据"、"主音频数据"、"子视频数据l"、 以及"子音频数据l"设置为上转换目标，而不将"子视频数据2"、"子音频数据2"以及"其他数据，，设置为上转换目标，但是本 发明不局限于此。例如，可以将所有视频成分和音频成分设置 为上转换目标，也可以只将与"主视频数据"和"主音频数据"相 对应的成分设置为上转换目标。接下来，在步骤S505，上转换控制单元112更新成分信息 以登记所确定的处理顺序。图6示出用于检查上转换处理进程的示例画面。如果用户利 用远程控制器119发出显示用于检查上转换处理进程的画面的 指令，则如图6中所示，通过UI控制单元114和画面合成单元104 来纟且成画面。远程控制器119可以包括用于"显示上转换程度"的专用按 钮，或者可以将"显示上转换程度"添加到菜单项中。在图6中， 上转换程度表示内容数据(节目)的上转换处理的进程。在本典型实施例中，可以显示以下四种状态。也就是说， 如果已经上转换所有上转换目标成分，则显示"(§):推荐！"。 如果仅上转换了与"主视频数据"和"主音频数据"相对应的成 分，则显示"o:最佳"。此外，如果仅上转换了 "主视频数据" 成分，则显示"A:几乎完成"。如果还未执行上转换处理，则显 示"x:未处理"。用户可以在画面上选择和再生所希望的内容数据。在再生 和观看分级为"o:最佳，，的节目的情况下，控制单元可以在用户 正在观看节目时，对还未完成上转换的目标成分执行上转换处 理。在该情况下，可以想到在用户观看节目的同时完成了对所 有成分的上转换处理，并将上转换程度改变为" :推荐！"。在本典型实施例中，逐一顺序上转换内容数据(节目)，但 是每次可以上转换多个节目。如果并行上转换多个节目，则可 以将该多个节目都分级为"o:最佳"或"A:几乎完成"。图7示出上转换处理所需的时间段。参考图7，说明从时间 tO开始对"主视频数据"、"主音频数据"、"子视频数据l"、"子音 频数据1 "四个成分进行上转换处理的情况。如图3中所示，根据第一典型实施例，以"主视频数据"、"主 音频数据"、"子视频数据l"、"子音频数据l"的顺序对成分进行上转换。在该情况下，在从时间to到时间ti期间，上转换程度为"x:未处理"。在时间tl,完成了对"主视频数据"的上转换处 理，并将上转换程度改变为"A:几乎完成"。然后，在时间t2,完成了对"主音频数据"的上转换处理， 并将上转换程度改变为"o:最佳"。在时间t4,完成了对"子视 频数据l"的上转换处理，在时间t5，完成了对"子音频数据l"的 上转换处理。然后，将上转换程度改变为" :推荐！"。相反，根据作为根据本发明的第 一 变体的比较例子1,以"主 视频数据"、"子视频数据l"、"主音频数据"、"子音频数据l"的 顺序对成分进行上转换。在时间tl,完成了对"主视频数据"的 上转换处理，并将上转换程度改变为"A:几乎完成"。之后，在 时间t3,完成了对"子视频数据l"的上转换处理，但是不改变上 转换程度。在时间t4,完成了对"主音频数据"的上转换处理，并将上 转换程度改变为"o:最佳"，然后，在时间t5,完成了对"子音 频数据l"的上转换处理，并将上转换程度改变为" :推荐！"。此外，根据作为根据本发明的第二变体的比较例子2，并行 上转换成分"主视频数据"、"子视频数据l"、"主音频数据"、"子 音频数据1"。在该情况下，在从时间t0到时间t5期间，将上转 换程度保持在"x:未处理"。然后，在时间t5，完成了对所有"主 视频数据"、"子视频数据l"、"主音频数据"、"子音频数据l"的 上转换处理，并将上转换程度改变为" :推荐！"。假设结束时间在逐 一 对四个成分进行上转换的情况和并行 对四个成分进行上转换的情况之间是相同的情况下说明了这些 例子，但是结束时间可以在一定程度上变化。如上所述，与比较例子1和2相比，对于达到"o:最佳"的上 转换程度，本发明的第一典型实施例是最快的(在时间t2)。如果完成了对"主视频数据"和"主音频数据"的上转换，则用户虽然不能享受多视角TV服务，但是可以观看具有"主视频数据"和 "主音频数据"的集合中的内容。大多数用户通常观看具有"主视频数据"和"主音频数据"的 集合中的内容，所以按照本发明第一典型实施例来确定成分的 上转换处理顺序是有效的。以这种方式，优先上转换用户观看 的可能性高的成分允许用户享受观看在较早的时间上转换的内 容。在本典型实施例中，只打算对视频数据和音频数据进行上 转换处理，但是本发明不局限于此。例如，可以对与数据广播 相对应的成分进行上转换处理。在本典型实施例中，再次对上转换后的成分进行编码和复 用，然后将其转换为TS数据格式并存储，但是数据格式不局限 于此。例如，可以以可再生的形式存储上转换后的成分，而不 对其进行编码或复用。在该情况下，在再生该数据时，可以省 略分离处理和解码处理。此外，代替上转换存储的所有内容数据，可以基于用户喜 好信息优先上转换更适合于用户喜好的内容数据。第一典型实施例的变形例在第一典型实施例中，上转换控制单元112基于各成分的成 分属性信息("成分类型，，或"标签值")，来确定上转换处理顺序， 从而逐一顺序上转换内容数据的成分。根据第一典型实施例的变形例，并行处理视频数据和音频数据。图8示出根据第 一典型实施例的变形例的内容信息的例子。 在图8中，在节目A的成分的上转换处理顺序中，例如"主—见频 数据(默认)"和"主音频数据(默认)"为第一，"子视频数据l"和"子音频数据r，为第二。此外，以第三的顺序上转换"子视频数据2"和"子音频数据2"。在该情况下，以增加"标签值"的顺序确定处理顺序，并且 主数据先于子数据。如果不对低优先级"子视频数据2"和"子音 频数据2"进行上转换处理，则不对"子视频数据2"和"子音频数 据2"的处理顺序进行确定。在第一典型实施例的该变形例中，图2的选择器301将从解 码器103输出的视频成分和音频成分分别并行输入到高质量图 像生成单元302和高质量声音生成单元303。然后，并行执行高 质量图像生成单元302中的图像质量增强处理和高质量声音生成单元303中的声音质量增强处理。 第二典型实施例根据本发明第二典型实施例，用户可以确定上转换目标内 容数据(节目)的成分的处理顺序。以下说明集中于与第一典 型实施例的不同点。与第 一典型实施例中的成分类似的成分由 相同的附图标记来表示，因此不再重复对其的详细说明。图9是示出用户如何设置成分的上转换处理顺序的流程图。 参考在第一典型实施例中使用的图8和图1,接下来说明在进行 内容的记录预约或者改变所预约的内容中用于设置上转换处理 顺序的过程。在此，主控制单元115向各处理单元发出用于执行 系列处理的全部指令。在步骤S801, UI控制单元114响应于来自远程控制器119的 用户操作，将记录预约/改变画面显示在显示单元108上。在步骤S802,主控制单元115判断用户是否请求设置预约 记录的内容数据(节目)中的上转换目标成分的处理顺序。如果用户没有输入请求(步骤S802中为"否")，则处理进入步骤 S804。在步骤S804 ,主控制单元115进行记录预约或者改变设置 以更新预约记录的内容数据(节目)的内容信息。如果用户新 预约了要记录的节目，则主控制单元115新登记目标内容数据 (节目)的内容信息。另一方面，如果用户输入设置上转换目标成分的处理顺序 的请求(步骤S802中为"是")，则处理进入步骤S803。在步骤 S803, UI控制单元114显示用于设置上转换处理顺序的GUI画面 (参见图10 )。当用户在所显示的GUI画面上设置上转换目标成 分的处理顺序时，处理进入步骤S804。在步骤S804,主控制单 元115更新内容信息。图IO示出用于设置上转换处理顺序的GUI画面的例子。从 图IO明显看出，从顶部开始以默认的顺序显示多个上转换目标 成分("主视频数据"、"主音频数据"、"子视频数据l、"子音频 数据l，，)。例如，事先以与第一典型实施例类似的方式确定默认 的处理顺序。用户可以通过操作远程控制器119的光标控制键，将焦点移 动到目标成分并按下输入键，来改变成分的处理顺序。此外， 用户可以通过操作远程控制器119,来上转换上转换目标成分以 外的成分("子视频数据2"、"子音频数据2，，等)。可以随着焦点 的移动来显示超出GUI画面显示能力的成分。图ll示出在图9的步骤S804中更新后的内容信息的例子。 从图ll可理解，设置表示用户是否设置上转换顺序的"用户设 置"列。如果用户在GUI画面上改变上转换目标成分的处理顺序，则在"用户设置"列中显示"0 x 01";否则，在"用户设置"列中显示"0 x 00"。在图ll中，"节目A"中的"主视频数据"和"主音频数据"的处 理顺序被互换，并且成分的处理顺序的设置被改变，从而在"节 目A"的"用户i殳置"列中显示"0 x 01"。此外，由于"节目B"的成 分的处理顺序没有改变，所以在"节目B，，的"用户设置，，列中显示 "0 x 00"。图10示出在用户输入设置成分的处理顺序的请求的情况下 显示用于设置上转换处理顺序的GUI画面的例子。然而，可以 基于预定条件自动显示向导画面。例如，如第一典型实施例中 所述，如果自动开始上转换处理，则在上转换处理开始时自动 显示用于设置上转换处理顺序的向导画面。图12示出在第二典型实施例中自动显示的示例向导画面。 在图12中，显示表示可以设置上转换处理顺序的GUI消息。在 预定时间段过去之后该向导画面自动消失。如果用户通过操作 远程控制器119在该向导画面上选择"是"，则UI控制单元114显 示图10的GUI画面。如果用户已经改变上转换目标内容数据(节目)的成分的 处理顺序，则可以将该向导画面设置为不显示。在该情况下， 只有当用户还未改变成分的处理顺序(在"用户设置"列中设置 "0x00")时，才显示该向导画面。可选地，可以仅在上转换目 标内容数据(节目)不是用户预约记录的节目而是根据喜好信 息自动记录的节目时才显示该向导画面。如上所述，根据第二典型实施例，用户可以设置上转换目 标内容数据(节目)的成分的处理顺序。结果，可以较早地上 转换所希望的成分，并且该设备可以根据用户请求进行灵活的 上转换处理。在第二典型实施例中，逐一顺序上转换成分，但是如第一 典型实施例的变形例中所述，可以并行处理视频成分和音频成分。第三典型实施例在确定上转换目标内容数据(节目)的成分的处理顺序的 方式上，本发明第三典型实施例不同于第一典型实施例。以下 说明集中于与第 一典型实施例的不同点。与第 一典型实施例中 的成分类似的成分由相同的附图标记来表示，因此不再重复对其的详细"i兌明。在第三典型实施例中，在执行第一典型实施例中说明的图5 的步骤S504中的处理(确定上转换目标成分和上转换处理顺 序)中使用内容数据的种类信息。根据第三典型实施例的信号 处理设备的结构与图l中示出的第 一典型实施例的结构相同，因 此不再详细i兌明。然而，存储在存储器117中的内容信息包括关于每个内容数 据(节目)的种类的信息。存储器117还存储在确定上转换目标 成分和上转换处理顺序时参考的种类列表信息。图13示出根据第三典型实施例的内容信息的例子。从图13 可理解，设置表示每个内容数据(节目)的种类信息的"种类" 列。"节目C"的种类被设置为"O x 0601","节目D"的种类被设置 为"0 x 0000"。在该例子中，在EIT的"content—nibble—levell"描 述符和"content—nibble—level2"描述符中描述种类信息。图14示出根据第三典型实施例的种类列表信息的例子。存 储器117预先存储与图14中所示的各种类相关联地规定上转换 目标成分的处理顺序的种类列表信息的表。例如，将与种类"电 影(日本影片)"相对应的成分的处理顺序设置为"主视频数据"、 "主音频数据(JP:日语)"、"子视频数据l"、"子视频数据2"、"子音频数据1(ENG:英语)"的顺序，并且根据"标签值"确定第六个和随后成分的处理顺序。上转换控制单元112参考存储在存储器117中的内容信息， 以获得上转换目标内容数据的种类信息。随后，上转换控制单 元112读取图14的种类列表信息，并参考与上转换目标内容数据 的种类信息相对应的上转换处理顺序。然后，上转换控制单元 112设置成分的处理顺序，并将该顺序登记在图13中所示的内容 信息中。例如，如图13中所示，"节目C"的种类"0 x 0601"对应于"电 影(日本影片)"。如图14中所示，指定为种类"电影(日本影 片)，，的成分的处理顺序被设置为"主视频数据"、"主音频数据 (JP:日语)"、"子视频数据l"、"子视频数据2"、"子音频数 据1(ENG:英语)"的顺序。因此，如图13中所示，"节目C" 的成分的处理顺序被设置为"主视频数据"、"主音频数据(JP: 日语)"、"子视频数据l"、"子视频数据2"、"子音频数据l( ENG: 英语)"的顺序。如图14中所示，根据"标签值，，确定第六个和随后成分的处 理顺序。由于，"节目C"的"子音频数据2"的"标签值0xl2" 大于在处理顺序中的第五位置处的"子音频数据l"的"标签值0 x 11 ，，，所以将"子音频数据2 ，，设置为该处理顺序中的第六位置。此外，"节目D"的种类"O x OOOO"对应于"新闻"。如图14中 所示，指定为种类"新闻"的成分的处理顺序被设置为"主视频数 据"、"主音频数据"、"子音频数据"的顺序。因此，如图13中所 示，"节目D"的成分的处理顺序被设置为"主视频数据"、"主音 频数据"、"子音频数据l"的顺序。在该情况下，不对其他成分 (例如，"子视频数据l"、"子视频数据2"、"子音频数据2")进 行上转换处理。如上所述，根据第三典型实施例，基于内容数据的种类， 确定上转换目标成分和上转换处理顺序，从而控制上转换处理 以便更适合于内容的特征。因此，例如在重点放在声音质量而不是图像质量的音乐节 目的情况下，优先增强"主音频数据"成分的声音质量，并且用 户可以较早地听到高质量音频内容。在重点放在图像质量而不 是声音质量的新闻节目的情况下，优先增强"主视频数据"成分 的图像质量，并且用户可以较早地观看到高质量^L频内容。在第三典型实施例中，逐一顺序上转换成分，但是如第一 典型实施例的变形例中所述，可以并4亍处理^L频成分和音频成 分。第四典型实施例与第三典型实施例类似，在确定上转换目标内容数据(节 目)的成分的处理顺序的方式上，本发明第四典型实施例不同 于第 一典型实施例。以下说明集中于与第 一典型实施例的不同 点。与第 一典型实施例中的成分类似的成分由相同的附图标记来表示，因此不再重复对其的详细说明。在第四典型实施例中，在执行第一典型实施例中所述的图5 的步骤S504中的处理(确定上转换目标成分和上转换处理顺 序)中使用用户的观看历史信息(过去的再现行为)。图15是与图l相对比地示出根据本发明第四典型实施例的 信号处理设备100的结构的框图。图l和图15之间的差别在于第 四典型实施例的信号处理设备100包括观看历史收集单元120。观看历史收集单元120收集与通过用户操作远程控制器119 选择的节目(内容)有关的观看历史信息，并将收集到的信息 存储(记忆)在存储器117中。除用户实际选择并观看的节目以 外，观看历史收集单元120还收集与例如通过预约选择的节目的再生状态有关的信息。图16示出由图15中的观看历史收集单元120收集到的观看历史信息的例子。在图16中，"服务id"、"事件id"、"开始时间"、 "事件名称，，是以上参考图3所描述的用于识别广播站、节目开始 时间以及节目名称的信息。此外，"种类"是以上参考图13所描 述的种类信息。"系列id"表示作为用于判断目标节目是否为系列节目(多 次广播的连续节目)的系列信息的EIT的系列描述符。此外，"观 看成分"和"观看时间"表示用户观看的一见频成分/音频成分的 "成分类型"(或"标签值")和观看时间。在本典型实施例中， 每个内容数据的内容信息包括系列信息("系列id")。如图16中所示，例如，节目"F1"的种类信息("种类")被 设置为"0x0100",并且其系列信息("系列id")被设置为"Ox 0106"。从图16明显看出，用户观看了节目"F1"的"主^L频数据" 和"主音频数据"成分56分15秒，观看了 "子视频数据l"和"子音 频数据1"成分2小时30分48秒，并且观看了 "子视频数据2"和"子 音频数据2"成分16分21秒。图17是示出第四典型实施例中的处理过程的流程图。在此， 在第 一典型实施例中所述的图5的步骤S503和S505之间执行图 17的流程图中所示的步骤。在步骤S1901，上转换控制单元112从存储器117读取上转换 目标内容数据(节目)的内容信息，以获得系列信息("系列id")。 然后，在步骤S1902，上转换控制单元112参考存储(记忆)在 存储器117中的观看历史信息，以判断用户过去是否已经观看过 与获得的系列信息相同的系列的内容。如果用户过去已经观看过相同系列的内容(步骤S1902中 为"是，，)，则处理进入步骤S1903。在步骤S1903，上转换控制单元112计算用户过去观看过的相同系列的内容成分的总的观看时间。另 一方面，如果用户过去没观看过相同系列的内容(步骤S1902中为"否")，则处理进入步骤S1904。在步骤S1904,上转 换控制单元112获得上转换目标内容数据(节目)的种类信息 ("种类")。在步骤S1905,上转换控制单元112再次参考观看历史信 息，以判断用户过去是否观看过与所获得的种类信息相同的种 类的内容。如果用户过去已经观看过相同种类的内容(步骤 S1905中为"是")，则处理进入步骤S1906。在步骤S1906,上转 换控制单元112计算用户过去观看过的相同种类的内容成分的 总观看时间。另一方面，如果用户过去没有观看过相同种类的内容(步 骤S1905中为"否，，)，则处理进入步骤S1909。在步骤S1909,上 转换控制单元112基于成分属性信息("成分类型"或"标签值")， 确定上转换目标成分和成分的上转换处理顺序。然后，处理进 入步骤S505。在步骤S1903或步骤S1906中上转换控制单元112计算出用 户过去观看过的相同系列或种类的内容成分的总观看时间之 后，处理进入步骤S1907。在步骤S1907,上转换控制单元112 以总观看时间下降的顺序选择给定数量的成分，并将所选择的 成分确定为上转换目标成分。接下来，在步骤S1908,上转换控制单元112以总观看时间 下降的顺序设置上转换处理顺序。然后，处理进入步骤S505。例如，如果具有系列信息("系列id" ) "0 x 0106"的内容数 据被选择为上转换目标，则上转换控制单元112参考图16的观看 历史信息，以总观看时间下降的顺序设置上转换目标成分的处理顺序，即，"子视频数据l"、"子音频数据l"、"主视频数据"、 "主音频数据"、"子视频数据2"、"子音频数据2"的顺序。
在该例子中， 一见频成分先于音频成分，但是音频成分可以 先于^L频成分。此外，如第三典型实施例中所述，例如可以才艮 据种类来控制视频成分和音频成分的处理顺序。对于没有观看 历史的成分，可以以增加"标签值"的顺序上转换该成分，或者 可以根据种类来控制处理顺序。
如上所述，根据第四典型实施例，基于用户的观看历史来 确定上转换目标成分和上转换处理顺序，从而可以根据用户的 喜好来控制上转换处理。因此，优先上转换正在观看的相同系 列或种类的成分，从而用户可以较早地观看高质量内容。
在第四典型实施例中，逐一顺序上转换成分，但是如第一 典型实施例的变形例中所述，可以并行处理视频成分和音频成 分。
其他典型实施例
可以通过将存储有用于实现上述功能的软件的程序代码的 存储介质提供给计算机系统或设备来实现以上典型实施例中所
述的处理。通过利用该系统或设备中的计算机(或CPU或微处 理器单元(MPU))读取存储在该存储介质中的该程序代码并 执行该程序代码，可以实现上述典型实施例的功能。
实施例的功能，并且存储程序代码的存储介质构成本发明。软 盘、硬盘、光盘、磁光盘等存储介质可以用于提供该程序代码。 此外，还可以使用致密盘只读存储器(CD-ROM)、可读致密盘 (CD-R)、磁带、非易失性存储卡、ROM等。
此外，不仅可以通过执行由计算机读取的程序代码来实现 根据上述典型实施例的功能。本发明还包括这样的情况在计算机上工作的操作系统(OS)等根据程序代码的指定进行部分 或全部处理，并实现根据上述典型实施例的功能。
此外，可以将从存储介质中读取的程序代码写入到插入计 算机中的功能扩展卡或者与计算机连接的功能扩展单元中提供 的存储器中。然后，包含在该功能扩展卡或者单元中的CPU等 可以根据程序代码的指定进行部分或全部处理，并且可以实现 上述典型实施例的功能。可以由其本身提供体现本发明的程序 也可以通过载体介质或者在载体介质上承载该程序。该载体介 质可以是记录介质或者传输介质。该传输介质可以是信号，在 该情况下，可以通过因特网等网络来提供体现本发明的程序。
如上所述，本发明的一个实施例可以4是供对包括多个成分
的内容数据进行上转换的信号处理设备(100),所述多个成分 包括视频成分和音频成分至少之一，所述信号处理设备包括 确定单元(112),用于进行基于所述内容数据的属性信息从所 述多个成分中选择上转换目标成分的确定处理、以及确定对所 述成分进行上转换的处理顺序的确定处理至少之一；以及处理 单元(113 )，用于基于所述确定单元的所述确定处理的结果， 对构成所述内容数据的所述成分进行上转换。
本发明的另 一 实施例可以提供对包括多个成分的内容数据 进行上转换的信号处理设备(100),所述多个成分包括视频成 分和音频成分至少之一，所述信号处理设备包括设置单元
(114),用于进行接收用户的指令并响应于所述指令从所述多 个成分中选择上转换目标成分的设置处理、以及设置对所述成 分进行上转换的处理顺序的设置处理至少之一 ；以及处理单元
(113)，用于基于所述设置单元的所述设置处理，对构成所述 内容数据的所述成分进行上转换。
本发明的另 一实施例可以提供对包括多个成分的内容数据进行上转换的信号处理设备(100),所述多个成分包括视频成 分和音频成分至少之一，所述信号处理设备包括存储单元
(117),用于存储与已观看的内容数据有关的观看历史信息； 确定单元(112)，用于进行基于存储在所述存储单元中的所述 观看历史信息从所述多个成分中选择上转换目标成分的确定处 理、以及确定对所述成分进行上转换的处理顺序的确定处理至 少之一；以及处理单元(113),用于基于所述确定单元的所述 确定处理的结果，对构成所述内容数据的所述成分进行上转换。 本发明的另 一 实施例可以提供对包括多个成分的内容数据 进行上转换的方法，所述多个成分包括^L频成分和音频成分至 少之一，所述方法包括进行基于所述内容数据的属性信息从 所述多个成分中选择上转换目标成分的确定处理、以及确定对
所述成分进行上转换的处理顺序的确定处理至少之 一 ；以及基 于所述确定处理的结果，对构成所述内容数据的所述成分进行
上转换。
在一个实施例中，所述内容数据的所述属性信息包括与构 成所述内容数据的每个成分的类型有关的信息，所述方法还包 括基于每个成分的类型来进行所述确定处理。
在一个实施例中，与每个成分的类型有关的所述属性信息 表示主成分和子成分之一，所述方法还包括进行所述确定处理， 从而选择所述主成分作为上转换目标成分。
在一个实施例中，与每个成分的类型有关的所述属性信息 表示主成分和子成分之一，所述方法还包括进行所述确定处理， 从而确定处理顺序，以在所述子成分之前对所迷主成分进行上转换。
在一个实施例中，所述内容数据的所述属性信息包括与所 述内容数据的种类有关的信息，所述方法还包括基于所述内容
29数据的种类来进行所述确定处理。
本发明的另 一实施例可以提供对包括多个成分的内容数据 进行上转换的方法，所述多个成分包括视频成分和音频成分至 少之一，所述方法包括进行接收用户的指令并响应于所述指 令从所述多个成分中选择上转换目标成分的设置处理、以及设
置对所述成分进行上转换的处理顺序的设置处理至少之一；以 及基于所述设置处理，对构成所述内容数据的所述成分进行上转换。
本发明的另 一实施例可以提供对包括多个成分的内容数据 进行上转换的方法，所述多个成分包括-脱频成分和音频成分至 少之一，所述方法包括存储与已观看的内容数据有关的观看 历史信息；进行基于所存储的所述观看历史信息从所述多个成 分中选择上转换目标成分的确定处理、以及确定对所述成分进 行上转换的处理顺序的确定处理至少之 一 ；以及基于所述确定 处理的结果，对构成所述内容数据的所述成分进行上转换。
在一个实施例中，所述观看历史信息包括与在观看时从所 述多个成分中选择的成分有关的信息，并且所述方法还包括基 于所述观看历史信息，将在观看时从所述多个成分中选择的所 述成分确定为上转换目标成分，或者确定处理顺序，从而对在 观看时从所述多个成分中选择的所述成分进行上转换。
在上述实施例中，确定/设置处理是(a)选择目标成分； 和(b)确定处理顺序之一。然而，可以根据本发明有利地执行 上转换处理的任何类型的计划或控制，例如，多少处理资源分 配给每个不同成分或者多少提升程度(upscaling)应用于每个 成分。
尽管已经参考典型实施例说明了本发明，但是应该理解， 本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有修改、等同结构和功能。
权利要求
1.一种上转换设备，用于对包括能够由再现设备再现的两个或更多个成分的内容数据进行上转换，所述上转换设备包括上转换控制部件，用于生成用于所述内容数据的上转换控制信息；以及处理部件，用于根据所生成的所述上转换控制信息，对所述内容数据的一个或更多个成分进行上转换。
2. 根据权利要求l所述的上转换设备，其特征在于，所述 上转换控制部件用于禁止所述处理部件对所迷内容数据中包括 的一个或更多个成分进行上转换。
3. 根据权利要求l所述的上转换设备，其特征在于，所述 上转换控制部件用于确定要由所述处理部件对所述内容数据的 成分进行上转换的顺序。
4. 根据权利要求3所述的上转换设备，其特征在于，所述 顺序使得所述内容数据的用于再现的可能性较高的成分在用于 再现的可能性较低的其他成分之前被上转换。
5. 根据权利要求4所述的上转换设备，其特征在于，所述 上转换控制部件用于接收与所述内容数据有关的内容数据信 息，并根据所接收到的所述内容数据信息，自动生成所述上转 换控制信息。
6. 根据权利要求5所述的上转换设备，其特征在于，所接 收到的所述内容数据信息是表示所涉及的所述内容数据的成分 的一个或更多个预定属性的成分属性信息，或者包括表示所涉 及的所述内容数据的成分的一个或更多个预定属性的成分属性信息。
7. 根据权利要求5所述的上转换设备，其特征在于，所接 收到的所述内容数据信息是与节目有关的节目信息，或者包括 与节目有关的节目信息。
8. 根据权利要求7所述的上转换设备，其特征在于，所述 节目信息是表示节目的种类的种类信息，或者包括表示节目的 种类的种类信息，所述上转换控制部件用于针对不同的种类生 成不同的所述上转换控制信息。
9. 根据权利要求l所述的上转换设备，其特征在于，所述 上转换控制部件用于接收来自用户的输入，并根据所接收到的 用户输入，生成所述上转换控制信息。
10. 根据权利要求l所述的上转换设备，其特征在于，所述 上转换控制部件用于根据用户过去的再现行为，生成所述上转 换控制信息。
11. 根据权利要求l所述的上转换设备，其特征在于，至少 一个所述成分是视频成分，至少一个其他所述成分是音频成分。
12. 根据权利要求l所述的上转换设备，其特征在于，至少 两个所述成分是具有各自不同的视角和/或来自各自不同的照 相机的视频成分。
13. 根据权利要求l所述的上转换设备，其特征在于，至少 两个所述成分是各自不同的语言的音频成分。
14. 根据权利要求l所述的上转换设备，其特征在于，所述 内容数据包括多个成分，所述多个成分包括视频成分和音频成 分至少之一，所述上转换设备还包括确定部件，用于进行基于所述内容数据的属性信息从所述 多个成分中选择上转换目标成分的确定处理、以及确定对所述 成分进行上转换的处理顺序的确定处理至少之 一 ，以及其中，所述处理部件用于基于所述确定部件的所述确定处 理的结果，对构成所述内容数据的所述成分进行上转换。
15. 根据权利要求14所述的上转换设备，其特征在于，所 述内容数据的所述属性信息包括与构成所述内容数据的每个成分的类型有关的信息，以及所述确定部件用于基于每个成分的类型，进行所述确定处理。
16. 根据权利要求15所述的上转换设备，其特征在于，与 每个成分的类型有关的所述属性信息表示主成分和子成分之 一，以及所述确定部件用于选择所述主成分作为所述上转换目标成分。
17. 根据权利要求15所述的上转换设备，其特征在于，与 每个成分的类型有关的所述属性信息表示主成分和子成分之 一 ，以及所述确定部件用于确定所述处理顺序，/人而在所述子成分 之前对所述主成分进行上转换。
18. 根据权利要求14所述的上转换设备，其特征在于，所 述内容数据的所述属性信息包括与所述内容数据的种类有关的 信息，以及所述确定部件用于基于所述内容数据的种类，进行所述确 定处理。
19. 根据权利要求l所述的上转换设备，其特征在于，所述 内容数据包括多个成分，所述多个成分包括^L频成分和音频成 分至少之一，所述上转换设备还包括设置部件，用于进行接收用户的指令并响应于所述指令从 所述多个成分中选择上转换目标成分的设置处理、以及设置对 所述成分进行上转换的处理顺序的设置处理至少之一，所述处理部件用于基于所述设置部件的所述设置处理，对 构成所述内容数据的所述成分进行上转换。
20. 根据权利要求l所述的上转换设备，其特征在于，所述内容数据包括多个成分，所述多个成分包括视频成分和音频成分至少之一，所述上转换设备还包括存储部件，用于存储与已观看的内容数据有关的观看历史 信息；以及看历史信息从所述多个成分中选择上转换目标成分的确定处 理、以及确定对所述成分进行上转换的处理顺序的确定处理至 少之一，所述处理部件用于基于所述确定部件的所述确定处理的结 果，对构成所述内容数据的所述成分进行上转换。
21. 根据权利要求20所述的上转换设备，其特征在于，所 述观看历史信息包括与在观看时从所述多个成分中选择的成分 有关的信息，以及所述确定部件用于基于所述观看历史信息，将在观看时从 所述多个成分中选择的所述成分确定为所述上转换目标成分， 或者确定所述处理顺序，从而对在观看时从所述多个成分中选 择的所述成分进行上转换。
22. —种方法，用于对包括能够由再现设备再现的两个或 更多个成分的内容数据进行上转换，所述方法包括以下步骤生成用于所述内容数据的上转换控制信息；以及 根据所生成的所述上转换控制信息，对所述内容数据的一 个或更多个成分进行上转换。
全文摘要
本发明提供一种用于对内容数据进行上转换的设备和方法。信号处理设备包括上转换处理单元，用于对存储在数据存储单元中的内容数据进行上转换；以及上转换控制单元，用于基于诸如基本流的内容数据的每个成分的诸如成分类型或标签值的成分属性信息，确定上转换目标成分和成分的上转换处理顺序。
文档编号H04N7/01GK101291439SQ200810090278
公开日2008年10月22日 申请日期2008年4月17日 优先权日2007年4月17日
发明者福田哲, 荒谷俊太郎 申请人:佳能株式会社