专利名称：特征向量生成装置，搜索装置，特征向量生成方法和搜索方法
技术领域：
本发明涉及一种用于生成用于标识内容的数据的数据生成方法，用于，以及一种使用此方法的搜索装置。
背景技术：
存在一种传统方法，它使用分配给内容的ID来搜索内容。在这种方法中，如果期望的内容是广播内容，则通过使用广播日期或广播电台作为关键字来搜索该内容。
此外，公开了一种方法，其中每个观众都参与在社区中，社区对应于各自的内容段，并且每个社区都根据他们所欣赏的内容来确定(例如见日本专利申请特许公开No.2001-148841)。更具体来说，每个社区都根据对应于内容的日期和频道来确定。
使用嵌入在内容中的同步数据来利用对话屏幕同步内容的一种技术也被公开(例如见日本专利申请特许公开No.2001-298431)。
但是，一些广播内容段不具有内容ID，而且相同的内容完全可以在不同的广播时间并由不同局部地区之间的不同广播电台来广播。因此，使用传统的方法来标识内容有时候很困难。
如上所述，基于内容的广播电台或日期/时间，内容有时候是不能被检测到的，因为在局部地区之间或者当内容被重播时，广播日期/时间和频道可以完全不同。
发明内容
根据本发明的第一方面，提供一种特征向量生成装置，包括输入单元，用于输入包括视频数据和音频数据中的至少一个的内容数据；生成单元，用于基于指示内容数据的特征状态出现的时刻的信息来生成特征向量，特征状态以视频数据和音频数据中的至少一个发生改变为表征；以及存储单元，用于存储内容数据和特征向量。
根据本发明的第二方面，提供一种搜索装置，包括存储单元，用于与内容数据和内容数据的元数据(meta data)中的至少一个相关联地存储每个特征向量，内容数据包括视频数据和音频数据中的至少一个，特征向量是基于指示内容数据的特征状态分别出现的时刻的信息而生成的，特征状态分别以视频数据和音频数据中的至少一个发生改变为表征；可变部分检测单元，用于检测第一内容数据中的可变部分，其中第一内容数据包括视频数据和音频数据中的至少一个；生成单元，用于基于指示第二内容数据的特征状态出现的时刻的信息来生成第一特征向量，第二内容数据通过从第一内容数据中去除可变部分来获得；以及搜索单元，用于在存储在存储单元中的特征向量中搜索与第一特征向量相似的特征向量。
根据本发明的第三方面，提供一种搜索装置，包括存储单元，用于与内容数据的元数据相关联地存储每个特征向量，内容数据包括视频数据和音频数据中的至少一个，特征向量是基于指示内容数据的特征状态分别出现的时刻的信息而生成的，特征状态分别以视频数据和音频数据中的至少一个发生改变为表征；接收单元，用于接收包括第一特征向量作为搜索条件的搜索请求，第一特征向量是基于指示第一内容数据的特征状态分别出现的时刻的信息而生成的；搜索单元，用于在存储在存储单元中的特征向量中搜索与第一特征向量相似的特征向量；以及传输单元，用于向搜索请求的请求者发送搜索结果，其中搜索结果包括搜索单元所检测到的特征向量的元数据。
根据本发明的第四方面，提供一种搜索装置，包括存储单元，用于与对应于内容数据的元数据和电子节目指南(EPG)信息相关联地存储每个特征向量，内容数据包括视频数据和音频数据中的至少一个，特征向量是基于指示内容数据的特征状态分别出现的时刻的信息而生成的，特征状态分别以视频数据和音频数据中的至少一个发生改变为表征；接收单元，用于接收搜索请求，其中搜索请求包括第一特征向量作为搜索条件，或者包括第一特征向量和第一内容数据的第一EPG信息作为搜索条件，其中第一内容数据包括视频数据和音频数据中的至少一个，第一特征向量是基于指示第一内容数据的特征状态分别出现的时刻的信息而生成的；搜索单元，用于如果搜索请求包括第一EPG信息，则在EPG信息中搜索与第一EPG信息相同的EPG信息，如果与第一EPG信息相同的EPG信息未被检测到或者如果第一EPG信息未被包括在搜索请求中，则搜索单元在特征向量中搜索与第一特征向量相似的特征向量；以及传输单元，用于向搜索请求的请求者发送搜索结果，其中搜索结果包括与和第一EPG信息相同的EPG信息相关的、并且被搜索单元检测到的元数据，或者包括与和第一特征向量相似的特征向量相关的、并且被搜索单元检测到的元数据。
根据本发明的第五方面，提供一种特征向量生成方法，用于基于指示内容数据的特征状态分别出现的时刻的信息来生成特征向量，特征状态分别以视频数据和音频数据中的至少一个发生改变为表征。
根据本发明的第六方面，提供一种搜索方法，包括准备存储单元，其中存储单元用于与内容数据和内容数据的元数据中的至少一个相关联地存储每个特征向量，内容数据包括视频数据和音频数据中的至少一个，特征向量是基于指示内容数据的特征状态分别出现的时刻的信息而生成的，特征状态分别以视频数据和音频数据中的至少一个发生改变为表征；检测第一内容数据中的可变部分，其中第一内容数据包括视频数据和音频数据中的至少一个；基于指示第二内容数据的特征状态出现的时刻的信息来生成第一特征向量，其中第二内容数据通过从第一内容数据中去除可变部分来获得；以及在存储在存储单元中的特征向量中搜索与第一特征向量相似的特征向量。
附图简述
图1是举例说明根据本发明第一实施例的特征向量生成装置的构造示例的框图；图2是有助于解释图1的特征向量生成装置的操作的流程图；图3是举例说明根据本发明第二实施例的搜索系统的构造示例的框图；图4是举例说明存储在特征向量存储单元中的数据示例的视图；
图5是举例说明根据第三实施例的搜索系统的构造示例的框图；图6是举例说明元数据的显示示例的视图；图7是举例说明存储在特征向量存储单元中的记录数据示例的视图；图8是举例说明BBS表的示例的视图；图9是举例说明根据第四实施例的搜索系统的构造示例的框图；图10是举例说明用于编辑内容的元数据的示例的视图；图11是举例说明根据第五实施例的搜索系统的构造示例的框图；图12是举例说明存储在特征向量存储单元中的另一记录数据示例的视图；图13是举例说明图11的搜索系统中搜索元数据的操作的流程图；以及图14是举例说明检测到的元数据的显示示例的视图。
具体实施例方式
本发明的实施例将参考附图来进行描述。
本发明的实施例专注于用于生成数据的方法和装置，其中数据不需要比如广播电台或广播日期这样的附属于内容的信息就能标识任何内容。而且，这些实施例专注于用于容易地使用所生成的标识数据来搜索内容或内容的元数据的方法和装置。
在本发明的实施例中，任何内容都能被标识，而不需要比如广播电台或广播日期这样的附属于内容的信息。
将给出对输入内容数据(下文中简称做“内容”)的唯一特征和搜索系统的描述，其中搜索系统用于生成用来标识内容的特征向量并且使用该特征向量来搜索内容或对应于内容的元数据。
在此描述中，每个内容段都是时间序列数据，包括比如静止图像或运动图像这样的图像数据(视频数据)，以及音频数据。上述特征向量是基于信息而生成的，其中所述信息例如指示内容的图像或音频数据中的特征状态(视频变化或音频变化；举例来说，画面改变、静区(silent zone)、或声音电平不低于预定电平的状态)出现的时刻。
首先，将给出根据第一实施例的并且被后面所述的搜索系统包含的特征向量生成装置的描述。
(第一实施例)图1是举例说明第一实施例的特征向量生成装置的构造示例的框图。如图所示，该装置包括用于接收内容的内容输入部分1，和用于检测输入内容中的可变部分的可变部分检测单元2。该装置还包括用于检测通过去除内容中的可变部分获得的不可变部分中的特征向量的特征向量计算单元3，以及用于存储由特征向量计算单元3所计算出的特征向量的特征向量存储单元4。
图2是有助于解释图1的特征向量生成装置的操作的流程图。将参考图2来描述图1中的每个单元。
首先，内容被输入到内容输入单元1(步骤S1)。内容可以是，例如，市场上可购买到的录制的广播内容或DVD内容。
可变部分检测单元2将检测通过内容输入单元1向装置输入的内容中的一个可变部分(或一些可变部分)(步骤S2)。可变部分指替换或省略出现的那些部分，例如，可以是CM(商业消息)部分。例如使用以下这些方法来检测CM部分(1)执行剪接检测。如果在15秒(或30秒)的单元内检测到剪接，则该部分就被确定为CM部分。(2)利用CM之前以及之后会有一个静区的事实。如果在15秒(或30秒)的单元内检测到这样一个静区，则该区段被确定为CM部分。(3)如果立体广播部分被包括在单声道节目内容中，则这部分被确定为CM部分。(4)存储对应于CM的图像图案(pattern)。如果有一个部分与这些图像图案中的一个相匹配，则这部分被确定为CM部分。(5)如日本专利申请特许公开No.2003-257160中所公开的，利用电视信号的音频模式、视频信号电平图案和音频信号电平图案来检测CM部分。此方法用于检测包括在例如双语程序内容中的CM部分。
可变部分检测单元2利用上述方法中的一种或其组合来检测输入内容中的一个CM部分(或一些CM部分)。
在上述方法(4)中，可以使用例如上述方法(5)来存储CM图像图案。在这种情况下，当使用音频模式中的不同检测到一个CM部分时，该CM部分的图像图案就被存储。如果检测到与该图像图案相同的图像，就被确定为CM。CM图像图案也可以使用上述方法(3)来存储。在这种情况下，如果立体广播部分被包括在单声道节目内容中，则这部分就被确定为CM部分，并且其图像图案被存储。需要注意的是不需要一直存储图像图案，以规律的间隔来存储图案就足够了，例如以5秒为间隔。而且，最好是减小数据量，例如通过减小所存储的每个图像的图像尺寸或将彩色图像转换成单色图像。每个存储的图像图案通过一个亮度值序列来表示。这些值通过一个向量来表示，并且此向量用于与内容做比较，以检测CM部分。
而且，可变部分检测单元2还将节目内容的开始和结束部分确定为可变部分，在节目内容的开始和结束部分中，开始和结束主题曲被演唱。可变部分检测单元2可以将以规律的间隔(例如每周或每天)上产生相同特征向量的部分确定为可变部分。
如上所述(步骤S3)，如果在内容中，一个可变部分(或一些可变部分)被检测到，程序将进行到步骤S4，其中(多个)可变部分被从内容中去除。
可变部分主要是CM部分，但也可以是一些其他种类的部分，例如上面所提到的主题曲部分或是那些某一特征向量被周期性产生的部分。当生成特征向量时，可以选择将要被去除的可变部分。例如，CM部分可以照其原样留下，而只有构成内容的开始和结束部分的主题曲部分被去除。这对于旨在搜索CM部分的情况非常合适。
在步骤S4将可变部分从输入内容中去除之后，程序将进行到步骤S5，其中为了生成特征向量，特征向量计算单元3将首先在检测内容中的特征时刻，该内容具有通过从其之中去除(多个)可变部分而获得的其(多个)不可变部分。特征时刻是，例如，内容中画面改变发生的时刻、静区出现(举例来说，静区的起始点)的时刻以及声音电平超出预定电平的时刻。每个特征时刻可以被设置为以上三种状态(也就是，画面改变的出现、静区的出现以及声音电平超过预定电平的状态)中的至少两种同时出现的时刻，或被设置为三种状态中的一种出现的时刻。
画面改变出现的时刻实际上就是内容中出现大的变化的时刻，也就是，整个图像明显发生改变。要检测画面改变，就要检测整个图像明显改变的时刻。画面改变也能通过一种公知技术来检测，比如利用MPEG运动向量的技术。
关于静区，声音电平低于预定阈值的区段被确定为静区。在这种情况下，检测静区开始的时刻作为特征时刻。
内容中的每个特征时刻被检测到之后，程序将进行步骤S6，其中所述内容具有通过从其之中去除(多个)可变部分而获得的其(多个)不可变部分，在此步骤中特征向量计算单元3将基于检测到的特征时刻来产生特征向量。具体来说，特征向量计算单元3使用检测到的特征时刻的数量和从不带有可变部分的内容的开头开始到每个特征时刻的时段来生成特征向量。在此实施例中，由特征时刻来划分内容所获得的区段被称为片段。特征向量是指示按顺序排列的片段的各自的时间长度的数值序列。序列中所包括的数值的数量等于指示内容的特征的特征时刻的数量，比如内容中包括的画面变化的数量以及静区的数量。
例如，如果在某内容中，特征时刻在内容开始之后的5秒、8秒和16秒被检测到，那么片段的时间长度就是“5”、“3”和“8”，而且被用作特征向量的组成部分。
如果片段的时间长度相当短，例如，如果特征时刻以小于1秒的间隔出现，那么片段的时间长度可以用秒的单位来表示。例如，当特征时刻是在内容开始之后的0.2秒、1.8秒、2.2秒、3.5秒，假如片段的时间长度以1/10秒的单位来表示，那么片段的时间长度将分别是0.2秒、1.6秒、0.4秒和1.3秒。但是，如果这些时间长度仅用整数部分来表示(然而，如果时间长度小于1秒，将被四舍五入为整数)，那么片段的时间长度就分别是1秒、1秒、1秒和1秒。
在本实施例中，特征向量由指示按顺序排列的片段的时间长度的数值序列构成，但本实施例并不限于此。作为选择，特征向量可以由指示从内容(具有通过从其之中去除(多个)可变部分而获得的其(多个)不可变部分)的开始到各自的特征时刻的时段的数值序列构成。也就是说，如果特征时刻在内容开始之后的5秒、8秒和16秒被检测到，那么“5”、“8”和“16”可以被用作特征向量的组成部分。
如上所述，每个特征向量指示内容的特征，比如画面的改变或静区的出现图案。
除生成特征向量外，特征向量计算单元3可以在每个检测到的特征时刻从内容中提取特征信息，比如图像(优选地是具有比实际图像低的分辨率的图像)和包括声音电平数据的音频数据。
在步骤S7，步骤S6所生成的特征向量和内容输入单元1所接收到的内容被存储在特征向量存储单元4中。当特征向量计算单元3在每个特征时刻从内容中提取特征信息时，除生成特征向量外，每个特征时刻上的特征信息被与对应的特征向量中的数值(指示所述每个特征时刻)相关联地存储在特征向量存储单元4中。
在以上描述中，特征向量计算单元3从内容来计算特征向量，其中所述内容具有通过从其之中去除(多个)可变部分而获得的其(多个)不可变部分。但是，通过从内容计算出特征向量并且将该特征向量连同位置(时刻)信息一起存储在存储单元4中，能获得同样的好处，其中所述内容包括一个可变部分(或一些可变部分)，位置(时刻)信息指示包括在内容中的每个可变部分出现的位置(时刻)并且被用于去除每个可变部分。
在上述方式中，每个被用作内容标识符的特征向量都是从广播内容或DVD内容计算出的。
该实施例所使用的特征向量的表征是其不包括可变部分，也就是CM部分，而且指示内容的特征，比如画面变化和静区的出现图案。这意味着特征向量不受诸如广播日期和广播电台这样的附属于内容的信息的影响，并且特征向量只与内容本身相关。换句话说，即使在不同的日期和/或由不同局部地区之间的不同广播电台广播相同的内容，或者即使内容被重播时在相同的内容中插入了不同的CM，都能获得相同的特征向量。
(第二实施例)
图3显示了根据本发明第二实施例的搜索系统的构造示例，其中采用了图1的特征向量生成装置。在图3中，与图1中的元件相似的元件用相应的参考数字来表示，并且将仅给出不同的元件的描述。图3的搜索系统，除了采用了图1的特征向量生成装置中的元件外，还采用了用于使用上述特征向量来搜索内容的搜索单元5来和用于存储内容的内容存储单元6。
如图4所示，特征向量存储单元4将存储例如特征向量和特征信息，其中特征向量和特征信息由特征向量生成装置根据几段广播内容来生成，并被用于标识这些广播内容段。单元4还存储链接信息(例如，为广播内容分配的存储区域的地址)，其中链接信息被链接到存储在例如内容存储单元6中的广播内容段并被用于阅读这些段。特征向量存储单元4与数据ID相关联地存储记录数据，其中记录数据包括特征向量、特征信息和链接到内容的链接信息。记录数据可以包括内容本身，而不是链接信息。在任何情况下，如果特征向量和特征信息被与内容相关联地存储就足够了。也就是说，如果当稍后将描述的搜索单元5检测到某记录数据时，就能够指定对应于包括在该记录数据中的特征向量和特征信息的那段内容，这就足够了。
有一种情况是存储内容的请求和内容本身被输入到内容输入单元1，而还有一种情况是搜索内容的请求和内容本身被输入到内容输入单元1。
内容存储操作包括当存储内容的请求和内容被输入时所执行的特征向量生成操作，与第一实施例中的内容存储操作相似。也就是，如第一实施例所述，特征向量根据内容来生成，且记录数据以及数据ID被存储在特征向量存储单元4中，其中记录数据包括特征向量、特征信息、指示相应内容的链接信息。
当搜索内容的请求和内容本身被输入到内容输入单元1时，特征向量根据内容来生成，与第一实施例一样。而且，搜索单元5使用所生成的特征向量作为搜索条件，来在存储在特征向量存储单元4中的记录数据中搜索包含与搜索条件中所包括特征向量相同的特征向量的记录数据。根据检测到的记录数据，期望的内容(也就是要搜索的内容)就被获得。
当搜索内容的请求被输入到内容输入单元1时所执行的操作将被更详细地描述。
根据被输入到输入单元1的内容连同搜索请求一起来生成特征向量的操作，与第一实施例中的操作相同。此处假设特征向量a被生成。特征向量计算单元3将所生成的特征向量传送到搜索单元5。使用特征向量a作为搜索条件，搜索单元5将在特征向量存储单元4中搜索包括与特征向量a相似的一个特征向量(或一些特征向量)的一个记录数据项(或一些记录数据项)。
在一种特征向量生成过程中，其中每个特征向量根据内容来生成，所述内容具有通过从其之中去除(多个)可变部分而获得的其(多个)不可变部分，存储在特征向量存储单元4中的特征向量和作为搜索条件的特征向量被直接用于搜索。
相比之下，在一种特征向量生成过程中，其中每个特征向量根据带有一个或多个可变部分的内容来生成，指示(多个)可变部分的数据在搜索之前就被从存储在特征向量存储单元4中的特征向量和作为搜索条件的特征向量中去除。如上所述，可变部分数据被存储在特征向量存储单元4中。因此，为了从存储在特征向量存储单元4中的特征向量中去除可变部分数据，利用了存储在特征向量存储单元4中的可变部分数据(指示每个可变部分的位置(时间)的数据)。
在任何情况下，搜索都是使用从内容提取的特征向量来执行的，其中内容具有通过从其之中去除(多个)可变部分((多个)CM部分)而获得的其(多个)不可变部分。结果，即使在重播的内容中或不同局部地区所广播的相同的内容中插入不同的CM，该内容都能被标识。
搜索单元5计算存储在特征向量存储单元4中的特征向量与作为搜索条件的特征向量之间的相似度，然后执行搜索。在该实施例中，例如通过计算存储在特征向量存储单元4中的每个特征向量与作为搜索条件的特征向量之间的内积，来获得相似度。
使用N-gram方法的搜索可以在对应于特征向量的数值序列上执行。例如，在存储在特征向量存储单元4中的那些特征向量中搜索，以检测一个由N个数值构成的特征向量，这N个数值连续地排列并且被包括在作为搜索条件的特征向量中。例如，即使存储在特征向量存储单元4中的特征向量是根据一些内容段生成的，其中内容具有通过从其之中去除(多个)可变部分而获得的其(多个)不可变部分，而且作为搜索条件的特征向量a是仅根据某一段内容生成的时，使用N-gram方法的搜索能够从存储在特征向量存储单元4中的特征向量中，搜索与特征向量a相似的一个特征向量(或一些特征向量)，还能够使该(多个)相似的特征向量的位置被检测到。在这种情况下，作为搜索条件(搜索查询)的特征向量可以不必根据所有的特征时刻来生成。当特征时刻的数量太大时，可以设置一个上限(举例来说，从开始起的200个特征时刻)，以使得特征向量根据预定数量的特征时刻来生成。
此外，对于搜索，搜索单元5可以生成关于每个特征向量的每个片段的时间长度的直方图，并且可以计算存储在特征向量存储单元4中的每个特征向量与作为搜索条件的特征向量之间在直方图上的相似度。在这种情况下，考虑存储在特征向量存储单元4中的每个特征向量与作为搜索条件的特征向量之间的每个片段的时间长度的直方图，如果两个特征向量之间的对应时间长度的频率之间的差额的和不超过预定的阈值，这两个特征向量就被确定为彼此是相似的。
如此计算出的相似度是基于频率的，使用该频率在每个特征向量中检测到相同的特征时序。换句话说，相似度并不依赖于每个片段的顺序，且因此搜索不需要大量代价。据此，使用直方图的搜索被用作预处理，在预处理中，包括在存储于特征向量存储单元4中的所有特征矢量中的、并且与作为搜索条件的特征向量在直方图中相似的特征向量被预先检测。使用“内积”或“N-gram方法”的搜索方法被用于在这样限定范围的特征向量中搜索与作为搜索条件的特征向量相似的一个特征向量(或一些特征向量)。
此外，当特征向量存储单元4如图4所示存储每个特征时刻上所获得的特征信息(图像数据、包括声音电平数据的音频数据等等)和特征向量、且搜索单元5从特征向量计算单元3接收作为搜索条件的特征向量a和在每个特征时刻上所获得的信息(图像数据、包括声音电平数据的音频数据等等)时，除了计算特征向量之间的相似度以外，特征信息被以每个特征时刻为单位进行比较。因此，能够执行更详细的搜索。使用已知的技术能够容易地计算出图像之间的相似度以及包括声音电平数据在内的音频数据之间的相似度。例如，可以通过将图像转换成亮度值向量，然后计算向量的内积以比较向量来计算图像之间的相似度。另外，考虑声音电平之间的相似度，如果声音电平之间的差值小于预定的阈值，它们就被认为是彼此相似的。
特征向量计算单元3根据相同的内容并不总是生成完全相同的特征向量。每次特征向量计算单元3根据相同的内容生成特征向量时，所检测到的特征时刻可能会稍微偏离正确的特征时刻，并生成稍微不同的特征向量。但是，如果搜索单元5基于上述的特征向量之间的相似度来执行搜索，是能够吸收一定范围的差异的。
如上所述，搜索单元5在特征向量存储单元4中搜索与作为搜索条件的特征向量相似的特征向量，来检测所包括的特征向量与特征向量a最相似的记录数据项，也就是来检测与搜索条件相匹配的一段内容。作为选择，搜索单元5可以检测所包括的特征向量与作为搜索条件的特征向量a相似的多个记录数据项。
当上述的特征向量作为搜索条件被给出时，第二实施例的搜索系统能够容易且可靠地检测出期望的内容，即使相同的内容在不同的时刻和/或由不同广播电台广播，或者即使在不同局部地区之间的相同的内容中被插入了不同的CM。
在第二实施例中，根据广播内容来生成特征向量，以搜索与前面所提到的内容相同的广播内容。但是，所述内容没有被限制为广播内容，而是通过以上相同的过程，即使根据存储在例如市场上可以购买到的DVD上的内容，都能获得同样的好处。一些存储在市场上可以购买到的DVD上的内容段可以是相似的但包括微小的差别。例如，相同内容的不同版本，其编辑方法是不同的，可以以不同的包装形式出售。这些包装作为相似的内容段能被检测到。在这种情况下，可变部分检测单元2将检测不同版本之间的视频数据的差别，或检测包括在版本中的CM信息，由此检测可变部分以方便相似内容段的检测。
(第三实施例)图5显示了根据第三实施例的搜索系统的构造示例，其采用了图1的特征向量生成装置。第三实施例的搜索系统是包括一个服务器100和多个客户机101(为了方便画图，图5只显示了一个客户)的客户机—服务器系统。在图5中，与图1或3中相似的元件使用相应的参考符号来表示。每个客户机101包括内容输入单元1、可变部分检测单元2、特征向量计算单元3、通信单元7和元数据输出单元9。通信单元7和元数据输出单元9用于与服务器100进行通信。每个客户机101被连接到内容观看装置102上，以重现/显示接收到的广播内容或从诸如DVD这样的记录介质上读取的内容。
服务器100包括用于与每个客户机101通信的通信单元8、特征向量存储单元4和搜索单元5。
有一种情况是存储元数据的请求、内容和元数据本身被输入到内容输入单元1，而还有一种情况是搜索内容的请求和内容本身被输入到内容输入单元1。
当存储元数据的请求、内容和元数据本身被输入到某客户机101的内容输入单元1时，与第一实施例中一样，根据内容生成一个特征向量，并且该特征向量、所输入的元数据等通过通信单元7被从客户机101发送到服务器100。通过通信单元8接收到从客户机101发送的特征向量、元数据等后，服务器100将包括特征向量、元数据等的记录数据存储到特征向量存储单元4上。
当每个客户机101的特征向量计算单元3根据具有一个可变部分(一些可变部分)的内容计算特征向量时，每个客户机101将可变部分数据连同特征向量发送到服务器100上，然后服务器100将包括特征向量、元数据和可变部分数据的记录数据存储到特征向量存储单元4中。
特征向量存储单元4将存储多个记录数据项，其中记录数据项包括内容的元数据、特征向量等并且是从每个客户机101发送的，如稍后将描述的。
当搜索内容的请求和内容本身被输入到某客户机101的内容输入单元1上时，与第一实施例中一样，根据内容生成一个特征向量，并且包括作为搜索条件的特征向量的搜索请求被通过通信单元7从客户机101发送到服务器100。通过通信单元8接收到搜索请求后，服务器100的搜索单元5在特征向量存储单元4中搜索所包括的特征向量与作为搜索请求的搜索条件的特征向量最相似的记录数据项，并且将检测到的记录数据项返回客户机101。
对应于某内容的元数据是，例如，用户关于内容(设备)的观点或评论。为了接收存储元数据的请求，图5的客户机—服务器系统利用了电子布告栏系统(BBS)。也就是，每个客户机101的内容输入单元1利用电子布告栏系统来接收存储元数据的请求。为了进行存储指示用户关于某内容的观点或评论的元数据的请求，每个客户机101的用户在由电子布告栏系统(BBS)提供的预定页上写下元数据。这时，特征向量计算单元3根据输入到内容输入单元1中的内容来计算特征向量。该特征向量连同元数据被发送。指示观点或评论并且包括特征向量的元数据被通过通信单元7从每个客户机101发送到服务器100。服务器100将记录数据存储到特征向量存储单元4中，其中记录数据包括元数据连同特征向量并且通过通信单元8被接收。
当用户想看元数据时，比如由另一用户贴出的关于某内容的观点或评论，当看该内容时，他们通过内容输入单元1将搜索请求和该内容输入到他们的客户机(设备)101。特征向量计算单元3根据内容来计算特征向量，而且包括作为搜索条件的特征向量的搜索请求被发送到服务器100。接收到搜索请求之后，服务器100的搜索单元5在特征向量存储单元4中搜索所包括的特征向量与作为搜索请求的搜索条件的特征向量最相似的记录数据项。包括在检测到的记录数据项中的元数据被返回到作为请求者终端的客户机101。
如上所述，第三实施例的搜索系统能够容易地从对应于各段内容并被存储在特征向量存储单元4中的元数据项中提取出对应于某段内容的元数据项。
用户除了能够贴出关于整个内容的观点以外，也能够贴出关于包括在内容中的某一画面的观点。例如，当用户贴出观点时，他们中断了正在通过连接到客户机101上的内容观看装置102重放的内容，然后使用内容输入单元1，即电子布告栏系统，将他们对于停止的画面的观点输入到客户机101。通过内容观看装置102重放的内容数据也被输入到内容输入单元1。可变部分检测单元2和特征向量计算单元3根据通过内容观看装置102重放/显示的、并且对应于输入到内容输入单元1中的内容数据的内容数据来生成特征向量，与第一实施例中一样。而且，内容观看装置102将测量从内容重放开始所历经的时刻(重放时刻)，并将测量出的时刻输出到内容输入单元1和元数据输出单元9。内容输入单元1暂时存储指示中断重放的时刻、以及所输入的观点(消息)。
由用户输入的观点(消息)，连同对应于内容的特征向量(也就是，根据整个内容生成的特征向量，其中该内容具有通过从其之中去除(多个)可变部分而获得的其(多个)不可变部分)，以及测量出的重放时刻，被发送到服务器100。服务器100将包括元数据的记录数据存储到特征向量存储单元4，其中所述元数据比如特征向量、重放时刻和用户关于在重放时刻要被重放的画面的观点。
在此实施例中，特征向量是基于被输入到内容输入单元1并且同时由内容观看装置102重放/显示的内容，由可变部分检测单元2和特征向量计算单元3生成的。但是，在内容被内容观看装置102重放/显示之前，该内容可以被输入到内容输入单元1并经过可变部分检测单元2和特征向量计算单元3来生成特征向量。在这种情况下，当用户中断内容的重放以输入他们的观点时，特征向量已经被生成了。因此，存储元数据的请求在用户输入请求之后马上被发送到服务器100，其中所述元数据包括用户的输入观点(消息)、特征向量(也就是，根据内容生成的特征向量，其中所述内容具有通过从其之中去除(多个)可变部分而获得的其(多个)不可变部分)和重放时刻。
当服务器100的特征向量存储单元4存储内容的特征向量、元数据和对应于元数据的内容的一个画面的重放时刻时，另一用户能够显示对应于现在正在被重放的相同内容的一个画面(该画面的重放时刻)的元数据。
例如，当某内容被重放时，某一用户通过通信单元7向服务器100发送搜索该内容的请求，其中所述请求包括搜索条件，即由可变部分检测单元2和特征向量计算单元3预先根据该内容生成的特征向量，与第一实施例中一样。服务器100在特征向量存储单元4中搜索所包括的特征向量与作为搜索请求的搜索条件的特征向量相似的记录数据项。如果存在多个记录数据项，其中每个记录数据项都包括与作为搜索条件的特征向量相似的特征向量，那么这些记录数据项都会被检测到。所检测到的那个记录数据项或那些记录数据项被返回到该用户的客户机101。也就是说，在重放某内容之前，客户机101从服务器100下载了一个记录数据项(或一些记录数据项)，并且暂时将它(它们)存储在例如元数据输出单元9中，其中所述一个记录数据项(或一些记录数据项)包括与该内容的特征向量相似的特征向量。
内容观看装置102测量被重放/显示的内容的重放时刻，并且将重放时刻输出到内容输入单元1和元数据输出单元9中。元数据输出单元9比较从内容观看装置102输出的重放时刻与每个下载的记录数据项中所包括的重放时刻。如果从内容观看装置102输出的重放时刻与某一下载的记录数据项中所包括的重放时刻是一样的(也就是，如果与该下载的记录数据项中包括的重放时刻对应的画面被重放/显示)，那么包括在该记录数据项中的元数据被显示。
图6显示了元数据的显示示例。具体来说，该图显示了内容观看装置102的屏幕的示例。在此例中，屏幕包括内容显示区域201、元数据显示区域202、内容控制区域203和消息写入区域204。在内容输入单元1和元数据输出单元9的控制下，该屏幕显示内容、元数据等。
内容显示区域201显示由内容观看装置102重放的内容。
元数据显示区域202根据每个记录数据项中包括的重放时刻，来显示包括在每个记录数据项中的元数据，其中所述记录数据项是从服务器100下载的并暂时存储在元数据输出单元9中。
当发送存储元数据的请求时，用户中断了内容的重放，将他们的消息写入到消息写入区域204中含有的区域204a上，然后按下发送按钮204b。接着，内容输入单元1暂时存储从内容观看装置102输出的重放时刻(所测量的时刻范围从重放开始时刻到重放被中断时刻)。在此之后，使用可变部分检测单元2和特征向量计算单元3，根据内容来生成特征向量，与第一实施例中一样(作为选择，对应于内容的特征向量可以如上所述地被预先生成)，其中所述内容具有通过从其之中去除(多个)可变部分而获得的其(多个)不可变部分。特征向量连同暂时存储于区域204a中的消息(元数据)和重放时刻一起从通信单元7被发送到服务器100。
图7显示了服务器100的特征向量存储单元4中此刻存储的记录数据示例。
如图所示，记录数据被存储在特征向量存储单元4中，例如，用附加在其上的数据ID“3”来标识该记录数据。数据ID为“3”的记录数据包含被包括在来自用户的存储请求中的元数据“精彩的比赛，不是吗”、对应于该元数据的内容的特征向量，以及当该元数据已经被贴出时内容显示区域201上所显示的画面的重放时刻(记录在图7中的“时刻”栏中)。重放时刻指示从开始测量出的重放内容的时段。
在图7中，存储在特征向量存储单元4中的数据ID为“1”的记录数据包括特征向量“11，10，15，6，4”、重放时刻(时刻)“153000毫秒”，以及消息(元数据)“多么好看的比赛！”。
例如，正在观看对应于数据ID为“1”的记录数据的内容的某一用户下载了该记录数据之后，当包括在该记录数据中的重放时刻(时刻)在观看内容的过程中到达时，包括在该记录数据中的元数据被显示在如图6所示的元数据显示区域202上。
图7中数据ID为“2”的记录数据包括链接信息。链接信息所指示的目标是包括在特征向量为“10，5，13，5，4，6”并且所对应的重放时刻为326000秒的内容中的一个画面。正在观看对应于数据ID为“2”的记录数据的内容的某一用户下载了该记录数据之后，当包括在该记录数据中的重放时刻(时刻)在观看内容的过程中到达时，包括在该记录数据中的元数据被显示在如图6所示的元数据显示区域202上。元数据包括链接到目标的链接信息。因此，随着数据ID为“2”的元数据被显示在元数据显示区域202上，当用户敲击消息时，链接目标，即包括在特征向量为“10，5，13，5，4，6”并且所对应的重放时刻为326000秒的内容中的那个画面，会被显示在内容显示区域201上。
如果用于贴出关于某内容的消息的BBS本身被用作元数据，对应于该内容的特征向量可以预先被附加到电子布告栏系统上。具体来说，如图8所示，服务器100的特征向量存储单元4预先存储了一个包括多个记录数据项的BBS表，其中所述多个记录数据项包括对应于多段内容的特征向量和被分配给对应于所述多段内容的电子布告栏系统的地址(列举在图8中的“bbs-url”栏中)。
在这种情况下，当用户贴出他们的关于某内容的观点时，他们通过客户机101的内容输入单元1输入指令来发出搜索电子布告栏系统的请求。接收到这个指令之后，包括根据内容预先生成的特征向量作为搜索条件的搜索电子布告栏的请求将通过通信单元7被发送到服务器100。
服务器100的搜索单元5将在图8的BBS表中搜索所包括的特征向量与作为搜索请求中的搜索条件而包括的特征向量最相似的记录数据。包括在检测到的记录数据中的电子布告栏系统的地址被返回到作为请求者终端的客户机101。接收到该电子布告栏系统的地址后，客户机101的内容输入单元1通过通信单元7访问该地址，图6的显示屏幕上的消息写入区域204由此变成激活的。也就是，被写在消息写入区域204的区域204a上的消息，以及存储此消息(元数据)的请求能被发送到服务器100。
如上所述，当贴出关于内容的消息时，通过使用特征向量的搜索，作为目标的期望的电子布告栏系统能被容易地检测到。
因此，在第三实施例中，即使同样的内容在不同时刻和/或由不同局部地区之间的不同广播电台来广播或重播，以及由此包括了不同的CM(可变部分)，或在记录介质的不同版本之间包括了不同的CM(可变部分)，都能通过使用与其对应的特征向量来标识。因此，即使同样的内容包括了一个或多个可变部分，对应于该同样的内容的元数据都能被容易地检测到，而不管可变部分是否不同。
每个客户机101可以采用一个存储单元，未在图5中示出，用于与和内容段对应的特征向量相关联地存储内容段。根据某内容生成特征向量后，该特征向量可以被存储在该存储单元，以使其能够被用于存储请求或搜索请求。
(第四实施例)图9是举例说明根据第四实施例的搜索系统的构造示例的框图，其使用了图1的特征向量生成装置。在图9中，与图3或5中相似的元件用相应的参考数字来表示。
与图5的搜索系统一样，图9的搜索系统包括服务器100和多个客户机101。客户机101被连接到内容观看装置102。每个客户机101包括内容输入单元1、可变部分检测单元2、特征向量计算单元3、特征向量存储单元4、搜索单元5和通信单元7。如图4或7所示，特征向量存储单元4存储特征向量和包括对应于每段内容的元数据的记录数据，其中所述特征向量是由可变部分检测单元2和特征向量计算单元3基于通过内容输入单元1输入的每段内容来生成的。搜索系统还包括图5所示的元数据输出单元9，以及内容编辑单元10，其中所述内容编辑单元10用于使用从服务器100下载的元数据来编辑内容，如稍后将描述的。
服务器100包括通信单元8、元数据存储单元11和搜索单元12。元数据存储单元11存储元数据项，每个元数据项都包括一个特征向量。搜索单元12使用特征向量来在元数据存储单元11中搜索元数据，就像搜索单元5一样，或使用作为搜索条件而提供的特征字符串作为关键数据，来在元数据存储单元11中搜索元数据。
服务器100的元数据存储单元11可以存储从每个客户机101发送的元数据，如图7所示。
图9所示构造的搜索系统能够执行与第三实施例的搜索系统同样的处理。例如，在图5中的搜索系统中，服务器100包括搜索单元5，并且响应于每个客户机101的搜索请求，基于特征向量执行搜索。作为比较，在图9的搜索系统中，由于每个客户机101都包括搜索单元5，其使用搜索单元5和其中生成的特征向量来搜索元数据。
将描述第四实施例的操作，它与第三实施例的操作不同。
图9所示的服务器100的元数据存储单元11将存储包括用于编辑内容的编辑信息的元数据。编辑信息连同包括对应于该内容的特征向量的元数据存储请求，被从客户机101发送到服务器100，其中所述编辑信息是使用用于编辑的设备，通过从内容中删除不需要的部分、重新编辑从多段内容收集起来的部分、或给内容附加注释来获得的。接收到元数据存储请求后，服务器100将包括了特征向量和作为元数据的编辑信息的记录数据存储到特征向量存储单元4中。
如果某一用户搜索内容的编辑信息，使用该内容的特征向量作为搜索条件的搜索请求被从该用户的客户机101发送到服务器100上。服务器100将在特征向量存储单元4中搜索所包括的特征向量与作为搜索条件的特征向量最相似的元数据项，并且将检测到的记录数据项或包括在其中的元数据返回到作为请求终端的客户机101。
客户机101的内容编辑单元10使用从服务器100作为搜索条件返回的元数据来编辑内容。也就是说，如果该元数据是包括指示内容的不需要部分的信息的编辑信息，则内容观看装置102被基于编辑信息来控制，以使其不重放不需要的部分。进而，如果元数据包括用于显示内容中某一画面的注释的编辑信息，则内容观看装置102被控制，以使其同时显示注释和画面。
服务器100的元数据存储单元11可以预先存储如图10所示的这些元数据。图10所示的元数据是由每个客户机101下载的数据，并且被其使用来编辑内容。
图10的元数据指示编辑，其中带有标识符“videoid＝1”的视频数据和带有标识符“videoid＝2”的视频数据按顺序被重放，带有标识符“audioid＝1”的音频数据和带有标识符“audioid＝2”的音频数据按顺序被重放，当带有标识符“videoid＝1”的视频数据被重放时，消息“这是节目的A部分”被显示，而当带有标识符“videoid＝2”的视频数据被重放时，消息“这是节目的B部分”被显示。
更具体来说，带有标识符“videoid＝1”的视频数据是特征向量为“1，9，8，7，12，3，4”(数值序列“1，9，8，7，12，3，4”由图10中的元素<uri vector>来指示)的内容的视频数据部分，其在从内容的开头的重放时刻“153000毫秒”(由图10中的<uri time>来指示)开始的历经“1000毫秒”(由图10中的元素<uri duration>来指示)的时段内被重放。
在视频数据重放的同时，带有标识符“audioid＝1”的音频数据，即特征向量为“1，9，8，7，13，2，1”(数值序列“1，9，8，7，13，2，1”由图10中的元素<uri vector>来指示)的内容的音频数据部分，在从内容的开头的重放时刻“153000毫秒”(由图10中的<uritime>来指示)开始的历经“1000毫秒”(由图10中的元素<uri duration>来指示)的时段内被重放。
此外，当带有标识符“videoid＝1”的视频数据被重放时，消息“这是节目的A部分”(由图10中的元素<message>来指示)，在从视频数据的重放时刻“5秒”(由图10中的<time>来指示)开始的历经“20秒”(由图10中的元素<duration>来指示)的时段内被显示。
其后，带有标识符“videoid＝2”的视频数据和带有标识符“audioid＝2”的音频数据被同时重放。
带有标识符“videoid＝2”的视频数据是特征向量为“10，9，2，8，3，7，8”(由图10中的元素<uri vector>来指示)的内容的视频数据部分，其在从内容的开头的重放时刻“154800毫秒”(由图10中的<uri time>来指示)开始的历经“50000毫秒”(由图10中的元素<uriduration>来指示)的时段内被重放。
带有标识符“audioid＝2”的音频数据是特征向量为“10，9，2，8，3，7，8”(由图10中的元素<uri vector>来指示)的内容的音频数据部分，其在从内容的开头的重放时刻“154800毫秒”(由图10中的<uri time>来指示)开始的历经“50000毫秒”(由图10中的元素<uriduration>来指示)的时段内被重放。
而且，当带有标识符“videoid＝2”的视频数据被重放时，消息“这是节目的B部分”(由图10中的元素<message>来指示)，在从视频数据的重放时刻“10秒”(由图10中的<time>来指示)开始的历经“20秒”(由图10中的元素<duration>来指示)的时段内被显示。
图10所示的元数据包括对应于三段内容的特征向量“1，9，8，7，12，3，4”、“1，9，8，7，13，2，1”和“10，9，2，8，3，7，8”。因此，如果在来自客户机101的搜索请求中作为搜索条件所包括的特征向量与这三个特征向量中的一个相似，那么该元数据将被搜索单元12搜索。服务器100将图10的元数据作为搜索结果返回给作为请求者终端的客户机101。客户机101的内容编辑单元10使用该元数据来执行内容编辑。特征向量可以比图10所示的具有更大的尺寸。但是，为了方便描述，采用了所示尺寸的特征向量。
需要注意的是，指示每个特征向量与相应的内容的链接的信息可以被附加在图10的元数据中的每个特征向量区域中。
此外，例如，如果元数据包括一个指示例如每段内容的标题的特征字符串，那么该特征字符串可以被用作搜索条件，而不用特征向量。具体来说，当用户通过内容输入单元1向他们的客户机101输入期望的特征字符串时，包括该特征字符串作为搜索条件的搜索请求被发送到服务器100。服务器100的搜索单元12将在元数据存储单元11中搜索包括作为搜索条件的特征字符串的元数据，并将检测到的元数据返回到作为请求者终端的客户机101。
在第四实施例中，为了指定包括在某内容中的某一画面，该内容(具有通过从其之中去除(多个)可变部分而获得的其(多个)不可变部分)的特征向量和该画面的重放时刻被使用。然而，此实施例并不局限于此。例如，该特征向量可以根据范围从该内容开头到该画面出现的点的内容数据来生成，或者根据该画面之后的内容数据来生成。当搜索单元5或12使用这样的特征向量来执行记录数据搜索时，它在特征向量存储单元4或元数据存储单元11中搜索与包括在整个数值序列中的某一区段中作为搜索条件的特征向量最相似的特征向量。
(第五实施例)图11是举例说明根据第五实施例的搜索系统的构造示例的框图，其使用了图1的特征向量生成装置。在图11中，与图9中的元件相同的元件使用相应的参考数字来表示，并且将仅给出不同的元件的描述。
在第五实施例中，除图9所示的元件外，每个客户机101中含有属性信息获取单元13。
属性信息指示标题、广播日期及时间、广播电台或内容种类、关于内容的评论等等，并且属性信息是例如电子节目指南(EPG)信息。
如图12所示，每个客户机101的特征向量存储单元4存储根据通过内容输入单元1输入的每段内容生成的特征向量、由属性信息获取单元13根据每段内容获取的属性信息、包括了元数据项并具有数据ID的记录数据项。特征向量存储单元4可以存储从服务器100下载的记录数据。每个记录数据项可以包括链接信息或内容本身，其中所述链接信息指示相应内容被实际存储的存储区域。
服务器100的元数据存储单元11还将存储大量的记录数据，包括特征向量、属性信息、元数据和数据ID，如图12所示。存储在元数据存储单元11中的元数据项可以包括响应于来自每个客户机101的元数据存储请求而存储的那些元数据项，以及预先存储的那些元数据项。
假定局部地区α中的用户A使用由属性信息获取单元13获得的属性信息来选择内容C1，并且通过内容观看装置102记录内容C1(例如，使用属性信息来执行内容C1的规划)。在这种情况下，内容C1被从内容观看装置102提供给内容输入单元1，由此可变部分检测单元2和特征向量计算单元3根据内容C1生成特征向量，与第一实施例一样。包括了特征向量和由属性信息获取单元13获得的属性信息的记录数据被存储在特征向量存储单元4中。此处假定内容C1的特征向量和属性信息分别是“B1001”和“E1001”。
现在参考图13的流程图，将给出图11所示的搜索系统的元数据搜索操作的描述。
当用户A通过内容输入单元1指示客户机101进行一个包括特征向量“B1001”和属性信息“E1001”作为搜索条件的搜索请求时，该请求通过通信单元7被发送到服务器100。
接收到此搜索请求后(步骤S101和S102)，服务器100的通信单元8将此搜索请求传送到搜索单元12。如果接收到的搜索请求不包括属性信息，搜索单元12将进行到步骤S107。与此相反，如果接收到的搜索请求包括属性信息作为搜索条件(步骤S103)，搜索单元12将进行到步骤S104，在其中搜索单元12在元数据存储单元11中搜索所包括的属性信息与作为搜索条件的属性信息一样的一个记录数据项(一些记录数据项)。如果检测到一个记录数据项(一些记录数据项)带有与给出的作为搜索条件的属性信息“E1001”一样的属性信息，它将被发送到作为请求者终端的客户机101。
客户机101的通信单元7接收到作为(多个)搜索结果的(多个)记录数据项之后，元数据输出单元9将比如包括在(多个)记录数据项中的元数据的信息显示在内容观看装置102上，如图14所示。如果用户A确认所显示的数据为对应于所请求的内容的元数据，并按下“确定”按钮201，则处理完成。另一方面，如果用户A按下“取消”按钮202，则一条关于搜索结果与用户A所请求的元数据不同的消息被通过通信单元7从内容输入单元1发送到服务器100(步骤S106)。服务器100接收到此信息后，搜索单元12此刻使用作为另一搜索条件给出的特征向量来执行与上述类似的搜索(步骤S107)。
当在存储于元数据存储单元11中的记录数据项中检测到所包括的一个特征向量(或一些特征向量)与作为搜索条件的特征向量“B1001”相似的一个记录数据项(或一些记录数据项)时(步骤S108)，记录数据项被发送到作为请求者终端的客户机101。
当客户机101的通信单元7接收到作为(多个)搜索结果的(多个)记录数据项时，元数据输出单元9将比如包括在(多个)记录数据项中的元数据的信息显示在内容观看装置102上，如图14所示。如果没有与用户A所请求的内容相对应的元数据，用户将再次按下“取消”按钮202，而且另一条关于用户A所请求的元数据没有被检测到的消息被发送到服务器100(步骤S109)，紧接着的是处理的终止。相反，如果用户A从所显示的元数据中选择了期望的记录数据并按下“确定”按钮201，这将被报告给服务器100(步骤S109)。接收到此报告后，服务器100进行到步骤S110，其中将确定在步骤S102所接收到的搜索条件是否包括属性信息。如果包括属性信息，程序将进行到步骤S111，其中属性信息被添加到在步骤S107和S108所检测到的记录数据中，紧接着的是处理的终止。
需要注意的是搜索处理也在以下情况结束当在步骤S108没有检测到与作为搜索条件的特征向量相同或相似的特征向量时；当尽管检测到了相似的记录数据，但用户A在步骤S109已按下“取消”按钮时；以及当尽管用户A已在所检测到的记录数据项中选择了一个，并按下“确定”按钮，但在步骤S110检测到没有包括属性信息作为搜索条件时。
假定当用户A在步骤S106已经按下“确定”按钮，也就是，当服务器100已接收到所检测到的元数据与期望的内容C1相对应的消息。此刻，处理结束。
然后假定局部地区β中的用户B已经记录了与用户A一样的内容C1，与特征向量“B1001”相似的特征向量“B1002”已被生成，并且与属性信息“E1001”不同的属性信息“E1002”已被获得。在这种情况下，为了获得对应于内容C1的元数据，包括作为搜索条件的特征向量“B1002”和属性信息“E1002”的搜索请求被从用户B的客户机101发送到服务器100，与用户A的情况一样。
此刻，服务器100的搜索单元5将在元数据存储单元11中搜索与属性信息“E1002”相同的一个记录数据项(或一些记录数据项)(步骤S101到S105)。属性信息包括内容的广播电台和广播日期及时间。
如果没有属性信息与属性信息“E1002”相同的记录数据，程序进行到步骤S107，其中搜索单元5将基于作为另一搜索条件的特征向量“B1002”来执行搜索。由于特征向量“B1002”与特征向量“B1001”相似，图12中所示的带有数据ID“1”的记录数据被搜索到。该记录数据包括元数据“M1001”(步骤S107)。
当使用属性信息和/或特征向量的搜索被执行时，多个记录数据项可以被检测到。包括在所检测到的记录数据中的属性信息可以包括指示相应内容的种类的信息。该种类是指内容的类型，比如“电影”、“体育”等等。
服务器100可以存储来自每个用户的搜索请求和每个元数据存储请求的历史记录。在这种情况下，当多个记录数据项被检测到时，包括在用户B的历史记录中的属性信息可以被查阅，由此而执行排序处理，比如将检测到的记录数据项关于他们的种类来按出现频率渐降的顺序进行重排列。
如图14所示，用户B的客户机101的元数据输出单元9将在内容观看装置102上，显示在步骤S108所检测到的包括带有数据ID“1”的记录数据的记录数据项。如果用户B按下“确定”按钮，一条关于带有数据ID“1”的记录数据被用户B所请求的消息被发送到服务器100(步骤S109)。由于从用户B发送的搜索条件包括属性信息“E1002”(步骤S110)，服务器100将此属性信息添加到带有数据ID“1”的记录数据中(步骤S111)。
结果，包括元数据“M1001”的带有数据ID“1”的记录数据包括特征向量“B1001”和属性信息项“E1001”和“E1002”。
在用户B发出搜索请求之前，服务器100的元数据存储单元11已经存储了另一记录数据项(带有，比如数据ID“10”)，该记录数据项包括特征向量“B1002”、属性信息项“E1002”和与元数据“M1001”不同的元数据“M1002”。此记录数据项连同带有数据ID“1”的记录数据被检测到，并被一起显示在内容观看装置102上。如果用户B选择带有数据ID“1”的记录数据(包括元数据“M1001”)，属性信息“E1002”被添加到该记录数据中。
此后，如果局部地区β中的用户C的客户机101已经向服务器100发送元数据搜索请求，其中该元数据搜索请求包括特征向量“B1002”和属性信息“E1002”作为搜索条件，那么服务器100的搜索单元5将使用属性信息“E1002”来在元数据存储单元11中搜索，与上述情况一样。此时，由于带有数据ID“1”的记录数据包括属性信息项“E1001”和“E1002”，因此在步骤S105中带有数据ID“1”的记录数据被检测到。
在此例中，即使用户C的客户机101不具有特征向量计算单元3(也就是，即使没有包括特征向量来作为搜索条件)，使用属性信息也能检测到对应于期望内容的记录数据，即元数据。
如上所述，在第五实施例中，即使由于相同的内容在不同的时间和/或由不同区域之间的不同广播电台来广播，或在不同的广播日期及时间被重播，而使得对应于相同内容的元数据包括着不同的属性信息项，通过额外使用对应于内容的特征向量，元数据也能被容易地检测到。
在第五实施例中，属性信息是EPG信息，对应于具有这种属性信息的广播内容的元数据被搜索。但是，第五实施例的搜索系统并不局限于进行这个搜索。对于具有比如EPG信息这种属性信息的内容的情况，举例来说，对于记录在市场上可购买到的DVD中的内容，相同内容会有不同版本被出售。因此，如果使用对于不同版本的相同DVD内容是唯一的某一ID作为属性信息，那么元数据搜索就能被如上所述容易地执行。DVD内容的唯一ID能够例如使用以下方式被生成。一定数量的数据，举例来说，200Kbyte的数据，被从DVD数据的头部读取，并且由此计算出一个散列(hash)值。参考散列表，该散列值能被用作分配给DVD数据的ID。
在第一到第五实施例中，用于标识某内容的ID数据不依赖于附属于该内容的信息，比如广播电台和/或广播时间，该ID数据根据该内容本身被生成，并且被用于容易地检测与该内容相同的内容或与其对应的元数据。
由于不管内容的广播电台和/或广播时间，该内容都能被检测到，所以即使内容由不同局部地区之间的不同广播电台和/或在不同的广播时间(日期和时间)广播，该内容也能被容易地检测到。而且，如果某些内容间包括不同的CM，例如，当该内容被初次广播以及当其被重播时，通过从其中去除CM能够标识该内容。
内容输入部分1、可变部分检测单元2、特征向量计算单元3、搜索单元5和12、通信单元7和8、元数据输出单元9、内容编辑单元10、属性信息获取单元13等的功能可以通过让计算机执行指定上述过程的程序来实现。
对于本领域的技术人员来说，很容易进行附加的改进和修改。因此，本发明在其更广的方面并不受这里所示出和描述的具体细节和典型实施例的限制。因此，在不脱离由所附权利要求及其等价物所限定的一般发明概念的精神和范围的情况下，可以进行各种修改。
权利要求
1.一种特征向量生成装置，包括输入单元，用于输入包括视频数据和音频数据中的至少一个的内容数据；生成单元，用于基于指示所述内容数据的特征状态出现的时刻的信息来生成特征向量，所述特征状态以所述视频数据和所述音频数据中的至少一个发生改变为表征；以及存储单元，用于存储所述内容数据和所述特征向量。
2.如权利要求1所述的装置，其中所述特征状态指示画面改变、静区以及声音电平不低于预置电平的状态中的至少一个。
3.如权利要求1所述的装置，其中，所述信息指示范围从所述内容数据开始到多个时刻中的每一个的时段。
4.如权利要求1所述的装置，还包括可变部分检测单元，所述可变部分检测单元用于检测所述内容数据中的可变部分，以及其中，所述生成单元根据通过从所述内容数据中去除所述可变部分而获得的修改过的内容数据来生成所述特征向量。
5.如权利要求1所述的装置，还包括传输单元，所述传输单元用于发送搜索请求，其中所述搜索请求包括用于在所述内容数据中搜索元数据的所述特征向量。
6.一种搜索装置，包括存储单元，用于与内容数据和所述内容数据的元数据中的至少一个相关联地存储每个特征向量，所述内容数据包括视频数据和音频数据中的至少一个，所述特征向量是基于指示所述内容数据的特征状态分别出现的时刻的信息而生成的，所述特征状态分别以所述视频数据和所述音频数据中的至少一个发生改变为表征；可变部分检测单元，用于检测第一内容数据中的可变部分，其中所述第一内容数据包括视频数据和音频数据中的至少一个；生成单元，用于基于指示第二内容数据的特征状态出现的时刻的信息来生成第一特征向量，所述第二内容数据通过从所述第一内容数据中去除所述可变部分来获得；以及搜索单元，用于在存储在所述存储单元中的所述特征向量中搜索与所述第一特征向量相似的特征向量。
7.一种搜索装置，包括存储单元，用于与内容数据的元数据相关联地存储每个特征向量，所述内容数据包括视频数据和音频数据中的至少一个，所述特征向量是基于指示所述内容数据的特征状态分别出现的时刻的信息而生成的，所述特征状态分别以所述视频数据和所述音频数据中的至少一个发生改变为表征；接收单元，用于接收包括第一特征向量作为搜索条件的搜索请求，所述第一特征向量是基于指示第一内容数据的特征状态分别出现的时刻的信息而生成的；搜索单元，用于在存储在所述存储单元中的所述特征向量中搜索与所述第一特征向量相似的特征向量；以及传输单元，用于向所述搜索请求的请求者发送搜索结果，其中所述搜索结果包括所述搜索单元所检测到的所述特征向量的元数据。
8.如权利要求1所述的装置，其中，所述特征向量指示所述时刻的数量、以及每对相邻的所述时刻之间的区段的时间长度，其中在所述时刻，所述内容数据的特征状态分别出现。
9.如权利要求4所述的装置，其中，所述可变部分检测单元检测包括在所述内容数据中的商业消息部分作为所述可变部分。
10.如权利要求7所述的装置，其中，所述搜索请求还包括关于所述第一内容数据的属性信息，以及所述存储单元与元数据相关联地存储所述属性信息，其中所述元数据被包括在所述传输单元所发送的所述元数据中，并且被发出所述搜索请求的用户选择。
11.一种搜索装置，包括存储单元，用于与对应于内容数据的元数据和电子节目指南(EPG)信息相关联地存储每个特征向量，所述内容数据包括视频数据和音频数据中的至少一个，所述特征向量是基于指示所述内容数据的特征状态分别出现的时刻的信息而生成的，所述特征状态分别以所述视频数据和所述音频数据中的至少一个发生改变为表征；接收单元，用于接收搜索请求，其中所述搜索请求包括第一特征向量作为搜索条件，或者包括所述第一特征向量和第一内容数据的第一EPG信息作为搜索条件，其中所述第一内容数据包括视频数据和音频数据中的至少一个，所述第一特征向量是基于指示所述第一内容数据的特征状态分别出现的时刻的信息而生成的；搜索单元，用于如果所述搜索请求包括所述第一EPG信息，则在所述EPG信息中搜索与所述第一EPG信息相同的EPG信息，如果与所述第一EPG信息相同的EPG信息未被检测到或者如果所述第一EPG信息未被包括在所述搜索请求中，则所述搜索单元在所述特征向量中搜索与所述第一特征向量相似的特征向量；以及传输单元，用于向所述搜索请求的请求者发送搜索结果，其中所述搜索结果包括与和所述第一EPG信息相同的所述EPG信息相关的、并且被所述搜索单元检测到的元数据，或者包括与和所述第一特征向量相似的所述特征向量相关的、并且被所述搜索单元检测到的元数据。
12.如权利要求11所述的装置，其中，如果所述传输单元向所述请求者发送包括与和所述第一特征向量相似的所述特征向量相关的所述元数据的所述搜索结果，并且如果所述搜索请求包括所述第一EPG信息，则所述存储单元与元数据相关联地存储所述第一EPG信息，其中所述元数据被包括在所述传输单元所发送的所述元数据中，并且被所述请求者选择。
13.一种特征向量生成方法，用于基于指示内容数据的特征状态分别出现的时刻的信息来生成特征向量，所述特征状态分别以视频数据和音频数据中的至少一个发生改变为表征。
14.如权利要求13所述的方法，其中，所述特征状态至少包括画面改变、静区以及声音电平不低于预置电平的状态中的一个。
15.如权利要求13所述的方法，其中，指示所述特征状态出现的所述时刻的所述信息表示范围从所述内容数据的开始到每个所述时刻的时段。
16.如权利要求13所述的方法，其中，所述特征向量指示所述时刻的数量、以及每对相邻的所述时刻之间的区段的时间长度。
17.一种搜索方法包括准备存储单元，所述存储单元用于与内容数据和所述内容数据的元数据中的至少一个相关联地存储每个特征向量，所述内容数据包括视频数据和音频数据中的至少一个，所述特征向量是基于指示所述内容数据的特征状态分别出现的时刻的信息而生成的，所述特征状态分别以所述视频数据和所述音频数据中的至少一个发生变化为表征；检测第一内容数据中的可变部分，其中所述第一内容数据包括视频数据和音频数据中的至少一个；基于指示第二内容数据的特征状态出现的时刻的信息来生成第一特征向量，其中所述第二内容数据通过从所述第一内容数据中去除所述可变部分来获得；以及在存储在所述存储单元中的所述特征向量中搜索与所述第一特征向量相似的特征向量。
全文摘要
一种特征向量生成装置，包括输入单元，用于输入包括视频数据和音频数据中的至少一个的内容数据；生成单元，用于基于指示内容数据的特征状态出现的时刻的信息来生成特征向量，特征状态以视频数据和音频数据中的至少一个发生改变为表征；以及存储单元，用于存储内容数据和特征向量。
文档编号H04N7/173GK1773507SQ200510120458
公开日2006年5月17日 申请日期2005年11月10日 优先权日2004年11月10日
发明者筒井秀树, 铃木优, 真锅俊彦 申请人:株式会社东芝