专利名称：图像声音同步装置的制作方法
技术领域：
本发明涉及使图像和声音的再现定时同步的图像声音同步装置。
背景技术：
近年来，使用图像声音再现装置再现经由通信线路传输的数字化的图像和声音。例如，通过局域网(LAN)和因特网等的网络传输活动图像数据的活动图像分配系统、再现经由网络传输的活动图像数据的动画再现装置等正在实用化。
这样的图像声音再现装置，在例如通过IP(Internet Protocol)进行数据通信的IP网络等中，在传输分组化的图像和声音数据时，由于数据传输时间的偏移等，有时图像和声音的再现定时偏移，对应于这样的情况而进行图像和声音的同步。一般地，就进行图像和声音的同步而言，采用基于接收的图像和声音数据中附加的时刻信息来检测接收时刻的偏移的偏移检测部件和进行使图像和声音的再现定时一致的信号延迟的延迟部件，使图像和声音的至少一方延迟并调整定时，取得同步。
作为图像和声音的同步步骤，原先采用以下所示的步骤。(1)在开始接受数据分组时，由偏移检测部件求出图像分组和声音分组的接收时间差并决定延迟量。(2)在延迟部件中设定决定的延迟量，通过一边将以后接收的数据延迟一边进行再现来取得同步。(3)以每个分组或一定间隔再确认延迟量，进行再同步。
例如，在(日本)特开平8-46884号公报中，公开了以下技术使用图像分量和声音分量的各自的定时参考(PTS)信号，对应于该PTS的差进行图像和声音的同步。另外，在(日本)特开平9-214936号公报中，公开了以下技术在活动图像数据的解码处理对应于系统的状况而被延迟的情况下，允许延迟到设定的处理延迟允许值，在增加到超过该处理延迟允许值的情况下，将接收的未处理的活动图像数据清零并请求更新处理数据，通过对更新处理数据进行处理来进行再同步。
即使取得了图像和声音的同步，有时由于在再现中数据分组的接收定时产生波动，而使同步偏移，需要像上述同步步骤(3)所述那样每隔规定间隔等进行再同步。但是，在现有的同步方法中，没有对再同步的定时下工夫，在进行再同步时再现信号产生不连续，有时产生图像和声音中途中断等图像和声音的扰动，此时视听者会感到不自然。
发明内容
本发明是鉴于上述情况的发明，其目的是提供可减轻再同步时的图像和声音的扰动的图像声音同步装置。
另外，本发明提供可对应于解码部的特性而可变设定用于同步的延迟基准值的图像声音同步装置。
本发明提供一种图像声音同步装置，在再现包含分组化传输的图像数据和声音数据的至少一方的多个内容数据时进行同步，其特征在于，该装置包括再同步判定部件，判定是否为进行所述多个内容数据的再同步的定时；同步控制部件，以所述判定的再同步的定时决定同步的延迟量；数据延迟部件，基于所述延迟量延迟所述多个内容数据的至少一个；以及数据分析部件，进行所述多个内容数据的分析，所述再同步判定部件基于由所述数据分析部件得到的分析结果，在所述内容数据的一个为声音数据，其声音电平连续在规定值以下的情况以及连续为非声音的杂音的情况的至少一方的情况下，判定为再同步的定时。
本发明还提供一种图像声音同步装置，在再现包含分组化传输的图像数据和声音数据的至少一方的多个内容数据时进行同步，其特征在于，该装置包括再同步判定部件，判定是否为进行所述多个内容数据的再同步的定时；同步控制部件，以所述判定的再同步的定时决定同步的延迟量；数据延迟部件，基于所述延迟量延迟所述多个内容数据的至少一个；以及数据分析部件，进行所述多个内容数据的分析，所述再同步判定部件基于由所述数据分析部件得到的分析结果，在所述内容数据的一个为图像数据，该数据为帧内编码图像的数据的情况以及与前帧的差分在规定值以下的情况的至少一方的情况下，判定为再同步的定时。
本发明还提供一种图像声音同步装置，在再现包含分组化传输的图像数据和声音数据的至少一方的多个内容数据时进行同步，其特征在于，该装置包括再同步判定部件，判定是否为进行所述多个内容数据的再同步的定时；同步控制部件，以所述判定的再同步的定时决定同步的延迟量；数据延迟部件，基于所述延迟量延迟所述多个内容数据的至少一个；以及数据传输状态检测部件，检测所述多个内容数据的传输状态，所述再同步判定部件，基于由所述数据传输状态检测部件得到的检测结果，在发生包含作为所述内容数据的传输状态的分组丢失、分组的非顺序到达、分组的到达间隔在规定值以上的任何一个传输异常的情况下，判定为再同步的定时。
本发明还提供一种图像声音同步装置，在再现包含分组化传输的图像数据和声音数据的至少一方的多个内容数据时进行同步，其特征在于，该装置包括再同步判定部件，判定是否为进行所述多个内容数据的再同步的定时；同步控制部件，以所述判定的再同步的定时决定同步的延迟量；数据延迟部件，基于所述延迟量延迟所述多个内容数据的至少一个；以及，用户操作检测部件，检测用户的操作，所述再同步判定部件基于由所述用户操作检测部件得到的检测结果，在作为用户操作而进行有关再现图像或声音的操作时，判定为再同步的定时。
本发明还提供一种图像声音同步装置，在再现包含分组化传输的图像数据和声音数据的至少一方的多个内容数据时进行同步，其特征在于，该装置包括再同步判定部件，判定是否为进行所述多个内容数据的再同步的定时；同步控制部件，以所述判定的再同步的定时决定同步的延迟量；以及数据延迟部件，基于所述延迟量延迟所述多个内容数据的至少一个，所述内容数据是以在传输时适合于再同步的规定的定时附加了再同步信息的数据，所述再同步判定部件根据所述再同步信息来判定再同步的定时。
第1，本发明为一种图像声音同步装置，在再现包含分组化传输的图像数据和声音数据的至少一方的多个内容数据时进行同步，其特征在于，该装置包括再同步判定部件，判定是否为进行所述多个内容数据的再同步的定时；同步控制部件，以所述判定的再同步的定时决定同步的延迟量；以及数据延迟部件，基于所述延迟量延迟所述多个内容数据的至少一个。
第2，本发明的特征在于，该装置包括进行所述多个内容数据的分析的数据分析部件，所述再同步判定部件基于由所述数据分析部件得到的分析结果，在所述内容数据的一个为声音数据，其声音电平连续在规定值以下的情况以及连续为非声音的杂音的情况的至少一方的情况下，判定为再同步的定时。
第3，本发明的特征在于，该装置包括进行所述多个内容数据的分析的数据分析部件，所述再同步判定部件基于由所述数据分析部件得到的分析结果，在所述内容数据的一个为图像数据，该数据为帧内编码图像的数据的情况以及与前帧的差分在规定值以下的情况的至少一方的情况下，判定为再同步的定时。
第4，本发明的特征在于，该装置包括检测所述多个内容数据的传输状态的数据传输状态检测部件，所述再同步判定部件，基于由所述数据传输状态检测部件得到的检测结果，在发生包含作为所述内容数据的传输状态的分组丢失、分组的非顺序到达、分组的到达间隔在规定值以上的任何一个传输异常的情况下，判定为再同步的定时。
第5，本发明的特征在于，该装置包括检测用户的操作的用户操作检测部件，所述再同步判定部件基于由所述用户操作检测部件得到的检测结果，在进行有关用户操作的再现图像或声音的操作时，判定为再同步的定时。
第6，本发明的特征在于该装置包括优先级判定部件，判定优先同步所述多个内容数据中的哪一个。
第7，本发明的特征在于，该装置包括进行所述多个内容数据的分析的数据分析部件，所述优先级判定部件基于由所述数据分析部件得到的分析结果，在所述内容数据为声音数据和图像数据的组合，所述声音数据的到达时间的波动比该时间数据的分组长度小的情况下，判定优先同步所述图像数据。
第8，本发明的特征在于，该装置包括进行所述多个内容数据的分析的数据分析部件，所述优先级判定部件基于由所述数据分析部件得到的分析结果，在所述内容数据为声音数据和图像数据的组合，所述声音数据的到达时间的波动比该时间数据的分组长度大的情况下，判定优先同步所述声音数据。
第9，本发明的特征在于，该装置包括进行所述多个内容数据的分析的数据分析部件，所述优先级判定部件基于由所述数据分析部件得到的分析结果，根据所述内容数据的内容，判定再同步时的数据的优先级。
第10，本发明的特征在于，该装置包括检测所述多个内容数据的传输状态的数据传输检测部件，所述优先级判定部件基于由所述数据传输检测部件得到的检测结果，对应所述内容数据的分组的传输状态，判定再同步时的数据的优先级。
第11，本发明的特征在于，该装置包括检测用户的操作的用户操作检测部件，所述优先级判定部件基于由所述用户操作检测部件得到的检测结果，对应有关图像或声音的用户操作，判定再同步时的数据的优先级。
第12，本发明的特征在于，所述内容数据是以在传输时适合于再同步的规定的定时附加了再同步信息的数据，所述再同步判定部件根据所述再同步信息来判定再同步的定时。
在本发明中，根据声音数据的声音电平、图像数据的编码图像种类、数据传输状态、用户操作等判定是否为进行多个内容数据的再同步的定时，以该再同步的定时决定同步的延迟量，通过基于该延迟量延迟多个内容数据的至少一个，进行再同步。另外，此时，根据声音数据到达时间的波动、数据传输状态、内容数据的内容、用户操作等判定优先进行哪一个数据的再同步的优先级。或者，在传输内容数据时以适用于再同步的定时在内容数据中附加再同步信息，根据该再同步信息判定再同步的定时。由此，可减轻进行再同步时的图像数据的扰动和声音数据的中途中断等的内容数据的扰动，以使其不明显。
另外，在内容数据的解码部件的前级中生成测定用数据并插入到内容数据中，在解码部件的后级中从内容数据中取出测定用数据并传送到同步控制部件中，在同步控制部件中，基于所述测定用数据，获得解码处理时间，决定用于同步的延迟基准值。由此，即使解码部的方式和特性等变更，也可对应于解码部的特性而可变设定用于同步的延迟基准值。
图1是表示本发明实施方式1的包含图像声音同步装置的图像声音再现装置的结构的方框图。
图2是表示实施方式1的再同步控制部的详细结构的方框图。
图3是表示图像数据和声音数据的各部分中的输入输出定时的时序图。
图4是表示在以图像优先模式进行再同步的情况下的图像数据和声音数据的各部分中的输入输出定时的时序图。
图5是表示在以声音优先模式进行再同步时图像数据的时间波动小的情况下的图像数据和声音数据的各部分中的输入输出定时的时序图。
图6是表示在以声音优先模式进行再同步时图像数据的时间波动大的情况下的图像数据和声音数据的各部分中的输入输出定时的时序图。
图7是表示实施方式2的再同步控制部的详细结构的方框图。
图8是表示实施方式3的包含图像声音同步装置的图像声音再现装置的结构的方框图。
图9是表示实施方式3的再同步控制部的详细结构的方框图。
图10是表示实施方式4的图像和声音数据的分组格式的结构的说明图。
图11是表示实施方式5的包含图像声音同步装置的图像声音再现装置的结构的方框图。
图12是表示实施方式5的图像和声音数据和测定用数据的数据格式的结构的说明图。
关于上述图中的标号，11表示图像接收部，12表示声音接收部，13、41以及60表示图像声音同步部，15表示图像解码部，16表示声音解码部，17表示图像显示部，18表示声音再现部，20、20a、20b以及20c表示再同步控制部，21表示图像延迟控制部，22表示声音延迟控制部，31、36以及43表示再同步判定部，32、37以及44表示优先级判定部，33表示同步控制部，34表示图像分组分析部，35表示声音分组分析部，38表示图像分组传输状态计测部，39表示声音分组传输状态计测部，42表示用户操作检测部，61和62表示测定信号生成部，63和64表示测定信号检测部，65和66表示测定数据设定部。
具体实施例方式
以下，参照附图来说明本发明的实施方式。
图1是表示本发明实施方式1的包含图像声音同步装置的图像声音再现装置的结构的方框图。本实施方式示出对经由IP网络等的通信线路传输的分组化的图像和声音的内容数据进行接收和再现的图像声音再现装置中的图像声音同步装置的结构例，并详细说明其动作。
图像声音再现装置包括接收作为第一内容数据的图像数据(图像分组)的图像接收部11；接收作为第二内容数据的声音数据(声音分组)的声音接收部12；将再现时的图像和声音同步的图像声音同步部13；进行图像数据的解码的图像解码部15；进行声音数据的解码的声音解码部16；对解码的图像信号进行显示的图像显示部17；对解码的声音信号进行再现的声音再现部18。
这里所说的内容数据是包含一个或多个媒体数据(声音数据和图像数据)的数据。由多个媒体数据构成的内容数据例如表示复用的声音图像流或由声音/图像/静止图像/文本等构成的多媒体信息流等。
图像声音同步部13包括进行有关再同步的动作控制的再同步控制部20；控制图像数据的延迟时间的图像延迟控制部(数据延迟部件)21；控制声音数据的延迟时间的声音延迟控制部(数据延迟部件)22。
本实施方式中，在图像声音同步部13中，对于由图像接收部11和声音接收部12分别接收的图像数据和声音数据，通过再同步控制部20的控制，在图像延迟控制部21和声音延迟控制部22中分别进行延迟，调整向图像解码部15和声音解码部16的投入定时，从而，可进行图像和声音的同步。这里，为了减轻再同步时图像和声音的扰动，按以下所示的4个中的任何一个定时实行再同步。
(A)输入声音分组的声音电平连续在规定值以下的情况和连续为非环境音等的声音的情况下，进行再同步。
(B)输入图像分组为帧内编码图像(I帧图像)的情况以及与前帧的差分小的情况下，进行再同步。
(C)配合传输状态(分组丢失、分组的非顺序到达、分组的到达间隔等)进行再同步。
(D)配合用户操作(音量调低、图像显示中窗口的扩大等)进行再同步。
通过以上述的定时进行再同步，即使发生图像数据和声音数据的不连续，也可使再现输出的图像和声音的扰动不明显。例如，在声音的输出电平小的情况下，即使有一些中途中断而进行数据插补的延长处理等而不明显，所以可减低图像和声音的扰动并实行再同步。另外，如果在帧内编码图像等的画质好的帧图像中同步偏移大，则用户产生的不舒适增大，另外帧内编码图像中与以前的帧图像的相关性低，所以可用这样的帧图像的定时实行再同步以便图像和声音的扰动不明显。而且，即使有帧间编码图像，但如果与前帧的差分小，则即使废弃该输入图像分组，由于图像的扰动小，所以可用该定时实行再同步以便图像的扰动不明显。另外，在产生分组丢失等的数据传输时的不良情况，并进行用户操作的情况下，由于在原先输出的图像和声音中产生扰动，所以可在这种扰动不明显的期间实行再同步。
图2是表示实施方式1的再同步控制部的详细结构的方框图。该图2的例子表示以上述(A)或(B)所示的再同步定时进行再同步的结构。
实施方式1的再同步控制部20a由以下构成再同步判定部(再同步判定部件)31；优先级判定部(优先级判定部件)32；同步控制部(同步控制部件)33；图像分组分析部(数据分析部件)34；声音分组分析部(数据分析部件)35。再同步判定部31判定是否为再同步的定时。优先级判定部32判定并决定以图像或声音的哪一方为优先进行同步。同步控制部33执行图像和声音的再同步算法，决定图像和声音的延迟量。
图像分组分析部34对图像接收部11中接收的图像分组是否为帧内编码图像(I帧图像)进行分析。声音分组分析部35判定声音接收部12中接收的声音分组的声音电平。
在实施方式1中，基于图像分组分析部34和声音分组分析部35中的分析结果，在再同步判定部31中判定是否为进行再同步的定时，同时在优先级判定部32中决定进行再同步时以图像优先模式和声音优先模式的哪一个实行同步。这里，在接收的声音分组的声音电平连续为规定值以下的状态的情况和接收的图像分组为帧内编码图像的情况下进行再同步。例如，声音电平低于作为所述规定值的50dB(安静的房间的噪音电平标准)的情况下，进行再同步。再有，规定值不限定于上述值，可对应于系统结构和使用环境使用合适的任意值。
或者，在图像分组中与前帧的差分在规定值以下的情况下进行再同步也可以。此时，例如，通过设定作为图像编码处理单位的每个宏块，利用表示该宏块不包含该帧中的编码信息的not_coded标记，可进行与前帧的差分的评价。本例中，在构成解像度352×240像素的图像的330个宏块中，在相当于70％的231个以上的宏块中设定为not_coded标记的情况下，认为与前帧的差分在规定值以下，进行再同步。再有，规定值不限于上述值，也可对应于系统结构和数据格式等使用合适的任意值。
在声音接收部12中接收的声音分组的到达时间的波动比声音分组长度小的情况下，由于声音数据的延长处理造成的声音的扰动小，所以按图像优先模式进行再同步。在图像优先模式中，以向图像解码部15的图像数据的投入定时为基准，将声音数据输出到声音解码部16。这里，如果再同步时延迟的声音数据的投入定时迟缓，由此产生声音的中途中断的情况下，为了消除中途中断，进行声音数据的延长处理。
在声音接收部12中接收的声音分组的到达时间的波动比声音分组长度大的情况下，由于声音数据的延长处理造成的声音的扰动大，所以按声音优先模式进行再同步。在声音优先模式中，以向声音解码部16的声音数据的投入定时为基准，向图像解码部15输出图像数据。此时，为了不发生声音的中途中断，使声音数据的投入定时提前。另外，在图像分组的接收定时相对于声音迟到一帧以上的情况下，指示图像显示部17不进行图像的显示。由此，可防止显示与声音偏离的图像，防止图像的扰动。
再有，图像和声音的优先级的判定，除了上述例以外，也可以根据声音数据和图像数据的内容，例如声音电平低时以图像为优先，或图像为I帧图像时以图像为优先。
以下详细说明图像和声音的同步。图3是表示图像数据和声音数据的各部分中的输入输出定时的时序图。通常，由于图像数据和声音数据的接收定时因网络等的通信线路存在的传输延迟差，所以相比声音接收部12中的声音分组的接收定时，图像接收部11中的图像分组的接收定时滞后。考虑该传输延迟差与声音解码部16和图像解码部15中的解码处理时间差，将这些时间差相加作为声音延迟时间，延迟声音数据向声音解码部16的投入定时。由此，使声音再现部18和图像显示部17中的输出内容的定时一致，可取得图像和声音的同步。
图4是表示在以图像优先模式进行再同步的情况下的图像数据和声音数据的各部分中的输入输出定时的时序图。再有，以后，用例子示出使声音n、n+1、n+2的数据和图像m的数据对应进行再同步的情况。在图像优先模式的情况下，以向图像解码部15的图像数据的投入定时为基准，配合声音数据的投入定时向声音解码部16输出。
在图4的例中示出以下情况相比用于使声音再现部18和图像显示部17的输出定时一致并取得同步的声音延迟时间(延迟基准值)，向声音解码部的声音数据的投入开始定时提前，发生声音数据的时间波动Tda。此情况下，如果配合图像数据定时使声音数据延迟，则由于声音中途中断，所以为了避开这种情况，插补声音n’那样的声音数据进行延长处理，并投入声音解码部16中。例如，如图4那样声音数据的时间波动Tda低于声音1帧，通常声音帧为20msec、波动Tda的值为10msec的情况下，通过声音数据插补处理，声音数据n’延长为30msec的数据。再有，不限于上述例示出的值，可对应于系统结构和数据格式等而使用合适的任意值。通过这样的动作处理，配合图像的输出定时进行声音的再同步，可防止该再同步时的声音的扰动。
图5是表示在以声音优先模式进行再同步时图像数据的时间波动小的情况下的图像数据和声音数据的各部分中的输入输出定时的时序图。在声音优先模式的情况下，以向声音解码部16的声音数据的投入定时为基准，配合图像数据的投入定时向图像解码部15输出。
在图5的例中示出以下情况相比用于使声音再现部18和图像显示部17的输出定时一致的声音延迟时间和图像延迟时间，向图像解码部15的图像数据的投入开始定时滞后，发生图像数据的时间波动Tdv。此情况下，为了使图像数据相对于声音数据同步，将图像显示部17中的图像数据的输出时间、即图像的显示时间变短。例如，如图5那样图像数据的时间波动Tdv的值低于声音1帧时，通常声音帧为20msec、波动Tdv的值为10msec的情况下，使图像数据的投入定时只延迟波动Tdv的值、即10msec而取得再同步。此情况下，为了防止图像和声音的扰动，将图像显示部17中的图像数据m的输出时间只缩短波动Tdv的值、即10msec。再有，不限于上述例示出的值，可对应于系统结构和数据格式等而使用合适的任意值。通过这样的动作处理，可防止图像和声音的扰动，可配合声音的输出定时进行图像的再同步。
图6是表示在以声音优先模式进行再同步时图像数据的时间波动大的情况下的图像数据和声音数据的各部分中的输入输出定时的时序图。在图6的例中示出以下情况相比用于使声音再现部18和图像显示部17的输出定时一致的声音延迟时间和图像延迟时间，向图像解码部15的图像数据的投入开始定时比声音滞后1帧以上，图像数据的时间波动Tdv大。此情况下，对应图像m的声音n、n+1、n+2的数据已经输出，声音n+3为对应图像m+1的声音，所以图像显示部17中不显示来不及的图像m的数据。例如，如图6那样图像数据的时间波动Tdv高于声音1帧，通常声音帧为20msec、波动Tdv的值为60msec的情况下，在图像显示部17中不进行极大延迟的图像m的再现。再有，不限于上述例示出的值，对应系统结构和数据格式等可使用合适的任意值。
不显示滞后的图像数据的情况下，即使是帧内编码图像(I帧图像)有一些滞后而不显示的情况，也不废弃图像数据。另一方面，在不显示帧间编码图像(P帧图像)的情况下废弃图像数据。如果废弃I帧图像，则在后续的P帧图像中解码时的信息中发生矛盾，画质下降，所以保持I帧图像使其在解码等时可使用。通过这样的动作处理，以便不显示在再同步时滞后而没有声音的图像，可防止图像和声音的扰动。
图7是表示实施方式2的再同步控制部的详细结构的方框图。该图7的例子表示以上述(C)所示的再同步定时进行再同步的结构。
实施方式2的再同步控制部20b由以下构成再同步判定部36；优先级判定部37；同步控制部33；图像分组传输状态计测部(数据传输状态检测部件)38；声音分组传输状态计测部(数据传输状态检测部件)39。图像分组传输状态计测部38计测图像接收部11中接收的图像分组的接收状态。声音分组传输状态计测部39计测声音接收部12中接收的声音分组的接收状态。
在实施方式2中，基于图像分组传输状态计测部38和声音分组传输状态计测部39中的分组传输状态的计测结果，在再同步判定部36中判定是否为进行再同步的定时，同时在优先级判定部37中决定进行再同步时以图像优先模式和声音优先模式的哪一个实行同步。这里，在图像分组和声音分组传输时发生分组丢失、分组的到达顺序更替、分组的到达间隔在规定值以上的情况等、发生分组的传输异常的传输状态时进行再同步。例如，作为所述规定值，在声音帧长度为20msec的情况下，以其50％的10msec为规定值，在声音分组的到达间隔超过规定值10msec的情况下进行再同步。再有，规定值不限定于上述值，可对应于系统结构和数据格式等而使用合适的任意值。
再有，此时与实施方式1同样，对应图像分组和声音分组的接收定时等，或者以图像分组和声音分组中传输状态正常的一方为优先取得同步。再同步的动作可以按照与实施方式1同样的过程实行。
在产生分组丢失等的情况下，必然会有图像或声音的扰动，通过配合这样的传输状态的定时进行再同步，可使再同步时的图像和声音的扰动不明显。
图8是表示实施方式3的包含图像声音同步装置的图像声音再现装置的结构的方框图，图9是表示实施方式3的再同步控制部的详细结构的方框图。图8和图9的例子表示以上述(D)所示的再同步定时进行再同步的结构。
实施方式3的图像声音再现装置包括检测用户操作的用户操作检测部(用户操作检测部件)42，图像声音同步部41包含该用户操作检测部42的检测结果来进行图像和声音的同步。图像声音同步部41的再同步控制部20c由以下构成再同步判定部43；优先级判定部44；同步控制部33。
在实施方式3中，基于用户操作检测部42中的用户操作检测结果，在再同步判定部43中判定是否为进行再同步的定时，同时在优先级判定部44中决定进行再同步时以图像优先模式和声音优先模式的哪一个实行同步。这里，在用户调低音量、图像显示中的窗口扩大等有关再现图像或声音的操作时，进行再同步。再有，此时，与实施方式1同样，对应于图像分组和声音分组的接收定时等，或者以图像和声音中不是用户的操作对象的一方为优先取得同步。再同步的动作可以按照与实施方式1同样的过程实行。
在这样由用户进行减少音量等的有关图像或声音的操作时，通过对应用户的操作并配合图像和声音的变化来进行再同步，可使再同步时的图像和声音的扰动不明显。
图10是表示实施方式4的图像和声音数据的分组格式的结构的说明图。
如图10(A)所示，网络上等传输的图像和声音数据的分组格式的构造一般为在具有分组生成时间51等的报头信息的报头部的后面，设有实际的图像和声音数据52。在实施方式4中，如图10(B)所示，在报头部的分组生成时间51的后面等附加设有再同步信息53，通过该再同步信息53控制再同步的定时。
此情况下，由发送端装置在声音数据中附加再同步信息，由接收端装置配合再同步的内容和定时进行图像和声音的再同步。例如，由发送端装置附加声音数据的声音电平为规定值以下的再同步信息。该再同步信息，可使用进行再同步时为‘1’、不进行再同步时为‘0’等的标记，也可附带再同步的优先级，使用以数值表示优先级的标记。再有，对图像数据可同样地附加再同步信息并用于再同步的控制。
这样进行的再同步，通过以希望的定时在声音数据和图像数据中附加再同步信息并控制再同步，可减轻再同步时图像和声音的扰动。另外，此时，不需要在接收端的装置中进行声音数据和图像数据的分析等，可简化再同步控制的结构。
图11是表示实施方式5的包含图像声音同步装置的图像声音再现装置的结构的方框图，图12是表示实施方式5的图像和声音数据和测定用数据的数据格式的结构的说明图。
实施方式5的图像再现装置，除了图1的实施方式1的结构之外，还包括图像声音同步部60的图像解码部15和声音解码部16的前级中各自的测定信号生成部(测定信号生成部件)61、62；图像解码部15和声音解码部16的后级中各自的测定信号检测部(测定信号检测部件)63、64和测定数据设定部(测定数据设定部件)65、66。
测定信号生成部61、62，生成设定了测定开始时间的测定数据，分别插入到图像数据和声音数据中。测定信号检测部63、64，从图像解码部15和声音解码部16的输出中检测并取出各自的测定用数据。测定数据设定部65、66，对取出的测定用数据设定测定结束时间，反馈到再同步控制部20中。
如图12(A)所示，由图像接收部11和声音接收部12分别接收的图像数据和声音数据的数据格式为在具有‘0’的数据识别号70的报头部的后面，设有实际的图像和声音的数据72的结构。另外，如图12(B)所示，测定用数据为在具有‘1’的数据识别号71的报头部的后面附加了测定开始时间73和测定结束时间74的结构。由该测定开始时间73和测定结束时间74可获得图像解码部15和声音解码部16的各自的实际解码处理时间。
在测定信号生成部61、62中，生成设定附加了测定开始时间的测定用数据，分别插入到图像数据和声音数据中。这些数据由图像解码部15和声音解码部16分别解码之后，由测定信号检测部63、64分别检测取出测定用数据。取出的测定用数据分别在测定数据设定部65、66中设定附加测定结束时间，被输出到再同步控制部20。再同步控制部20根据包含于测定用数据的测定开始时间和测定结束时间，求出图像解码部15和声音解码部16的各自的解码处理时间，基于这些解码处理时间差来决定延迟基准值，对图像延迟控制部21和声音延迟控制部22进行控制，由此进行再同步。
实施方式5中，在图像解码部15和声音解码部16中的特性和解码方式变更时，或者追加新的解码部时，用测定用数据测定该解码部的解码处理时间，设定声音延迟时间(延迟基准值)并进行再同步。由此，即使在切换图像解码部或声音解码部的情况下，也可对应于解码部的特性而可变设定同步用的延迟基准值并进行再同步。
再有，在上述的各实施方式中例示了使图像和声音同步的情况的结构，但并不仅仅是图像和声音的组合，在图像与图像的组合和声音与声音的组合等、各种内容数据的组合中也可采用同样的结构，以合适的定时顺利地实行再现数据的再同步。
参照特定的实施方式详细说明了本发明，但对本领域技术人员来说显然可增加各种变更和修正而不脱离本发明的精神和范围。
本申请基于2001年10月29日申请的日本专利申请(特愿2001-330803)，其内容在此作为参照。
工业利用可能性根据以上说明的本发明，可提供能够减轻再同步时的图像和声音的扰动的图像声音同步装置。另外，可提供根据解码部的特性可变设定同步用的延迟基准值的图像声音同步装置。
权利要求
1.一种图像声音同步装置，在再现包含分组化传输的图像数据和声音数据的至少一方的多个内容数据时进行同步，其特征在于，该装置包括再同步判定部件，判定是否为进行所述多个内容数据的再同步的定时；同步控制部件，以所述判定的再同步的定时决定同步的延迟量；数据延迟部件，基于所述延迟量延迟所述多个内容数据的至少一个；以及数据分析部件，进行所述多个内容数据的分析，所述再同步判定部件基于由所述数据分析部件得到的分析结果，在所述内容数据的一个为声音数据，其声音电平连续在规定值以下的情况以及连续为非声音的杂音的情况的至少一方的情况下，判定为再同步的定时。
2.一种图像声音同步装置，在再现包含分组化传输的图像数据和声音数据的至少一方的多个内容数据时进行同步，其特征在于，该装置包括再同步判定部件，判定是否为进行所述多个内容数据的再同步的定时；同步控制部件，以所述判定的再同步的定时决定同步的延迟量；数据延迟部件，基于所述延迟量延迟所述多个内容数据的至少一个；以及数据分析部件，进行所述多个内容数据的分析，所述再同步判定部件基于由所述数据分析部件得到的分析结果，在所述内容数据的一个为图像数据，该数据为帧内编码图像的数据的情况以及与前帧的差分在规定值以下的情况的至少一方的情况下，判定为再同步的定时。
3.一种图像声音同步装置，在再现包含分组化传输的图像数据和声音数据的至少一方的多个内容数据时进行同步，其特征在于，该装置包括再同步判定部件，判定是否为进行所述多个内容数据的再同步的定时；同步控制部件，以所述判定的再同步的定时决定同步的延迟量；数据延迟部件，基于所述延迟量延迟所述多个内容数据的至少一个；以及数据传输状态检测部件，检测所述多个内容数据的传输状态，所述再同步判定部件，基于由所述数据传输状态检测部件得到的检测结果，在发生包含作为所述内容数据的传输状态的分组丢失、分组的非顺序到达、分组的到达间隔在规定值以上的任何一个传输异常的情况下，判定为再同步的定时。
4.一种图像声音同步装置，在再现包含分组化传输的图像数据和声音数据的至少一方的多个内容数据时进行同步，其特征在于，该装置包括再同步判定部件，判定是否为进行所述多个内容数据的再同步的定时；同步控制部件，以所述判定的再同步的定时决定同步的延迟量；数据延迟部件，基于所述延迟量延迟所述多个内容数据的至少一个；以及用户操作检测部件，检测用户的操作，所述再同步判定部件基于由所述用户操作检测部件得到的检测结果，在作为用户操作而进行有关再现图像或声音的操作时，判定为再同步的定时。
5.一种图像声音同步装置，在再现包含分组化传输的图像数据和声音数据的至少一方的多个内容数据时进行同步，其特征在于，该装置包括再同步判定部件，判定是否为进行所述多个内容数据的再同步的定时；同步控制部件，以所述判定的再同步的定时决定同步的延迟量；以及数据延迟部件，基于所述延迟量延迟所述多个内容数据的至少一个，所述内容数据是以在传输时适合于再同步的规定的定时附加了再同步信息的数据，所述再同步判定部件根据所述再同步信息来判定再同步的定时。
全文摘要
一种图像声音再现装置，包括进行有关经由IP网络等传输图像和声音的再同步的动作控制的再同步控制部(20)，通过图像延迟控制部(21)和声音延迟控制部(22)分别控制图像数据和声音数据的延迟时间并进行再同步。此时，在再同步控制部中，根据声音数据的声音电平、图像数据的编码图像种类、数据传输状态、用户操作等判定再同步的定时，同时，根据声音数据到达时间的波动、数据传输状态、图像数据和声音数据的内容、用户操作等判定以图像数据优先模式和声音优先模式的哪一个进行再同步的优先级，以该再同步的定时执行规定的再同步算法并决定同步的延迟量，控制图像延迟控制部和声音延迟控制部。由此，减轻进行再同步时的图像和声音的扰动。
文档编号H04N7/52GK1801949SQ20051012011
公开日2006年7月12日 申请日期2002年10月28日 优先权日2001年10月29日
发明者佐藤正树, 冈敏夫, 井上秋野 申请人:松下电器产业株式会社