影像发送装置、影像接收装置、影像传输系统的制作方法

专利名称：影像发送装置、影像接收装置、影像传输系统的制作方法
技术领域：
本发明涉及影像发送装置、影像接收装置以及影像传输系统。
背景技术：
作为本技术领域的背景技术，例如有日本特开平10-308932号公报(专利文献1)。 该公报中记载了 “课题在数据传输方法中，在保证低延迟性以及影像的实时性的前提下， 提供能够对影像数据的错误以及影像数据的丢失进行恢复的技术。解决方法一种数据传输方法，在节点与节点之间或者端于端之间高品质且实时地传输实时产生的影像数据，该数据传输方法的特征在于，将多个传输包汇集成块，在接收侧生成包含有表示一个块内的各传输包全部被正确接收的ACK信号的确认响应，或者生成包含有表示一个块内存在没有被正确接收的传输包的NAK信号的确认响应，并送回到发送侧，当来自所述接收侧的块单位的确认响应包含NAK信号时，在发送侧仅将必须重新发送的传输包复制多个并向接收侧重新发送。”专利文献1 日本特开平10-308932号公报

发明内容
一直以来，存在用于确认车后方的车载摄像机等的影像传输系统。为使驾驶员边用监视器确认摄像机影像边进行驾驶，需要减少从摄影到监视器显示之间延迟，低延迟地实现系统。由于游戏机、电视电话等也要对所显示的内容进行行动，因此需要低延迟地实现从影像发送到显示的期间。在从影像发送到进行显示的监视器之间能够传输的比特率较低的情况下，通过在发送影像前进行信息压缩，而在监视器侧进行解压缩，由此实现系统。专利文献1中，记述了在两点间低延迟地传输实时产生的影像流的装置。该装置中从接收侧向发送侧返回表示传输单位的包已正确接收或者已失败的响应，发送侧根据响应来重新发送包。上述专利文献1，在影像流的传输中，在检出错误后进行影像数据的再发送请求， 为了进行纠错，在影像数据再发送之前，接收装置不能进行影像数据的解码处理，数据传输会产生延迟。此外，在发送装置与大量接收装置连接，进行广播情况下，发送装置极其难以在错误发生时个别响应各接收装置的再发送请求进行再发送。本发明的目的在于，提供能够在具有容错性且抑制延迟的产生的前提下传输影像数据的影像传输系统。上述目的可通过以下记载的发明来实现。发明的第一方面提供一种影像发送装置，其特征在于，包括编码器，其对输入的影像数据进行编码，输出影像流；和包处理部，其将从上述编码器输出的影像流封包，向传输通道输出，其中，上述包处理部，生成由每规定MB处理数的包汇集而成的原始数据组，和用于纠正上述原始数据组的数据错误的冗余数据，并根据上述原始数据组的比特数，控制
4上述冗余数据的插入量。发明的第二方面提供一种影像发送装置，其特征在于，包括编码器，其对输入的影像数据进行编码，输出影像流；和包处理部，其将从上述编码器输出的影像流封包，向传输通道输出，其中，上述包处理部，生成由每规定MB处理数的包汇集而成的原始数据组，和与上述原始数据组具有相同数据的冗余数据，并根据上述原始数据组的比特数，控制上述冗余数据的插入次数。发明的第三方面提供一种影像发送装置，其特征在于，包括编码器，其对输入的影像数据进行编码，输出影像流；和包处理部，将从上述编码器输出的影像流封包，向传输通道输出，其中，上述包处理部，生成由每规定MB处理数的包汇集而成的原始数据组，和用于纠正上述原始数据组的数据错误的冗余数据，在每规定MB处理数的开头，插入用于识别上述原始数据与上述冗余数据的识别包。发明的第四方面提供一种影像发送装置，其特征在于，包括编码器，其对输入的影像数据进行编码，输出影像流；和帧发送部，其将从上述编码器输出的影像流转换成包， 汇集多个上述包而生成帧，将上述帧向传输通道发送，其中，上述帧发送部，按每一帧生成用于纠正数据错误的冗余数据。发明的第五方面提供一种影像接收装置，其特征在于，包括帧接收部，其将通过传输通道接收的由发明第四方面所述的影像发送装置发送的数据转换成影像流，上述帧接收部，在存在因错误而损失的帧的情况下，利用另外的具有相同影像流的冗余数据的帧对数据进行插补。发明的第六方面提供一种影像传输系统，其特征在于，同时具备发明第四方面所述的影像发送装置和发明第五方面所述的影像接收装置。通过本发明可提供能够以具有容错性且抑制延迟的产生的方式传输影像数据的影像传输系统。


图1是表示第一实施例中影像传输系统的一个例子的概略图。图2是表示第一实施例中影像流的数据分层结构例的图。图3是表示第一实施例中解码器的结构例的图。图4表示第一实施例中发生传输错误时的VLD331的解码器输出例。图5是表示第一实施例中图像数据结构例的图。图6是表示第四实施例中TS包的一个例子的图。图7是表示第一实施例中表示片A的纠错时间的流水线的一个例子的图。图8是表示第三实施例中VBV的比特量的推移例的图。图9是表示第一实施例中解复用器310的控制流程例的图。图10是表示第一实施例中片数与偏差幅度的关系的一个例子的曲线图。图11是表示第一实施例中每个片的比特率的例子的图。图12是表示第一实施例中每个片的冗余化的例子的图。图13是表示第一实施例中音频数据的插入例的图。图14是表示第五实施例中影像传输系统的一个例子的图。
图15是表示第五实施例中影像接收系统的一个例子的图。
图16是表示第五实施例中填充用TS包的插入例的图。
图17是表示第四实施例中TS包的生成方法的例子的图。
图18是表示第五实施例中TS包的生成方法的一个例子的图。
图19是表示图18的TS包中的数据缺失判定以及冗余数据的丢弃方法的图。
图20是表示第五实施例中TS包的生成方法的一个例子的图。
图21是表示图20的TS包中的数据缺失判定以及冗余数据的丢弃方法的图。
图22是表示第六实施例中的影像传输系统的例子的图。
附图标记说明
100影像发送装置
110编码器
120缓冲
130复用器
200网络
300影像接收装置
310解复用器
320缓冲
330解码器
331VLD部
332MB解码处理部
具体实施例方式
下面利用附图对本发明的实施方式进行说明。实施例1图1是表示由影像发送装置100、网络200、影像接收装置300所构成的影像传输系统的一个例子的概略图。影像发送装置100由编码器110、缓冲120、复用器130所构成。编码器110接收影像数据并进行编码，输出影像流。作为有代表性的编码的例子已知有 MPEG2Video (IS0/IEC13818_2Video)等。缓冲120是对复用器130输出的影像流进行存储的介质。复用器130从编码器110接收影像流，将其存储于缓冲120内。之后，从缓冲120 读出影像流，分割成作为传输单位的包并输出到网络200。作为封包的例子已知有MPEG中规定的TS (Transport Mream，传输流)包等。影像接收装置300由解复用器310、缓冲320、解码器330所构成。解复用器310从网络200接收包，进行包接收处理、包解析处理、缓冲320写入处理、缓冲320读出处理等，输出到解码器330。缓冲320是对解复用器310输出的影像流进行存储的介质。解码器330从解复用器310接收影像流并进行解码处理，输出影像数据。此外，在检测到传输错误时输出检测出错误的控制信息。
影像流在经过分层后被编码，进行传输。以图2说明使用MPEG-2标准对影像进行编码、传输时的数据分层结构。编码器110将影像数据分割为作为编码的处理单位的宏块(MB)，进行运动预测编码、频率变换、量化，并进行可变长编码，生成宏块数据410。片(Slice)420是包含一个以上宏块数据的数据，具有作为影像流中固有的编码的片头(slice header)421。图像(picture，帧)430是包含一个以上片的用于构成显示画面的数据，具有作为影像流中固有的编码的图像头431。G0P440为包含一个以上图像的数据，开头的图像数据由全部为帧内编码的宏块构成。在此情况下，能够只使用开头的图像数据来对显示画面进行解码。接下来的图像中所含的宏块数据参照之前已解码的图像数据，能够选择进行运动补偿的帧间编码。在G0P440 的开头具有作为影像流中固有的编码的GOP头441。序列450是包含一个以上GOP的数据，等同于编码器110所输出的影像流。序列 450的开头具有作为影像流中固有的编码的序列头451。序列450 在复用器 130 中被分割成 PES (Packetized Elementary Stream，封包基本流)460，并附加PES头461。PES460分割成作为传输单位的TS包470。TS包470是188字节的固定长度的包， 并在开头附加包含PID和连续计数器的TS头471，这里，PID是用于区别所传输的数据的识别编号，连续计数器使用连续的计数器来检测TS包的丢失。图3是表示解码器330的结构的图。解码器330由VLD (Variable Length Decode，可变长解码)331和MB解码处理部 332构成。VLD331接收影像流即序列450，对GOP头441、图像头431、片头421进行检测，从宏块数据410的开头位置进行可变长解码。MB解码处理部332从VLD331接收经过可变长解码后的宏块数据410，进行反量化、反频率变换、运动补偿，输出影像数据。在此使用图4，对在影像流的传输中发生传输错误时的VLD331的解码处理进行说明。图4(A)表示编码器110所输出的片数据，包含从ΜΒ#0到MB#n的宏块数据。图4 (B)表示在将图4(A)片数据分割成TS包并通过网络200进行传输的情况下， 在相当于错误发生部422的TS包因传输错误而缺失时，解码器330通过网络200所接收到的片数据。图4 (C)表示￥0)331解码图4出)的片数据并进行解释后的宏块数据的配置。由于宏块数据没有附加作为流中固有的编码的头信息，所以VLD331在对图4(B)的影像流进行解码时，无法在确认宏块数据的边界是否与图4(A) —致的同时进行可变长解码。因此，在 MB#3的可变长解码处理中，即使在MB#3的开头部分的数据之后输入了与之不连续的MB#5 的结尾数据423，VLD331也无法识别到数据不连续，继续地进行处理，使用MB#6的中间的数据来识别片数据中包含MB#3B的宏块数据。之后，VLD331使用错误的宏块数据边界进行可变长解码处理，输出与图4(A)不同的宏块数据。
因为VLD331对MB#(m+l)进行可变长解码，所以在读入片头4M时才能够第一次检测出对宏块数据的边界识别错误。如图5所示的本实施例中，复用器130在图像数据中包含的片数据之后输出同样的片数据作为冗余。片数据中所包含的MB数，由影像发送装置100与影像接收装置300预先定为固定的数值，VLD331在对片A432进行可变长解码处理时，在对预先定好的MB数量的数据进行解码时，作为影像流接下来的数据，对是否存在作为影像流中固有的编码的片头进行一致比较。在与片头不一致的情况下向解复用器310和MB解码处理部332发送检测出错误的控制信号，接着对从解复用器310发送的片A433进行可变长解码。如图9所示，当解复用器310接收到检测出错误的控制信号时(S102)，输出作为冗余的片A433，在没有接收到检测出错误时(S103)输出片B434。MB解码处理部332在接收到检测出错误的控制信号时丢弃片A432中所含的宏块数据的解码处理结果，接着对从VLD331输入的片A433中所含的宏块数据进行解码处理，输
出其结果。在上述的例子中，片数据中所含的MB数是预先决定的，但也可在每次发送影像流时在影像发送装置100与影像接收装置300间进行通信，决定片数据中所含的MB数。VLD331在对片A432进行可变长解码时，也可以当在宏块数据的处理中检测出片头时，向解复用器310和MB解码处理部332发送检测出错误的控制信号，并对接下来的片 A433进行可变长解码。本实施例的传输系统中，使用不进行帧间参照的I图像(I帧)和仅进行前向预测的P图像(P帧)。由此，能够使解码图像数据的顺序与显示的顺序相同，不会产生因将解码重新顺序排列成显示顺序而带来的延迟，能够抑制显示开始前的时间实现低延迟。此外，通过对比特率的偏差进行以片单位均勻化的比特率控制，则即使在一个图像的编码处理结束之前开始片数据的传输，并且在缓冲320中存储了数片时进行解码，也能够在缓冲120、缓冲320不发生上溢出和下溢出的前提下实时输出图像数据。例如，即使比特率相对于各帧的目标编码量存在偏差，只要能保证在5个片内收敛到目标比特率，编码器110就能够在生成5个片的流的阶段进行复用处理，并以目标比特率进行传输，并且在影像接收装置到300中，在同样接收到5个片的数据的阶段开始解码即可。一般来说， 以数个片来收敛比特率，可通过对片编码中各MB的量化步骤在考虑到相对于目标比特率的裕度的同时进行控制来实现。如此，在原理上能够构建低延迟传输数个片的系统。在以 1920x1080的HD尺寸的图像的1条MB线(纵16线)构筑1个片的情况下，1个片的延迟约为0. 5ms，在如上所述以5条线收敛比特率的情况下，影像发送装置100、影像接收装置300 上各产生2. 5ms的延迟，能够实现约5ms的低延迟传输。下面，对在保持低延迟的同时提高容错性的方法进行说明。通过输出片数据作为冗余，在例如传输时以30%概率发生片数据的传输错误的情况下，任一片数据不发生传输错误地成功传输的概率能够提高。即，在图5的例子中，由于输出两份片数据，所以两份片同时发生错误，片数据不能正确传输的概率为30% X30% = 9%。如此，通过传输多份片数据，能够提高容错性。此外，如图7所示，在解复用器310进行的包接收处理、包解析处理、缓冲320写入处理、缓冲320读出处理，以及在VLD331进行的可变长解码处理，均流水线化地进行处理。如图7(a)所示的现有技术的例子中，在通过数据的再发送来进行纠错的情况下，在可变长解码处理中检测出错误时，需要将处理中的流水线暂时清空，在等到再发送的数据后重新开始流水线处理，在正确地对片A进行可变长解码前需要tl的时间。另一方面，如图7(b) 所示，由于在本实施例中还传输片数据作为冗余，所以当VLD检测出传输错误时，不用清空流水线处理就能够继续进行处理，在t2时间内就能够正确地对片A进行可变长解码。解复用器330、VLD331容易以比影像流的比特率更高的速度进行处理，能够在1个片的VLD处理延迟程度内获得进行纠错后的片A的数据。由于传输侧的复用器130的处理也同样地流水线化，所以在再发送数据时会产生与解码侧相同的延迟。因此，本实施例所示的影像传输系统能够实现低延迟并且高容错性的传输系统。此外，因为在影像流发生错误时以流数据单位替换影像数据，所以解码器不需要纠错电路，能够低成本地实现纠错。另外，因为将作为影像流内固有的编码的片头作为冗余化的数据组的单位，所以能够可靠地检测错误，能够利用冗余数据组进行纠错。另外，解码器能够利用作为影像流中固有的编码的片头来检测数据组的错误。并且，图1所示的例子中，通过网络200连接的影像接收装置300为一个，但也可以连接两个以上的影像接收装置。本方式中，即使影像接收装置中发生错误，也能够在不对影像发送装置100进行再发送请求的情况下进行纠正，因此能够不增加影像发送装置100 的负荷地构成影像传输系统。在如图4所示的例子中，基于片头进行错误的检测，但也可以在VLD331进行可变长解码时，以检测出用于进行解码的编码表中没有的编码时作为错误。如图5所示的例子中，图像数据中包含的相同的片数据为两份，但编码器110也可以以包含三份以上相同的片数据的方式进行编码处理。通过增加作为冗余输出的片数据， 即使在作为冗余输出的片中也包含错误的情况下，也能够低延迟地获得没有错误的片。如图5所示的例子中对每片插入冗余片，但也可以以多片为单位进行冗余片输出。通过使最初发送的片数据与冗余输出的片数据间的间隔拉开，则即使集中在特定部分发生错误，也能够回避错误片的产生。实施例1中，尤其是在想要实现数ms级别的低延迟化的情况下，需要注意的地方如下所示。通常来说，由于传输通道的限制和TS包生成的处理速度的限制等已经决定了能够处理的数据的上限，在产生超过限制的上限的数据的情况下，数据积蓄在缓冲中导致延迟。进一步地，由于影像接收装置在影像发送装置的延迟固定的前提下控制解码的开始时间和解码图像的显示时间，所以会产生图像在解码处理结束之前显示的问题。这称为图像损坏。为了不发生图像损坏，必须以片或者规定MB数单位使比特率固定，使其产生不延迟， 但一般来说以较少MB数单位来固定比特率是困难的。在此，使用图10进行具体说明。图10是表示片数与偏差幅度的曲线图。片数表示的是将1MB线作为1片时收敛在目标比特率内的片的数目，例如在想使全HD图像的每个图像为固定比特数的情况下，片数为68(1088/16 = 68)。偏差幅度是以目标比特数为平均值来计算得的方差值。通过图10可知，收敛在目标比特数内的片数越少，偏差幅度越大，反之片数越多偏差幅度越小。为了实现数ms级别的低延迟化，为了提前解码的开始时间，希望收敛到目标比特数内的片数较少，但为了不发生图像损坏，在实际产生的比特量的最大值之前不能开始解码，所以存在即使减少片数也不能提前延迟时间的情况。例如，若令1片的目标比特数是1Kbyte，实际产生的比特数的最大值为3Kbyte，则影像接收装置必须等待缓冲中积蓄到 3Kbyte量的数据才能开始解码，结果上会产生3Kbyte量(3片的量)的延迟。解决以上问题的办法如下所述。在利用冗余数据来强化容错性的影像传输系统中，由于只需使原始数据和冗余数据的合计比特数一定即可，所以在包处理部根据产生比特数来控制冗余数据的插入次数，由此使规定MB数单位的比特数一定。上述包处理部在图 1的框图中相当于复用器130，具有从影像流生成TS包的功能和生成冗余数据的功能。作为例子，对于传输时的1片的目标比特数为4Kbyte，在原始数据之外发送3份冗余数据的情况，即编码器的1片的目标比特数设定为IKbyte的情况，进行说明。在此，原始数据是流数据封包成TS包后的数据，即多个TS包组。冗余数据是TS包内的流数据与原始数据相同的数据，对其头部进行变更以使影像接收装置能够区别原始数据与冗余数据。图11表示每个片的比特数的例子。根据图10的曲线图的结果，每片的比特数的偏差幅度较大。因此，虽然以IKbyte为目标比特数进行编码，但第2片为约1. 6Kbyte，第5 片为约2. 5Kbyteο图12是控制冗余数据的插入次数，使编码后的原始数据与冗余数据的合计为 4Kbyte的例子。因为第2片为1.6Kbyte，所以只生成一份冗余数据。另一方面，第5片原始数据超过了 2Kbyte，如果生成冗余数据则会超过4Kbyte，所以不生成冗余数据。其他 IKbyte以下的片，均生成3份冗余数据，由此能够控制所有的片在4Kbyte以内。用公式表示该冗余数据的插入次数，为“传输时的1片的目标比特数/1片编码后产生的比特数”舍去小数点后的值所得的整数值。如上，通过根据产生的比特数来控制冗余数据的插入次数，能够以1个片和较少的MB处理数将比特数控制在一定值之下。由于1片的比特数固定，影像接收装置能在接收到1个片的数据的阶段就能开始解码处理。因此，能够实现1片的延迟的低延迟传输。进一步地，能够在不超过目标比特数的范围内最大限度地增加容错性。图13为在不造成延迟的情况下插入音频TS包的例子。使所述包处理部(复用器 130)进一步具有将音频封包成TS包的功能。该包处理部中，比较音频TS包的比特数与目标比特数，在小于目标比特数且即使插入音频TS包也不超出目标比特数的情况下，插入音频TS包。图13中，IKbyte的音频TS包即使插入到第5片中也不会超过目标比特数，所以插入到第5片中。对于该音频TS包，通过在不会造成音画不同步的范围内将音频TS包插入到比特数较少的片中，能够不产生延迟地传输数据。图13中，说明了插入音频TS包的例子，除了音频TS包之外也可以是影像接收装置的控制用数据。以上的实施例1中说明了冗余数据的流数据为与原始数据相同的数据的情况，但也可以不是完全拷贝，而是纠错码、由原始数据进一步压缩而得的数据等在原始数据发生错误时能够恢复原始数据的数据。另外，该冗余数据的生成方法也可以根据原始数据的数据量而变更。并且，虽然说明了以片单位来控制冗余数据的例子，但进行冗余化的单位，也可以为规定的MB处理单位、规定的Byte数单位、TS包单位等。实施例2本发明的第二实施例，针对解复用器中的错误检测方法进行说明。由于结构与图
101相同，省略其说明。图5所示的例子中，片A432之后紧接着片A433，而本实施例中中影像发送装置 100在片A432与片A433之间附加了片A432的信息，例如校验值(checksum)、CRC值、或者片长等检错码。解复用器310接收影像流，在写入缓冲320时使用这些检错码进行检测出错误。当从片A432检测出错误而从片A433未检测出错误的情况下，解复用器310向解码器330输出片A433。通过如上的处理，本实施例所示的影像传输系统在影像流检测出错误时，不需要解复用器与解码器之间控制信号的交互，能够降低设计成本。实施例3本发明的第三实施例中，针对影像发送装置中编码器的编码方法进行说明。由于结构与图1相同，省略其说明。在编码器110使用MPEG-2的形式对影像数据进行编码时，假定称为VBV(Video Buffering Verifier，视频缓存校验器)的编码器与解码器共通的缓冲模型，进行影像流的比特率控制。图8表示VBV的比特量推移。纵轴是VBV保存的比特量，横轴是时间。VBV模型中，在控制解码器瞬间地提取由编码器输出的比特时，验证其不超过VBV的最大值VBVmax， 并且不低于0值。如比特量变化500所示，编码器以满足VBV缓冲模型的方式，预测影像流的输出比特量或者量化系数所输出的比特量，进行量化系数的控制。如图5所示在图像层中冗余输出片A的情况下，所输出的影像流的比特率是没有进行冗余输出时的2倍。因此，如图8的比特量变化501所示，输出比特的斜率变成2倍。 本实施例所示的编码器110假想影像流的输出比特量变化为501而不是比特量变化500，以 VBV缓冲不会超过VBVmax造成上溢出的方式进行量化系数的控制。通过以上的处理，在对本实施例所示的影像传输系统的流进行解码时，能够以VBV 模型不会产生上溢出/下溢出的方式持续影像数据的传输。本实施例中举了包含两个片的例子，但无论冗余输出的次数多少，均能获得本发明的效果。实施例4本发明的第四实施例中，针对影像发送装置中复用器的TS包生成方法进行说明。 由于结构与图1相同，省略其说明。如图2所示，复用器130所输出的TS包中包含TS头471，并包含PID作为用以区别TS包中所含的影像流与其他TS包中所含的数据的识别编号。本实施例中，复用器130利用第一 PID将影像流的片层的数据封包成TS包输出之后，利用第二 PID将相同片层的数据封包成TS包输出。图6表示封包的例子。片A432被分割成4个TS包发送。开头的TS包的TS头 471上附加了第一 PID，接下来的TS包组475也附加上第一 PID。TS包头473上附加了第二 PID，接下来的TS包组476也附加上第二 PID。在此，作为片数据的片段的TS有效负载 472与TS有效负载474中存储了相同的数据，接下来的各TS有效负载也一样。解复用器310从第一 PID和第二 PID两者的TS包中取出影像流，在缓冲320中分区域存储。解码器330对第一 PID的TS包进行解码，当检出解码错误时，从第二 PID读出TS包进行解码来纠错。上述图6中，表示了原始数据使用第一 PID，冗余数据使用第二 PID，以片单位交替地发送原始数据和冗余数据的例子，但也可以不以片单位而以TS包单位来交替地发送原始数据和冗余数据。通过以上处理，本实施例能够获得与第一实施例相同的效果，并且，在只对第一 PID的影像流进行解复用的情况下，因为与通常的MPEG-2流没有区别，所以能够通过网络 200连接现有的普通的影像接收装置，不使用从两个PID获得的影像流进行纠错。图17表示了 TS包的其他的生成方法。800 拟4分别表示一个TS包，为头+有效负载的结构。801 804的TS包表示片No. 0的原始数据，811 814的TS包表示片No. 0 的冗余数据，821 824的TS包表示片No. 1的原始数据。此外，横轴表示时间，从左侧的 800的TS包开始依次从影像发送装置输出。800、810、820的TS包表示的是用于识别原始数据与冗余数据的识别用TS包而不是流数据的TS包，插入到片的开头。为了识别原始数据与冗余数据，该识别用TS包的PID 设为与影像数据的PID不同的识别用PID。通过将该识别用TS包插入到片的开头，当在影像接收装置中接收到识别用PID的TS包时，将接收到下一识别用PID的TS包之前的TS包， 都作为识别用PID所表示的数据(原始数据或者冗余数据)，在缓冲320中分区域存储。像这样，通过在片的开头插入表示原始数据的TS包以及表示冗余数据的识别用 TS包，即使原始数据与冗余数据为相同TS包，在影像接收装置中也能够进行区别。实施例4中，以冗余数据的插入次数为一次的例子进行说明，但也能够增加到两次以上。通过将这种情况下的PID变为第三PID、第四PID等PID，能够在影像接收装置中区别冗余数据。实施例5本发明的第五实施例中，针对采用UWB通信为通信方法的情况进行说明。图14是UWB发送装置600。编码器610将输入图像编码，生成流，并存储于缓冲 620中。复用器630从缓冲630读出上述流，生成原始数据的TS包和复制上述流的冗余TS 包，并存储于缓冲620中。MAC层控制部640从缓冲读出一定数据量的上述TS包，生成用于进行UWB通信所必须的帧(附加上头和纠错码)，发送至PHY层控制部650。PHY层控制部对上述帧进行调制并向网络670发送。在此，将上述复用器610、MAC层控制部640和PHY 层控制部650 —并称为帧发送部660。图15是UWB影像接收装置680。PHY层控制部690对从网络670接收到的数据进行解调。MAC层控制部700利用附加于帧上的纠错码判别帧内是否存在错误，在帧内存在错误并且不能恢复时将该帧内的所有数据丢弃。在没有错误或者虽然有错误但纠错成功的情况下，将解调后的TS包存储于缓冲710中。解复用器720将上述TS包变换成流存储于缓冲710中。此时，利用TS包的PID或连续计数器的连续性，判别是原始TS包还是冗余TS 包。在原始TS包没有缺失的情况下将原始TS包存储于缓冲中，除去冗余TS包。另外，在原始TS包缺失的情况下，使用冗余TS包作为原始TS包。在此，将PHY层控制部690、MAC 层控制部700和解复用器720 —并称为帧接收部。解码器730对存储于缓冲710中的流进行解码，将解码图像输出到外部。如上所述，在一面进行帧单位的纠错处理一面进行通信的情况下，在发生不能纠错的错误时，会产生帧单位的数据缺失。因此，UWB发送装置600的复用器630，通过对作为 MAC层控制部的处理单位的每个帧生成冗余数据，能够防止冗余数据与原始数据一起缺失。 此外，与实施例1不同，由于在解码开始前已经知道是否存在错误，所以能够采用广泛的错误对策，例如对发生错误的片全部不进行解码，只解码到正常数据的部分等。进一步地，在错误判定阶段没有发现错误的情况下，由于能够保证该帧没有误码，所以不需要如实施例4 那样在解复用处理后的缓冲中保留冗余数据的影像流。因此，能够减小解复用处理后的缓冲的容量。在实施例5的UWB发送装置的情况下，在上述MAC层控制部700中，若没有累积到一帧的量的数据就不能传输帧。例如，帧的传输单位为500byte，lMB线作为1片，第一片的流数据是200byte，第二片的流数据是250byte，第三片的流数据是250byte，不发送冗余数据。在该例子中，若编码器没有处理到第三片中间则没能积累到500byte的流数据，MAC层控制部700不能进行发送，所以第一片会产生略小于两片的延迟。此外，在发送一个冗余数据的情况下，第一片的原始数据与复制上述第一片的原始数据而得的冗余数据合计起来也只有400byte，其在帧的发送单位500byte之内，因此在同一帧内。在使用UWB通信等无线传输的影像传输系统中，因为数据缺失以帧单位发生，此时冗余数据也同时缺失，失去了意义。因此，通过插入填充用的TS包来解决这两个问题。图16是上述例子中将填充用的TS包插入到第一片的原始数据中的例子。无论是发送冗余数据的情况还是不发送的情况，都以片为单位插入填充用的TS包以使之达到作为帧传输单位的500byte，从而能够解决上述两个问题。在此，通过将上述填充用的TS包的头的PID改变成与影像流的TS包不同的值，能够在影像接收装置中只需通过确认PID即可仅将填充用的TS包除去。图16中，说明了以影像接收装置能够通过识别PID来除去填充用的TS包的方式插入填充用的TS包的情况，但也可以是填充用的数据而不是TS包。进一步地，也可以按每规定的MB处理数插入填充数据，而不是以片单位插入数据。下面，针对TS包具体生成方法进行说明。实施例5的影像发送装置中，由于以帧单位发送数据，所以冗余化的单位也是帧单位。图18中举了 TS包的生成方法的一个例子。图18的900 拟4分别表示TS包， 901 904和921 拟4为原始数据的TS包，911 914的TS包表示901 904的冗余数据，是901 904的TS包的完全拷贝。900、910和920表示识别用TS包，在帧的开头插入识别用TS包。进一步地，由于仅使用PID不能判定包的缺失，因此利用连续计数器来判别缺失。具体来说，令原始数据和冗余数据的帧No. 0的识别用TS包的连续计数器值为0，帧 No. 1的识别用TS包的连续计数器值为1，帧No. 2的识别用TS包的连续计数器为2，使它们为连续的值。图19表示解复用器720中的数据缺失的判定方法和冗余数据的丢弃方法的流程图。首先，判定在步骤SlOO中输入的TS包的PID是否为识别用PID。是的情况下进行步骤 SlOl的处理，否的情况下进行步骤S106的处理。步骤S106中，在包处理标志为开启的情况下进行从TS包到流数据的变换处理，在包处理标志为关闭的情况下，丢弃TS包。另外， 上述包处理标志，是保存上一次的识别用TS包的处理结果的值，在识别用TS包的处理中进行改写。步骤SlOl中，对识别用TS包的连续计数器值与上一次的识别用TS包的连续计数器值进行比较，判定是否连续。在步骤SlOl的判定结果为是的情况下，因为是第一次到达的TS包的数据，在步骤S102中使包处理标志为开启。另一方面，在步骤SlOl的判定结果为否的情况下，判定与步骤S103的上一次的识别用TS包的连续计数器值是否相同。在步骤S103的判定结果为否的情况下，意味着有包缺失，因此进行步骤S104的错误处理。另一方面，在步骤S103的判定结果为是的情况下，意味着对上一次的识别用TS包已经处理了相同的数据(冗余数据)，在步骤S105中将包处理标志设为关闭。以上说明了利用连续计数器判别TS包的缺失的例子，但也可以不使用连续计数器，而是在有效负载中插入计数值。通过在有效负载中插入计数值，在使用4比特长度的连续计数器的情况下，在16的倍数的帧缺失时不能检测错误，而在有效负载中插入比4比特更大的计数值的情况下，能够提高包缺失的错误检测率。图20表示了冗余数据的生成方法的其他例子。951 卯4和971 974表示原始数据的TS包，961 964表示951 卯4的冗余数据的TS包。在此，961 964不是951 954的完全拷贝，而是为了使在解复用器720中能够进行TS包的缺失检测和冗余数据的丢弃，仅改变了 TS包的头部。具体来说，在原始数据与冗余数据中将PID设为不同的PID。此外，使连续计数器以原始数据的帧单位进行累计，冗余数据使用原始数据的连续计数器值。 在图20的例子中，951 954的TS包，由于是原始数据因此为第一 PID，连续计数器值为 0。961 964的TS包，由于是冗余数据因此为第二 PID，并且由于冗余数据的连续计数器值是原始数据的连续计数器值0，因此为0。971 974的TS包，由于是原始数据因此为第一 PID，并且由于是下一个原始数据的帧因此连续计数器值为1。图21表示了在解复用器720中的数据缺失的判定方法和冗余数据的丢弃方法的流程图。与图19相同的处理步骤标注相同的标记。首先，判定步骤S107中输入的TS包的 PID是否与前一个包的PID相同并且有相同的连续计数器值。在是的情况下进行步骤S106 的处理，否的情况下进行步骤SlOl的处理。步骤S106在包处理标志为开启的情况下进行从TS包到流数据的变换处理，在包处理标志为关闭的情况下，丢弃TS包。另外，上述包处理标志是保存了上一次处理结果的值。步骤SlOl中，对识别用TS包的连续计数器值与上一次的TS包的连续计数器值进行比较，判定是否连续。在步骤SlOl的判定结果为是的情况下，因为是第一次到达的TS包的数据，因此在步骤S102中将包处理标志设为开启，进行步骤S106的处理。另一方面，在步骤SlOl的判定结果为否的情况下，判定与步骤S103的上一次的识别用TS包的连续计数器的值是否相同。在步骤S103的判定结果为否的情况下，意味着包有缺失，因此进行步骤S104的错误处理。另一方面，在步骤S103的判定结果为是的情况下，意味着在上次的TS包中已经对相同的数据(冗余数据)进行了处理，在步骤S105中将包处理标志设为关闭，进行步骤S106的处理。上述的实施例5中，说明了采用UWB通信作为通信方法的例子，但并不限定于UWB 通信，也可以是进行IP通信或者帧单位通信的其他通信方式。另外，记载了在传输中发生错误且无法纠正时丢弃该帧的数据的情况，但也可以不丢弃该数据，而是向后段传递。进一步地，实施例5中也能够如实施例1中所述，根据每规定的MB处理中编码器所产生的比特数，控制冗余数据的插入次数。实施例6图22是在影像发送装置进行输出时输出加密的数据的例子。与图1有相同功能的区块标注相同的标记，省略其说明。加密部140具有进行输入数据的加密和输出加密数据的功能，解密部340具有将上述加密数据反变换成上述输入数据的功能。图22中，在将由复用器130生成的TS包向网络发送之前先进行加密，在影像接收装置中，在解密部340 中进行解密后再将数据发送给解复用器。如此，通过发送在影像发送装置中进行加密了的数据，能够使得即使第三者看到了数据也不知道内容。 此外，实施例6中对每个TS包实施加密，而实施例5的情况下可以对每个帧实施加密、也可以对每个TS包实施加密等，只要最终发送的数据的内容被加密，在哪个位置配置加密部都可以。
权利要求
1.一种影像发送装置，其特征在于，包括编码器，其对输入的影像数据进行编码，输出影像流；和包处理部，其将从所述编码器输出的影像流封包，向传输通道输出，其中所述包处理部，生成由每规定MB处理数的包汇集而成的原始数据组，和用于纠正所述原始数据组的数据错误的冗余数据，并根据所述原始数据组的比特数，控制所述冗余数据的插入量。
2.一种影像发送装置，其特征在于，包括编码器，其对输入的影像数据进行编码，输出影像流；和包处理部，其将从所述编码器输出的影像流封包，向传输通道输出，其中所述包处理部，生成由每规定MB处理数的包汇集而成的原始数据组，和与所述原始数据组具有相同数据的冗余数据，并根据所述原始数据组的比特数，控制所述冗余数据的插入次数。
3.如权利要求1或2所述的影像发送装置，其特征在于，所述包处理部，还具有将影像流以外的数据封包并进行复用的功能，并根据所述原始数据组的比特数，插入所述影像流以外的数据。
4.一种影像发送装置，其特征在于，包括编码器，其对输入的影像数据进行编码，输出影像流；和包处理部，将从所述编码器输出的影像流封包，向传输通道输出，其中所述包处理部，生成由每规定MB处理数的包汇集而成的原始数据组，和用于纠正所述原始数据组的数据错误的冗余数据，在每规定MB处理数的开头，插入用于识别所述原始数据与所述冗余数据的识别包。
5.一种影像发送装置，其特征在于，包括编码器，其对输入的影像数据进行编码，输出影像流；和帧发送部，其将从所述编码器输出的影像流转换成包，汇集多个所述包而生成帧，将所述帧向传输通道发送，其中所述帧发送部，按每一帧生成用于纠正数据错误的冗余数据。
6.如权利要求5所述的影像发送装置，其特征在于，所述帧发送部，还具有插入用于识别原始数据与冗余数据的识别包的功能，在每规定 MB处理数的开头插入识别包。
7.如权利要求5所述的影像发送装置，其特征在于，所述帧发送部，还具有插入填充数据的功能，按每规定MB处理数，插入与所述帧中能发送的比特数一致的量的填充数据。
8.如权利要求5至7中任一项所述的影像发送装置，其特征在于， 所述帧发送部，根据每规定MB处理数的比特数，控制冗余数据的插入次数。
9.一种影像接收装置，其特征在于，包括帧接收部，其将通过传输通道接收的由权利要求5至8中任一项所述的影像发送装置发送的数据转换成影像流，所述帧接收部，在存在因错误而损失的帧的情况下，利用另外的具有相同影像流的冗余数据的帧对数据进行插补。
10.一种影像传输系统，其特征在于，同时具备权利要求5至8中任一项所述的影像发送装置和权利要求9所述的影像接收装置。
11.如权利要求1至8中任一项所述的影像发送装置，其特征在于， 还具有加密部，在将数据向传输通道输出时，实施加密，然后输出数据。
全文摘要
本发明能够提供影像发送装置、影像接收装置、影像传输系统。该影像发送装置具备编码器，其对输入的影像数据进行编码，输出影像流；和包处理部，其将从上述编码器输出的影像流封包，向传输通道输出，其中，上述包处理部，生成由每规定MB处理数的包汇集而成的原始数据组，和用于纠正上述原始数据组的数据错误的冗余数据，并根据上述原始数据组的比特数，控制上述冗余数据的插入量。
文档编号H04N7/26GK102209261SQ20101057322
公开日2011年10月5日 申请日期2010年11月30日 优先权日2010年3月31日
发明者中村拓, 冈田光弘, 小味弘典, 明神智之, 沟添博树, 谷田部祐介 申请人:日立民用电子株式会社