用于在多媒体系统中生成前向纠错包的方法和用于发送和接收前向纠错包的方法及装置制造方法
【专利摘要】本发明提供了用于在多媒体系统中发送包括多个前向纠错（FEC）包的FEC包块的方法及装置。所述方法包括：通过对多个源码元执行第一FEC编码来生成多个第一FEC包块，所述多个第一FEC包块中的每一个包括至少一个源包和用于所述至少一个源包中的每一个的修复的至少一个修复包；通过对所述多个第一FEC包块执行第二FEC编码来生成第二FEC包块，所述第二FEC包块包括用于所述多个第一FEC包块的至少一个修复包；以及发送所述第二FEC包块，其将以下信息包括在在所述至少一个源包和至少一个修复包中的每一个的报头信息中。
【专利说明】用于在多媒体系统中生成前向纠错包的方法和用于发送和接收前向纠错包的方法及装置
【技术领域】
[0001]本发明涉及用于在多媒体系统中生成前向纠错包的方法和用于发送和接收前向纠错包的方法及装置。
【背景技术】
[0002]由于内容类型增加并且比如高清晰度(HD)内容和超高清晰度(UHD)内容的高容量或者高数据的内容的数量增加，在通信网络中，数据拥塞日益变糟。
[0003]图1示意地示出了一般的基于互联网协议(IP)的网络拓扑和数据流。
[0004]参照图1，由于数据拥塞，可以是主机A的发送器110发送的内容可能不能完全地被传送到可以是主机B的接收器130，并且内容中的一些可能会在其从发送器110到接收器130的路线中丢失。在典型的IP网络中，以包为基础发送数据，因此，它可能以传输包为基础被丢失。因此，接收器130不能接收到在网络中丢失的传输包，因此不能发现在丢失的传输包中的数据，这引起各种各样的用户不便，包括音频质量退化、视频质量退化、屏幕裂缝、丢失字[目息以及文件丢失。
[0005]因此，存在对于用于修复或者恢复在网络中丢失的数据的方法的需要。因此，发送器110可以通过对源数据进行前向纠错(FEC)编码以及将修复数据附加到其来生成FEC帧，并且可以通过一系列过程来发送FEC帧。在协议栈的应用层中，与其中以传输顺序接收传输数据的物理层不同，在应用层中，可能不能以传输顺序接收传输数据，这是因为它通过网络中的多个路由器150。因此，存在对于用于使得接收器能够确定FEC帧中的码元中的每一个的顺序的排序方法以及用于使得接收器能够得到FEC帧之间的边界信息的包生成和传输方法的需要。
[0006]如图1中所示的IP包170可以通过多个路由器150而被传输到接收器130。然而，IP包170可能以与发送器110发送包170的顺序不同的顺序被传输到接收器130。因此，存在对于指示音频/视频(AV)内容流中的包的传输顺序的需要。为此，优选地，在应用级中，图1中的数据171可以被认为是使用实时协议(RTP)、通过对在AV编解码器级中压缩的数据进行打包而生成的RTP包数据，或者可以被认为是运动图像专家组(MPEG)媒体传输(MMT)包数据。
【发明内容】
[0007]技术问题
[0008]本发明的示例性实施例的一方面是提供一种用于在多媒体系统中生成前向纠错(FEC)包以防止包损失的方法。
[0009]本发明的示例性实施例的另一个方面是提供用于在多媒体系统中发送和接收包括FEC包的FEC包块的方法及装置。
[0010]技术方案[0011]依据本发明的一个方面，提供一种用于在多媒体系统中发送包括多个前向纠错(FEC)包的FEC包块的方法。所述方法包括:通过对多个源码元执行第一 FEC编码来生成多个第一 FEC包块，所述多个第一 FEC包块中的每一个包括至少一个源包和用于所述至少一个源包中的每一个的修复的至少一个修复包；通过对所述多个第一 FEC包块执行第二 FEC编码来生成第二 FEC包块，所述第二 FEC包块包括用于所述多个第一 FEC包块的至少一个修复包；以及发送所述第二 FEC包块，其将以下信息包括在所述至少一个源包和所述至少一个修复包中的每一个的报头信息中:用于指示所述多个第一 FEC包块的块边界的第一块边界信息和用于指示所述第二 FEC包块的块边界的第二块边界信息中的至少一个、以及相关包的序号彳目息。
[0012]依据本发明的另一个方面，提供一种用于在多媒体系统中发送包括多个FEC包的FEC包块的发送装置。所述发送装置包括:发送器，用于根据预定通信方案发送FEC包块；第一 FEC编码器，用于通过对多个源码元执行第一 FEC编码来生成多个第一 FEC包块，所述多个第一 FEC包块中的每一个包括至少一个源包和用于所述至少一个源包中的每一个的修复的至少一个修复块；第二 FEC编码器，用于通过对所述多个第一 FEC包块执行第二 FEC编码来生成第二 FEC包块，所述第二 FEC包块包括用于所述多个第一 FEC包块的至少一个修复包；以及控制器，用于将指示所述多个第一 FEC包块的块边界的第一块边界信息和指示所述第二 FEC包块的块边界的第二块边界信息中的至少一个、以及相关包的序号信息附加到所述至少一个源包和所述至少一个修复包中的每一个的报头信息，以及用于控制每个FEC包块的发送。
[0013]依据本发明的又一方面，提供一种用于在多媒体系统中接收包括多个FEC包的FEC包块的方法。所述方法包括:接收构成通过对多个源码元执行第一 FEC编码生成的多个第一 FEC包块的多个包，所述多个第一 FEC包块中的每一个包括至少一个源包和用于所述至少一个源包中的每一个的修复的至少一个修复包；接收构成通过对所述多个第一 FEC包块执行第二 FEC编码生成的第二 FEC包块的多个包，所述第二 FEC包块包括多个第一 FEC包块和用于所述多个第一 FEC包块的至少一个修复包；以及从所接收到的构成所述多个第一 FEC包块或者所述第二 FEC包块的多个包中的每一个提取报头信息，确定所述多个第一FEC包块和所述第二 FEC包块的块边界，并且对所接收到的多个包中的每一个进行解码；以及当作为解码的结果，存在丢失的源包时，使用相应修复包来修复丢失的源包。每个包的报头信息包括指示所述多个第一 FEC包块的块边界的第一块边界信息和指示所述第二 FEC包块的块边界的第二块边界信息中的至少一个、以及相关包的序号信息。
[0014]依据本发明的仍一方面，提供一种用于在多媒体系统中接收包括多个FEC包的FEC包块的接收装置。所述接收装置包括:接收器，用于接收构成通过对多个源码元执行第一 FEC编码生成的多个第一 FEC包块的多个包，所述多个第一 FEC包块中的每一个包括至少一个源包和用于每一个源包的修复的至少一个修复包，以及用于接收构成通过对所述多个第一 FEC包块执行第二 FEC编码生成的第二 FEC包块的多个包，所述第二 FEC包块包括多个第一 FEC包块和用于所述多个第一 FEC包块的至少一个修复包；解码器，用于对所接收到的多个第一FEC包块或者第二FEC包块执行解码；以及控制器，用于从所接收到的构成所述多个第一 FEC包块或者所述第二 FEC包块的多个包中的每一个提取报头信息，确定所述多个第一 FEC包块和所述第二 FEC包块的块边界，使用所述解码器对每一个包进行解码，并且当作为解码的结果，存在丢失的源包时，使用相应修复包来修复丢失的源包。每个包的报头信息包括指示所述多个第一 FEC包块的块边界的第一块边界信息和指示所述第二 FEC包块的块边界的第二块边界信息中的至少一个、以及相关包的序号信息。
【专利附图】
【附图说明】
[0015]从下列结合附图的描述，本发明的某些示例性实施例的上述和其它方面、特征和优点将更加清楚，附图中:
[0016]图1示意地示出了一般的基于互联网协议(IP)的网络拓扑和数据流；
[0017]图2示出了根据本发明的示例性实施例的应用第一前向纠错(FEC)和第二 FEC的编码结构；
[0018]图3a和图3b示出了分别根据本发明的示例性实施例应用第一 FEC和第二 FEC的FEC块和FEC包块；以及
[0019]图4示出了根据本发明的示例性实施例的运动图像专家组(MPEG)媒体传输(MMT)系统和传输功能层的结构。
【具体实施方式】
[0020]现在将参照附图详细描述本发明的优选实施例。在下列描述中，比如详细配置和组件的特定细节仅仅被提供用来协助对本发明的示例性实施例的全面理解。因此，对于本领域技术人员来说，以下应该是清楚的:可以对这里描述的实施例进行各种改变和修改而不会偏离本发明的范围和精神。此外，为清楚和简洁起见，省略了对公知功能和构造的描述。
[0021]本发明的下述示例性实施例包括当使用传输协议传输FEC块时、用于排序以及传输包括在前向纠错(FEC)块中的多个FEC包(比如实时协议(RTP)包或者运动图像专家组(MPEG)媒体传输(MMT)包)的包生成和传输方法。然而，在描述本发明的不例性实施例之前，这里使用的术语将简要地定义如下:
[0022]前向纠错(FEC):用于纠正错误的纠错码或者擦除码元；
[0023]FEC帧:由对要保护的信息进行FEC编码而生成的代码字，所述代码字包括信息部分和奇偶校验位或者修复部分；
[0024]码元:数据的单元，其中，以位为单位的尺寸称为码元尺寸；
[0025]源码元:未受到保护的数据码元，其是FEC帧的信息部分；
[0026]编码码元:通过对源码元进行FEC编码而生成的码元；
[0027]修复码元:通过对源码元进行FEC编码生成的FEC帧的奇偶校验部分，其中，对于其中源码元在FEC编码期间保持不变的系统编码，编码码元=源码元+修复码元；
[0028]包:包括报头和有效载荷的传输单兀；
[0029]有效载荷:要从发送器发送并且位于包内部的一条用户数据；
[0030]包报头:包的报头；
[0031]源块:码元组，其包括一个或多个源码元；
[0032]修复块:码元组，其包括一个或多个修复码元；
[0033]FEC块:FEC帧组或者码元组，其包括源块和修复块；[0034]FEC包:用于传输FEC包块的包；
[0035]源包:用于传输源块的包；
[0036]修复包:用于传输修复块的包；以及
[0037]FEC包块:用于传输FEC包块的包组。
[0038]所述源包是用于传输作为多个源码元的组的源块的包。所述修复包是用于传输作为多个修复码元的组的修复块的包。所述FEC块包括所述源块以及所述修复块，并且用于传输所述FEC块的包组被称为FEC包块。
[0039]根据本示例性实施例，一种用于生成所述FEC包块的方法可以包括生成要提供给用户的内容的至少一个源包，以及生成包括用于修复或者恢复所述至少一个源包中的有效载荷的修复码元的至少一个修复包。因而，所述FEC包块被生成以包括所述至少一个源包以及所述至少一个修复包。
[0040]此外，根据另一个示例性实施例，一种用于生成所述FEC包块的方法可以包括:生成要提供给用户的内容的至少一个源包，生成包括用于修复所述至少一个源包中的相关有效载荷的第一修复码元的至少一个第一修复包，以及生成包括用于所述至少一个源包和至少一个第一修复包的所有有效载荷的第二修复码元的至少一个第二修复包。因而，FEC包块被生成以包括所述至少一个源包以及至少一个第一修复包和至少一个第二修复包。
[0041]根据又一示例性实施例，一种用于生成所述FEC包块的方法可以包括:生成要提供给用户的内容的至少一个源包，生成包括用于修复所述至少一个源包中的相关有效载荷的第一修复码元的至少一个第一修复包，以及生成包括用于所述至少一个源包的所有有效载荷的第二修复码元的至少一个第二修复包。因而，FEC包块被生成以包括所述至少一个源包以及至少一个第一修复包和至少一个第二修复包。
[0042]根据本发明的示例性实施例，包括所述源包和所述第一修复包的FEC包块被称为‘第一 FEC包块’，并且包括所述源包和所述第一修复包和第二修复包的FEC包块被称为‘第二 FEC包块’，或者可替换地，包括所述源包和所述第二修复包的FEC包块被称为‘第二 FEC包块’。包括在第一 FEC包块中的修复块被称为‘第一修复块’，并且包括在所述第二 FEC包块中的修复块被称为‘第二修复块’。
[0043]当第一 FEC包块和第二 FEC包块中的源块分别被称为第一源块和第二源块时，则第一源块和第二源块可以包括相同的源码元，或者可以包括不同的源码元。当所述第二 FEC块是通过将通过另外的FEC编码生成的第二修复块附加到第一 FEC包块的源块生成的时，则第一源块和第二源块可以包括相同的源码元，因为第二 FEC块的源块与第一 FEC块的源块相同。当第二 FEC块的第二源块是通过包括第一源块和第一修复块生成的时，第一源块和第二源块可相互区别开。
[0044]图2示出了根据本发明的示例性实施例的应用第一 FEC和第二 FEC的编码结构。
[0045]参照图2，通过将预定数量的码元划分成M个第一源码元201a到203a、并且对第一源码元201a到203a中的每一个执行第一 FEC编码而生成M个第一编码码元205到207。M个第一编码码元205到207包括所述第一源码元201a到203a以及它们关联的第一修复码元201b到203b。
[0046]通过所述第一 FEC编码生成的M个第一编码码元205到207、或者M个第一源码元201a到203a被用作第二源码元，并且第二编码码元209 (比如如图2中所示中的编码码元2)可以包括第一编码码元205到207以及第二修复码元208 (比如如图2中所示的修复码元2)，可以通过对所述第二源码元执行第二 FEC编码而生成第二编码码元209。附加地，虽然图2中未示出，但是可以选择性地应用第一 FEC过程和第二 FEC过程中的仅仅一个。
[0047]图3a和图3b示出了根据本发明的示例性实施例的应用第一 FEC和第二 FEC的FEC块和FEC包块。
[0048]参照图3a和3b，包括基于图2的编码码元的源块的源有效载荷301、修复块的第一修复有效载荷303的M个第一 FEC块307a和M个第一 FEC包块317a可以通过将包报头311a和313a附加到FEC块中的每一个的相应有效载荷311和313来而被打包以用于以包为基础的传输。
[0049]参照3a，当应用第二 FEC时，第二 FEC块307可以包括M个第一 FEC块307a、以及用于传输所述M个第一 FEC块307a的至少一个第二修复有效载荷305的第二修复块。
[0050]参照图3b，当应用第二FEC时，第二FEC包块317可以包括M个第一FEC包块317a、以及用于传输所述M个第一 FEC包块317a的至少一个第二修复块315的、应用包报头315a的第二修复块。每个包包括报头和有效载荷。虽然未示出，但是可以对每个包应用没有FEC、仅仅第一 FEC或者仅仅第二 FEC。
[0051]当应用结合3a和图3b描述的第一 FEC编码结构和第二 FEC编码结构时，M个第一 FEC包块317a被生成以包括包含内容的源码元的至少一个源包和取决于第一 FEC编码的包含用于源包的有效载荷的第一修复码元的至少一个第一修复包。此外，第二 FEC包块317被生成以包括M个第一 FEC包块317a以及取决于第二 FEC编码的用于所述第一 FEC包块的至少一个第二修复包。
[0052]下面将描述根据本发明的示例性实施例包括在FEC包块中的包的报头结构。在下列描述中，FEC包可以是包括在FEC包块中的每个包和/或任意包。每个FEC包的报头可以包括第一 FEC包块和第二 FEC包块的边界信息字段、序号字段、第一修复块和第二修复块的边界信息字段以及有效载荷类型信息字段中的至少一个。
[0053]包报头可以包括所述第一 FEC的参数信息，比如包括在第一 FEC包块和第一源块中的包的包计数信息，或者包括在第一源块和第一修复块中的包的包计数信息。所述包报头也可以包括所述第二 FEC的参数信息，比如包括在第二 FEC包块和第二源块中的包的包计数信息，或者对于包括在第二源块和第二修复块中的包的包计数信息。
[0054]所述包报头也可以包括指示第一 FEC和第二 FEC的应用和不应用中的至少一个的FEC结构字段。根据FEC结构字段的字段值，可以可选地包括或者可以不同地定义第一 FEC包块和第二 FEC包块的边界信息字段、序号字段、第一修复块的边界信息字段、有效载荷类型信息字段、第一 FEC的参数信息字段以及第二 FEC的参数信息字段。
[0055][表1]
[0056]FEC包报头格式1
[0057]
【权利要求】
1.一种用于在多媒体系统中发送包括多个前向纠错(FEC)包的FEC包块的方法，所述方法包括: 通过对多个源码元执行第一 FEC编码来生成多个第一 FEC包块，所述多个第一 FEC包块中的每一个包括至少一个源包和用于所述至少一个源包中的每一个的修复的至少一个修复包； 通过对所述多个第一 FEC包块执行第二 FEC编码来生成第二 FEC包块，所述第二 FEC包块包括用于所述多个第一 FEC包块的至少一个修复包；以及 发送所述第二 FEC包块，其将以下信息包括在所述至少一个源包和所述至少一个修复包中的每一个的报头信息中:用于指示所述多个第一 FEC包块的块边界的第一块边界信息和用于指示所述第二 FEC包块的块边界的第二块边界信息中的至少一个、以及相关包的序号信息。
2.一种用于在多媒体系统中发送包括多个前向纠错(FEC)包的FEC包块的发送装置，所述装置包括: 发送器，用于根据预定通信方案发送FEC包块； 第一 FEC编码器，用于通过对多个源码元执行第一 FEC编码来生成多个第一 FEC包块，所述多个第一 FEC包块中的每一个包括至少一个源包和用于所述至少一个源包中的每一个的修复的至少一个修复块； 第二 FEC编码器，用于通过对所述多个第一 FEC包块执行第二 FEC编码来生成第二 FEC包块，所述第二 FEC包块包括用于所述多个第一 FEC包块的至少一个修复包；以及 控制器，用于将指示所述多个第一 FEC包块的块边界的第一块边界信息和指示所述第二FEC包块的块边界的第二块边界信息中的至少一个、以及相关包的序号信息附加到所述至少一个源包和所述至少一个修复包中的每一个的报头信息，并且所述控制器用于控制每个FEC包块的发送。
3.如权利要求2所述的装置，其中，所述控制器在包括在所述第二FEC包块中的至少一个源包和至少一个修复包中的至少一个中同样地设置第二 FEC包块的开始序列信息，所述第二 FEC包块的开始序列信息被包括在至少一个源包和至少一个修复包中的每一个的报头信息中。
4.如权利要求2所述的装置，其中，当第一块边界信息被包括在所述报头信息中时，所述控制器不同地设置所述第一 FEC包块中的每一个中的第一块边界信息。
5.一种用于在多媒体系统中接收包括多个前向纠错(FEC)包的FEC包块的方法，所述方法包括: 接收构成通过对多个源码元执行第一 FEC编码生成的多个第一 FEC包块的多个包，所述多个第一 FEC包块中的每一个包括至少一个源包和用于所述至少一个源包中的每一个的修复的至少一个修复包； 接收构成通过对所述多个第一 FEC包块执行第二 FEC编码生成的第二 FEC包块的多个包，所述第二 FEC包块包括多个第一 FEC包块和用于所述多个第一 FEC包块的至少一个修复包； 从所接收到的构成所述多个第一 FEC包块或者所述第二 FEC包块的多个包中的每一个提取报头信息，确定所述多个第一 FEC包块和所述第二 FEC包块的块边界，并且对所接收到的多个包中的每一个进行解码；以及 当作为解码的结果，存在丢失的源包时，使用相应修复包来修复丢失的源包， 其中，每个包的报头信息包括指示所述多个第一 FEC包块的块边界的第一块边界信息和指示所述第二 FEC包块的块边界的第二块边界信息中的至少一个、以及相关包的序号信肩、O
6.一种用于在多媒体系统中接收包括多个前向纠错(FEC)包的FEC包块的接收装置，所述装置包括: 接收器，用于接收构成通过对多个源码元执行第一 FEC编码生成的多个第一 FEC包块的多个包，所述多个第一 FEC包块中的每一个包括至少一个源包和用于每一个源包的修复的至少一个修复包，以及用于接收构成通过对所述多个第一 FEC包块执行第二 FEC编码生成的第二 FEC包块的多个包，所述第二 FEC包块包括多个第一 FEC包块和用于所述多个第一 FEC包块的至少一个修复包；解码器，用于对所接收到的多个第一 FEC包块或者第二 FEC包块执行解码；以及控制器，用于从所接收到的构成所述多个第一 FEC包块或者所述第二 FEC包块的多个包中的每一个提取报头信息，确定所述多个第一 FEC包块和所述第二 FEC包块的块边界，使用所述解码器来对每一个包进行解码，并且当作为解码的结果，存在丢失的源包时，使用相应修复包来修复丢失的源包， 其中，每个包的报头信息包括指示所述多个第一 FEC包块的块边界的第一块边界信息和指示所述第二 FEC包块的 块边界的第二块边界信息中的至少一个、以及相关包的序号信肩、O
7.分别如权利要求1所述的方法、如权利要求2所述的装置、如权利要求5所述的方法或者如权利要求6所述的装置，其中，所述第二块边界信息包括第二 FEC包块的开始序列信肩、O
8.分别如权利要求1所述的方法、如权利要求5所述的方法或者如权利要求6所述的装置，其中，在包括在第二 FEC包块中的至少一个源包和至少一个修复包中的至少一个中，所述第二 FEC包块的开始序列信息被同样地设置。
9.分别如权利要求1所述的方法、如权利要求5所述的方法或者如权利要求6所述的装置，其中，当第一块边界信息被包括在所述报头信息中时，在第一 FEC包块中的每一个中，所述第一块边界信息被不同地设置。
10.分别如权利要求1所述的方法、如权利要求2所述的装置、如权利要求5所述的方法或者如权利要求6所述的装置，其中，所述序号信息被设置为在所述至少一个源包和所述至少一个修复包之间具有相关性。
【文档编号】H04L1/00GK103650432SQ201280033919
【公开日】2014年3月19日 申请日期:2012年7月6日 优先权日:2011年7月8日
【发明者】黄盛熙, 黄承吾, 明世澔, 梁贤九, 朴勍模 申请人:三星电子株式会社