专利名称：产生用于提供三维多媒体服务的数据流的方法和设备以及用于接收所述数据流的方法和设备的制作方法
技术领域：
与示例性实施例一致的设备和方法涉及用于提供三维(3D)多媒体服务的数据流的发送和接收。
背景技术：
在基于运动图像专家组(MPEG)传输流(TS)的数字广播方法中，发送终端将未压缩的视频数据和未压缩的音频流插入各个基本流(ES)中，对每个ES进行复用以产生TS，并经由信道发送TS。 TS包括与ES—起的节目说明信息(PSI)。PSI典型地包括节目关联表(PAT)信息和节目映射表(PMT)信息。提供单个节目信息的PMT信息描述针对每个ES的包标识符(PID)，PAT信息描述用于每条PMT信息的PID。接收终端经由信道接收TS，并通过与在发送终端中执行的处理相反的处理来从TS提取ES。由显示装置恢复和再现包含在ES中的数字内容。
发明内容
技术问题3D附加信息和参考信息(或3D描述符信息)被附加地插入现有技术的MPEG TS系统的PMT信息中的视频描述符信息中，并且3D附加信息和参考信息(或3D描述符信息)被识别和提取以被用于再现3D视频。技术方案根据示例性实施例的一方面，提供了一种产生用于提供3D多媒体服务的数据流的方法，所述方法包括从用于提供二维(2D)多媒体服务和3D多媒体服务中的至少一个的节目产生包括每个视点的视频数据的至少一个ES ;产生关于所述节目的节目映射表(PMT)信息，所述PMT信息包括关于所述至少一个ES的参考信息以及用于识别和再现每个视点的视频数据的3D附加信息；通过对经由对所述至少一个ES进行打包而产生的打包的基本流(PES)包以及所述PMT信息进行复用，来产生至少一个传输流(TS)。有益效果 包括PMT信息的数据流被发送，其中，PMT信息包括3D附加信息和参考信息(或3D描述符信息)，由于接收所述数据流的接收系统能够不管3D附加信息和参考信息(或3D描述符信息)而仅提供2D多媒体服务，因此所述接收系统保持与现有技术MPEG TS系统的兼容性，另外，所述接收系统能够提供3D多媒体服务。此外，由于本发明可通过使用由现有技术MPEG TS系统定义的流类型信息来设置每个ES的流类型信息，因此，与现有技术MPEG TS系统的数据流结构相比，新的流类型可不被附加地指定附加比特，也不被分配附加比特。
图I是根据示例性实施例的产生用于提供三维(3D)多媒体服务的数据流的设备的框图；图2是根据示例性实施例的接收用于提供3D多媒体服务的数据流的设备的框图；图3是根据示例性实施例的基于运动图像专家组(MPEG)传输流(TS)系统发送数字广播的设备的框图；图4是根据示例性实施例的基于MPEG TS系统接收数字广播的设备的框图； 图5是根据示例性实施例的根据产生数据流的设备发送用于发送多个视频基本流(ES)的MPEG TS的设备的框图；图6是根据示例性实施例的根据接收数据流的设备接收用于接收多个视频ES的MPEG TS的设备的框图；图7是用于描述根据示例性实施例的3D复合格式的表；图8是示出根据示例性实施例的形成3D视频的多个视点中的视频数据的ES的各种组合的表；图9A示出根据示例性实施例的在节目映射表(PMT)信息的3D附加信息中的关于主ES的3D视频描述符信息中包括的关于子ES的3D视频描述符信息的示例；图9B示出图9A的PMT信息的流结构；图IOA示出根据示例性实施例的在PMT信息的3D附加信息中被顺序包括的关于主ES的3D视频描述符信息和关于子ES的3D视频描述符信息的不例；图IOB示出图IOA的PMT信息的流结构；图11示出根据示例性实施例的使用模式转换信息的示例；图12示出根据示例性实施例的当以不同尺寸发送左视点视频和右视点视频时的示例；图13示出根据示例性实施例的使用宽高比信息的示例；图14是根据示例性实施例的用于传输3D视频数据流的系统的框图，在所述系统中，实现了用于发送数据流的设备和用于接收数据流的设备；图15是示出根据示例性实施例的产生用于提供3D多媒体服务的数据流的方法的流程图；图16是示出根据示例性实施例的接收用于提供3D多媒体服务的数据流的方法的流程图。最佳实施方式根据示例性实施例的一方面，提供了一种产生用于提供3D多媒体服务的数据流的方法，所述方法包括从用于提供二维(2D)多媒体服务和3D多媒体服务中的至少一个的节目产生包括每个视点的视频数据的至少一个ES ;产生关于所述节目的节目映射表(PMT)信息，所述PMT信息包括关于所述至少一个ES的参考信息和用于识别和再现每个视点的视频数据的3D附加信息；通过对所述至少一个ES和节目映射表信息进行打包而产生打包的基本流(PES)包，并对PES包进行复用，来产生至少一个传输流(TS)。产生节目映射表信息的步骤可包括将关于主视频数据的3D附加信息插入PMT信息的主ES的描述符信息，其中，主视频数据被插入所述至少一个ES的主ES ;将关于子视频数据的3D附加信息和参考信息中的至少一个插入主ES的描述符信息，其中，子视频数据包括在所述至少一个ES中的子ES中，其中，主视频数据和子视频数据可分别是第一视点视频数据和第二视点视频数据的组合。关于主视频数据的3D附加信息还可包括关于子ES的参考信息，所述子ES包括子ES的流类型信息和子ES的包标识符(PID)信息中的至少一个。插入关于子视频数据的3D附加信息和参考信息中的至少一个的步骤可包括将来自关于子ES的参考信息的子ES的流类型信息设置为由MPEG系统指定的补充视频流的值。
插入关于子视频数据的3D附加信息和参考信息中的至少一个的步骤可包括如果所述至少一个ES中子ES的数量为二或更多，则根据每个子ES设置3D附加信息和参考信息中的至少一个。关于主视频数据的3D附加信息可包括主视频数据的图像格式信息、主视频数据的图像格式的视点排列顺序信息、关于子ES的数量的信息中的至少一个。关于子视频数据的3D附加信息可包括子ES的子视频数据的图像格式信息、主视频数据和子视频数据的显示顺序信息、针对小孩或成人的3D效果调整信息和指示每个视点的视频数据的子视频数据的子视频索弓I信息。产生PMT信息的步骤可包括根据所述至少一个ES，将ES信息顺序地插入PMT信息，其中，ES信息包括各ES的流类型信息、PID信息和视频流描述符信息。产生PMT信息的步骤还可包括将3D视频描述符信息插入PMT信息，其中，3D视频描述符信息包括关于包括在所述至少一个ES的主ES中的主视频数据的3D附加信息。插入3D视频描述符信息的步骤可包括将关于所述至少一个ES的数量的信息和所述至少一个ES的图像格式信息插入3D视频描述符信息。如果所述至少一个ES的数量为1，则所述至少一个ES的图像格式信息可指示每个视点的视频数据中的主视点视频数据和子视点视频数据被复合的3D复合格式，如果所述至少一个ES的数量等于或大于2，则所述至少一个ES的图像格式信息可指示每个视点的视频数据包括主视点视频数据以及关于主视点视频数据的子视点视频数据的深度信息、关于主视点视频数据的子视点视频数据的视差信息和子视点视频数据中的至少一个。产生PMT信息的步骤可包括将关于对包括在子ES中的子视频数据进行编码和解码的方法的编解码信息插入关于所述至少一个ES中的子ES的ES信息。产生PMT信息的步骤可包括将包括3D附加信息和参考信息中的至少一个的子ES视频描述符信息插入关于所述至少一个ES中的子ES的ES信息。插入子ES视频描述符信息的步骤可包括将指示关于主视点视频数据的子视点视频数据的深度信息或视差信息是否与子视点视频数据一起被同时发送的信息以及3D混合格式信息插入子ES视频描述符信息。插入子ES视频描述符信息的步骤可包括将指示子视频数据是否是关于主视点视频数据的子视点视频数据和子视点视频数据的深度信息或视差信息中的至少一个的信息插入子ES视频描述符信息。插入子ES视频描述符信息的步骤还可包括如果子视点视频数据是子视点视频数据，则将子视点视频参数插入子ES视频描述符信息中，其中，子视点视频参数包括关于与子视点ES有关的主视点ES的PID信息以及指示子视频数据是左视点视频数据还是右视点视频数据的信息中的至少一个。子视点视频参数可包括指示子视点视频数据的图像尺寸的信息，从而在再现3D多媒体服务的同时将主视点视频数据和子视点视频数据的图像尺寸调整为相同。插入ES信息的步骤可包括将关于所述至少一个ES中的子ES的ES信息中的流类型信息设置为MPEG系统指定的补充视频流的值。插入子ES视频描述符信息可包括如果子ES的数量等于或大于2，则根据每个子ES设置子ES视频描述符信息。 产生PMT信息的步骤可包括将指示3D视频数据是否包括在所述至少一个TS中的3D通知描述符信息插入PMT信息。3D通知描述符信息可包括指示是否存在3D通知指示图标(用于指示3D视频数据被包括在当前ES中)的信息、指示与当前PMT信息的当前模式信息不同的模式信息是否包括在当前PMT信息之后的后续PMT信息中的2D/3D模式切换信息、指示2D模式和3D模式被切换的时间点的切换时间戳信息以及2D模式和3D模式被切换时将在屏幕上显示的消息的文本信息中的至少一个。产生PMT信息的步骤还可包括将2D/3D传输信息插入PMT信息，其中，2D/3D传输信息包括2D/3D模式信息和2D/3D模式切换信息中的至少一个，2D/3D模式信息指示2D视频数据、3D视频数据以及2D和3D视频数据的组合数据中的任何一个中否包括在当前ES中，2D/3D模式切换信息指示当前PMT信息的2D/3D模式信息是否在当前PMT信息之后的后续PMT信息中被切换。产生PMT信息的步骤可包括，如果每个视点的视频数据中的主视点视频数据和子视点视频数据的尺寸和宽高比中的至少一个不同，则将宽高比描述符信息插入PMT信息，其中，宽高比描述符信息包括关于在3D再现期间调整用于显示主视点视频数据和子视点视频数据的区域的方法的修剪偏移信息。所述方法还可包括在将所述至少一个TS与信道同步之后，使用信息发送将所述至少一个TS。根据另一示例性实施例的一方面，提供了一种接收用于提供3D多媒体服务的数据流的方法，所述方法包括接收关于提供2D多媒体服务或3D多媒体服务的节目的至少一个TS ;通过对所述至少一个TS进行解复用，提取关于节目的PES包和关于节目的PMT信息；从PMT信息提取关于包括节目的每个视点的视频数据的至少一个ES的参考信息以及用于识别和再现每个视点的视频数据的3D附加信息；通过使用提取的关于通过对PES包进行解包而提取的ES中的所述至少一个ES的参考信息，恢复所述至少一个ES，并从所述至少一个ES提取每个视点的视频数据。所述方法还可包括通过使用3D附加信息和参考信息中的至少一个，以3D再现提取的每个视点的视频数据。从PMT信息提取参考信息和3D附加信息的步骤可包括从PMT信息提取关于所述至少一个ES中的主ES的参考信息和主ES的描述符信息中的关于包括在主ES中的主视频数据的3D附加信息中的至少一个；从主ES的描述符信息提取关于所述至少一个ES中的子ES的参考信息和关于包括在子ES中的子视频数据的3D附加信息中的至少一个，其中，主视频数据和子视频数据分别是第一视点视频数据和第二视点视频数据的组合。提取关于3D附加信息和参考信息的步骤可包括，如果子ES的数量大于或等于2，则根据每个子ES提取3D附加信息和参考信息中的至少一个。从PMT信息提取参考信息和3D附加信息的步骤可包括根据所述至少一个ES，从PMT信息顺序地提取ES信息，其中，所述ES信息包括各ES的流类型信息以及包括参考信息(包括PID信息)和3D附加信息中的至少一个的视频流描述符信息。 从PMT信息提取参考信息和3D附加信息的步骤还可包括从关于主视点ES的ES信息中，提取包括关于每个视点的视频数据的3D附加信息的3D视频描述符信息，其中，主视点ES包括所述至少一个ES中的每个视点的视频数据中的主视点视频数据。
从PMT信息提取参考信息和3D附加信息的步骤还可包括从关于所述至少一个ES中的子ES的ES信息中，提取包括参考信息和3D附加信息中的至少一个的子ES视频描述符信息。在提取ES信息的步骤中，关于所述至少一个ES中的子ES的ES信息中的流类型信息可被设置为由运动图像专家组(MPEG)系统指定的补充视频流的值。从PMT信息提取参考信息和3D附加信息的步骤可包括从PMT信息提取指示3D视频数据是否是包括在所述至少一个TS中的3D通知描述符信息。从PMT信息提取3D附加信息和参考信息的步骤可包括 从PMT信息提取2D/3D模式信息和2D/3D模式切换信息中的至少一个。从PMT信息提取3D附加信息和参考信息的步骤还可包括从PMT信息提取指示修剪偏移信息的宽高比描述符。再现的步骤可包括恢复3D多媒体服务的3D视频的主视点视频数据和子视点视频数据；通过使用参考信息和3D附加信息中的至少一个将主视点视频数据和子视点视频数据的格式转换为可由3D显示装置再现的3D再现格式，来再现主视点视频数据和子视点视频数据。再现的步骤可包括恢复第一视点视频数据和第二视点视频数据，其中，第一视点视频数据是3D多媒体服务的3D视频的主视点视频数据和2D视频数据之一，第二视点视频数据包括3D视频的子视点视频数据以及主视点视频数据与子视点视频数据之间的差信息、深度信息和视差信息中的至少一个；通过使用参考信息和3D附加信息中的至少一个将第一视点视频数据和第二视点视频数据的格式转换为可由3D视频装置再现的3D再现格式，来再现第一视点视频数据和第二视点视频数据。再现的步骤可包括恢复构成3D复合格式数据的第一视点视频数据和构成主视点视频数据和子视点视频数据之间的差信息、深度信息和视差信息之一的第二视点视频数据，其中，在3D复合格式数据中，3D多媒体服务的3D视频的主视点视频数据和子视点视频数据被复合；通过使用3D附加信息将第一视点视频数据和第二视点视频数据的格式转换为可由3D显示装置再现的3D再现格式，来再现第一视点视频数据和第二视点视频数据。恢复的步骤可包括通过使用第一视点视频数据和第二视点视频数据来产生主视点视频数据和子视点视频数据的中间视点视频数据，再现第一视点视频数据和第二视点视频数据的步骤包括通过使用参考信息和3D附加信息中的至少一个将第一视点视频数据、中间视点视频数据和第二视点视频数据的格式转换为3D再现格式，来再现第一视点视频数据、中间视点视频数据和第二视点视频数据。再现的步骤可包括恢复形成3D视频的多条2D视频数据；通过使用参考信息和3D附加信息中的至少一个，选择性地以画中画(PIP)再现模式再现所述多条2D视频数据。所述方法还可包括通过对提取的每个视点的视频数据进行解码和恢复，使用参考信息和3D附加信息中的至少一个，来以3D再现提取的每个视点的视频数据，其中，再现的步骤可包括基于宽高比描述符信息中的修剪偏移信息，修剪主视点视频数据超出子视点视频数据的区域，通过使用修剪的主视点视频数据和子视点视频数据来以3D再现提取的每个视点的视频数据。所述方法还可包括通过使用参考信息和3D附加信息中的至少一个，来以3D再现提取的每个视点的视频数据，其中，再现的步骤可包括基于宽高比描述符信息中的修剪偏 移信息，使用各主视点视频数据来填充比主视点视频数据更小的子视点视频数据的区域来产生扩展的子视点视频数据；通过使用主视点视频数据和扩展的子视点视频数据来以3D再现提取的每个视点的视频数据。根据另一示例性实施例的一方面，提供了一种产生用于提供3D多媒体服务的数据流的设备，所述设备包括ES产生器，从用于提供2D多媒体服务和3D多媒体服务中的至少一个的节目产生包括每个视点的视频数据的至少一个ES ;PMT产生器，产生关于所述节目的PMT信息，所述PMT信息包括关于所述至少一个ES的参考信息和用于根据视点识别和再现每个视点的视频数据的3D附加信息；TS产生器，通过对所述至少一个ES和PMT信息进行打包而产生PES包，并对PES包进行复用，来产生至少一个TS ;信道发送器，对所述至少一个TS进行同步并使用信道发送所述至少一个TS。根据另一示例性实施例的一方面，提供了一种接收用于提供3D多媒体服务的数据流的设备，所述设备包括TS接收器，接收关于提供2D多媒体服务和3D多媒体服务中的至少一个的节目的至少一个TS ；TS解复用器，通过对所述至少一个TS进行解复用，提取关于节目的基本PES包和关于节目的PMT信息；PMT 3D附加信息提取器，从PMT信息提取关于包括节目的每个视点的视频数据的至少一个ES的参考信息以及用于识别和再现每个视点的视频数据的3D附加信息；ES恢复器，通过使用提取的关于通过对PES包进行解包而提取的ES中的所述至少一个ES的参考信息，恢复所述至少一个ES，并从所述至少一个ES提取每个视点的视频数据；再现器，通过使用3D附加信息和参考信息中的至少一个，对提取的每个视点的视频数据进行解码和恢复，并以3D再现恢复的每个视点的视点数据。根据另一示例性实施例的一方面，提供了一种在其上记录有用于执行产生用于提供3D多媒体服务的数据流的方法的程序的计算机可读记录介质。根据另一示例性实施例的一方面，提供了一种在其上记录有用于执行接收用于提供3D多媒体服务的数据流的方法的程序的计算机可读记录介质。
具体实施例方式以下，将参照附图更完整地描述示例性实施例。应理解，当诸如“中的至少一个”的表述出现在列出的元件之后时，其修饰列出的全部元件而不是修饰列出的单个元件。此外，在此使用的“单元”可被实施为硬件组件和/或由计算机或硬件处理器执行的软件组件。图I是根据示例性实施例的产生用于提供三维(3D)多媒体服务的数据流的设备100的框图。 设备100包括基本流(ES)产生器110、节目映射表(PMT)产生器120、传输流(TS)产生器130和信道发送器140。ES产生器110接收2D视频和3D视频中的至少一个的每个视点的视频数据，并产生包括每个视点的视频数据的至少一个ES。接收的每个视点的视频数据以及与每个视点的视频数据有关的音频数据和子数据形成节目，ES产生器110可产生关于每个视点的视频数据和音频数据的ES，以形成用于提供2D或3D多媒体服务的节目。用于3D多媒体服务的每个视点的视频数据可包括主视点视频数据和至少一条子视频数据。子视频数据可以是子视点视频数据本身、主视点视频数据和子视点视频数据被组合的3D复合格式的视频数据、主视点视频数据和子视点视频数据之间的深度信息、视差信息或主视点视频数据和子视点视频数据之间的差信息。ES产生器110可将每个视点的多条视频数据插入每个ES。针对一个节目的视频数据的ES可包括主ES和至少一个子ES。3D复合模式的主视点视频数据或视频数据可被插入主ES。子视频数据可被插入子ES。PMT产生器120产生关于与ES产生器110产生的ES有关的节目的PMT信息。PMT信息可包括关于数据(诸如用于形成节目的视频数据、音频数据和子数据)的参考信息。参考信息可以是包括所述数据的TS的包标识符(PID)信息和流类型信息中的至少一个。当插入了针对一个节目的每个视点的视频数据的多个ES被产生时，PMT信息可包括根据所述多个ES的PID信息和流类型信息中的至少一个。PMT产生器120将参考信息和3D附加信息中的至少一个插入PMT信息，其中，从至少两个视点的视频形成各个节目的3D视频的特性得到所述参考信息和3D附加信息中的至少一个。3D附加信息可被用于识别和再现根据多个视点的各个节目的每个视点的视频数据。当插入了针对一个节目的每个视点的视频数据的多个ES被产生时，可根据所述多个ES设置所述参考信息和3D附加信息中的至少一个。可针对每个ES设置ES的流类型信息。PMT产生器120可将插入了各个视频数据的主ES和子ES的流类型信息插入参考信息。例如，当设备100基于MPEG TS系统时，可通过使用在MPEG TS系统中设置的流类型信息来设置主ES的流类型信息和子ES的流类型信
肩、OPMT产生器120可将3D附加信息和参考信息中的至少一个插入来自PMT信息的关于各个ES的描述符信息。PMT产生器120可产生具有以下结构的PMT信息所述结构根据PMT信息中的主ES和子ES的3D附加信息或参考信息的位置而改变。在根据第一示例性实施例的PMT信息中，主ES的3D附加信息包括子ES的3D附加信息和参考信息中的至少一个。PMT产生器120可将子ES的3D附加信息和参考信息中的至少一个插入来自根据第一示例性实施例的PMT信息中的关于主ES的3D子描述符信息中。换句话说，主ES的3D附加信息或参考信息与子ES的3D附加信息或参考信息具有分层关系。
根据第二示例性实施例的PMT信息顺序地包括关于每个ES的ES信息。PMT产生器120可将3D子描述符信息插入来自根据第二示例性实施例的PMT信息的关于子ES的ES信息或关于主ES的ES信息中。换句话说，主ES的3D附加信息或参考信息与子ES的3D附加信息或参考信息具有平行关系。例如，3D附加信息可包括关于每个视点的视频数据的信息，诸如被插入各个ES中的视频数据的视点标识信息、3D复合模式信息、视点优先级信息和编解码器信息。稍后将参照图9A和图9B以及表5和表6来描述根据第一示例性实施例的PMT信息以及相关的参考信息和3D附加信息。稍后将参照图IOA和图IOB以及表7至表20来描述根据第二示例性实施例的PMT信息以及相关的参考信息和3D附加信息。PMT产生器120可将指示视频数据是否被插入TS的2D/3D模式信息、2D/3D模式切换通知信息或2D/3D通知描述符信息插入PMT信息。稍后将参照表3、表4、表21和表22以及图11来描述与关于2D/3D模式或2D/3D模式切换的3D附加信息有关的细节。 如果主视点视频数据和子视点视频数据的尺寸或宽高比不同，则PMT产生器120可将宽高比描述符信息和修剪偏移信息插入PMT信息，所述宽高比描述符信息和修剪偏移信息与调整用于在3D再现期间显示主视点视频数据和子视点视频数据的区域的方法有关。稍后将参照表23以及图12和图13来描述与关于修剪偏移或宽高比的3D附加信息有关的细节。TS产生器130通过对从ES产生器110接收的至少一个ES进行打包来产生打包的基本流(PES)包。TS产生器130可通过对PES包和从PMT产生器120接收的PMT信息进行复用来产生TS。信道发送器140将从TS产生器130接收的TS与信道同步，并通过该信息发送同步的TS。将在稍后参照图5描述产生单个节目、PES包和TS的处理的同时详细描述关于ES产生器110、TS产生器130和信道发送器140的操作。图2是根据示例性实施例的接收用于提供3D多媒体服务的数据流的设备200的框图。设备200包括TS接收器210、TS解复用器220、PMT附加信息提取器230、ES恢复器240和再现器250。TS接收器210通过预定信道接收关于用于提供2D或3D多媒体服务的节目的TS。TS解复用器220对从TS接收器210接收的TS进行解复用，并提取关于该节目的PES包和关于该节目的PMT信息。PMT附加信息提取器230从由TS解复用器220提取的PMT信息中提取关于包括该节目中的每个视点的视频数据的TS或至少一个ES的参考信息。ES恢复器240通过对由TS解复用器220提取的PES包进行解包来恢复ES。这里，可通过使用从PMT信息提取的关于ES的参考信息来分别恢复插入了相同类型的数据的多个ES。ES恢复器240从ES提取节目的每个视点的视频数据。类似地，ES恢复器240可通过恢复音频ES来提取音频数据。PMT附加信息提取器230从由TS解复用器220提取的PMT信息提取关于2D或3D视频的每个视点的视频数据的3D附加信息和参考信息中的至少一个。如果存在插入了一个节目的每个视点的视频数据的多个ES，则PMT附加信息提取器230可提取根据所述多个ES的3D附加信息和参考信息中的至少一个。
PMT附加信息提取器230可从参考信息提取关于各个ES的流类型信息。例如，如果设备200基本MPEG TS系统，则可通过使用由MPEG TS系统定义的流类型信息设置关于主ES的流类型信息和关于子ES的流类型信息。PMT附加信息提取器230可从PMT信息中的关于各个ES的描述符信息中提取3D附加信息和参考信息中的至少一个。PMT附加信息提取器230可从具有以下结构的PMT信息提取关于主ES和子ES的3D附加信息和参考信息中的至少一个所述结构基于PMT信息中的3D附加信息和参考信息的位置而改变。例如，可存在根据第一示例性实施例的PMT信息，其中，所述PMT信息包括在关于主ES的3D附加信息的下层中的关于子ES的3D附加信息和参考信息，可存在根据第二示例性实施例的PMT信息，其中，所述PMT信息根据多个ES顺序地包括至少一个ES中的每一个ES的3D附加信息和参考信息。PMT附加信息提取器230可从根据第一示例性实施例的PMT信息中的关于主ES的3D子描述符信息提取关于子ES的3D附加信息和参考信息中的至少一个。PMT附加信息提取器230可从根据第二示例性实施例的PMT信息的关于子ES的 ES信息或关于主ES的ES信息提取3D子描述符信息。例如，PMT附加信息提取器230可从3D附加信息提取关于每个视点的视频数据的信息，诸如被插入到各个ES的视频数据的视点标识信息、3D复合格式信息、视点优先级信息、每个视点的视频数据的尺寸信息和编解码器信息。PMT附加信息提取器230可从PMT信息提取指示在TS中是包括2D视频数据还是包括3D视频数据的2D/3D模式信息、2D/3D模式切换通知信息或3D通知描述符信息。PMT附加信息提取器230可从PMT信息提取与调整用于在3D再现期间显示主视点视频数据和子视点视频数据的区域的方法有关的宽高比描述符信息和修剪偏移信息。如果主视点视频数据和子视点视频数据的尺寸或宽高比不同，则宽高比描述符信息和修剪偏移信息可被用于在使用主视点视频数据和子视点视频数据进行3D再现期间将每个视点的视频数据的尺寸调整为相同。再现器250对由ES恢复器240提取的每个视点的视频数据进行解码和恢复，并以3D再现通过使用由PMT附加信息提取器230提取的3D附加信息和参考信息中的至少一个而恢复的3D视频图像。再现器250可将从主ES和子ES提取的每个视点的视频数据的格式转换为将由再现器250再现的3D再现格式。例如，再现器250从主ES提取主视点视频数据，从子ES提取子视点视频数据。再现器250可将提取的主视点视频数据和子视点视频数据的格式转换为3D再现格式，以再现提取的主视点视频数据和子视点视频数据。可选地，再现器250可从主ES提取主视点视频数据，从子ES提取子视点视频数据、深度信息、视差信息和差信息。可选地，再现器250可从主ES提取具有3D复合格式的视频数据，从子ES提取深度信息、视差信息和差信息中的至少一个。这里，再现器250可从提取的视频数据恢复主视点视频数据和子视点视频数据，将主视点视频数据和子视点视频数据的格式转换为3D再现格式，并再现主视点视频数据和子视点视频数据。由于设备100产生的PMT信息可包括根据包括3D视频数据的多个ES的ES信息以及3D附加信息和参考信息中的至少一个，因此，3D附加信息和参考信息中的所述至少一个与3D视频数据流一起被发送和接收。因此，3D视频可被接收器精确地再现。接收器可以是机顶盒、显示装置或包括多媒体处理器的计算机。在现有技术的MPEG TS系统中，假设关于2D视频的TS，因此在一条PMT信息中仅设置关于一个视频的描述符信息。设备100另外将3D附加信息和参考信息(或3D描述符信息)附加地插入现有技术的MPEG TS系统的PMT信息中的视频描述符信息，因此，包括设备200的接收器可识别和提取将被用于再现3D视频的3D附加信息和参考信息(或3D描述符信息)。此外，由于符合现有技术的MPEG TS系统的接收系统不能够识别3D附加信息和参考信息(或3D描述符信息)，因此所述接收系统仅读取和使用现有技术的描述符信息。
因此，设备100发送包括PMT信息的数据流，其中，PMT信息包括3D附加信息和参考信息(或3D描述符信息)，由于接收所述数据流的接收系统能够不管3D附加信息和参考信息(或3D描述符信息)而仅提供2D多媒体服务，因此所述接收系统保持与现有技术MPEGTS系统的兼容性，另外，包括设备200的接收器提供3D多媒体服务。此外，由于设备100和200可通过使用由现有技术的MPEG TS系统定义的流类型信息来设置每个ES的流类型信息，与现有技术的MPEG TS系统的数据流结构相比，新的流类型可不被附加地指定附加比特，也不被分配有附加比特。图3是根据示例性实施例的基于MPEG TS系统发送数字广播的设备300的框图。在设备300中，单节目编码器310产生包括视频TS和音频TS的单节目TS，复用器(MUX>380通过使用由多个单节目编码器310产生的至少一个单节目TS来产生和发送多节目TS (MP TS)。由于设备300基于使用多模式服务(丽S)模式的MPEG TS系统，因此通过对单节目TS进行复用而产生的多节目TS可被发送，从而发送多个节目。单节目编码器310包括视频编码器320、音频编码器330、打包器340和350以及MUX 360。视频编码器320和音频编码器330分别对未压缩的视频数据和未压缩的音频数据进行编码，从而分别产生和输出视频ES和音频ES。单节目编码器310的打包器340和350分别对视频ES和音频ES进行打包，并通过插入PES头来分别产生视频PES包和音频PES包。MUX 360对视频PES包、音频PES包和各种子数据进行复用以形成第一单节目TS(SP TS1)0 PMT信息可与视频PES包和音频PES包一起被复用以被包括在第一单节目TS中。PMT信息被包括在每个单节目TS中以描述每个TS的PID信息。MUX 380可将多个单节目TS (SP TSl, SP TS2等)与节目关联表(PAT)信息复用以形成一个多节目TS (MP TS)。由节目说明信息(PSI)以及节目和系统信息协议(PSIP)产生器370产生PMT信息和PAT信息。PAT信息和PSIP可被插入多节目TS。PAT信息描述与包括在各个多节目TS中的单节目TS有关的PMT信息的PID信息。图4是根据示例性实施例的基于MPEG TS系统接收数字广播的设备400的框图。设备400接收数字数据流，从数字数据流提取视频数据、音频数据和子数据。数字TS (DTV)调谐器410基于信道选择信号(物理信道选择)调谐到观看者选择的信道的无线电频率，选择性地提取通过相应无线电波接收的信号。
信道解码器和解调器420从信道信号提取多节目TS(MP TS)。由于设备400基于使用丽S方法的MPEG TS系统，因此设备400可接收多节目TS，并将多节目TS解复用为多个单节目TS。解复用器(DEMUX) 430将多节目TS分为多个单节目TS (SP TS1,SP TS2等)和 PSIP。通过观看者的节目选择信号(节目选择)而选择的第一单节目TS (SP TSl)通过单节目解码器440被解码。单节目解码器440以与单节目编码器310相反的顺序进行操作。从第一单节目TS恢复视频PES包、音频PES包和子数据。视频PES包和音频PES包分别通过解包器460和465被恢复为ES形式，视频ES和音频ES分别通过视频解码器470和音频解码器475被恢复为视频数据和音频数据。通过使用显示处理器480，视频数据可被转换为可显示的格式。时钟恢复和音频-视频(AV)同步单元490可通过使用从第一单节目TS提取的节目时钟参考(PCR)信息和时间戳信息来同步视频数据和音频数据的再现时间。
从多节目TS (MP TS)提取的PSIP基于由用户输入的节目选择信号与节目指南数据库445进行比较，从而从节目指南数据库445中搜索与节目选择信号相应的信道和节目。找到的信道和节目可分别被输出到DTV调谐器410和DEMUX 430。此外，由于同屏显示信息从节目指南数据库445被发送到显示处理器480，因此同屏显示操作可被支持。参照图I描述的设备100产生关于一个节目的包括3D视频的每个视点的视频数据、音频数据和子数据的TS (即，单节目TS)，但设备100的操作不限于一个视频。换句话说，如果多条视频数据、音频数据和子数据被输入，则设备100可产生包括多个视频的单个节目TS。图5是根据示例性实施例的发送用于发送根据设备100的多个视频ES的MPEG TS的设备500的框图。通过扩展设备100来提供用于支持在一个节目中包括多个视频的MPEGTS的设备500。换句话说，设备500的单节目编码器510和MUX 580的操作相应于设备100的ES产生器110和TS产生器130的操作，设备500的PSI和PSIP产生器570的操作相应于设备100的PMT产生器120的操作，设备500的信道编码器和调制器590以及DTV发送器595的操作相应于设备100的信道发送器140的操作。单节目编码器510接收3D视频的第一视频(视频I)、第二视频(视频2)和第三视频(视频3)，并分别通过视频编码器520、530和540产生第一视频ES (视频ES I)、第二视频ES (视频ES 2)和第三视频ES (视频ES 3)。第一视频、第二视频和第三视频可分别是第一视点视频、第二视点视频和第三视点视频，或可以是第一视点视频、第二视点视频和第三视点视频中的至少一个的组合。视频编码器520和530可独立地遵循视频编码方法。例如，可根据MPEG-2视频编码方法对第一视频和第二视频进行编码，可根据MPEG先进视频编码(AVC)/H. 264视频编码方法对第三视频进行编码。第一视频ES、第二视频ES和第三视频ES可分别通过打包器525、535和545被打包为第一视频PES包(视频PES I )、第二视频PES包(视频PES 2)和第三视频PES包(视频PES 3)。单节目编码器510可接收音频，并通过音频编码器550将音频转换为音频ES (音频ES)，音频ES可通过打包器555被转换为音频PES包(音频PES)。单节目编码器510的MUX 560可通过将第一至第三视频PES包和音频PES包复用在一起来输出 第一单节目TS (SP TS I)。MUX 560可将由单节目编码器510接收的各种类型的子数据以及由PSI和PSIP产生器570产生的PMT信息与第一至第三视频PES包和音频PES包一起插入第一单节目TS。另一条3D视频数据可被复用到第二单节目TS(SP TS 2)。PSI和PSIP产生器570可产生PAT信息，PAT信息包括在第一和第二单节目TS中包括的PMT信息的PID信息以及关于各种节目和系统信息的PSIP。MUX 580可通过将第一和第二单节目TS以及PAT信息复用来输出一个多节目TS (MP TS)。信道编码器和调制器590可根据信道对多节目TS进行编码和同步。DTV发送器595可发送分配给信道的TS。单节目编码器510可根据独立的数字数据通信方法产生每个TS。可根据多个节目，基于相同或不同的数字数据通信方法来产生和发送多个TS。例如，先进电视系统委员会(ATSC)地面广播通信方法支持先进残留边带(E-VSB)方法，其中，E-VSB方法可通过使用与MPEG方法不同的方法来形成TS。然而，如MPEG方法中所执行的，E-VSB产生关于节目的PMT信息，并将PMT信息插入TS。因此，第一单节目TS可被发送为MPEG TS，第二单节目TS可被发送为E-VSB TS,包括关于形成每个节目的每个视点的视频数据的3D附加信息的PMT信息可被插入第一和第二单节目TS。参照图2描述的设备200接收关于一个节目的TS，S卩，单节目TS，但是设备200的操作不限于一个节目。换句话说，设备可接收根据关于多个节目的节目的TS，从多个TS提取根据多个节目的PMT信息，并提取所述多个节目的视频数据、音频数据和子数据。现在将参照图6描述支持MPEG TS的设备200，在MPEG TS中，节目包括多个视频。图6是根据示例性实施例的接收用于根据设备200接收多个视频ES的MPEG TS的设备600的框图。通过扩展设备200来提供用于支持MPEG TS的设备600，在所述MPEG TS中，一个节目包括多个视频。换句话说，设备600的信道解码器和解调器615、DEMUX 620以及单节目解码器630的操作分别相应于设备100的TS接收器210、TS解复用器220、PMT附加信息提取器230和ES恢复器240的操作。DTV调谐器610选择性地提取通过由观看者选择的信道的无线电波接收的信号。信道解码器和解调器615从信道信号提取多节目TS。多节目TS通过DEMUX 620被分为多个单节目 TS (SP TS I、SP TS 2 等)和 PSIP。单节目解码器630对由观看者选择的第一单节目TS (SP TS I)进行解码。第一单节目TS被解复用以恢复第一视频PES包(视频PES I)、第二视频PES包(视频PES 2)、第三视频PES包(视频PES 3)、音频PES包(音频PES)和子数据(数据)。第一视频PES至第三视频PES包分别通过解包器650、660和670被恢复为第一视频ES (视频ES I)、第二视频ES (视频ES 2)和第三视频ES (视频ES 3)，第一视频ES至第三视频ES分别通过视频解码器653、663和673被恢复为第一视频、第二视频和第三视频。第一视频至第三视频可分别通过显不处理器655、665和675被转换为可显不的格式。音频PES包通过解包器680和音频解码器683被恢复为音频数据。
时钟恢复和AV同步单元690可通过使用从第一单节目TS提取的PCR信息和时间戳信息来同步视频数据和音频数据的再现时间。基于由用户输入的节目选择信号，关于与用户的节目选择信号相应的信道和节目的信号可从节目指南数据库635被发送到DTV调谐器610和DEMUX620。此外，同屏显示信息可从节目指南数据库635被发送到显示处理器655、665和675。 因此，设备600可提取与通过一个信道接收的3D视频的第一视频至第三视频和音频有关的一个多节目TS，对该多节目TS进行解复用，选择性地提取期望的单节目TS。此外，设备600可从提取的单节目TS选择性提取关于3D视频的第一至第三视频的视频ES，以恢复期望的视频数据。这里，设备600可从第一单节目TS提取PMT信息，并从PMT信息提取关于节目的3D视频的3D附加信息或3D描述符信息。可通过使用3D附加信息或3D描述符信息精确地识别形成3D视频的每个视点的视频数据，来精确地再现3D视频。被插入由设备100产生并由设备200接收的TS的有效载荷的3D视频数据包括3D视频的每个视点的视频数据。为了便于描述，包括左视点视频和右视点视频的立体图像被用作3D视频。然而，3D视频不限于立体图像，并可以是具有至少三个视点的视频。3D视频数据可具有3D复合格式或3D混合格式，其中，在3D复合格式中，3D视频的左视点图像数据和右视点图像数据均被插入一个图像中，在3D混合格式中，左视点图像数据、右视点图像数据、深度信息、视差信息和差信息中的至少三个的组合被插入至少两个图像中。现在将参照图7和图8详细描述3D复合格式和3D混合格式。图7是用于描述根据示例性实施例的3D复合格式的表。3D复合格式的示例包括并排格式、顶部和底部格式、垂直线交错(vertical lineinter I eaved)格式、水平线交错(horizontal line interleaved)格式、场顺序格式和中贞顺序格式。并排格式是相互对应的左视点图像和右视点图像被分别布置在3D复合格式的图像的左侧区域和右侧区域的图像格式。顶部和底部格式是相互对应的左视点图像和右视点图像被分别布置在3D复合格式的图像的顶部区域和底部区域的图像格式。垂直线交错格式是相互对应的左视点图像和右视点图像被分别布置在3D复合格式的图像的奇数垂直线和偶数垂直线的图像格式。水平线交错格式是相互对应的左视点图像和右视点图像被分别布置在3D复合格式的图像的奇数水平线和偶数水平线的图像格式。场顺序格式是相互对应的左视点图像和右视点图像被分别布置在3D复合格式的图像的奇数场和偶数场的图像格式，帧顺序格式是相互对应的左视点图像和右视点图像被分别布置在3D复合格式的图像的奇数帧和偶数帧的图像格式。具有并排格式、顶部和底部格式、垂直线交错格式和水平线交错格式的3D图像具有分辨率为原始图像的一半的左视点图像和右视点图像。 当在3D复合格式中，3D视频数据被插入一个ES而不是子ES时，3D附加信息可包括指示当前3D视频数据的图像格式的类型的3D复合格式信息(lES_format)。换句话说，基于被插入当前ES的3D视频数据的3D复合格式是并排格式、顶部和底部格式、垂直线交错格式、水平线交错格式、场顺序格式还是帧顺序格式，3D复合格式信息的值可被指定为如图7所示的3个比特。图8是示出根据示例性实施例的在形成3D视频的多个视点中的视频数据的多个ES的各种组合的表。当3D视频数据被插入至少两个ES时，可插入具有3D混合格式的视频数据，其中，在3D混合格式中，左视点视频数据、右视点视频数据、深度信息、祥信息或差信息被插入每个ES。3D混合格式的类型可以是这样的格式当存在两个ES时，左视点视频数据被插入第一 ES,子视频数据被插入第二 ES。在第一混合格式、第二混合格式和第三混合格式中，被插入第二 ES的子视频数据可以是深度信息、视差信息或右视点视频数据。可选地，3D混合格式的类型可以是这样的格式当存在至少两个ES时，左视点视频数据被插入第一 ES，右视点视频数据以及深度信息和视差信息中的任何一个被插入第二ES或第三ES。在第四混合格式中，右视点视频数据被插入第二 ES，深度信息被插入第三 ES。在第五混合格式中，深度信息被插入第二 ES，右视点视频数据被插入第三ES。在第六混合格式中，右视点视频数据和深度信息被复合为一个图像的子视频数据被插入第二 ES。在第七混合格式中，右视点视频数据被插入第二 ES，视差信息被插入第三ES。在第八混格式中，视差信息被插入第二 ES，右视点视频数据被插入第三ES。在第九混合格式中，右视点视频数据和视差信息被复合为一个图像的子视频数据被插入第二 ES。在图8中不出的3D混合格式仅是一个不例,3D混合格式的组合和顺序不限于图8。当3D视频数据被插入至少两个ES时，3D附加信息可包括指示当前3D视频数据的图像格式的类型的3D混合格式信息(multi_ES_format)。换句话说,基于被插入当前ES的3D视频数据的3D混合格式，即，指示第一至第九混合格式中的哪一个是3D混合格式，3D混合格式信息的值可被指定为如图8所示的4比特。以下的表I示出MPEG TS系统的PMT信息的语法。设备100和200使用TS和PMT信息，但TS的结构可在除了 MPEG TS系统以外的数字通信方法中被使用。因此，被插入TS并由设备100和200使用的PMT信息不限于表I。表I
权利要求
1.一种产生用于提供三维(3D)多媒体服务的数据流的方法，所述方法包括 从用于提供二维(2D)多媒体服务和3D多媒体服务中的至少一个的节目产生包括每个视点的视频数据的至少一个基本流； 产生关于所述节目的节目映射表信息，所述节目映射表信息包括关于产生的至少一个基本流的参考信息和用于识别和再现每个视点的视频数据的3D附加信息； 通过对所述产生的至少一个基本流和产生的节目映射表信息进行打包而产生打包的基本流包,并对打包的基本流包进行复用,来产生至少一个传输流。
2.如权利要求I所述的方法，其中，产生节目映射表信息的步骤包括 将关于主视频数据的3D附加信息插入节目映射表信息的主基本流的描述符信息，其中，主视频数据被插入所述产生的至少一个基本流的主基本流； 将关于子视频数据的3D附加信息和参考信息中的至少一个插入主基本流的描述符信息，其中，子视频数据包括在所述产生的至少一个基本流中的子基本流中， 其中，主视频数据和子视频数据分别是第一视点视频数据和第二视点视频数据的组口 ο
3.如权利要求2所述的方法，其中，关于主视频数据的3D附加信息包括主视频数据的图像格式信息、主视频数据的图像格式的视点排列顺序信息、关于与主基本流相应的子基本流的数量的信息中的至少一个， 关于子基本流的参考信息包括子基本流的流类型信息和子基本流的包标识符信息中的至少一个。
4.如权利要求I所述的方法，其中，产生节目映射表信息的步骤包括根据所述至少一个产生的基本流，将基本流信息顺序地插入节目映射表信息，其中，基本流信息包括各基本流的流类型信息、包标识符信息和视频流描述符信息。
5.如权利要求6所述的方法，其中，产生节目映射表的步骤还包括 将3D视频描述符信息插入节目映射表信息，其中，3D视频描述符信息包括关于主视频数据的3D附加信息，所述主视频数据包括在所述至少一个产生的基本流的主基本流中； 将包括3D附加信息的子基本流视频描述符信息插入关于所述产生的至少一个基本流中的子基本流的基本流信息。
6.一种接收用于提供三维(3D)多媒体服务的数据流的方法，所述方法包括 接收关于提供二维(2D)多媒体服务和3D多媒体服务中的至少一个的节目的至少一个传输流； 通过对所述至少一个传输流进行解复用，提取打包的关于节目的基本流包和关于节目的节目映射表信息； 从节目映射表信息提取关于包括节目的每个视点的视频数据的至少一个基本流的参考信息以及用于识别和再现每个视点的视频数据的3D附加信息； 通过使用提取的与通过对打包的基本流包进行解包而提取的基本流中的所述至少一个基本流有关的参考信息，恢复所述至少一个基本流，并从恢复的所述至少一个基本流提取每个视点的视频数据。
7.如权利要求6所述的方法，还包括通过使用提取的3D附加信息以3D再现提取的每个视点的视频数据。
8.如权利要求6所述的方法，其中，从节目映射表信息提取参考信息和3D附加信息的步骤包括 从节目映射表信息提取关于所述至少一个基本流中的主基本流的参考信息和主基本流的描述符信息中的关于包括在主基本流中的主视频数据的3D附加信息中的至少一个；从主基本流的描述符信息提供关于所述至少一个基本流中的子基本流的参考信息和关于包括在子基本流中的子视频数据的3D附加信息中的至少一个， 其中，主视频数据和子视频数据分别是第一视点视频数据和第二视点视频数据的组口 ο
9.如权利要求23所述的方法，其中，关于主视点视频数据的3D附加信息包括主视频数据的图像格式信息、主视频数据的图像格式的视点排列顺序信息、关于与主基本流相应的子基本流的数量的信息中的至少一个， 关于子基本流的参考信息包括子基本流的流类型信息和子基本流的包标识符信息中的至少一个。
10.如权利要求6所述的方法，其中，从节目映射表信息提取参考信息和3D附加信息的步骤包括根据所述至少一个基本流，从节目映射表信息顺序地提取基本流信息，其中，所述基本流信息包括各基本流的流类型信息、包标识符信息和视频流描述符信息。
11.如权利要求10所述的方法，其中，从节目映射表信息提取参考信息和3D附加信息的步骤还包括 从关于主视点基本流的基本流彳目息中，提取包括关于每个视点的视频数据的3D附加信息的3D视频描述符信息，其中，主视点基本流包括所述至少一个基本流中的每个视点的视频数据中的主视点视频数据； 从关于所述至少一个基本流中的子基本流的基本流信息中，提取包括3D附加信息的子基本流视频描述符。
12.—种产生用于3维(3D)多媒体服务的数据流的设备，所述设备包括 基本流产生器，从用于提供二维(2D)多媒体服务和3D多媒体服务中的至少一个的节目产生包括每个视点的视频数据的至少一个基本流； 节目映射表产生器，产生关于所述节目的节目映射表信息，所述节目映射表信息包括关于产生的至少一个基本流的参考信息和用于识别和再现每个视点的视频数据的3D附加信息； 传输流产生器，通过对产生的至少一个基本流和产生的节目映射表信息进行打包而产生打包的基本流包，并对打包的基本流包进行复用，来产生至少一个传输流； 信道发送器，使用信道对产生至少一个传输流进行同步和发送。
13.一种接收用于提供3D多媒体服务的数据流的设备，所述设备包括 传输流接收器，接收关于提供二维(2D)多媒体服务和3D多媒体服务中的至少一个的节目的至少一个传输流； 传输流解复用器，通过对所述至少一个传输流进行解复用，提取打包的关于节目的基本流包和关于节目的节目映射表信息； 节目映射表3D附加信息提取器，从节目映射表信息提取关于包括节目的每个视点的视频数据的至少一个基本流的参考信息以及用于识别和再现每个视点的视频数据的3D附加信息； 基本流恢复器，通过使用提取的与通过对打包的基本流包进行解包而提取的基本流中的所述至少一个基本流有关的参考信息，恢复所述至少一个基本流，并从恢复的所述至少一个基本流提取每个视点的视频数据； 再现器，通过使用3D附加信息和参考信息中的至少一个，对提取的每个视点的视频数据进行解码和恢复，并以3D再现恢复的每个视点的视点数据。
14.一种在其上记录有用于执行如权利要求I所述的方法的程序的计算机可读记录介质。
15.一种在其上记录有用于执行如权利要求6所述的方法的程序的计算机可读记录介质。
全文摘要
提供了一种产生用于提供三维(3D)多媒体服务的数据流的方法以及用于接收所述数据流的方法和设备。所述产生方法包括从用于提供二维(2D)多媒体服务或3D多媒体服务的节目产生包括每个视点的视频数据的至少一个基本流(ES)；产生关于所述节目的节目映射表(PMT)信息，PMT信息包括关于所述至少一个ES的参考信息和用于识别和再现每个视点的视频数据的3D附加信息；通过对所述至少一个ES和PMT信息进行打包而产生打包的基本流(PES)包，并对PES包进行复用，来产生至少一个传输流(TS)。
文档编号H04N7/015GK102860000SQ201180016819
公开日2013年1月2日 申请日期2011年1月28日 优先权日2010年1月28日
发明者李栽准, 张庸硕, 金容台, 朴洪奭, 郑吉洙, 李大钟 申请人:三星电子株式会社