在可视对讲中多方通话时同时显示各方视频的方法及系统的制作方法
【专利摘要】本发明公开了一种在可视对讲中多方通话时同时显示各方视频的方法及系统，属于可视对讲【技术领域】，在支持可视通话的SIP服务器端增加一个视频处理模块，所述的视频处理模块用于同时接收各个通话方传来的基于H.264方式编码压缩的视频图像，并对这些视频图像的进行管理、存储和分发，同时对这些视频图像根据各个用户的请求选择性地缩放合成为一个视频图像，合成完成后将这个视频图像按照H.264方式压缩编码，并以流媒体的形式发送给相应的发送请求的用户方，本发明能够在可视对讲中多方通话时同时显示各方视频，本发明不仅适用于基于TCP/IP的楼宇可视对讲系统，还适用于基于SIP的视频电话系统。
【专利说明】在可视对讲中多方通话时同时显示各方视频的方法及系统
【技术领域】
[0001]本发明涉及一种在可视对讲中多方通话时同时显示各方视频的方法及系统，尤其涉及一种基于TCP/IP的楼宇可视对讲产品中视频图像的编码、解码、缩放、合成处理方法及系统。
【背景技术】
[0002]目前的基于TCP/IP的楼宇可视对讲产品中，可以在各户室内机上实现户户可视对讲，在室内机屏上显示对方和自己的视频，但在多方通话时，用户室内机屏上不能有选择性的显示任意一个或者多个参与对讲方的视频。
【发明内容】
[0003]发明目的:为了克服现有技术中存在的不足，本发明提供一种能够在可视对讲中多方通话时同时显示各方视频的方法及系统。
[0004]为实现上述目的，本发明采用的技术方案为:一种在可视对讲中多方通话时同时显示各方视频的方法，在支持可视通话的SIP服务器端增加一个视频处理模块，所述的视频处理模块用于同时接收各个通话方传来的基于H.264方式编码压缩的视频图像，并对这些视频图像的进行管理、存储和分发，同时对这些视频图像根据各个用户的请求选择性地缩放合成为一个视频图像，合成完成后将这个视频图像按照H.264方式压缩编码，并以流媒体的形式发送给相应的发送请求的用户方。
[0005]优选的:所述的视频处理模块包括图像编解码器、合成选择器、缩放子模块以及合成子模块；
[0006]所述合成选择器用于接收各个用户发送的查看其他通话方的请求数据，并将该请求数据发送给合成子模块；
[0007]所述缩放子模块用于根据合成子模块发送的图像数据进行缩放，并将缩放后的图像数据发送给合成子模块；
[0008]所述图像编解码器用于根据合成子模块发送的图像数据进行H.264方式编解码，并将编解码后的图像数据发送给合成子模块；
[0009]所述合成子模块用于按照合成选择器的请求数据，选择所需的通话方视频数据，并将该视频数据发送给图像编解码器将这些图像进行解码，然后将解码后的数据进行合成，合成完成后的数据发送给缩放子模块进行图像的缩放，将缩放后的图像发送给图像编解码器进行编码，编码完成后得到的这个图像数据以流媒体形式发送到相应的发送请求的用户方。
[0010]一种在可视对讲中多方通话时同时显示各方视频的系统，包括一个以上的室内机、门口机、管理中心机以及SIP服务器端，所述室内机、门口机、管理中心机均与SIP服务器端连接；所述门口机为通话方，用于获取视频数据，并将视频数据通过H.264方式编码压缩发送给SIP服务器端；所述室内机为用户方，用于实现与各通话方可视对讲；所述管理中心机用于对室内机、门口机以及SIP服务器端的管理；所述SIP服务器端还包括视频处理模块，所述的视频处理模块包括图像编解码器、合成选择器、缩放子模块以及合成子模块；
[0011]所述合成选择器用于接收各个用户发送的查看其他通话方的请求数据，并将该请求数据发送给合成子模块；
[0012]所述缩放子模块用于根据合成子模块发送的图像数据进行缩放，并将缩放后的图像数据发送给合成子模块；
[0013]所述图像编解码器用于根据合成子模块发送的图像数据进行H.264方式编解码，并将编解码后的图像数据发送给合成子模块；
[0014]所述合成子模块用于按照合成选择器的请求数据，选择所需的通话方视频数据，并将该视频数据发送给图像编解码器将这些图像进行解码，然后将解码后的数据进行合成，合成完成后的数据发送给缩放子模块进行图像的缩放，将缩放后的图像发送给图像编解码器进行编码，编码完成后得到的这个图像数据以流媒体形式发送到相应的发送请求的用户方。
[0015]本发明提供的一种在可视对讲中多方通话时同时显示各方视频的方法及系统，相比现有技术，具有以下有益效果:
[0016]1.由于在支持可视通话的SIP服务器端增加一个视频处理模块，所述的视频处理模块用于同时接收各个通话方传来的基于H.264方式编码压缩的视频图像，并对这些视频图像的进行管理、存储和分发，同时对这些视频图像根据各个用户的请求选择性地缩放合成为一个视频图像，合成完成后将这个视频图像按照H.264方式压缩编码，并以流媒体的形式发送给相应的发送请求的用户方，因此当某一方需要切换任意一方或多方视频图像时，只需给视频处理模块发送一个相应的指令，该模块就会将相应的视频图像按照事先约定好的缩放合成方式，合成成一个视频图像传送给相应的参与方，因此本发明能够在可视对讲中多方通话时同时显示各方视频。另外本发明不仅适用于基于TCP/IP的楼宇可视对讲系统，还适用于基于SIP的视频电话系统。
[0017]2.由于合成完成后的数据发送给缩放子模块进行图像的缩放，将缩放后的图像发送给图像编解码器进行编码，编码完成后得到的这个图像数据以流媒体形式发送到相应的发送请求的用户方，因此大大减少了对网络带宽的要求，从而节省了网络资源。
[0018]3.由于视频数据通过H.264方式进行编解码，因此使得多方可视对讲中有很高的的真实感。
【专利附图】
【附图说明】
[0019]图1为本发明的应用网络环境图。
[0020]图2为本发明的整体流程图。
[0021]图3为本发明视频处理模块缩放合成的逻辑图。
[0022]图4为本发明室内机终端控制流程图。
【具体实施方式】
[0023]下面结合附图对本发明作更进一步的说明。
[0024]一种在可视对讲中多方通话时同时显示各方视频的方法，如图1-3所示，在支持可视通话的SIP服务器端增加一个视频处理模块，所述的视频处理模块用于同时接收各个通话方传来的基于H.264方式编码压缩的视频图像，并对这些视频图像的进行管理、存储和分发，同时对这些视频图像根据各个用户的请求选择性地缩放合成为一个视频图像，合成完成后将这个视频图像按照H.264方式压缩编码，并以流媒体的形式发送给相应的发送请求的用户方。
[0025]所述的视频处理模块包括图像编解码器、合成选择器、缩放子模块以及合成子模块；
[0026]所述合成选择器用于接收各个用户发送的查看其他通话方的请求数据，并将该请求数据发送给合成子模块；
[0027]所述缩放子模块用于根据合成子模块发送的图像数据进行缩放，并将缩放后的图像数据发送给合成子模块；
[0028]所述图像编解码器用于根据合成子模块发送的图像数据进行H.264方式编解码，并将编解码后的图像数据发送给合成子模块；
[0029]所述合成子模块用于按照合成选择器的请求数据，选择所需的通话方视频数据，并将该视频数据发送给图像编解码器将这些图像进行解码，然后将解码后的数据进行合成，合成完成后的数据发送给缩放子模块进行图像的缩放，将缩放后的图像发送给图像编解码器进行编码，编码完成后得到的这个图像数据以流媒体形式发送到相应的发送请求的用户方。
[0030]一种在可视对讲中多方通话时同时显示各方视频的系统，如图1-4所示，包括一个以上的室内机、门口机、管理中心机以及SIP服务器端，所述室内机、门口机、管理中心机均与SIP服务器端连接；所述门口机为通话方，用于获取视频数据，并将视频数据通过
H.264方式编码压缩发送给SIP服务器端；所述室内机为用户方，用于实现与各通话方可视对讲；所述管理中心机用于对室内机、门口机以及SIP服务器端的管理；所述SIP服务器端还包括视频处理模块，所述的视频处理模块包括图像编解码器、合成选择器、缩放子模块以及合成子模块；
[0031]所述合成选择器用于接收各个用户发送的查看其他通话方的请求数据，并将该请求数据发送给合成子模块；
[0032]所述缩放子模块用于根据合成子模块发送的图像数据进行缩放，并将缩放后的图像数据发送给合成子模块；
[0033]所述图像编解码器用于根据合成子模块发送的图像数据进行H.264方式编解码，并将编解码后的图像数据发送给合成子模块；
[0034]所述合成子模块用于按照合成选择器的请求数据，选择所需的通话方视频数据，并将该视频数据发送给图像编解码器将这些图像进行解码，然后将解码后的数据进行合成，合成完成后的数据发送给缩放子模块进行图像的缩放，将缩放后的图像发送给图像编解码器进行编码，编码完成后得到的这个图像数据以流媒体形式发送到相应的发送请求的用户方。
[0035]实例
[0036]如图1所示的基于TCP/IP的楼宇可视对讲系统网络结构图。室内机、门口机、管理中心机通过设在物业的服务器完成SIP交换等管理，并实现可视对讲等功能。[0037]所示的视频处理模块的整体流程，各个通话方传来的视频图像发送给视频处理模块；视频服务模块按照事先约定好的合成方式将控制单元所选的视频图像处理成单独的视频图像，以流媒体形式上传至M个室内机终端；室内机终端上显示出传送过来的合成视频图像。
[0038]如图3所示视频处理模块的逻辑图，各个通话方传来的视频图像发送给视频处理模块；视频服务模块对N个图像分别进行H.264方式的解码，并将解压后的视频图像数据根据控制单元的命令进行存储、缩放、合成，合成成的视频数据再进行H.264方式编码压缩，以流媒体形式上传至M个室内机终端；室内机终端上显示出传送过来的合成图像。
[0039]如图4所示的单个室内机终端控制流程图，室内机终端选择需要查看的参与者视频图像；控制单元接到命令判断前面室内机终端发送过来的指令是否为查看所有会场的图像；如室内机终端需要查看某几个特定参与者视频时，控制单元会将室内机终端指定的几个参与者图像选择出来送给缩放合成单元；如果室内机终端需要查看所有参与对讲者视频，则合成模块会将所有的参与者视频图片加载到缩放合成单元；合成单元合成完成后的单路视频图像；以流媒体形式将合成好的视频图像发送到相应的发送指令的室内机终端。
[0040]以上所述仅是本发明的优选实施方式，应当指出:对于本【技术领域】的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
【权利要求】
1.一种在可视对讲中多方通话时同时显示各方视频的方法，其特征在于:在支持可视通话的SIP服务器端增加一个视频处理模块，所述的视频处理模块用于同时接收各个通话方传来的基于H.264方式编码压缩的视频图像，并对这些视频图像的进行管理、存储和分发，同时对这些视频图像根据各个用户的请求选择性地缩放合成为一个视频图像，合成完成后将这个视频图像按照H.264方式压缩编码，并以流媒体的形式发送给相应的发送请求的用户方。
2.根据权利要求1所述的在可视对讲中多方通话时同时显示各方视频的方法，其特征在于:所述的视频处理模块包括图像编解码器、合成选择器、缩放子模块以及合成子模块； 所述合成选择器用于接收各个用户发送的查看其他通话方的请求数据，并将该请求数据发送给合成子模块； 所述缩放子模块用于根据合成子模块发送的图像数据进行缩放，并将缩放后的图像数据发送给合成子模块； 所述图像编解码器用于根据合成子模块发送的图像数据进行H.264方式编解码，并将编解码后的图像数据发送给合成子模块； 所述合成子模块用于按照合成选择器的请求数据，选择所需的通话方视频数据，并将该视频数据发送给图像编解码器将这些图像进行解码，然后将解码后的数据进行合成，合成完成后的数据发送给缩放子模块进行图像的缩放，将缩放后的图像发送给图像编解码器进行编码，编码完成后得到的这个图像数据以流媒体形式发送到相应的发送请求的用户方。
3.一种基于权利要求1所述的在可视对讲中多方通话时同时显示各方视频的系统，其特征在于:包括一个以上的室内机、门口机、管理中心机以及SIP服务器端，所述室内机、门口机、管理中心机均与SIP服务器端连接；所述门口机为通话方，用于获取视频数据，并将视频数据通过H.264方式编码压缩发送给SIP服务器端；所述室内机为用户方，用于实现与各通话方可视对讲；所述管理中心机用于对室内机、门口机以及SIP服务器端的管理；所述SIP服务器端还包括视频处理模块，所述的视频处理模块包括图像编解码器、合成选择器、缩放子模块以及合成子模块； 所述合成选择器用于接收各个用户发送的查看其他通话方的请求数据，并将该请求数据发送给合成子模块； 所述缩放子模块用于根据合成子模块发送的图像数据进行缩放，并将缩放后的图像数据发送给合成子模块； 所述图像编解码器用于根据合成子模块发送的图像数据进行H.264方式编解码，并将编解码后的图像数据发送给合成子模块； 所述合成子模块用于按照合成选择器的请求数据，选择所需的通话方视频数据，并将该视频数据发送给图像编解码器将这些图像进行解码，然后将解码后的数据进行合成，合成完成后的数据发送给缩放子模块进行图像的缩放，将缩放后的图像发送给图像编解码器进行编码，编码完成后得到的这个图像数据以流媒体形式发送到相应的发送请求的用户方。
【文档编号】H04N7/18GK103957391SQ201410223164
【公开日】2014年7月30日 申请日期:2014年5月23日 优先权日:2014年5月23日
【发明者】昌鸿军, 吴圣发, 郭俊, 羊春强 申请人:无锡矽太恒科电子有限公司