局域网多路信号的直播方法和系统与流程

本发明涉及数字媒体技术领域，特别是涉及一种局域网多路信号的直播方法和系统。

背景技术：

观看直播是人们生活中的一种主要娱乐方式，而直播的形式主要有电视直播和网络直播，随着互联网技术的进步以及人们生活水平的提高，网络直播由于其互动性高、部署便捷、稳定可靠的特点深受人们的喜爱。

传统的直播方法通常有两种，一种是采用多台摄像机采集和多台麦克风在现场进行画面和音频的采集，再配合使用数字调音台和导播台进行直播；另一种是使用单台手机或其他信号采集设备进行画面和音频的采集，再通过网络上传至服务器，发布至网址供人观看。

传统的直播方法中，使用多台摄像机和多台麦克风的多路信号直播方式，需要投入硬件成本很高，每次直播所需要的设备调试的人力成本也非常高，且便携性不强；而使用单台信号采集设备进行单路信号的直播方式，画面只有一个，音频只有一路，缺乏画面和声音的完整性和丰富性，缺乏立体感。

技术实现要素：

基于此，有必要针对传统的直播方法中多路信号直播方式中硬件成本过高、缺乏便携性，单路信号直播方式中缺乏画面和声音的完整性和丰富性的问题，提供一种硬件成本低并且画面和声音丰富的局域网多路信号的直播方法和系统。

一种局域网多路信号的直播方法，所述方法包括：

接收局域网内的多个通信设备发送的多路视频数据和多路音频数据；

对所述多路视频数据和多路音频数据进行音画同步；

将所述多路视频数据合成为一路画面，将所述多路音频数据合成为一路音频，并将所述一路画面和所述一路音频合成为音画数据；

发送所述音画数据至直播服务器。

在其中一个实施例中，所述对所述多路视频数据和多路音频数据进行音画同步包括：

获取所述多路视频数据的采集时间和多路音频数据的采集时间，将所述多路视频数据的采集时间和多路音频数据的采集时间同步于同一时间轴上；

调整所述多路视频数据和多路音频数据，将所述多路视频数据和多路音频数据根据采集时间映射至所述时间轴上。

在其中一个实施例中，所述调整多路视频数据和多路音频数据包括：

预设延迟时间，检测在所述延迟时间内是否接收到所述时间轴上对应的完整的数据，并等待接收属于所述延迟时间内的数据；

若在所述延迟时间结束后所述等待的数据仍未被接收，则放弃所述未被接收的数据。

在其中一个实施例中，所述将所述多路视频数据合并为一路画面包括：

选取所述多路视频数据中的至少一路视频数据作为一路画面并进行画面切换，推送所述一路画面。

在其中一个实施例中，所述将所述多路音频数据合并为一路音频包括：

选取所述多路音频数据中与所述一路画面对应的至少一路音频数据，将所述至少一路音频数据通过音频混合的方式合成为一路音频。

一种局域网多路信号的直播系统，所述系统包括：

接收模块，用于接收局域网内的多个通信设备发送的多路视频数据和多路音频数据；

同步处理模块，用于对所述多路视频数据和多路音频数据进行音画同步；

合成处理模块，用于将所述多路视频数据合成为一路画面，将所述多路音频数据合成为一路音频，并将所述一路画面和所述一路音频合成为音画数据；

发送模块，用于发送所述音画数据至直播服务器。

在其中一个实施例中，所述同步处理模块还用于：

获取所述多路视频数据的采集时间和多路音频数据的采集时间，将所述多路视频数据的采集时间和多路音频数据的采集时间同步于同一时间轴上；

调整所述多路视频数据和多路音频数据，将所述多路视频数据和多路音频数据根据采集时间映射至所述时间轴上。

在其中一个实施例中，所述同步处理模块还用于：

预设延迟时间，检测在所述延迟时间内是否接收到所述时间轴上对应的完整的数据，并等待接收属于所述延迟时间内的数据；

若在所述延迟时间结束后所述等待的数据仍未被接收，则放弃所述未被接收的数据。

在其中一个实施例中，所述合成处理模块还用于选取所述多路视频数据中的至少一路视频数据作为一路画面并进行画面切换，推送所述一路画面。

在其中一个实施例中，所述合成处理模块还用于选取所述多路音频数据中与所述一路画面对应的至少一路音频数据，将所述至少一路音频数据通过音频混合的方式合成为一路音频。

上述局域网多路信号直播方法和系统，通过接收局域网内的多个通信设备发送的多路视频数据和多路音频数据；对所述多路视频数据和多路音频数据进行音画同步；将所述多路视频数据合成为一路画面，将所述多路音频数据合成为一路音频，并将所述一路画面和所述一路音频合成为音画数据；发送所述音画数据至直播服务器。实现了局域网内通过便携通信设备完成多路信号直播的方式，局域网传输方式方便快捷，采用便携移动设备进行直播可有效降低成本，通过将多台移动设备采集的视频与音频合成，使得直播的画面和声音更加丰富并具有立体感。

附图说明

图1为本发明一实施例中局域网多路信号的直播方法的流程图；

图2为本发明一实施例中导播台通信设备的控制流程图；

图3为本发明一实施例中局域网多路信号的直播系统的模块图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

以下提供一种局域网多路信号的直播方法，参阅图1所示，该方法包括以下步骤s110～s140。

s110：接收局域网内的多个通信设备发送的多路视频数据和多路音频数据。

具体地，在本实施例的步骤110之前，还包括：与局域网内的多个通信设备进行通信连接；所述通信连接方式为wifi通信连接，在其他实施例中所述连接方式还可以是蓝牙通信连接，本实施例中所述通信设备为便携移动设备，如手机移动终端和平板设备等。每个所述通信设备具有视频采集模块和音频采集模块，如手机上的摄像头和麦克风。通过所述视频采集模块采集视频数据，通过所述音频采集模块采集音频数据，接收每个所述通信设备发送的视频数据和与之对应的音频数据。

在一个实施例中，所述多个通信设备采集同一个场景中的视频数据和音频数据，每个通信设备用于采集不同角度的画面和不同声道的音频，并发送所述画面和音频至处理端。

s120：对所述多路视频数据和多路音频数据进行音画同步。

具体地，所述音画同步即是将采集的各路数据之间的时间保持相互对应，由于在视频数据和音频数据的采集过程中存在网络延迟或设备中断等情况，接收到的视频数据和音频数据中可能会出现卡顿或延时的画面和音频，因此需要对所述多路视频数据和多路音频数据进行音画同步。

进一步地，读取所述多路视频数据的采集时间和多路音频数据的采集时间，将所述多路视频数据的采集时间和多路音频数据的采集时间同步于同一时间轴上。其中，所述时间轴是用于存放所述视频数据和音频数据的容器，时间轴上有序地记载着时间的先后顺序，将视频数数据的采集时间和音频数据的采集时间与放入时间轴容器中，并调整至同一时间起点，使之与时间轴进行对应。

进一步地，为保证数据的连贯性，需调整所述多路视频数据和多路音频数据，并将所述多路视频数据和多路音频数据根据采集时间映射至所述时间轴上。

其中，通过预设一个延迟时间，检测在所述延迟时间内是否接收到所述时间轴上对应的完整的数据，并等待接收属于所述延迟时间内的数据，若在所述延迟时间结束后所述等待的数据仍未被接收，则放弃所述未被接收的数据。

举例说明，处理端设置一个600ms的延迟，在600ms内对时间轴上的数据进行检测并等待，且在600ms后将多路数据合成为一路数据，若本应是600ms内的数据，在超过600ms后才到达处理端，则处理端会选择丢弃这部分数据。

在一个实施例中，在接收到所述多路视频数据和多路音频数据后，由于在时间轴上已经存有各路数据的采集时间，将所述多路视频数据和多路音频数据中的每一帧数据对应至时间轴上，使得所述每一帧数据都对应有正确的时间，并且有序地排列在时间轴上。

s130：将所述多路视频数据合成为一路画面，将所述多路音频数据合成为一路音频，并将所述一路画面和所述一路音频合成为音画数据。

具体地，在预设的所述延迟时间结束后，将多路数据合成为一路数据。所述多路视频数据分别呈现出不同画面，将所述不同画面合成为一路画面进行推送。所述多路音频数据分别呈现出不同声道的声音，将所述不同声道的声音合成为一路音频进行推送。

在一个实施例中，选取所述多路视频数据中的至少一路视频数据作为一路画面并进行画面切换，推送所述一路画面。即选取所述多路视频数据对应的不同画面中的其中一路画面进行推送，并根据实际需求选取下一路画面进行切换。在其他实施例中，还可以通过将所述多路视频数据进行画面叠加或画面嵌套的方式来进行一路画面的合成。

在一个实施例中，选取所述多路音频数据中与所述一路画面对应的至少一路音频数据，将所述至少一路音频数据通过音频混合的方式合成为一路音频。由于所述多路音频数据呈现的是从不同方位、不同角度采集的声音，将选取的所述至少一路音频数据经过音频混合处理后，可获得一路具有立体声效果的音频。

s140：发送所述音画数据至直播服务器。

具体地，对接收的所述视频数据和音频数据进行音画同步处理和合成处理后，将合成后的音画数据发送至直播服务器，由所述直播服务器将所述音画数据推送给用户观看。

对上述步骤进行举例说明，在一个乐队的演奏直播中，通过多个通信设备来对整个乐队表演进行多方位直播。

其中，在每位乐手的演奏乐器周围分别设有一台通信设备进行数据采集，所述通信设备可采集不同乐手的演奏画面，如吉他手、钢琴手、鼓手等画面，以及采集不同乐器发出的声音，如吉他、钢琴、小提琴等乐器发出的声音，所述多个通信设备将采集的数据传输至局域网内具有导播台控制功能的通信设备中。

所述具有导播台控制功能的通信设备的处理过程如图2所示，在接收到多个视频画面和多个音频数据后进行音画同步处理，将所述视频画面和音频数据的时间对应至同一时间轴上。

在音画同步处理完成后，对多路数据进行合成处理，对视频数据的处理方式为选取所述多个视频画面中的一路画面，对音频数据的处理方式为将所述多个音频数据合成为一路音频，使声音在听觉上有立体效果，再将选取的一路画面和一路音频合并为既有画面又有声音的音画数据。

最后该具有导播台控制功能的通信设备将所述音画数据发送至服务器，由服务器推送所述音画数据，这样用户就能通过相应的直播地址观看到完整的乐队的演奏直播了。

上述局域网多路信号直播方法，通过接收局域网内的多个通信设备发送的多路视频数据和多路音频数据；对所述多路视频数据和多路音频数据进行音画同步；将所述多路视频数据合成为一路画面，将所述多路音频数据合成为一路音频，并将所述一路画面和所述一路音频合成为音画数据；发送所述音画数据至直播服务器。实现了局域网内通过便携通信设备完成多路信号直播的方式，局域网传输方式方便快捷，采用便携移动设备进行直播可有效降低成本，通过将多台移动设备采集的视频与音频合成，使得直播的画面和声音更加丰富并具有立体感。

以下提供一种局域网多路信号的直播系统，参阅图3所示，所述系统包括接收模块200、同步处理模块210、合成处理模块220和发送模块230。

其中，所述接收模块200用于接收局域网内的多个通信设备发送的多路视频数据和多路音频数据。

具体地，所述接收模块200与局域网内的多个通信设备进行wifi通信连接，所述通信设备为便携移动设备，如手机移动终端和平板设备等。每个所述通信设备具有视频采集模块和音频采集模块，如手机上的摄像头和麦克风。通过所述视频采集模块采集视频数据，通过所述音频采集模块采集音频数据，接收每个所述通信设备发送的视频数据和与之对应的音频数据。

所述同步处理模块210用于对所述多路视频数据和多路音频数据进行音画同步。

具体地，同步处理模块210读取所述多路视频数据的采集时间和多路音频数据的采集时间，将所述多路视频数据的采集时间和多路音频数据的采集时间同步于同一时间轴上。其中，所述时间轴是用于存放所述视频数据和音频数据的容器，时间轴上有序地记载着时间的先后顺序，将视频数数据的采集时间和音频数据的采集时间与放入时间轴容器中，并调整至同一时间起点，使之与时间轴进行对应。

进一步地，为保证数据的连贯性，同步处理模块210需调整所述多路视频数据和多路音频数据，并将所述多路视频数据和多路音频数据根据采集时间映射至所述时间轴上。

其中，同步处理模块210预设一个延迟时间，检测在所述延迟时间内是否接收到所述时间轴上对应的完整的数据，并等待接收属于所述延迟时间内的数据，若在所述延迟时间结束后所述等待的数据仍未被接收，则放弃所述未被接收的数据。

所述合成处理模块220用于将所述多路视频数据合成为一路画面，将所述多路音频数据合成为一路音频，并将所述一路画面和所述一路音频合成为音画数据。

具体地，在预设的所述延迟时间结束后，合成处理模块220将多路数据合成为一路数据。所述多路视频数据分别呈现出不同画面，合成处理模块220将所述不同画面合成为一路画面进行推送。所述多路音频数据分别呈现出不同声道的声音，合成处理模块220将所述不同声道的声音合成为一路音频进行推送。

在一个实施例中，合成处理模块220选取所述多路视频数据中的至少一路视频数据作为一路画面并进行画面切换，推送所述一路画面。即选取所述多路视频数据对应的不同画面中的其中一路画面进行推送，并根据实际需求选取下一路画面进行切换。在其他实施例中，合成处理模块220还可以通过将所述多路视频数据进行画面叠加或画面嵌套来合成一路画面。

在一个实施例中，合成处理模块220选取所述多路音频数据中与所述一路画面对应的至少一路音频数据，将所述至少一路音频数据通过音频混合的方式合成为一路音频。由于所述多路音频数据呈现的是从不同方位、不同角度采集的声音，合成处理模块220将选取的所述至少一路音频数据经过音频混合处理后，可获得一路具有立体声效果的音频。

所述发送模块230用于发送所述音画数据至直播服务器。

具体地，在合成处理模块220对接收的所述视频数据和音频数据进行合成处理后，发送模块230将合成后的音画数据发送至直播服务器，由所述直播服务器将所述音画数据推送给用户观看。

上述局域网多路信号直播系统，通过接收模块接收局域网内的多个通信设备发送的多路视频数据和多路音频数据；同步处理模块对所述多路视频数据和多路音频数据进行音画同步；合成处理模块将所述多路视频数据合成为一路画面，将所述多路音频数据合成为一路音频，并将所述一路画面和所述一路音频合成为音画数据；发送模块发送所述音画数据至直播服务器。实现了局域网内通过便携通信设备完成多路信号直播的方式，局域网传输方式方便快捷，采用便携移动设备进行直播可有效降低成本，通过将多台移动设备采集的视频与音频合成，使得直播的画面和声音更加丰富并具有立体感。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。