媒体文件的多屏播放方法和系统的制作方法
【专利摘要】本发明实施例提供一种媒体文件的多屏播放方法和系统，其中，方法包括采集媒体文件中的视频文件和与所述视频文件关联的音频文件；对所述视频文件和音频文件进行编码并插入时间戳信息；缓存插入有时间戳信息的视频文件和音频文件；当缓存容量达到阈值时，基于时间戳信息，对相应的视频文件和音频文件分别使用独立的传输通道发送至外部设备。本发明实施例提供的媒体文件的多屏播放方法和系统，通过采集视频文件和与之关联的音频文件，基于时间戳编码，先缓存后分别经由独立通道发送，克服了现有技术中多屏互动无法实现音频视频同步的缺陷，实现了音画同步。
【专利说明】
媒体文件的多屏播放方法和系统
技术领域
[0001]本发明实施例涉及多屏互动技术领域，尤其涉及一种媒体文件的多屏播放方法和系统。
【背景技术】
[0002]多屏互动指的是运用闪联协议、Miracast协议等，通过WIFI网络连接，在不同多媒体终端上(如常见基于10S，Andr0id，Symbian等不同操作系统上的不同智能终端设备，如手机，PAD，TV等之间)，可进行多媒体(音频，视频，图片)内容的传输，解析，展示，控制等一系列操作。可以在不同平台设备上同时共享展示内容，丰富用户的多媒体生活。
[0003]现有技术主要是针对视频画面进行多屏同步处理，无法实现对音频/视频多屏同步互动的效果。进一步的，有的网络服务商虽然提出了音频多屏互动，但是无法实现多屏互动时的音频和视频的同步进行，严重影响了用户体验。
【发明内容】
[0004]本发明实施例提供一种媒体文件的多屏播放方法和系统，用以解决现有技术中存在的音画无法同步等一个或多个问题。
[0005]本发明实施例提供一种媒体文件的多屏播放方法，包括:
[0006]采集媒体文件中的视频文件和与所述视频文件关联的音频文件；
[0007]对所述视频文件和音频文件进行编码并插入时间戳信息；
[0008]缓存插入有时间戳信息的视频文件和音频文件；
[0009]当缓存容量达到阈值时，基于时间戳信息，对相应的视频文件和音频文件分别使用独立的传输通道发送至外部设备。
[0010]本发明实施例提供一种媒体文件的多屏播放方法，包括:
[0011]接收并缓存带有时间戳信息的视频文件和音频文件；
[0012]当缓存容量达到阈值时，基于时间戳信息对所述视频文件和音频文件进行同步播放。
[0013]本发明实施例提供一种媒体文件的多屏播放系统，包括:
[0014]采集单元，配置用于采集媒体文件中的视频文件和与视频文件关联的音频文件；
[0015]编码单元，配置用于对视频文件和音频文件进行编码并插入时间戳信息；
[0016]缓存单元，配置用于缓存插入有时间戳信息的视频文件和音频文件；以及
[0017]发送单元，配置用于当缓存单元的缓存容量达到阈值时，基于时间戳信息，对相应的视频文件和音频文件分别使用独立的传输通道发送至外部设备。
[0018]本发明实施例提供一种媒体文件的多屏播放系统，包括:
[0019]接收单元，配置用于接收并缓存带有时间戳信息的视频文件和音频文件；以及
[0020]播放单元，配置用于当缓存容量达到阈值时，基于时间戳信息对所述视频文件和音频文件进行同步播放。
[0021]本发明实施例提供的媒体文件的多屏播放方法和系统，通过在多屏互动的终端上建立缓冲机制，并使用不同的模块处理音频和视频，以及使用不同的传输通道传输音频和视频，克服了现有技术中多屏互动无法达到音画同步的缺陷，实现了多屏互动时的音画同步，提尚用户体验。
【附图说明】
[0022]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1为本发明实施例所涉及的实施环境示意图；
[0024]图2为本发明的媒体文件的多屏播放方法的一个实施例流程图；
[0025]图3为本发明的媒体文件的多屏播放方法的另一个实施例流程图；
[0026]图4为本发明的媒体文件的多屏播放方法的又一个实施例流程图；
[0027]图5为本发明的媒体文件的多屏播放系统的一个实施例结构示意图；
[0028]图6为本发明的媒体文件的多屏播放系统的另一个实施例结构示意图；
[0029]图7为可以应用于实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
【具体实施方式】
[0030]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0031]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0032]请参考图1，其示出了本发明实施例所涉及的实施环境示意图。
[0033 ] 如图1所示，多屏互动系统100可以包括两个及两个以上的媒体播放设备11、102、104和网络103。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户110可以使用媒体播放设备101、102、104通过网络103交互，以接收或发送消息，同步观看视频、传输文件等。媒体播放设备101、102、104上可以安装有各种通讯客户端应用，例如即时通信工具、邮箱客户端、社交平台软件、音频视频软件等。
[0034]媒体播放设备101、102和104可以是各种电子设备，包括但不限于个人电脑、智能手机、平板电脑、个人数字助理、可穿戴设备等等，终端设备101、102还可以是智能家电、路由器等。
[0035]在实现多屏互动时，每个媒体播放设备都可以作为多屏互动的发起方，向其他的媒体播放设备发起多屏互动请求，通过两两媒体播放设备之间的交互，将媒体文件在两个及两个以上的媒体播放设备上进行播放。该媒体文件可以为视频、音频或图片等。简单的说，就是几种设备的屏幕，通过专门的连接设备就可以互相连接转换；比如手机上的电影可以在电视上播放，平板上的图片可以在电视上分享，电脑的内容可以投影到电视上；多屏互动技术的关键在于多个设备之间快速且无缝的同步，一般用于手机视频图文等媒体分享。
[0036]本发明中，两两媒体播放设备之间可以通过网络103进行通信，其中网络103可以是无线或者有线网络，所基于的互联协议包括无线高清技术(WiDi)、数字生活网络联盟(DLNA)协议、闪联协议等。
[0037]应该理解，图1中的媒体播放设备和网络的数目仅仅是示意性的。根据实现需要，可以具有任意数目的媒体播放设备和网络。
[0038]参考图2，其示出了本发明的媒体文件的多屏播放方法的一个实施例流程图200。
[0039]如图2所示，在步骤201中，采集媒体文件中的视频文件和与视频文件关联的音频文件。
[0040]在本实施例中，分别使用不同的模块采集媒体文件中的视频文件和与视频文件关联的音频文件。由于采用不同的模块采集和处理，可以提高处理效率，让用户有更好的体验。采集文件的媒体播放设备可以例如是智能电视。
[0041 ]在步骤201中，对视频文件和音频文件进行编码并插入时间戳信息。
[0042]在本实施例中，视频文件和音频文件分别采用不同的模块编码，并在编码的过程中加入时间戳信息，已达到对视频和音频的同步。
[0043]在本实施例中，插入的时间戳的两个标志位之间例如可以为IS，本申请在此方面没有限制。
[0044]之后，在步骤203中，缓存插入有时间戳信息的视频文件和音频文件。
[0045]在本实施例中，通过先对插入有时间戳信息的视频文件和音频文件进行缓存，可以让之后的处理更加顺畅。
[0046]在本实施例中，缓存的带有时间戮?目息的视频文件和首频文件例如可以是在一个时间戳时间长度内截取一定数量的音频帧和一定数量的视频帧，本申请在此方面没有限制。
[0047]最后，在步骤204中，当缓存容量达到阈值时，基于时间戳信息，对相应的视频文件和音频文件分别使用独立的传输通道发送至外部设备。
[0048]在本实施例中，通过设定缓存阈值，当超过阈值时，才基于时间戳信息向外部设备发送，并且发送时视频文件和音频文件分别使用不同的传输通道。其中，缓存的阈值可以是根据当前使用的设备和网络环境确定，例如，设备和网络环境条件比较好时，可以将阈值调的比较高，本申请在此方面没有限制。阈值可以例如是音频和视频的帧数，本申请在此方面没有限制。由于加入了阈值，当达到阈值时才开始往外发，可以保证一直有准备好的文件等待发送，从而能比较顺畅，用户也能有比较好的体验。另外，由于视频解析比较耗时，而音频解析比较快，通过插入时间戳，在向外发送时，就基于时间戳信息，发送相同时间戳信息的视频文件和音频文件，可以实现音频和视频同步。之后，对视频文件和音频文件分别使用独立的传输通道发送至外部设备，也可以实现更快地传输和处理，其中，独立的传输通道例如可以是视频基于TCP协议传输，而音频基于UDP协议传输。
[0049]在本实施例中，由于采集视频文件和音频文件时采用不同的模块，编码的过程中，分别对视频文件和音频文件插入时间戳，之后先缓存，等缓存达到一定阈值时，在向外部设备发送，可以实现更快地处理和传输，由于插入时间戳，也能保障之后视频文件和音频文件的同步，能很好地提升用户体验。
[0050]进一步参考图3，其示出了本发明的媒体文件的多屏播放方法的另一个实施例流程图300。
[0051]如图3所示，在步骤301中，采集媒体文件中的视频文件和与所述视频文件关联的音频文件。
[0052]在本实施例中，分不同的模块分别采集视频文件和与所述视频文件关联的音频文件。可以提尚米集速度。
[0053]在步骤302中，对视频文件和音频文件进行编码并插入时间戳信息。
[0054]在本实施例中，在对视频文件和音频文件进行编码时分别插入相应的时间戳信息，有利于后期处理时根据时间戳信息使得音视频同步。在对音视频文件编码时插入时间戳信息，可以很好地保证之后发送时基于相同的时间戳信息发送，从而达到音频与视频的同步。
[0055]在步骤303中，缓存插入有时间戳信息的视频文件和音频文件。
[0056]在本实施例中，通过先对编码好并插入时间戳的视频文件和音频文件进行缓存，有利于后期对文件的相关处理，可以保证后期处理更顺畅，从而可以实现用户播放音视频的同步和流畅。
[0057]在步骤304中，当缓存容量达到阈值时，基于时间戳信息，对相应的视频文件和音频文件分别使用独立的传输通道发送至外部设备。
[0058]在本实施例中，通过先将缓存好的音视频文件基于时间戳分别使用不同的传输通道进行传输，从而实现更快地发送和传输。
[0059]在步骤305中，当视频文件和音频文件在发送至外部设备期间发生传输失败，清空已缓存的视频文件和音频文件。
[0060]在本实施例中，当网络不好时，可能会出现传输失败或者丢包的情况，播放时表现出来的则是卡顿，用户体验非常不好。本实施例中，通过清空已缓存的文件，从而可以缓存新的文件，等网络恢复时，用户将不会看到卡顿的视频，而是感觉快进了一点(如果网络恢复的比较快，用户根本感觉不到有任何快进之类的操作)，从而实现更好的用户体验。
[0061 ] 与流程图200相比，流程图300中的步骤301至步骤304与流程图200中的步骤201至步骤204—一对应，之前对步骤201至步骤204的相关的解释与说明同样适用于步骤301至步骤304;与流程图200不同的是，流程图300中，加入了新的步骤305，从而可以实现网络不好时，丢弃缓存中不好的文件，从而腾出空间缓存其他文件，更好的提升用户体验。
[0062]进一步参考图4，其示出了本发明的媒体文件的多屏播放方法的又一个实施例流程图400。
[0063]如图4所示，在步骤401中，接收并缓存带有时间戳信息的视频文件和音频文件。
[0064]在本实施例中，接收文件的媒体播放设备可以例如是智能手机，该智能手机可以是具备多屏互动功能的手机，例如Android 4.2以上的手机，本申请在此方面没有限制。该媒体播放设备接收来自另一媒体播放设备如智能电视发送的视频文件和音频文件，该文件中带有时间戳信息，所以接收文件时可以是基于时间戳信息接收相关的视频文件和音频文件，也可以是缓存时基于相同的时间戳信息对视频文件和音频文件进行缓存。通过缓存带有相同时间戳信息的视频文件和音频文件，可以保证后期播放时能达到音画同步。
[0065]在本实施例中，由于音频的解析比较快，而视频的解析比较费时，所以可以采用不同的模块分别接收、解析和缓存视频和音频文件，例如可以采用视频模块接收和缓存视频，采用音频模块接收、解析和缓存音频，本申请在此方面没有限制。
[0066]继而，在步骤402中，当缓存容量达到阈值时，基于时间戳信息对所述视频文件和音频文件进行同步播放。
[0067]在本实施例中，媒体播放设备的缓存容量有一个阈值，该阈值可以是根据设备信息和网络状况进行设置，本申请在此方面没有限制。当缓存了一部分之后，就可以按照文件中记载的时间戳信息播放缓存的视频和音频，从而实现音频和视频的同步播放。
[0068]在本实施例中，阈值例如可以设置为缓存的音频或视频的帧数，例如可以在一个时间戳时间长度内截取一定数量的音频帧和一定数量的视频帧当缓存帧数到一定数量时，即可推送画面和音频，实现多屏互动时的音频和视频的同步播放。
[0069]在一些可选的实施例中，阈值例如可以设置为视频或音频的帧数，例如缓存了5帧就可以开始播放，本申请在此方面没有限制。
[0070]由于本实施例中的媒体播放设备只负责对外部设备通过多屏连接后发送的音频和视频进行接收、解析缓存和播放。当网络不好时，缓存的文件已经全部播放完成，则可以提示用户正在缓存例如显示“Loading”，本申请在此方面没有限制。
[0071]本实施例的媒体文件的多屏播放方法由于加入了时间戳和缓存机制可以保障音视频更好地同步播放，提升用户体验。
[0072]在一些可选的实施例中，还可以在播放视频时通过控制接收和播放视频和音频的一端实现对编码视频和音频的一端的操控。其中接收播放端可以例如是智能手机，例如可以在智能手机中加入设备控制管理器，通过响应用户在手机端的点击，向编码端例如可以是智能电视发送控制指令从而控制智能电视。其中，具体的实现可以是利用Monkey机制，通过获取用户在手机屏幕上某个位置的点击从而向智能电视发送相应位置相同类型的点击，实现多屏设备间的控制，该机制可以支持的点击类型有长连击、短点击、拖动、滑动等，本申请在此方面没有限制。
[0073]图5为本发明的媒体文件的多屏播放系统的一个实施例结构示意图。
[0074]如图5所示，媒体文件的多屏播放系统500包括采集单元501、编码单元502、缓存单元503和发送单元504。其中，采集单元501，配置用于采集媒体文件中的视频文件和与视频文件关联的音频文件;编码单元502，配置用于对视频文件和音频文件进行编码并插入时间戳信息；缓存单元503，配置用于缓存插入有时间戳信息的视频文件和音频文件；以及发送单元504，配置用于当缓存单元的缓存容量达到阈值时，基于时间戳信息，对相应的视频文件和音频文件分别使用独立的传输通道发送至外部设备。
[0075]在本实施例中，多屏播放系统500通过采用不同的模块分别对音频文件和视频文件进行采集，之后在编码时插入相应的时间戳信息，当缓存到一定容量时再基于相应的时间戳信息分不同的传输通道发送缓存的视频文件和音频文件，从而可以实现对视频文件和与之关联的音频文件的同步传输。
[0076]在一些可选的实施例中，时间戳例如可以设置为Is，阈值例如可以根据视频或者音频的帧数设置，本申请在此方面没有限制。可以以系统时间为参照点，以时间戳的时间长度采集数据帧中的视频帧和音频帧，本申请在此方面没有限制。
[0077]在另一些可选的实施例中，发送单元504还进一步包括视频发送单元和音频发送单元(图中未示出)。其中，视频发送单元，配置用于当缓存单元的视频缓存容量达到阈值时，基于时间戳信息，对相应的视频文件使用TCP协议发送；以及音频发送单元，配置用于当缓存单元的音频缓存容量达到阈值时，基于时间戳信息，对音频文件使用UDP协议发送。通过使用不同的通道分别发送视频文件和音频文件，可以实现更快地传输。
[0078]进一步参考图6，其示出了本发明的媒体文件的多屏播放系统的另一个实施例结构示意图。
[0079]如图6所示，媒体文件的多屏播放系统600包括接收单元601和播放单元602。其中，接收单元601，配置用于接收并缓存带有时间戳信息的视频文件和音频文件；以及播放单元602，配置用于当缓存容量达到阈值时，基于时间戳信息对所述视频文件和音频文件进行同步播放。
[0080]在本实施例中，可以使用不同的模块分别接收带有时间戳信息的视频文件和音频文件，之后分别对其进行解析和缓存，当缓存达到一定容量时，即可开始基于时间戳信息对其进行播放。其中，时间戳可以例如是1S，阈值可以例如为视频或音频的帧数，例如设置为5帧，本申请在此方面没有限制。通过相关的接收缓存和播放的步骤，可以实现音画同步。
[0081]应当理解，图5和图6中记载的诸单元与参考图3、图4中描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征以及相应的技术效果同样适用于图5和图6中的诸单元，在此不再赘述。
[0082]值得注意的是，本发明的实施例中的单元并不用于限制本发明的方案，例如采集单元可以描述为用于采集媒体文件中的视频文件和与视频文件关联的音频文件的单元。另外，还可以通过硬件处理器来实现相关功能模块，例如采集单元也可以用处理器实现，在此不再赘述。
[0083]图7为可以应用于实现本发明实施例的终端设备或服务器的计算机系统700的结构示意图。
[0084]如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(R0M)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM703中，还存储有系统700操作所需的各种程序和数据。CPU 70KROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线 704。
[0085]以下部件连接至I/O接口705:包括键盘、鼠标等的输入部分706 ；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口 705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
[0086]特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。
[0087]以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0088]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如R0M/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0089]最后应说明的是:以上实施例仅用以说明本发明的技术方案，而非对其限制;尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
【主权项】
1.一种媒体文件的多屏播放方法，包括: 采集媒体文件中的视频文件和与所述视频文件关联的音频文件； 对所述视频文件和音频文件进行编码并插入时间戳信息； 缓存插入有时间戳信息的视频文件和音频文件； 当缓存容量达到阈值时，基于时间戳信息，对相应的视频文件和音频文件分别使用独立的传输通道发送至外部设备。2.根据权利要求1所述的方法，所述方法还包括: 当所述视频文件和音频文件在发送至外部设备期间发生传输失败，清空已缓存的所述视频文件和音频文件。3.根据权利要求1所述的方法，其中，对相应的视频文件和音频文件分别使用独立的传输通道发送至外部设备包括: 对视频文件使用TCP协议发送；以及 对音频文件使用UDP协议发送。4.根据权利要求1-3中任一项所述的方法，所述阈值包括预定视频或音频帧数。5.一种媒体文件的多屏播放方法，包括: 接收并缓存带有时间戳信息的视频文件和音频文件； 当缓存容量达到阈值时，基于时间戳信息对所述视频文件和音频文件进行同步播放。6.根据权利要求4所述的方法，所述阈值包括预定视频或音频帧数。7.一种媒体文件的多屏播放系统，包括: 采集单元，配置用于采集媒体文件中的视频文件和与所述视频文件关联的音频文件； 编码单元，配置用于对所述视频文件和音频文件进行编码并插入时间戳信息； 缓存单元，配置用于缓存插入有时间戳信息的视频文件和音频文件；以及发送单元，配置用于当所述缓存单元的缓存容量达到阈值时，基于时间戳信息，对相应的视频文件和音频文件分别使用独立的传输通道发送至外部设备。8.根据权利要求7所述的系统，所述系统还包括: 清空单元，配置用于当所述发送单元发送所述视频文件和音频文件至外部设备期间发生传输失败时，清空已缓存的所述视频文件和音频文件。9.根据权利要求7所述的系统，其中，发送单元进一步包括: 视频发送单元，配置用于当所述缓存单元的视频缓存容量达到阈值时，基于时间戳信息，对相应的视频文件使用TCP协议发送;以及 音频发送单元，配置用于当所述缓存单元的音频缓存容量达到阈值时，基于时间戳信息，对音频文件使用UDP协议发送。10.根据权利要求7-9中任一项所述的系统，所述阈值包括预定视频或音频帧数。11.一种媒体文件的多屏播放系统，包括: 接收单元，配置用于接收并缓存带有时间戳信息的视频文件和音频文件；以及播放单元，配置用于当缓存容量达到阈值时，基于时间戳信息对所述视频文件和音频文件进行同步播放。12.根据权利要求11所述的系统，所述阈值包括预定视频或音频帧数。
【文档编号】H04N21/43GK105898506SQ201610286504
【公开日】2016年8月24日
【申请日】2016年5月3日
【发明人】王洪健
【申请人】乐视控股（北京）有限公司, 乐视致新电子科技（天津）有限公司