一种支持用户干预的多输入参数协同媒体处理装置的制作方法

本发明涉及多媒体处理领域，特别涉及一种支持用户干预的多输入参数协同媒体处理装置。

背景技术：

HTML5技术的快速发展和HTML5规范的最终定型，使用户能够实现即时干预实时媒体流的处理。

目前，对媒体流进行实时处理的装置大致分为两种：第一种是不具备用户输入实时干预功能的装置，当输入为待处理的流媒体码流时，输出码流一般不能根据用户的实时干预控制参数进行实时码流输出；另一种是支持用户干预的输入媒体处理装置，一般以离线应用为主，或者输出码流带有较大的输出延时；且多用户多输入参数难以协同处理。

技术实现要素：

本发明的目的在于克服当前媒体流处理装置存在的上述缺陷，提供一种支持用户干预的多输入参数协同媒体实时处理装置，该装置的输出码流能根据用户的干预信息实时变化，且可以多个用户同时输入和协同处理。

为了实现上述目的，本发明提出了一种支持用户干预的多输入参数协同媒体处理装置，一种支持用户干预的多输入参数协同媒体处理装置；所述装置包括：即时通信模块、协同处理模块和媒体实时处理模块；

所述即时通信模块，用于实现所述装置与多个客户端之间的通信连接；采用长连接或客户端主动PUSH的通信机制，接收多个客户端同时输入的用户干预参数或场景触发参数；并将所有接收的参数传送至所述协同处理模块；

所述协同处理模块，用于采用信号量对多输入参数进行同步与协同处理，保证在任何一个时刻，只将一个用户干预参数或场景触发参数输入所述媒体实时处理模块；

所述媒体实时处理模块，包含若干个不同类型的媒体流处理单元，用于接收原始的多媒体数据流，根据接收到的用户干预参数或场景触发参数选择相应的媒体流处理单元，输出处理后的多媒体数据流。

上述技术方案中，所述客户端为计算机、手机或PAD。

上述技术方案中，所述协同处理模块的同步与协同处理过程为：当所述媒体实时处理模块可用时，信号量变量sv的值为TRUE，当有用户干预参数输入所述媒体实时处理模块时，P(sv)操作将它减1，使它变为FALSE，表示所述媒体实时处理模块正在使用中；当该用户干预参数处理结束时，使用V(sv)操作将信号量变量加1，释放资源，使所述媒体实时处理模块再次变为可访问的临界区域，以此来保证其它用户干预参数的输入，从而实现多个客户端与所述装置的协同处理。

上述技术方案中，当所述媒体流处理单元为语音处理单元时，所述语音处理单元的类型为语音增强单元、音效增强单元、低重音单元或三维音效单元。

本发明的优点在于：

1、本发明提供一种支持用户干预输入参数的媒体实时处理装置，输出的码流可根据用户输入参数进行实时变化；

2、本发明的方法支持多个用户的多参数同时输入，能够协同处理多个输入参数；多个输入参数包括用户干预参数和场景触发参数；前者可直接影响输出的码流；后者可在媒体应用中根据一定的场景进行触发，呈现特定的视觉内容或进行相关处理。

附图说明

图1为本发明的支持用户干预的多输入参数协同媒体处理装置的结构图；

图2为三维音效的位置坐标(X,Y,Z)的示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细的说明。

如图1所示，本发明提供了一种支持用户干预的多输入参数协同媒体处理装置；所述装置包括：即时通信模块、协同处理模块和媒体实时处理模块；

所述即时通信模块，用于实现所述装置与多个客户端之间的通信连接；采用长连接或客户端主动PUSH的通信机制，接收多个客户端同时输入的用户干预参数或场景触发参数；并将所有接收的参数传送至所述协同处理模块；

所述客户端为计算机、手机或PAD；以多媒体数据流为音频数据为例，输出为处理后的含三维音效的音频；所述用户干预参数包括三维音效的位置坐标(X,Y,Z)；

所述场景触发参数包括视觉内容的呈现处理参数；例如设定在音频数据流播放过程中，在特定的时间、位置中弹出特定的广告网页。

所述协同处理模块，用于采用信号量对多输入参数进行同步与协同处理，保证 在任何一个时刻，只将一个用户干预参数或场景触发参数输入所述媒体实时处理模块；

当所述媒体实时处理模块可用时，信号量变量sv的值为TRUE，当有用户干预参数输入所述媒体实时处理模块时，P(sv)操作将它减1，使它变为FALSE，表示所述媒体实时处理模块正在使用中；当该用户干预参数处理结束时，使用V(sv)操作将信号量变量加1，释放资源，使所述媒体实时处理模块再次变为可访问的临界区域，以此来保证其它用户干预参数的输入，从而实现多个客户端与所述装置的协同处理；

所述媒体实时处理模块，包含若干个语音处理单元，接收原始的多媒体数据流，根据接收到的用户干预参数或场景触发参数选择相应的语音处理单元，输出处理后的多媒体数据流。

所述语音处理单元的类型为语音增强单元、音效增强单元、低重音单元或三维音效单元；

所述语音信号处理单元通过创建音频对象，指定音频输入源；根据接收到的用户干预参数，对音频数据流进行特定语音信号处理，并输出相应的语音效果。

如图2所示，以客户端为PAD为例，获取音源(或听者)在三维空间中的坐标位置(x,y,z)，通过PAD实时输入三维音效相关的位置坐标(x,y,z)，然后即时通信模块传给服务器端，服务器端的媒体实时处理模块根据输入参数进行实时处理，处理后的音频通过PAD的耳机输出产生的三维音效，同时可在音频播放的特定位置弹出特定网页(即特定场景触发，例如呈现广告等)。

以上所述仅为本发明的具体实施方式，并非用于限定本发明的保护范围，本领域的技术人员应当理解，在不脱离发明原理的前提下，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的保护范围中。