一种视频会议信息处理方法、装置、电子设备及系统与流程

本发明涉及视频会议技术领域，具体而言，涉及一种视频会议信息处理方法、装置、电子设备及系统。

背景技术：

随着网络通信技术的发展，用户对于实时的视频交互的需求越来越高，因此也衍生出大量的视频会议技术及相关设备。目前市面上存在大量的视频会议设备，都具有一定的交互功能(例如评论、允许/拒绝接入会议等等)。随着5g和4k技术的推广，视频会议app在各种类型的显示终端上将会提供更好的体验，但是目前市面上，显示终端中的交互功能通常独立于显示的视频会议内容，用户需要跳出或经由其他渠道队视频会议进行交互，不能在进行视频会议实时的发送或接收交互指令，这大大降低了用户的体验。

技术实现要素：

为了至少克服现有技术中的上述不足，本发明的目的在于提供一种视频会议信息处理方法、装置、电子设备及系统。

第一方面，本发明提供一种视频会议信息处理方法，所述方法由视频会议参与端执行，其特征在于，包括：

获取视频会议信息，所述视频会议信息包括会议视频流和用户命令集合，所述用户命令集合包括用户参与视频会议进行交互时使用的命令；

确定多终端显示图像和所述会议视频流在所述多终端显示图像上显示的尺寸信息；

对所述多终端显示图像上显示的所述会议视频流进行去噪处理；

将去噪处理后的多终端显示图像和用户交互窗口进行叠加，然后发送至视频会议主持人端上显示，所述用户交互窗口用于显示由所述用户命令集合中的各个命令对应的互动内容，所述用户交互窗口包括根据所述尺寸信息确定的被覆盖的第一区域。

第二方面，本发明实施例还提供一种视频会议信息处理装置，其特征在于，包括：

获取单元，用于获取视频会议信息，所述视频会议信息包括会议视频流和用户命令集合，所述用户命令集合包括用户参与视频会议进行交互时使用的命令；

确定单元，用于确定多终端显示图像和所述会议视频流在所述多终端显示图像上显示的尺寸信息；

处理单元，用于对所述多终端显示图像上显示的所述会议视频流进行去噪处理；以及

将去噪处理后的多终端显示图像和用户交互窗口进行叠加，然后发送至视频会议主持人端上显示，所述用户交互窗口用于显示由所述用户命令集合中的各个命令对应的互动内容，所述用户交互窗口包括根据所述尺寸信息确定的被覆盖的第一区域。

第三方面，本发明实施例还提供一种电子设备，其特征在于，包括：

收发器，获取视频会议信息，所述视频会议信息包括会议视频流和用户命令集合，所述用户命令集合包括用户参与视频会议进行交互时使用的命令；

第一芯片，确定多终端显示图像和所述会议视频流在所述多终端显示图像上显示的尺寸信息；

第二芯片，对所述多终端显示图像上显示的所述会议视频流进行去噪处理；

将去噪处理后的多终端显示图像和用户交互窗口进行叠加，然后发送至视频会议主持人端上显示，所述用户交互窗口用于显示由所述用户命令集合中的各个命令对应的互动内容，所述用户交互窗口包括根据所述尺寸信息确定的被覆盖的第一区域。

第四方面，本发明实施例还提供一种视频会议信息处理系统，所述系统包含云服务器和上述的视频会议信息处理装置，所述云服务器包括处理器、机器可读存储介质和网络接口，所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连，所述网络接口用于与至少一个视频会议参与端通信连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以执行第一方面或者第一方面中任意一个可能的设计中的视频会议信息处理方法。

第五方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其被执行时，使得计算机执行上述第一方面或者第一方面中任意一个可能的设计中的视频会议信息处理方法。

基于上述任意一个方面，本发明通过获取视频会议信息；确定多终端显示图像和会议视频流在多终端显示图像上显示的尺寸信息；对多终端显示图像上显示的会议视频流进行去噪处理；将去噪处理后的多终端显示图像和用户交互窗口进行叠加，然后发送至视频会议主持人端上显示。从而得到高图像质量和显示互动内容的视频，实现用户在观看高图像质量的视频同时，还可以看到交互信息，增强了视频会议用户的体验。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本发明实施例提供的视频会议信息处理系统的应用场景示意图；

图2为本发明实施例提供的视频会议信息处理方法的流程示意图；

图3为本发明实施例提供的视频会议信息处理装置的功能模块示意图；

图4为本发明实施例提供的用于实现上述的视频会议信息处理方法的云服务器的结构示意框图。

具体实施方式

下面结合说明书附图对本发明进行具体说明，方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。

图1是本发明一种实施例提供的视频会议信息处理系统10的交互示意图。视频会议信息处理系统10可以包括云服务器100以及与所述云服务器100通信连接的视频会议参与端200。图1所示的视频会议信息处理系统10仅为一种可行的示例，在其它可行的实施例中，该视频会议信息处理系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。

本实施例中，视频会议参与端200可以包括移动设备、平板计算机、膝上型计算机等或其任意组合。在一些实施例中，移动设备可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、或增强现实设备等，或其任意组合。在一些实施例中，智能家居设备可以包括智能电器设备的控制设备、智能监控设备、智能电视、智能摄像机等，或其任意组合。在一些实施例中，可穿戴设备可包括智能手环、智能鞋带、智能玻璃、智能头盔、智能手表、智能服装、智能背包、智能配件等，或其任何组合。在一些实施例中，智能移动设备可以包括智能手机、个人数字助理、游戏设备等，或其任意组合。在一些实施例中，虚拟现实设备和/或增强现实设备可以包括虚拟现实头盔、虚拟现实玻璃、虚拟现实贴片、增强现实头盔、增强现实玻璃、或增强现实贴片等，或其任意组合。例如，虚拟现实设备和/或增强现实设备可以包括各种虚拟现实产品等。

本实施例中，视频会议信息处理系统10中的物联网云云服务器100和视频会议参与端200可以通过配合执行以下方法实施例所描述的视频会议信息处理视频会议信息处理方法，具体云服务器100和视频会议参与端200的执行步骤部分可以参照以下方法实施例的详细描述。

为了解决前述背景技术中的技术问题，图2为本发明实施例提供的视频会议信息处理视频会议信息处理方法的流程示意图，本实施例提供的视频会议信息处理视频会议信息处理方法可以由图1中所示的云服务器100执行，下面对该视频会议信息处理视频会议信息处理方法进行详细介绍。

步骤s110，获取视频会议信息，所述视频会议信息包括会议视频流和用户命令集合，所述用户命令集合包括用户参与视频会议进行交互时使用的命令；

步骤s120，确定多终端显示图像和所述会议视频流在所述多终端显示图像上显示的尺寸信息；

步骤s130，对所述多终端显示图像上显示的所述会议视频流进行去噪处理；

步骤s140，将去噪处理后的多终端显示图像和用户交互窗口进行叠加，然后发送至视频会议主持人端上显示，所述用户交互窗口用于显示由所述用户命令集合中的各个命令对应的互动内容，所述用户交互窗口包括根据所述尺寸信息确定的被覆盖的第一区域。

在一种可能的实施例中，步骤s120进一步包括：

步骤s121：通过多终端显示图像融合技术得到所述多终端显示图像。

在一种可能的实施例中，步骤s130进一步包括：

对所述多终端显示图像上增加标识，所述标识用于确定进行去噪处理的数据为所述多终端显示图像上显示的会议视频流对应的用户来源。

在一种可能的实施例中，步骤s120进一步包括：

步骤s122：根据所述会议视频流中的视频图像的尺寸和所述多终端显示图像的尺寸，确定所述会议视频流中的视频图像在所述多终端显示图像上显示的尺寸；

步骤s123：记录所述会议视频流中的视频图像在所述多终端显示图像上的四角坐标信息或四边边距信息。

图3为本发明实施例提供的视频会议信息处理装置300的功能模块示意图，本实施例可以根据上述云服务器100执行的方法实施例对该视频会议信息处理装置300进行功能模块的划分，也即该视频会议信息处理装置300所对应的以下各个功能模块可以用于执行上述云服务器100执行的各个方法实施例。其中，该视频会议信息处理装置300可以包括获取单元310、确定单元320、处理单元330，下面分别对该视频会议信息处理装置300的各个功能模块的功能进行详细阐述。

获取单元310可以用于执行上述的步骤s110，即用于获取视频会议信息，所述视频会议信息包括会议视频流和用户命令集合，所述用户命令集合包括用户参与视频会议进行交互时使用的命令。

确定单元320可以用于执行上述的步骤s120，即用于确定多终端显示图像和所述会议视频流在所述多终端显示图像上显示的尺寸信息。

处理单元330可以用于执行上述的步骤s130，即用于对所述多终端显示图像上显示的所述会议视频流进行去噪处理；以及将去噪处理后的多终端显示图像和用户交互窗口进行叠加，然后发送至视频会议主持人端上显示，所述用户交互窗口用于显示由所述用户命令集合中的各个命令对应的互动内容，所述用户交互窗口包括根据所述尺寸信息确定的被覆盖的第一区域。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，获取单元310可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上获取单元310的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(applicationspecificintegratedcircuit，asic)，或，一个或多个微处理器(digitalsignalprocessor，dsp)，或，一个或者多个现场可编程门阵列(fieldprogrammablegatearray，fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessingunit，cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，soc)的形式实现。

图4示出了本发明实施例提供的用于实现上述的控制设备的云服务器100的硬件结构示意图，如图4所示，云服务器100可包括处理器110、机器可读存储介质120、总线130以及收发器140。

在具体实现过程中，至少一个处理器110执行所述机器可读存储介质120存储的计算机执行指令（例如图3中所示的视频会议信息处理装置300包括的），使得处理器110可以执行如上方法实施例的视频会议信息处理视频会议信息处理方法，其中，处理器110、机器可读存储介质120以及收发器140通过总线130连接，处理器110可以用于控制收发器140的收发动作，从而可以与前述的视频会议参与端200进行数据收发。

处理器110的具体实现过程可参见上述云服务器100执行的各个方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

在上述的图4所示的实施例中，应理解，处理器可以是中央处理单元(英文：centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(英文：digitalsignalprocessor，dsp)、专用集成电路(英文：applicationspecificintegratedcircuit，asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所发明的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

机器可读存储介质120可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器。

总线130可以是工业标准体系结构(industrystandardarchitecture，isa)总线、外部设备互连(peripheralcomponentinterconnect，pci)总线或扩展工业标准体系结构(extendedindustrystandardarchitecture，eisa)总线等。总线130可以分为地址总线、数据总线、控制总线等。为便于表示，本发明附图中的总线并不限定仅有一根总线或一种类型的总线。

此外，本发明实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上视频会议信息处理视频会议信息处理方法。

上述的可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。