会议系统及数据传输方法与流程

本发明涉及远程会议领域，具体而言，涉及一种会议系统及数据传输方法。

背景技术：

随着社会交往日渐频繁，人们对多方会议的形式，特别是通过互联网接入的远程多方会议需求与日俱增。在远程多方会议中，当前的技术主要围绕着高清视频双流显示，多方人员参会，计算机屏幕同步显示以及对计算机的反向控制等方面进行展开。这种基于多源(自然视频，音频，计算机图像)接入的，能支持远端反向控制功能的多方会议场景存在以下缺点：对网络带宽要求较高，无法同时兼顾图像质量和传输速度。

针对上述的问题，目前尚未提出有效的解决方案。

技术实现要素：

本发明实施例提供了一种会议系统及数据传输方法，以至少解决相关技术中对网络带宽要求较高，无法同时兼顾图像质量和传输速度的技术问题。

根据本发明实施例的一个方面，提供了一种会议系统，包括：计算机设备，与图像采集设备连接，用于输出第一图像；近端设备，与图像采集设备连接，用于采集并输出第二图像；图像采集设备，用于接收第一图像和第二图像，并将第一图像进行无损压缩，得到无损图像；将第二图像进行有损压缩，得到有损图像；以及将无损图像和有损图像发送至服务器；服务器，将无损图像和有损图像进行预处理，并将预处理后的图像分发至远端设备；远端设备，用于接收处理后的图像，并显示预处理后的图像。

可选地，远端设备，还用于通过服务器向计算机设备发送控制指令。

可选地，远端设备，还用于在向计算机设备发送控制指令之前，向服务器发送验证请求，并在验证通过后建立远端设备和计算机设备之间的控制通道，其中，控制通道用于传输控制指令。

可选地，计算机设备，还用于依据预设映射关系执行与控制指令对应的操作，其中，映射关系为远端设备的控制指令与计算机设备所执行操作的映射关系。

可选地，服务器，用于对无损图像和有损图像进行以下至少之一预处理：对无损图像和有损图像进行融合处理；对有损图像或无损图像进行分割处理，其中，融合处理是指对无损图像之间、有损图像之间或无损和有损图像之间存在重合区域的图像进行覆盖处理；分割处理是指对无损图像或有损图像分发到远端设备当前显示界面上的多个区域。

对有损图像或无损图像进行分割处理之后，方法还包括：获取多个区域所对应显示窗口的分辨率；依据分辨率对分割处理后的图像进行调整。

可选地，服务器，还用于将预处理后的图像分发至近端设备。

可选地，远端设备和近端设备为便携式电子设备。

根据本发明实施例的另一方面，还提供了一种数据传输方法，包括：获取分别来自第一设备和第二设备的第一图像和第二图像；将第一图像进行无损压缩，得到无损图像；将第二图像进行有损压缩，得到有损图像；以及将无损图像和有损图像通过服务器发送至远端设备进行显示。

根据本发明实施例的另一方面，还提供了一种数据传输方法，包括：会议系统中的服务器接收图像采集设备分别从第一设备和第二设备采集的第一图像和第二图像；其中，所述第一图像为无损压缩格式的无损图像；所述第二图像为有损压缩格式的有损图像；所述服务器对所述第一图像和所述第二图像进行预处理，并将预处理后的第一图像和第二图像分发至远端设备进行显示。

可选地，服务器对第一图像和第二图像进行预处理，包括：对无损图像和有损图像进行融合处理；对有损图像或无损图像进行分割处理，其中，融合处理是指对无损图像之间、有损图像之间或无损和有损图像之间存在重合区域的图像进行覆盖处理；分割处理是指对无损图像或有损图像分发到远端设备当前显示界面上的多个区域。

可选地，方法还包括：服务器接收来自远端设备的控制指令，并将控制指令发送至与图像采集装置连接的第一设备和/或第二设备。

根据本发明实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行以上的数据传输方法。

根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行以上的数据传输方法。

在本发明实施例中，采用利用图像采集装置将来自不同设备的图像分别进行有损压缩处理和无损压缩处理的方式，将处理后的图像经服务器预处理后分发至远端设备进行显示的技术手段，实现了对不同类型的图像进行不同压缩处理的目的，从而，可以同时兼顾图像质量和传输速度，同时也降低了对网络带宽的需求，进而解决了相关技术中对网络带宽要求较高，无法同时兼顾图像质量和传输速度的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种会议系统的结构示意图；

图2是根据本发明实施例的一种可选的会议系统的工作流程示意图；

图3为根据本发明实施例的一种数据传输方法的流程图；

图4为根据本发明实施例的另一种数据传输方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

相关技术中，目前对于会议系统存在两种实现方式：

一、通过专用的多方会议硬件设备进行部署。通过硬件堆叠的方式进行对多源数据进行处理和大数据量的硬件加速，多方会议之间使用互联网专线进行网间互联，可以达到高清视频双流显示和计算机屏幕的清晰无损显示。

二、在移动便携设备上安装软件。通过在公网上建立会议服务器，多方会议通过手机或者平板电脑等通用设备上安装软件，利用wifi或者移动4g网络进行会话接入，可以实现会议接入的移动便携性。

但是，上述两种方案存在以下问题：

对于第一种方案，硬件设备部署复杂，需要专业的工程技术人员才能完成；多方会议时，由于多源的接入，网络传输数据量很大，需专用的硬件加速和与之相匹配的网络带宽；

对于第二种方案，通用设备处理性能有限，多源接入的会议数据流编解码复杂，会议质量对网络依赖度高，难以保证用户体验；计算机图像进行有损压缩，无法满足对图像要求质量较高的行业(例如，医疗影像)的需求；会议反向控制延迟大。

区别于传统的视频会议，本发明实施例能够将计算机设备显卡输出的计算机图像，即，计算机屏幕截屏进行ip化，并做到远程显示。将传统视频会议功能根据场景进行整合，做到在一块显示屏幕上既能显示近远端便携式设备的摄像头所采集的图像或视频信息，又能清晰无损的显示近端的计算机设备输出的图像。多源输入至云端服务器数据流为实际各个设备输出数据码流，服务器根据显示端窗口大小进行屏幕分割。将实际显示窗口大小分辨率适配，完成音视频窗口的数据流有效压缩传输。而计算机屏幕信息在会议场景更为关键和重要，针对显卡输出显示的图像做无损压缩传输，保证了计算机图像显示的清晰无损。经过服务器显示融合后，只输出相当于一个源的数据码流。在确保关键信息清晰无损的前提下，降低了实际场景的网络传输数据码率和网络带宽。

打通远程便携式电脑与近端显示输出计算机的反向控制通道，将远端便携式电脑的usb设备的控制动作、含义和屏幕位置信息与近端显示输出计算机相应控制操作做出一一映射。这里需要将两台电脑的屏幕分辨率、控制信息元语和同步控制协议做出拼配后，才能真正实现反向控制功能。

基于上述思想，本申请实施例提供了相应地解决方案，以下详细说明。

图1是根据本发明实施例的一种会议系统的结构示意图。如图1所示，该会议系统，包括：

计算机设备10，与图像采集设备12连接，用于输出第一图像；可选地，上述计算机设备，还用于依据预设映射关系执行与上述控制指令对应的操作，其中，上述映射关系为上述远端设备的控制指令与上述计算机设备所执行操作的映射关系。可选地，计算机设备可以为pc或者具有显示输出功能的设备，主要负责提供连续的计算机图像输出，并具有usb接口(即远端设备通过usb接口所接入的usb设备发送的控制指令只有在计算机设备10具有usb接口相关的数据时才能识别上述控制指令)，以便支持远程便携终端对其进行反向控制功能。

近端设备14，与上述图像采集设备12连接，用于采集并输出第二图像；可选地，近端设备14，用于采集音视频，编解码音视频流，对多源图像的分屏显示，清晰无损显示计算机输出图像，显示和播放远端音视频流，反向控制计算机鼠标和键盘等功能。此处分屏显示的含义包括但不限于：在本地终端的显示屏上分区域显示图像，或者控制多个远端设备分屏显示，即将图像在多个远端设备的显示屏上显示。

图像采集设备12，用于接收上述第一图像和上述第二图像，并将上述第一图像进行无损压缩，得到无损图像；将上述第二图像进行有损压缩，得到有损图像；以及将上述无损图像和有损图像发送至服务器16；可选地，图像采集设备12主要负责对计算机显卡输出的图像进行无损采集，以适应网络传输的编码格式，从而对图像进行无损编解码，发送数据至云端设备，接收和发送来自终端(包括但不限于近端设备和远端设备)的反向控制信息。

可选地，上述第一图像可以为计算机设备10通过显卡输出的图像，该图像可以用于对图像质量要求较高的场景，例如，远程医疗中的医学图像等。需要说明的是，上述图像采集装置获取的上述第一图像可以为计算机设备10对其屏幕截屏处理后得到的图像，这样可以最大限度地提升计算机设备10所输出图像的图像质量。

服务器16，将上述无损图像和有损图像进行预处理，并将预处理后的图像分发至远端设备14；

可选地，服务器16，用于对上述无损图像和有损图像进行以下至少之一预处理：对上述无损图像和有损图像进行融合处理；对上述有损图像或无损图像进行分割处理，其中，上述融合处理是指对上述无损图像之间、有损图像之间或无损和有损图像之间存在重合区域的图像进行覆盖处理；上述分割处理是指对上述无损图像或有损图像分发到上述远端设备当前显示界面上的多个区域。

在一个具体应用场景中，服务器16还用于进行会议预约，调度，对应音频视频流，图像流和控制流的分发，屏幕分割，多源显示融合等功能。

远端设备18，用于接收预处理后的图像，并显示上述预处理后的图像。可选地，为了实现对计算机设备的反向控制，远端设备18，还用于通过上述服务器16向上述计算机设备10发送控制指令。

可选地，上述远端设备18，还用于在向上述计算机设备10发送控制指令之前，向上述服务器16发送验证请求，并在验证通过后建立上述远端设备18和上述计算机设备10之间的控制通道，其中，上述控制通道用于传输上述控制指令。即远端设备在进行反向控制之前，还需要向服务器申请，在申请通过后，才能进行反向控制，这样可以实现对反向控制的管理，防止反向控制的滥用。

作为本申请的一个可选实施例，为保证显示效果，服务器16，还用于在对上述有损图像或无损图像进行分割处理之后，获取上述多个区域所对应显示窗口的分辨率；依据上述分辨率对分割处理后的图像进行调整。

可选地，服务器16，还用于将上述预处理后的图像分发至上述近端设备14。这样，便实现了在近端和远端均显示上述图像。

在一个可选实施例中，服务器16可以将预处理后的图像封装为ip报文，通过互联网将上述预处理后的图像分发至远端设备和/或近端设备。

可选地，上述远端设备18和上述近端设备14为便携式电子设备，例如，移动电话、平板电脑等。

图2是根据本发明实施例的一种可选的会议系统的工作流程示意图。如图2所示，该方法包括：

步骤s202：连接显示输出设备与s端屏幕采集器

先将计算机设备与图像采集装置的视频输入端连接，两者通过视频连接线进行连接，实现设备对计算机屏幕的图像采集功能。连接接口为usb接口或者ps/2接口，以为实现远端便携式设备(即远端设备)对显示屏幕的计算机usb设备或者鼠标键盘进行反向控制搭建控制信号通道；

步骤s204：将图像采集装置的网络接口与通过有线或者无线的方式与会议云端的服务器互联，实现将编码后的计算机图像和反向控制信号以tcp/ip包的方式发送至服务器端，为下一步做屏幕分割和融合以及反向控制做好数据和控制通道准备；

步骤s206：近端便携式设备(即近端设备)连接至会议云端服务器，实现将近端便携式设备的音视频流发送至服务器，并接收来自云端服务器经过屏幕分割并融合后的数据流，实现双流音视频会议的同时，融合计算机图像清晰无损显示功能；

步骤s208：远端便携式设备连接至会议云端服务器，实现将远端便携式设备的音视频流发送至服务器，并接收来自云端经过屏幕分割和/或融合后的数据流，实现双流音视频会议的同时，融合计算机图像清晰无损显示功能。根据场景需要，向会议云端服务器发送反向控制请求信号。

步骤s210：远端便携式设备向云端服务器申请，并经过云端服务器确认后，建立远端便携式设备与近端显卡输出计算机之间的反向控制通道，实现远端便携式设备对近端显卡输出计算机的usb设备和ps/2设备的远程反向控制功能。

通过本发明实施例，基于云会议系统，搭配源端(s端)图像采集和便携式计算机实现对音视频流，清晰无损计算机图像流和反向控制流的传输和交互，满足客户对多源分屏便携云终端的信息展示需求。

根据本发明实施例，提供了一种数据传输方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图3为根据本发明实施例的一种数据传输方法的流程图。如图3所示，该方法包括：

步骤s302，获取分别来自第一设备和第二设备的第一图像和第二图像；可选地，第一设备可以为计算机设备，第一图像可以为计算机设备通过显卡所输出的图像。

步骤s304，将上述第一图像进行无损压缩，得到无损图像；

步骤s306，将上述第二图像进行有损压缩，得到有损图像；

步骤s308，将上述无损图像和有损图像通过服务器发送至远端设备进行显示。

需要说明的是，步骤s304和步骤s306的顺序是可以互换的，即可以先执行步骤s306，再执行步骤s304，也可以先执行步骤s304，再执行步骤s306。

上述步骤的执行主体可以为图1和图2所示实施例中的图像采集装置，但不限于此。

本发明实施例中还提供一种数据传输装置，该装置用于实现图3所示方法，该装置包括：

获取模块，用于获取分别来自第一设备和第二设备的第一图像和第二图像；可选地，第一设备可以为计算机设备，第一图像可以为计算机设备通过显卡所输出的图像。

压缩模块，用于将上述第一图像进行无损压缩，得到无损图像；以及将上述第二图像进行有损压缩，得到有损图像；

第一发送模块，用于将上述无损图像和有损图像通过服务器发送至远端设备进行显示。

需要说明的是，上述各个模块是可以通过软件或硬件的形式来实现的，例如，对于后者，可以通过以下方式实现：上述各个模块位于不同的处理器中；或者上述各个模块位于同一处理器中。

图4为根据本发明实施例的另一种数据传输方法的流程图。如图4所示，该数据传输方法，包括：

步骤s402，会议系统中的服务器接收图像采集设备分别从第一设备和第二设备采集的第一图像和第二图像；其中，所述第一图像为无损压缩格式的无损图像；所述第二图像为有损压缩格式的有损图像；

步骤s404，所述服务器对所述第一图像和所述第二图像进行预处理，并将预处理后的第一图像和第二图像分发至远端设备进行显示。

可选地，可以通过以下方式实现对图像的预处理，但不限于此：对上述无损图像和有损图像进行融合处理；对上述有损图像或无损图像进行分割处理，其中，上述融合处理是指对上述无损图像之间、有损图像之间或无损和有损图像之间存在重合区域的图像进行覆盖处理；上述分割处理是指对上述无损图像或有损图像分发到上述远端设备当前显示界面上的多个区域。

本申请实施例提供另一种数据传输装置。该装置可以应用于会议系统中的服务器中，且上述装置用于实现图4所示方法，该装置包括以下处理模块：

接收模块，用于接收图像采集设备分别从第一设备和第二设备采集的第一图像和第二图像；其中，上述第一图像为无损压缩格式的图像；上述第二图像为有损压缩格式的图像；

第二发送模块，用于对上述第一图像和第二图像进行预处理，并将预处理后的第一图像和第二图像分发至远端设备进行显示。

可选地，可以通过以下方式实现对图像的预处理，但不限于此：对上述无损图像和有损图像进行融合处理；对上述有损图像或无损图像进行分割处理，其中，上述融合处理是指对上述无损图像之间、有损图像之间或无损和有损图像之间存在重合区域的图像进行覆盖处理；上述分割处理是指对上述无损图像或有损图像分发到上述远端设备当前显示界面上的多个区域。

需要说明的是，上述各个模块是可以通过软件或硬件的形式来实现的，例如，对于后者，可以通过以下方式实现，但不限于此：上述各个模块位于不同的处理器中；或者上述各个模块位于同一处理器中。

本发明实施例还提供了一种存储介质，上述存储介质包括存储的程序，其中，在上述程序运行时控制上述存储介质所在设备执行以上的数据传输方法。

上述存储介质用于存储执行以下功能的程序：获取分别来自第一设备和第二设备的第一图像和第二图像；将上述第一图像进行无损压缩，得到无损图像；将上述第二图像进行有损压缩，得到有损图像；将上述无损图像和有损图像通过服务器发送至远端设备进行显示。

本发明实施例，还提供了另一种存储介质，上述存储介质包括存储的程序，其中，在上述程序运行时控制上述存储介质所在设备执行以下功能：会议系统中的服务器接收图像采集设备分别从第一设备和第二设备采集的第一图像和第二图像；其中，第一图像为无损压缩格式的图像；第二图像为有损压缩格式的图像；服务器对第一图像和第二图像进行预处理，并将预处理后的第一图像和第二图像分发至远端设备进行显示。

可选地，上述存储介质还用于存储执行以下功能的程序：对上述无损图像和有损图像进行融合处理；对上述有损图像或无损图像进行分割处理，其中，上述融合处理是指对上述无损图像之间、有损图像之间或无损和有损图像之间存在重合区域的图像进行覆盖处理；上述分割处理是指对上述无损图像或有损图像分发到上述远端设备当前显示界面上的多个区域。

本发明实施例还提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行用于实现以下功能的程序：获取分别来自第一设备和第二设备的第一图像和第二图像；将上述第一图像进行无损压缩，得到无损图像；将上述第二图像进行有损压缩，得到有损图像；将上述无损图像和有损图像通过服务器发送至远端设备进行显示。

本发明实施例还提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行用于实现以下功能的程序：会议系统中的服务器接收图像采集设备分别从第一设备和第二设备采集的第一图像和第二图像；其中，第一图像为无损压缩格式的图像；第二图像为有损压缩格式的图像；服务器对第一图像和第二图像进行预处理，并将预处理后的第一图像和第二图像分发至远端设备进行显示。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。