一种远程显示文档投屏方法与流程

本发明涉及远程会议，特别涉及一种远程显示文档投屏方法。

背景技术：

1、目前，现有在线编辑、查看功能中用户看到的都是编辑结果，而无法展示鼠标(光标)移动、文字选择等讲解过程显示效果；

2、在专利cn105025023b一种会议实现方法及会议系统中，需要主持人和与会人员之间建立网络连接，然后通过：“会议服务云”，进行会议内容获取，转化成文本信息，实现会议关联。但是上述技术方案无法实现实时的自动生成会议的方式。

3、远程视频会议过程中，即使仅仅投屏文档进行讲解，网络传输的也是用户桌面实时抓屏视频，流量开销大，对网络质量要求高，网络波动时效果差。

技术实现思路

1、本发明提供一种远程显示文档投屏方法，用以解决上述背景技术中的情况。

2、本发明提出了一种远程显示文档投屏方法，包括：

3、预先在讲解人客户端配置会议进程采集脚本，实时采集讲解人的客户端控制信息和语音信息；

4、将客户端控制信息和语音信息按照信息类型进行信息编码，生成编码数据；

5、在与会人客户端配置会议延迟显示模板，将编码数据同步映射至显示模板，并在与会人客户端生成同屏显示界面。

6、优选的，所述方法还包括：

7、通过会议进程采集脚本，确定讲解人客户端的进程信息；

8、根据进程信息，进行会议进程分类；其中，

9、会议进程包括：光标进程、绘图进程、板书进程和讲解人语音采集进程；

10、通过会议进程分类，设置对应的数据捕捉识别机制，进行会议进程数据采集。

11、优选的，所述方法还包括：

12、获取讲解人客户端的显示数据；

13、将显示数据逐帧分解为多张显示图片；

14、将显示图片输入训练好的神经网络模型，输出每张图片中变动数据，确定界面变动参数；其中，

15、界面变动数据包括：光标变动数据、界面文字变动数据、界面绘图变动数据和界面文件调用变动数据；

16、将神经网络模型输出的每个界面变动参数生成基于全局坐标系的界面分布矩阵；

17、构建显示界面的网格分布界面，通过界面分布矩阵实时更新网格分布界面。

18、优选的，所述方法还包括：

19、获取讲解人客户端的语音采集进程，实时获取语音数据，并生成语音数据集；其中，

20、语音数据集包含讲解人客户端接收的环境声音和人声；

21、将语音数据集通过预先设置的声音过滤器进行同步处理，获取人声数据集；其中，

22、声音过滤器用于过滤环境噪声；

23、将人声数据集中每一时刻的人声数据和每一时刻的讲解人客户端的操作数据相对应，并进行同步打包。

24、优选的，所述将客户端控制信息和语音信息按照信息类型进行信息编码包括：

25、对客户端控制信息进行划分，进行轨迹编码和界面编码；其中，

26、轨迹编码包括：光标控制的轨迹信息；

27、界面编码包括板书变动信息和绘图信息；

28、将语音信息进行音频编码；

29、音频编码包括：噪声信息和人声信息；

30、根据信息类型，依次进行信息编码；其中，

31、信息编码包括：

32、轨迹信息编码、板书变动信息编码、绘图编码、噪声信息编码和人声信息编码。

33、优选的，所述轨迹信息编码包括：

34、构建讲解人显示界面的平面坐标系，生成平面坐标数据集；

35、根据光标轨迹信息，实时确定光标的实时坐标，并基于实时坐标记录光标信息的坐标轨迹；

36、将轨迹信息拆分成多个连续的轨迹段，逐个对所述轨迹段进行遍历，分别生成每个轨迹段的时间序列；

37、通过时间序列，对轨迹信息进行时空分布编码，生成轨迹编码信息。

38、优选的，所述板书变动信息编码和绘图编码包括：

39、获取讲解人的客户端初始显示界面，并作为待编码显示界面，提取待编码显示界面的界面编码特征；

40、将界面编码特征输入主编码网络的接入层进行特征变换，得到初始编码；

41、将初始编码输入熵模型网络进行特征分析，得到初始编码的初始图文参数和初始分布参数；

42、根据初始图文参数和初始分布参数，确定编码逻辑；

43、基于时间轴，当初始讲解人的客户端初始显示界面变动时，提取变动区域的区域特征，并基于编码逻辑对变动区域的区域特征直接通过熵模型网络转化为参数数据；

44、并将参数数据作为板书变动信息编码和绘图编码进行投屏。

45、优选的，所述音频编码包括：

46、获得当前帧的语音信息，当前帧的语音信息是通过讲解人客户端对讲解音频信号进行空间映射获得到音频时间分布阵列；

47、在确定讲解人客户端与空间映射转换的转换条件时，根据当前帧的前一帧的语音信息的编码系数，确定当前帧的语音信息的编码参数，当前帧的语音信息与空间映射后的音频时间分布阵列进行对应，并生成音频编码流。

48、优选的，所述在与会人客户端配置会议延迟显示模板，将编码数据同步映射至显示模板包括：

49、预先根据讲解人界面，在与会人客户端设置同步映射模板和延迟填充显示机制；

50、通过同步映射模板，将编码信息按照信息类型，进行信息解码；

51、获取信息解码后，不同信息对应的时间标记和位置标记；

52、通过时间标记和位置标记，将不同信息映射填充至同步映射模板；

53、通过延迟填充显示机制，在不同信息填充完成后，在预设延迟时间内进行音频和界面同步校验，并在同步校验完成后生成同步显示数据流。

54、优选的，所述在与会人客户端生成同屏显示界面包括：

55、获取同步显示数据流，确定每一时刻的同步界面和同步音频；

56、根据延迟填充现实机制，确定延迟时间，通过延迟时间，进行讲解人客户端和与会人客户端的数据流对比，判断是否存在数据偏差；

57、并在无数据偏差时，生成同屏显示界面。本发明的有益效果在于：

58、1.针对远程会议文档投屏场景，通过在线文件查看基础能力，将文件内容在与会者客户端进行显示，并随讲解人当前文档位置进行同步；

59、2.同时，将讲解人客户端鼠标和光标位置信息、绘图标记、板书等内容进行信息编码，并同步到与会人的客户端进行显示；

60、3.将文档显示与讲解人客户端鼠标和光标位置信息、绘图标记、板书等内容的客户端显示进行叠加，达到与远程桌面视频实时显示文档投屏的相同效果。

61、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

62、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。