一种基于录制视频的图形补偿方法及处理终端与流程

本发明涉及录屏及图形增强技术领域，具体是一种基于录制视频的图形补偿方法及处理终端。

背景技术：

目前录制视频通常会进行压缩后上传至服务器或直接发送至目标客户端，在目标客户端上对压缩后的录制视频进行播放，导致播放录制视频中的图像变得模糊，失去原有的清晰度。针对某些录制视频，可能这样的压缩不会影响播放效果，而对应某些场景下的录制视频播放却会带来影响。例如，某些需要演示的教学、培训等的录屏，往往在屏幕上进行绘图以重点讲解，对于绘制的各种图形经过压缩传送再播放后，往往图形显示的不清晰，不满足教学、培训等的应用场景的需求。如果不将录制视频进行压缩而直接传送，会占用较大的网络资源以及存储空间，并不是一个好的解决方法。因此，需要一种对录制视频中图形进行增强补偿的方法，以解决录制视频中重点部分不能清晰播放显示出来的问题。

技术实现要素：

针对现有技术的不足，本发明的目的之一提供一种基于录制视频的图形补偿方法，其能够解决录制视频播放时图形显示不清晰的问题；

本发明的目的之二提供一种处理终端，其能够解决录制视频播放时图形显示不清晰的问题。

实现本发明的目的之一的技术方案为：一种基于录制视频的图形补偿方法，包括如下步骤：

步骤1：获取开始录制信号后，获取开始绘制动作信号，并记录绘制动作数据，将绘制动作数据和相对时间数据写入录制文件，所述绘制动作数据表征获取开始绘制动作信号后，在绘制载体上进行绘制图形的动作，绘制动作数据至少包括结束绘制时间、绘制动作初始位置的坐标、绘制动作结束位置的坐标以及从开始绘制至结束绘制的中间过程的各个绘制点的坐标，所述绘制载体为电子白板，

所述结束绘制时间表征每一个所述动作的结束时间与获得开始录制信号的时间的相对时间差值；

步骤2：播放所述录制文件，依次动态地将各个绘制动作数据对应的绘制图形在播放界面上播放显示出来，

在启动播放的同时，在播放界面上同步生成一层透明绘图层，所述透明绘图层是指背景为透明无色的图层，

根据绘制动作数据写入录制文件的时间顺序，依次读取录制文件中的各个绘制动作数据，并提取各个绘制动作数据的结束绘制时间，当播放相对时间达到结束绘制时间，则在所述透明绘图层上根据对应的绘制动作数据生成新的绘制图形，所述绘制图形在透明绘图层上显示，

生成每一个绘制动作数据对应的新的绘制图形，并于各个绘制动作数据对应的结束绘制时间在透明绘图层上显示。

进一步地，所述透明绘图层为bitmap。

进一步地，所述电子白板是指运行在电子设备上的图片或空白页。

进一步地，所述步骤2中，还包括在结束绘制时间，同步擦除播放界面的绘制动作数据。

进一步地，根据绘制动作数据中的绘制动作初始位置的坐标、绘制动作结束位置的坐标以及从开始绘制至结束绘制的中间过程的各个绘制点的坐标，在透明绘图层上对应的位置生成所述绘制图形并显示。

进一步地，根据播放界面的窗口大小与录制文件的图像大小的比例，在透明绘图层生成适应播放界面的窗口大小的所述绘制图形。

实现本发明的目的之二的技术方案为：一种处理终端，其包括，

存储器，用于存储程序指令；

处理器，用于运行所述程序指令，以执行所述基于录制视频的图形补偿方法的步骤。

本发明的有益效果为：本发明能够有效将录制时的绘制图形完整地还原出来，并在播放录制文件时相应的时间显示出来，实现由于压缩而导致图形显示不清晰而对绘制图形补偿，从而实现绘制图形的清晰显示。

附图说明

图1为本发明的流程示意图；

图2为将音频数据块和绘制动作数据组装到一个录制文件的示意图；

图3为播放录制文件时在透明绘图层上显示绘制图形的示意图；

图4为本发明一种处理终端的结构示意图。

具体实施方案

下面，结合附图以及具体实施方案，对本发明做进一步描述：

如图1至3所示，一种基于录制视频的图形补偿方法，包括如下步骤：

步骤1：获取开始录制信号后，获取开始绘制动作信号，并记录绘制动作初始位置的坐标和开始绘制时的初始时间，绘制动作的初始时间表征从获取所述开始录制信号到开始绘制的相对时间，后续播放录制文件需要用到；获取结束绘制动作信号，并记录绘制动作结束位置的坐标和结束绘制时的结束时间，以及记录从开始绘制到结束绘制中间过程的若干个绘制点坐标和各个坐标对应的时间，从而得到每一个绘制图形对应的绘制动作数据。结束绘制时的结束时间在后续的图形补偿中需要用到，为此将结束绘制时的结束时间记为结束绘制时间。

需要注意的是，这里的开始绘制动作信号和结束绘制动作信号均是指当前绘制的始绘制动作信号和结束绘制动作信号，在一个录制过程中，通常会包括多个绘制动作，每一个绘制动作均会产生对应的绘制动作数据。

优选地，记录从开始绘制到结束绘制中间过程的所有绘制点坐标和各个坐标对应的时间。

一个绘制动作数据包括持续绘制时间、开始绘制时间、结束绘制时间、绘制动作初始位置的坐标、绘制动作结束位置的坐标以及从开始绘制至结束绘制的绘制中间过程的各个绘制点的坐标和各个坐标对应的时间，也包括了从开始绘制到结束绘制的持续时间。开始绘制动作信号通常为用户刚开始绘制操作产生的信号，例如在移动终端的触摸屏上，手指滑行绘制各种图形，手指刚开始接触或按压触摸屏产生的信号即为开始绘制动作信号。对应的，结束绘制动作信号通常也为用户刚结束绘制操作产生的信号，例如在移动终端的触摸屏上，手指滑行绘制各种图形，手指脱离触摸屏时产生的信号或触摸屏未接收到触摸信号即为产生结束绘制动作信号。当然也可以是电子笔产生开始绘制动作信号和结束绘制动作信号。

其中，绘制动作产生对应的绘制图形，例如绘制一条曲线或一条直线或其他任意形状的图形。记录绘制动作初始位置的坐标和初始时间，是指获得一条曲线或直线或其他图形的起始坐标、曲线上各点的坐标和曲线终点坐标，以及各个坐标点对应的时间，即获得绘制每个坐标点对应的时间。绘制动作是在绘制载体上进行的，绘制载体优选为电子白板，电子白板在是指运行在电子设备上的图片或空白页。

优选地，记录从开始绘制到结束绘制中间过程的所有绘制点的坐标和各个坐标对应的时间。例如记录绘制的一条曲线中间部分的10个绘制点的坐标以及10个坐标对应的时间。

对获得的绘制动作数据写入录制文件，从而生成录制文件。当然录制文件还可以包括录制的音频数据或其他录制数据，例如插入文档的录制，播放录制文件时也可以显示插入文档中的内容和播放音频数据。录制音频数据和插入文档的录制并不是本申请需要保护的，在此就不赘述。也即，录制文件至少包括绘制动作数据。

优选地，每获得一个绘制动作数据，则立即将绘制动作数据和对应的标签信息组装成tlv结构数据块，标签信息包含了对应绘制动作数据的绘制时间、绘制点的坐标等信息，并立即将tlv结构数据块写入录制文件。各个tlv结构的绘制动作数据按照时间顺序依次写入录制文件。

优选地，在获得所述录制文件后，还包括对所述录制文件进行加密和压缩，以使得录制文件占用的空间更小，更加适应上传、下载和分享的需求，减少用户的网络资源消耗。

下面结合图2进一步说明步骤1中的获取绘制动作数据的过程：

用户在绘制载体(例如电子白板)上，选择绘制图形的工具、颜色、像素等，然后在绘制载体上绘制曲线动作。绘制曲线动作可以是在pc端通过鼠标完成，也可以是在移动终端的触摸屏上进行，不作具体限定。以用户通过手指在移动终端绘制曲线为例，用户在起始位置为(x0，y0)上点击，在结束位置为(x5,y5)上松开手指，应用程序会接收触摸事件，从而接收到开始绘制动作信号和结束绘制动作信号，并记录起始位置和结束位置的坐标和对应的时间。例如在开始录制后的第2s开始点击，则起始位置(x0，y0)对应的时间为2s，在第7s松开手指，则结束位置(x5,y5)对应的时间为7s。同时在绘制此曲线的过程中，还获得绘制中间过程4个绘制点的坐标和各自对应的时间，4个绘制点的坐标分别为(x1，y1)、(x2，y2)、(x3，y3)和(x4，y4)。当然，这里只是示例性获得中间过程的4个绘制点的坐标，实际上可以获得更多绘制点的坐标和对应的时间。

当以json协议来记录触摸事件时，动作转换后的json数据如下：

所述json数据的具体含义为：type表示动作类型，curve表示画曲线动作，id为图形的标识号，如果后续对这个图形进行移动、删除等操作，则需要加入这个标识号，draw为绘制图形的具体参数，stroke表示画笔，包括一些颜色等参数，alpha为线的透明度的参数，r,g,b为rgb颜色，pixel为线粗度的像素参数，x0,y0为曲线起始位置的坐标值，x5,y5为曲线终点位置的坐标值，x1,y1-x4,y4为曲线中间的绘制点的坐标值，time为动作发生时的时间，也即从开始录制计起，绘制曲线的初始时间，page为记录动作所发送的绘制载体的页面页码。

步骤2：获取所述录制文件并进行播放，录制文件至少包括绘制动作数据，因此绘制动作数据会在播放界面上播放出来，也即绘制图形的过程会被播放出来。其中，读取绘制动作数据的开始绘制时间，并当从开始播放计起至当前播放的时间差值达到绘制动作数据的开始绘制时间，则开始在播放界面上动态地显示出绘制图形，直至当从开始播放计起至当前播放的时间差值达到绘制动作数据的结束时间，则对应的绘制动作数据的绘制图形完全播放出来。

在启动播放的同时，在播放界面上同步生成一层透明绘图层，透明绘图层的大小与播放界面的大小相同，所述透明绘图层是指背景为透明无色的图层，且可以在该图层上绘制各种图形并显示出来，例如直线或曲线或圆等等。

优选地，透明绘图层为bitmap。

根据绘制动作数据写入录制文件的时间顺序，依次读取录制文件中的各个绘制动作数据，也即，先写入录制文件的绘制动作数据被先读取出，后写入录制文件的绘制动作数据在之后被读取出。并提取各个绘制动作数据的结束绘制时间，当从开始播放计起至当前播放的时间差值达到绘制动作数据的结束绘制时间，从开始播放计起至当前播放的时间差值记为播放相对时间，也即当播放相对时间达到结束绘制时间，则在所述透明绘图层上根据对应的绘制动作数据生成新的绘制图形，所述绘制图形在透明绘图层上显示出来。依次进行下去，也即读取完第一个绘制动作数据并重新生成新的绘制图形后，继续读取下一个绘制动作数据并生成对应的新的绘制图形，从而生成每一个绘制动作数据对应的新的绘制图形并显示出来。例如，结束绘制时间为5s，也即在步骤1中的录制绘制动作数据过程中，从开始录制计起至绘制完当前图形的时间差值为5s。相应的，从开始播放计起的第5s，则在透明绘图层上生成对应的绘制图形并显示出来。依次进行下去，在透明绘图层上生成所有绘制动作数据对应的绘制图形并在对应的结束绘制时间显示出来。

优选地，生成新的绘制图形的同时，同步将播放界面的绘制动作数据删除，也即将传送至播放界面的绘制动作数据进行擦除掉。由于播放界面的绘制动作数据删除，播放界面在结束绘制时间时不再显示绘制动作数据对应的绘制图形，也即，播放界面的绘制图形由于播放界面的绘制动作数据删除而在结束绘制时间时消失，不显示出来。

也即，优选地，在bitmap对象上，根据绘制动作数据中的绘制动作初始位置的坐标、绘制动作结束位置的坐标以及各个绘制点的坐标并在结束绘制时间时，在透明绘图层上对应的位置上生成对应的新的绘制图形并显示出来。对应的位置是指新的绘制图形的各个绘制点以及初始位置、结束位置在透明绘图层的坐标与原先的绘制图形在录制屏幕或播放界面上的坐标相同。

通过在透明绘图层显示生成新的对应的绘制图形，使得即使播放界面的绘制图形由于压缩而变得模糊，仍然可以通过透明绘图层的绘制图形清晰的显示出来，实现图形增强补偿的目的。

只对绘制图形进行重新生成并显示出来，并未对录制文件的所有内容进行重新生成达到补充的目的。这是符合实际应用的，因为通常情况下，录制视频更多是为了便于教学、培训等分享领域的应用，而往往重要内容部分，通常是借助绘制图形来表达，因此对关键部分进行增强补偿后的录制视频的播放完全满足实际需求。例如，一个课堂教学的录制视频，教师在电子设备上进行教学讲解，并录制教师在电子设备的绘制载体(例如电子白板)上的绘制图形，同时语音讲解。对教学过程进行录制得到录制视频包括录制的音频数据和绘制动作数据，绘制动作数据表征了教师在电子白板上的绘制图形。

播放该录制视频时，只需要对绘制图形进行重新生成并清晰的显示出来，即可达到图形增强补偿的目的。绘制图形往往代表重要部分内容或关键内容，只需要绘制图形能够清晰的显示出来即可，并不需要对音频数据或其他的录制数据进行补偿，虽然录制视频有压缩，导致播放界面的图像变得模糊，但绘制图形的补充使得录制视频完全满足日常的需求。

若播放界面的窗口大小与录制文件的图像大小不相同，则根据播放界面的窗口大小与录制文件的图像大小的比例，在透明绘图层生成适应播放界面的窗口大小的所述绘制图形。例如，录制文件的图像大小为480p，播放界面的窗口为1080p，则需要在透明绘图层绘制能够适应于窗口为1080p的播放界面，以便能够清晰的显示绘制图形。

下面结合图3进一步说明步骤2中的在结束绘制时间，播放界面不显示绘制图形而在透明绘图层上显示绘制图形的过程：

从开始播放计起至当前播放时间为播放相对时间，当播放相对时间达到结束绘制时间t，结束绘制时间t正好是绘制图形a在播放界面完成播放的时刻，也即绘制图形a被完全播放显示出来。在结束绘制时间t，根据绘制动作数据，在透明绘图层上生成对应的绘制图形b，绘制图形b与绘制图形a的大小、形状完全相同。绘制图形b在透明绘图层上的位置与绘制图形a在播放界面的位置是相同的，也与绘制图形a在录制屏幕上的位置相同，即与录制绘制动作过程中的绘制图形a在录制屏幕上的位置相同，包括绘制图形a的起始位置、结束位置和各个绘制点的坐标相同。而由于透明绘图层是设置在播放界面之上的，因此即使播放界面的绘制图形a由于压缩而模糊，但透明绘图层上的绘制图形b仍然清晰显示出来并完全覆盖播放界面上的绘制图形a，因此，起到对绘制图形的增强补偿的作用，用户观看的录制视频中的绘制图形a仍然是清晰的。

优选地，同时，由于在结束绘制时间t,同步将播放界面上的绘制动作数据删除，因此播放界面并不会显示出绘制图形a。对应的，绘制图形a在播放界面用点虚线表示，表示在结束绘制时间t，播放界面不显示绘制图形a。

需要注意的是，若录制视频的过程中，某个绘制过程中绘制了某条曲线b后又擦除曲线b，生成的录制文件录制了生成曲线b的过程和擦除曲线b的过程，擦除曲线b可以看作是绘制无颜色的图形并覆盖原图形。但在步骤2中，透明绘图层并不需要将擦除曲线b的过程重新生成并显示出来，只需要将绘制曲线b的过程重新生成即可并在透明绘图层上一直显示，因为这并不会影响观看录制视频。

当然，也可以在透明绘图层上显示擦除曲线b的过程，也即在结束绘制时间生成曲线b并显示时间，在后续的某个时间(该时间即是录制时完成擦除的结束时间)生成一条与擦除相同的无颜色的图形并覆盖曲线b即可，从而显示将曲线b擦除。具体过程，在此不再赘述。

如图4所示，本发明还涉及一种实现以上方法的实体装置的处理终端100，其包括，

存储器101，用于存储程序指令；

处理器102，用于运行所述程序指令，以执行所述基于录制视频的图形补偿方法中的步骤。

本说明书所公开的实施例只是对本发明单方面特征的一个例证，本发明的保护范围不限于此实施例，其他任何功能等效的实施例均落入本发明的保护范围内。对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。