用于多媒体影音的批注方法及装置、电子设备、存储介质与流程

本发明涉及多媒体，具体而言，涉及一种用于多媒体影音的批注方法及装置、电子设备、存储介质。

背景技术：

1、相关技术中，对文档文件和电子书文件的校审处理情境中，已有相当成熟的审核批注方法，以及基于bim模型对象的校审处理方法，但这些现有的校审处理方法仍不能满足复杂校审场景下的用户需求，具体表现为：1)校审平台和校审对象过于单一，仅适用于静态文档，不适用于多种类型(包含动态类型)的文件的校审场景；2)批注手段过于单一；3)缺乏对批注内容的深度处理。

2、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本发明实施例提供了一种用于多媒体影音的批注方法及装置、电子设备、存储介质，以至少解决相关技术中现有的审核批注手段所适用的批注对象过于单一，不能满足用户对于多种类型文件的审核批注需求的技术问题。

2、根据本发明实施例的一个方面，提供了一种用于多媒体影音的批注方法，包括：通过审核终端接收待审核的目标文件，并确定所述目标文件的文件类型，其中，所述审核终端用于运行n个批注平台，所述目标文件为多媒体影音文件，n为正整数；确定与所述文件类型相匹配的所述批注平台，得到目标批注平台；使用所述目标批注平台播放所述目标文件，并在播放所述目标文件的过程中，通过所述目标批注平台采集实时审核数据；基于所述实时审核数据，生成影音批注文件。

3、可选地，每个所述目标批注平台中集成有m个批注插件，m为正整数，所述批注插件包括下述至少之一：外设信息采集插件、屏幕录制插件、音频采集插件以及媒体文件编辑插件。

4、可选地，在播放所述目标文件的过程中，通过所述目标批注平台采集实时审核数据的步骤，包括：调用所述外设信息采集插件，采集外部设备的所有操作动作和每个所述操作动作传输的外设操作信息，其中，每个所述操作动作携带一个动作时间戳和一个动作坐标，所述动作坐标用于在所述目标文件中索引所述外设操作信息所指定的文件内容，所述外部设备与所述审核终端预先建立设备通信关系；基于所述动作时间戳、所述动作坐标以及所述外设操作信息，生成所述实时审核数据。

5、可选地，在调用所述外设信息采集插件之后，还包括：通过所述外部设备在播放界面上框选拟批注的图文范围；根据所述图文范围中的图文内容确定批注类型和批注优先级；基于所述批注类型和所述批注优先级为所述拟批注的图文范围添加批注图标。

6、可选地，通过所述目标批注平台采集实时审核数据的步骤，还包括：调用所述屏幕录制插件，录制所述审核终端的审核界面上的所有屏幕活动，得到屏幕录制信息，其中，所述屏幕录制信息至少携带录制时间戳；基于所述屏幕录制信息生成所述实时审核数据。

7、可选地，在基于所述实时审核数据，生成影音批注文件之后，还包括：在所述审核终端的审核界面上创建批注窗口；通过所述批注窗口播放所述多媒体影音批注文件，并为所述多媒体影音批注文件生成进度条；调用所述媒体文件编辑插件，基于所述批注窗口和所述进度条对所述多媒体影音批注文件进行编辑操作，其中，所述编辑操作的类型至少包括下述之一：点击回放、局部删改、更改样式以及更改优先级。

8、可选地，所述审核终端预先与云服务器建立通信连接，其中，所述云服务器中预先部署了r个神经网络模型，r为正整数，每个所述神经网络模型向所述审核终端提供一个后处理服务接口，所述后处理服务接口用于对所述多媒体影音批注文件进行后处理，所述后处理服务的服务类型至少包括下述之一：语音转文字服务、ocr文字识别服务以及翻译服务。

9、可选地，在基于所述实时审核数据，生成影音批注文件之后，还包括：在所述影音批注文件中包含语音信息的情况下，调用所述后处理服务接口对所述语音信息进行转化处理，得到语音文本信息；对所述语音文本信息进行文本清洗，并依据清洗后的所述语音文本信息生成所述目标文件对应的校审报告。

10、可选地，在通过审核终端接收待审核的目标文件之后，还包括：接收客户终端的连线请求，并响应所述连线请求，建立所述审核终端与所述客户终端之间的通讯连接；基于所述通讯连接以及所述目标批注平台中集成的屏幕录制插件、音频采集插件，建立实时批注会话。

11、根据本发明实施例的另一方面，还提供了一种用于多媒体影音的批注系统，包括：审核终端，用于接收待审核的目标文件，运行n个批注平台，控制所述批注平台对所述目标文件进行播放，采集实时审核数据，并基于所述实时审核数据，生成影音批注文件，其中，n为正整数；外部设备，与所述审核终端预先建立设备通信关系，所述外部设备用于对展示在所述审核终端的审核界面上的所述目标文件进行批注操作；云服务器，与所述审核终端预先建立通信连接，所述云服务器用于预先部署r个神经网络模型，通过所述神经网络模型向所述审核终端提供后处理服务，其中，r为正整数。

12、根据本发明实施例的另一方面，还提供了一种用于多媒体影音的批注装置，包括：第一确定单元，用于通过审核终端接收待审核的目标文件，并确定所述目标文件的文件类型，其中，所述审核终端用于运行n个批注平台，所述目标文件为多媒体影音文件，n为正整数；第二确定单元，用于确定与所述文件类型相匹配的所述批注平台，得到目标批注平台；采集单元，用于使用所述目标批注平台播放所述目标文件，并在播放所述目标文件的过程中，通过所述目标批注平台采集实时审核数据；生成单元，用于基于所述实时审核数据，生成影音批注文件。

13、可选地，每个所述目标批注平台中集成有m个批注插件，m为正整数，所述批注插件包括下述至少之一：外设信息采集插件、屏幕录制插件、音频采集插件以及媒体文件编辑插件。

14、可选地，所述采集单元包括：采集模块，用于在播放所述目标文件的过程中，调用所述外设信息采集插件，采集外部设备的所有操作动作和每个所述操作动作传输的外设操作信息，其中，每个所述操作动作携带一个动作时间戳和一个动作坐标，所述动作坐标用于在所述目标文件中索引所述外设操作信息所指定的文件内容，所述外部设备与所述审核终端预先建立设备通信关系；第一生成模块，用于基于所述动作时间戳、所述动作坐标以及所述外设操作信息，生成所述实时审核数据。

15、可选地，所述采集单元还包括：框选模块，用于在调用所述外设信息采集插件之后，通过所述外部设备在播放界面上框选拟批注的图文范围；确定模块，用于根据所述图文范围中的图文内容确定批注类型和批注优先级；添加模块，用于基于所述批注类型和所述批注优先级为所述拟批注的图文范围添加批注图标。

16、可选地，所述采集单元还包括：录制模块，用于调用所述屏幕录制插件，录制所述审核终端的审核界面上的所有屏幕活动，得到屏幕录制信息，其中，所述屏幕录制信息至少携带录制时间戳；第二生成模块，用于基于所述屏幕录制信息生成所述实时审核数据。

17、可选地，所述用于多媒体影音的批注装置还包括：创建模块，用于在所述审核终端的审核界面上创建批注窗口；播放模块，用于通过所述批注窗口播放所述多媒体影音批注文件，并为所述多媒体影音批注文件生成进度条；编辑模块，用于调用所述媒体文件编辑插件，基于所述批注窗口和所述进度条对所述多媒体影音批注文件进行编辑操作，其中，所述编辑操作的类型至少包括下述之一：点击回放、局部删改、更改样式以及更改优先级。

18、可选地，所述审核终端预先与云服务器建立通信连接，其中，所述云服务器中预先部署了r个神经网络模型，r为正整数，每个所述神经网络模型向所述审核终端提供一个后处理服务接口，所述后处理服务接口用于对所述多媒体影音批注文件进行后处理，所述后处理服务的服务类型至少包括下述之一：语音转文字服务、ocr文字识别服务以及翻译服务。

19、可选地，所述用于多媒体影音的批注装置还包括：转化模块，用于在所述影音批注文件中包含语音信息的情况下，调用所述后处理服务接口对所述语音信息进行转化处理，得到语音文本信息；清洗模块，用于对所述语音文本信息进行文本清洗，并依据清洗后的所述语音文本信息生成所述目标文件对应的校审报告。

20、可选地，所述用于多媒体影音的批注装置还包括：第一建立模块，用于接收客户终端的连线请求，并响应所述连线请求，建立所述审核终端与所述客户终端之间的通讯连接；第二建立模块，用于基于所述通讯连接以及所述目标批注平台中集成的屏幕录制插件、音频采集插件，建立实时批注会话。

21、根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项用于多媒体影音的批注方法。

22、根据本发明实施例的另一方面，还提供了一种电子设备，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述任意一项用于多媒体影音的批注方法。

23、本发明中，提出一种用于多媒体影音的批注方法，先通过审核终端接收待审核的目标文件，并确定目标文件的文件类型，其中，审核终端用于运行n个批注平台，目标文件为多媒体影音文件，n为正整数，再确定与文件类型相匹配的批注平台，得到目标批注平台，然后使用目标批注平台播放目标文件，并在播放目标文件的过程中，通过目标批注平台采集实时审核数据，最后基于实时审核数据，生成影音批注文件。

24、本发明中，通过审核终端运行n个批注平台，接收待审核的目标文件之后，基于目标文件的文件类型确定该目标文件的文件类型，进而使用与目标文件的文件类型相匹配的批注平台对目标文件进行播放，在播放目标文件的过程中采集审核终端上接收到的所有实时审核数据，生成目标文件对应的影音批注文件。本发明中的审核终端通过运行n个批注平台，支持对多种类型的待审核目标文件进行播放和实时审核数据采集，在集成现有批注手段，支持对静态文件(包括文档和电子书)进行审核的基础上，还支持对多媒体影音文件类型进行审核批注，生成的批注文件也可以实现多媒体影音话，便于观看回放，实现了适用于对多种类型文件使用多种批注手段进行审核批注，进而解决了相关技术中现有的审核批注手段所适用的批注对象过于单一，不能满足用户对于多种类型文件的审核批注需求的技术问题。