一种面向制造业视频内容质量的自动评估方法及系统

本发明涉及质量评估领域，具体涉及一种面向制造业视频内容质量的自动评估方法及系统。

背景技术：

1、在制造业中，通常以数字视频的形式展示各种与生产制造相关的信息、过程、技术或产品，这些视频可以系统地介绍制造过程中的各个工艺步骤，从原材料处理到最终产品组装，使工作人员和技术人员能够深入了解生产流程；也可以用于传授操作规范、安全操作流程、设备使用方法等，帮助员工快速掌握必要技能；还可以用于展示产品的特性、功能、优点等，以吸引客户或合作伙伴，提升品牌形象，推动产品销售；或是作为科普性质的视频，向大众介绍相关行业的历史、发展及未来。

2、制造业视频对于提高生产效率、保障产品质量、扩大员工培训效果具有重要作用，而其内容质量的评估也显得愈发关键，高质量的视频内容可以帮助相关人员快速掌握知识、熟悉生产流程，而浏览低质量的视频则会浪费用户大量的时间，甚至还会为用户带来不正确的信息。因此，如何高效地鉴别制造业视频的内容质量成为了一个非常重要的问题。目前很多网站都采用了人工审核的方式，但这种审核方法人工开销很大且缺少客观的评估指标，审核效率不高。而现有的自动化视频质量评估方法大多针对视频失真程度、画面清晰度等视觉质量进行检测，少有涉及对视频内容质量的评估，针对视频内容质量的自动化评估方法还有待研究。

3、近年来，预训练语言模型不断取得新进展，bert、gpt等模型在各类自然语言处理任务上的出众表现将nlp领域的研究提升到了新阶段。大规模预训练语言模型不仅可以作为知识库，以参数的形式存储预训练语料中的世界知识，还可以通过微调模型，应用于各种知识密集型的任务上，如事实核查、对话、开放领域的问答等。而制造业视频中同样存在大量知识，预训练语言模型能够凭借其强大的语义理解能力很好地学习和表示视频中的知识。

4、传统视频质量评估主要针对模糊、噪点、白平衡、色彩等图像特征展开，通过主客观的方式对视频图像信息的变化与失真进行感知、衡量与评价，其评估指标主要侧重于视频经过压缩、上传等操作后是否出现失真、噪声，或是视频拍摄时操作不当导致的抖动、模糊等图像相关的质量标准。其中，主观评估方式需要选定一批受试者对视频质量进行人工评估，让他们在一个受控的环境下观看一系列待测视频，并给出视频平均主观意见分作为最终的评估结果。而客观评估方式则是利用特定的评估模型来自动计算视频质量。按评估时对无损的参考视频的需要程度，制造业视频质量评估可被归类为没有原始参考视频的无参考视频质量评估。早期的无参考视频质量评估通常基于自然场景统计，即利用自然图像统计规律的变化判断图像的失真程度。近几年出现了更多基于深度学习的方法，如v-meon、videval等。基于dnn的模型能够高效地捕获高级特征以及复杂的多重失真。

5、以上不适用于视频内容质量评估，由于视频内容的多样性，与视觉质量相比，视频内容质量评估仍以人工评估为主，或是针对特定领域设计了特定的评估维度，缺乏有效的自动评估算法。例如，在教育领域，课程内容的评估维度可以包含时效性、课程内容与学生需求的相关性、对学生学习的有用性、准确性等。另外，有些工作利用形成性评价(formative assessment)评估并改进教学材料质量，形成性评价将学生的表现视为一种反馈，可以发现学生在学习过程中的薄弱点，进而帮助教师调控教学过程，有针对性地进行教学，或帮助发现教学材料中存在的缺陷并加以改进。具体而言，此类方法认为当学生学习表现不佳时可以一定程度上反映出教学材料中存在的缺陷，因此通过分析学生在测验中的答题情况，可以反过来评估教学材料的质量并加以改进。

6、目前，针对制造业领域，还缺乏一种有效的自动化评估制造业视频内容质量的方法。

技术实现思路

1、本发明是为了解决上述问题而进行的，目的在于提供一种面向制造业视频内容质量的自动评估方法及系统。

2、本发明提供了一种面向制造业视频内容质量的自动评估方法，具有这样的特征，包括如下步骤：

3、步骤s1，将视频转化为视频文本，使用视频文本对语言模型进行预训练工作，得到经过视频内容预训练的语言模型；

4、步骤s2，利用混淆单选题数据集对经过视频内容预训练的语言模型的单选题qa能力进行初始化微调，得到单选能力初始化的语言模型；

5、步骤s3，利用视频文本生成的训练单选题数据集，对单选能力初始化后的语言模型在视频相关专业题目上进行继续微调，得到视频内容及单选能力增强的语言模型；

6、步骤s4，视频内容及单选能力增强的语言模型在测试单选题数据集上进行测试，得到视频内容及单选能力增强的语言模型在单选题qa任务上的答题准确率；

7、步骤s5，根据答题准确率对视频的内容质量进行评估。

8、在本发明提供的面向制造业视频内容质量的自动评估方法中，还可以具有这样的特征：其中，步骤s1中，通过语音识别工具识别出视频的视频文本，使用视频文本在中文大规模预训练语言模型bert-base-chinese的基础上继续预训练语言模型，得到经过视频内容预训练的语言模型。

9、在本发明提供的面向制造业视频内容质量的自动评估方法中，还可以具有这样的特征：其中，步骤s2中，混淆单选题数据集包括若干混淆单选题，混淆单选题为任意的与视频无关非专业的单选题，且包括题干和4个选项，从混淆单选题数据集中随机选取若干个混淆单选题，并对经过视频内容预训练的语言模型依次进行初始化微调，初始化微调的过程为：

10、让混淆单选题的4个选项都作为正确选项一次，再让经过视频内容预训练的语言模型在混淆单选题上进行全量或lora微调，使得经过视频内容预训练的语言模型对每个选项的预测概率都接近0.25，得到单选能力初始化的语言模型。

11、在本发明提供的面向制造业视频内容质量的自动评估方法中，还可以具有这样的特征：其中，步骤s3中，视频文本生成训练单选题数据集，训练单选题数据集包括若干训练单选题，训练单选题的题型为四选一，包括题干、1个正确项和3个干扰项，从训练单选题数据集中随机选取若干训练单选题，通过若干训练单选题对单选能力初始化的语言模型依次进行继续微调，继续微调的过程与初始化微调的过程相同，得到视频内容及单选能力增强的语言模型。

12、在本发明提供的面向制造业视频内容质量的自动评估方法中，还可以具有这样的特征：其中，视频文本生成训练单选题数据集的方式为：抽取视频文本的每个句子的关键词，关键词的抽取模型为sifrank，抽取关键词后的句子作为题干，关键词作为正确项，干扰项由正确项的近义词以及从其他句子中随机采样得到的关键词组成，近义词的生成使用开源工具synonyms，若生成的近义词不足三个，再去其他句子中随机采样。

13、在本发明提供的面向制造业视频内容质量的自动评估方法中，还可以具有这样的特征：其中，步骤s4中，测试单选题数据集通过人工预设产生。

14、在本发明提供的面向制造业视频内容质量的自动评估方法中，还可以具有这样的特征：其中，步骤s4中，测试单选题数据集由与视频相关的参考文档生成，参考文档生成测试单选题数据集的方式与视频文本生成训练单选题数据集的方式相同。

15、在本发明提供的面向制造业视频内容质量的自动评估方法中，还可以具有这样的特征：步骤s4中，测试单选题数据集包括若干测试单选题，测试单选题的题型为四选一，包括题干、1个正确项和3个干扰项，按照不同的知识点对测试单选题进行归类，从测试单选题数据集中随机选取若干测试单选题，作为单选题qa任务，答题准确率包括整体准确率和不同的知识点的单类题目准确率。

16、在本发明提供的面向制造业视频内容质量的自动评估方法中，还可以具有这样的特征：其中，步骤s5中，整体准确率越高表示视频的质量越高，知识点的单类题目准确率越高表示视频讲解知识点越好。

17、本发明还提供了一种面向制造业视频内容质量的自动评估系统，使用上述的面向制造业视频内容质量的自动评估方法，具有这样的特征，包括：

18、获取部，获取若干个视频、视频相关的测试单选题数据集和混淆单选题数据集；

19、预训练部，将视频转化为视频文本，使用视频文本对语言模型进行预训练工作，得到经过视频内容预训练的语言模型；

20、初始化微调部，利用混淆单选题数据集对经过视频内容预训练的语言模型的单选题qa能力进行初始化微调，得到单选能力初始化的语言模型；

21、继续微调部，利用视频文本生成的训练单选题数据集，对单选能力初始化的语言模型的单选题qa能力进行继续微调，得到视频内容及单选能力增强的语言模型；

22、测试部，视频内容及单选能力增强的语言模型在测试单选题数据集上测试，得到视频内容及单选能力增强的语言模型在单选题qa任务上的答题准确率；

23、评估部，根据答题准确率对视频的内容质量进行评估。

24、发明的作用与效果

25、本发明创新性地使用大规模预训练语言模型和单选题qa实现制造业视频内容质量的自动化评估，同时用视频文本和参考文档分别生成训练单选题和测试单选题，确保语言模型能够充分学习视频中的知识，并以参考文档为标准对视频的内容质量进行准确评估。

26、本发明在初始化微调时，让预训练后的语言模型在混淆单选题上进行训练，使不同视频文本预训练得到的语言模型在初始化微调后得到相近的初始状态，消除了模型参数随机初始化带来的扰动，保证了评估过程的公平性。