技术特征：
1.一种基于自建模板的多模态快速转写及标注方法，其特征在于，所述方法包括：获取待处理的媒体文件对应的项目工程文件；根据所述项目工程文件的目录，获取所述媒体文件的音频数据；根据所述音频数据的幅度对所述音频数据进行分段处理，得到所述音频数据的句段数据；在操作界面上显示所述音频数据的句段数据，所述操作界面用于提供展示界面和边界轴控件；响应于针对所述边界轴控件的编辑操作，对所述句段数据进行边界调整处理或者句段合并处理，得到处理后的句段数据；对所述处理后的句段数据进行语音识别处理得到转写文本；根据所述转写文本对所述项目工程文件进行更新，得到更新后的项目工程文件，所述更新后的项目工程文件携带所述转写文本；在所述展示界面上播放所述更新后的项目工程文件时，显示所述媒体文件和所述转写文本中与所述媒体文件的播放进度对应的文本片段。2.如权利要求1所述的基于自建模板的多模态快速转写及标注方法，其特征在于，所述响应于针对所述边界轴控件的编辑操作，对所述句段数据进行边界调整处理或者句段合并处理，得到处理后的句段数据，包括：响应于针对所述句段数据中活动句段的第一边界轴控件的活动端的第一编辑操作，控制所述第一边界轴控件的活动端移动至第一位置；判断在所述第一位置处是否存在与所述第一边界轴控件的活动端相重叠的第二边界轴控件，所述第二边界轴控件为第二句段对应的边界轴控件，所述活动句段与所述第二句段为相邻句段；若在所述第一位置处存在与所述第一边界轴控件的活动端相重叠的第二边界轴控件，则将所述活动句段与所述第二句段进行合并处理。3.如权利要求2所述的基于自建模板的多模态快速转写及标注方法，其特征在于，在所述判断在所述第一位置处是否存在与所述第一边界轴控件的活动端相重叠的第二边界轴控件之后，还包括：若在所述第一位置处不存在与所述第一边界轴控件的活动端相重叠的第二边界轴控件，则根据所述第一位置调整所述活动句段的边界。4.如权利要求1所述的基于自建模板的多模态快速转写及标注方法，其特征在于，所述响应于针对所述边界轴控件的编辑操作，对所述句段数据进行边界调整处理或者句段合并处理，得到处理后的句段数据，包括：响应于针对所述句段数据中的活动句段的第一边界轴控件的活动端的第二编辑操作，控制所述第一边界轴控件的活动端移动至第二位置；判断在所述第二位置处是否存在与所述第一边界轴控件的活动端相重叠的第三边界轴控件，所述第三边界轴控件为第三句段对应的边界轴控件，所述活动句段与所述第三句段为非相邻句段；若在所述第二位置处存在与所述第一边界轴控件的活动端相重叠的第三边界轴控件，则将所述活动句段、所述第三句段、以及所述活动句段与所述第三句段之间的中间句段进
行合并处理。5.如权利要求4所述的基于自建模板的多模态快速转写及标注方法，其特征在于，在所述判断在所述第二位置处是否存在与所述第一边界轴控件的活动端相重叠的第三边界轴控件之后，还包括：若在所述第二位置处不存在与所述第一边界轴控件的活动端相重叠的第三边界轴控件，则判断所述第一边界轴控件的静止端位置至所述第二位置之间的目标区域内是否与任一所述中间句段重叠；若所述第一边界轴控件的静止端位置至所述第二位置之间的目标区域内不与任一所述中间句段重叠，则根据所述第二位置调整所述活动句段的边界；或者若所述第一边界轴控件的静止端位置至所述第二位置之间的目标区域内与至少一个所述中间句段重叠，则将所述活动句段、与所述目标区域存在相重叠关系的所有中间句段进行合并处理。6.如权利要求1所述的基于自建模板的多模态快速转写及标注方法，其特征在于，所述根据所述音频数据的幅度对所述音频数据进行分段处理，得到所述音频数据的句段数据，包括：根据噪音幅度阈值和所述音频数据的幅度的大小关系对所述音频数据进行分段处理，得到所述音频数据的句段数据。7.如权利要求6所述的基于自建模板的多模态快速转写及标注方法，其特征在于，所述根据噪音幅度阈值和所述音频数据的幅度的大小关系对所述音频数据进行分段处理，得到所述音频数据的句段数据，包括：获取所述音频数据的初始分段数据；判断所述初始分段数据中当前分段内的平均幅度是否大于所述噪音幅度阈值；若所述初始分段数据中当前分段内的平均幅度大于所述噪音幅度阈值，则对所述当前分段标记为有声段；对标记为有声段的所述当前分段内的音频点进行句段起点和句段终点的裁剪，以去除所述当前分段内的静音或噪声；若所述裁剪后的当前分段的起点位置与上一个分段的终点位置相同，则将所述裁剪后的当前分段和所述上一个分段进行合并；若所述裁剪后的当前分段的起点位置与所述上一个分段的终点位置不相同，则将所述裁剪后的当前分段标记为一个新的分段；遍历处理所述音频数据的初始分段数据，得到所述音频数据的句段数据。8.如权利要求7所述的基于自建模板的多模态快速转写及标注方法，其特征在于，所述获取所述音频数据的初始分段数据，包括：根据预设语言模板对所述音频数据进行初始分段处理，获取所述音频数据的初始分段数据。9.如权利要求1所述的基于自建模板的多模态快速转写及标注方法，其特征在于，所述获取待处理的媒体文件对应的项目工程文件，包括：获取待处理的媒体文件；检测所述媒体文件是否已创建对应的项目工程文件；
若检测到所述媒体文件未创建对应的项目工程文件，则基于模板文件创建所述媒体文件对应的项目工程文件；或者若检测到所述媒体文件已创建对应的项目工程文件，则获取已创建的所述媒体文件对应的项目工程文件。10.如权利要求1所述的基于自建模板的多模态快速转写及标注方法，其特征在于，所述方法还包括：响应于携带目标文件类型的导出指令，从所述项目工程文件中导出与所述目标文件类型对应的导出文件，所述目标文件类型属于预设文件类型中的任一种文件类型。11.如权利要求10所述的基于自建模板的多模态快速转写及标注方法，其特征在于，所述方法还包括：响应于导入指令，获取导入文件；当所述导入文件的文件类型属于所述预设文件类型中的任一种文件类型时，将所述导入文件导入所述项目工程文件中。12.如权利要求1所述的基于自建模板的多模态快速转写及标注方法，其特征在于，所述在操作界面上显示所述音频数据的句段数据，包括：在操作界面上显示所述音频数据的句段数据的句段波形信息，以及所述句段波形信息对应的时间轴信息。13.如权利要求12所述的基于自建模板的多模态快速转写及标注方法，其特征在于，所述方法还包括：响应于隐藏波形指令，在操作界面上隐藏所述句段波形信息和所述时间轴信息。14.如权利要求1述的基于自建模板的多模态快速转写及标注方法，其特征在于，所述方法还包括：响应于针对所述句段数据中目标句段的插入断点操作，在述目标句段的边界轴控件中插入断点，以基于所述断点对所述目标句段进行分段处理。15.如权利要求1述的基于自建模板的多模态快速转写及标注方法，其特征在于，所述转写文本包括所述句段数据中的每一个句段对应的文本片段，在所述对所述处理后的句段数据进行语音识别处理得到转写文本之后，还包括：响应于针对所述转写文本中的目标文本片段的修改指令，对所述目标文本片段进行修改，得到修改后的转写文本，目标文本片段为所述转写文本中的至少一个文本片段。16.如权利要求15述的基于自建模板的多模态快速转写及标注方法，其特征在于，所述方法还包括：响应于针对所述目标文本片段的标注指令，对所述目标文本片段进行标注，得到标注后的转写文本。17.一种基于自建模板的多模态快速转写及标注系统，其特征在于，所述系统包括：第一获取单元，用于获取待处理的媒体文件对应的项目工程文件；第二获取单元，用于根据所述项目工程文件的目录，获取所述媒体文件的音频数据；分段单元，用于根据所述音频数据的幅度对所述音频数据进行分段处理，得到所述音频数据的句段数据；显示单元，用于在操作界面上显示所述音频数据的句段数据，所述操作界面用于提供
展示界面和边界轴控件；处理单元，用于响应于针对所述边界轴控件的编辑操作，对所述句段数据进行边界调整处理或者句段合并处理，得到处理后的句段数据；转写单元，用于对所述处理后的句段数据进行语音识别处理得到转写文本；更新单元，用于根据所述转写文本对所述项目工程文件进行更新，得到更新后的项目工程文件，所述更新后的项目工程文件携带所述转写文本；播放单元，用于在所述展示界面上播放所述更新后的项目工程文件时，显示所述媒体文件和所述转写文本中与所述媒体文件的播放进度对应的文本片段。18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如权利要求1-16任一项所述的基于自建模板的多模态快速转写及标注方法中的步骤。
技术总结
本申请公开一种基于自建模板的多模态快速转写及标注系统，包括：第一获取单元获取媒体文件对应的项目工程文件；第二获取单元根据项目工程文件的目录，获取媒体文件的音频数据；分段单元根据音频数据的幅度对音频数据进行分段处理得到音频数据的句段数据；显示单元在操作界面上显示句段数据，操作界面用于提供展示界面和边界轴控件；处理单元响应于针对边界轴控件的编辑操作，对句段数据进行边界调整或者句段合并，得到处理后的句段数据，然后进行语音识别处理得到转写文本；转写单元根据转写文本更新项目工程文件；播放单元在展示界面上播放更新后的项目工程文件时，显示媒体文件和转写文本中与媒体文件的播放进度对应的文本片段。本片段。本片段。
技术研发人员：李斌
受保护的技术使用者：湖南师范大学
技术研发日：2022.05.06
技术公布日：2022/9/30