笔记生成方法、装置、可读存储介质及计算机程序产品与流程

本技术属于视频，特别涉及一种笔记生成方法、装置、可读存储介质及计算机程序产品。

背景技术：

1、教学类的视频软件中，具有大量的教学类视频供用户观看学习，但视频中的课件并不提供，对于后期的复习巩固造成不便；即使提供了ppt课件，其内容繁多，没有形成重点。当查阅知识点时，要么需要重新观看视频，要么翻阅全量ppt课件，耗时费力，不利于复习。

2、目前可以通过进行笔记的生成以方便用户查阅知识点，但是生成的笔记是后台批量统一跑出来的，并不能适用于用户个体。

技术实现思路

1、本技术实施例提供一种笔记生成方法、装置、可读存储介质及计算机程序产品，以实现视频软件的教学笔记的灵活记录，提升用户使用体验。

2、为了解决上述技术问题，本技术实施例提供一种笔记生成方法，包括：

3、获取目标视频中讲义区域的多处文字区域以及所述目标视频的语音信息对应的文本信息；

4、获取所述文字区域之间的逻辑关系和所述文字区域的文字内容；

5、根据所述逻辑关系、所述文字内容以及所述文本信息，确定初始笔记内容；

6、采集所述目标视频播放过程中的用户行为数据，根据所述用户行为数据对所述初始笔记内容进行调整，生成用户笔记内容。

7、可选地，所述获取目标视频中讲义区域的多处文字区域，包括：

8、对每一视频帧进行讲义的目标检测，获取所述视频帧中讲义内容的位置区域，所述目标检测包括：边界检测和/或文字检测；

9、根据第一规则进行不同页讲义区域的确定，获取至少一页讲义区域；

10、对每一页讲义区域进行内容区域的划分，得到每一页讲义区域对应的多处文字区域；

11、其中，所述第一规则包括以下至少一项：

12、若多个视频帧中的位置区域内的多处目标区域的相似度大于或等于第一阈值，则确定多个视频帧的位置区域对应同一页讲义区域；

13、若存在至少两个视频帧中的位置区域内的多处目标区域的相似度小于或等于第一阈值，则确定至少两个视频帧对应不同的讲义区域。

14、可选地，所述对每一视频帧进行讲义的目标检测，获取所述视频帧中讲义内容的位置区域，包括：

15、对连续多张视频帧中的每一张视频帧进行目标对象检测；

16、若存在目标对象，则获取所述目标对象以及所述目标对象在每个视频帧中的位置信息；

17、根据所述位置信息，若确定连续多张视频帧中的所述目标对象的相似度大于或等于第二阈值时，则删除所述多张视频帧中的所述目标对象所在的区域；

18、对删除目标对象的每一视频帧进行讲义的目标检测，获取所述视频帧中讲义内容的位置区域。

19、可选地，所述对每一视频帧进行讲义的目标检测，获取所述视频帧中讲义内容的位置区域，包括：

20、若视频帧中的讲义内容为非全屏状态，对视频帧进行分割，得到多个分割区域；

21、将面积最大的分割区域作为讲义的有效区域；

22、对每一视频帧中的有效区域进行讲义的目标检测，获取所述视频帧中讲义内容的位置区域。

23、可选地，所述对每一页讲义区域进行内容区域的划分，得到每一页讲义区域对应的多处文字区域，包括：

24、对每一页讲义区域进行内容区域进行线条检测；

25、若检测到线条，根据检测到的线条，对每一页讲义区域进行区域划分，分别获取每一页讲义区域对应的多处文字区域。

26、可选地，所述对每一页讲义区域进行内容区域的划分，得到每一页讲义区域对应的多处文字区域，包括：

27、获取每一页讲义区域对应的文字的目标间距，所述目标间距包括行间距和/或列间距；

28、对每一页讲义区域以预设值进行内容区域的划分，获取划分后的多处文字区域，所述预设值基于所述讲义区域对应的文字的目标间距获取。

29、可选地，所述获取文字区域之间的逻辑关系，包括以下一项：

30、获取划分的多处文字区域的内容排版，根据所述内容排版与逻辑关系的对应关系，确定所述文字区域之间的逻辑关系；

31、对每一页讲义区域对应的视频帧的语音信息进行关键字识别，根据识别到的关键字确定文字区域之间的逻辑关系。

32、可选地，所述根据所述逻辑关系、所述文字内容以及所述文本信息，确定初始笔记内容，包括：

33、建立讲义区域之间的索引；

34、根据讲义区域之间的索引以及文字区域对应的逻辑关系，确定目录框架；

35、根据每一页讲义区域对应的音频信息的文本信息以及所述文字区域的文字内容，进行内容提取，将提取的内容对应添加到目录框架所指示的位置，生成初始笔记内容；

36、其中，初始笔记内容中讲义区域对应的笔记内容与讲义区域的时间长度正相关，所述讲义区域的时间长度根据视频帧率、视频帧编号获取的讲义区域对应的开始时间和结束时间确定。

37、可选地，所述根据每一页讲义区域对应的音频信息的文本信息以及所述文字区域的文字内容，进行内容提取，将提取的内容对应添加到目录框架所指示的位置，生成初始笔记内容，包括：

38、在所述每一页讲义区域对应的音频信息的文本信息和所述文字内容中获取目标信息，所述目标信息为讲义区域对应的音频信息的文本信息和所述文字内容均存在的信息；

39、将所述目标信息对应添加到目录框架所指示的位置，生成初始笔记内容。

40、可选地，所述采集所述目标视频播放过程中的用户行为数据，根据所述用户行为数据对所述初始笔记内容进行调整，生成用户笔记内容，包括：

41、根据第二规则对所述初始笔记内容进行调整，生成用户笔记内容；

42、其中，所述第二规则包括以下至少一项：

43、在所述用户行为数据包括用户操作的鼠标位置的情况下，将采集的鼠标位置与讲义区域的文字区域进行关联，获取鼠标位置的第一讲义内容，利用所述第一讲义内容对初始笔记内容中的与所述鼠标位置相关联的讲义区域对应的内容进行调整；

44、在所述用户行为数据包括快进操作的情况下，采集快进操作对应的讲义区域对应的第二讲义内容，删除所述初始笔记内容中的第二讲义内容；

45、在所述用户行为数据包括暂停操作的情况下，采集暂停操作的鼠标停留位置对应的第三讲义内容，若所述暂停操作所对应的鼠标停留时间小于或等于第三阈值，则利用所述第三讲义内容对初始笔记内容进行调整。

46、可选地，所述方法，还包括：

47、基于用户操作，获取共享笔记中的内容；

48、将所述共享笔记中的内容加入用户笔记内容中，生成最终用户笔记内容。

49、本技术实施例还提供一种视频提取装置，包括：

50、第一获取模块，用于获取目标视频中讲义区域的多处文字区域以及所述目标视频的语音信息对应的文本信息；

51、第二获取模块，用于获取所述文字区域之间的逻辑关系和所述文字区域的文字内容；

52、确定模块，用于根据所述逻辑关系、所述文字内容以及所述文本信息，确定初始笔记内容；

53、生成模块，用于采集所述目标视频播放过程中的用户行为数据，根据所述用户行为数据对所述初始笔记内容进行调整，生成用户笔记内容。

54、本技术实施例还提供一种笔记生成装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的笔记生成方法的步骤。

55、本技术实施例还提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的笔记生成方法中的步骤。

56、本技术实施例还提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现上述的笔记生成方法的步骤。

57、本技术的有益效果是：

58、上述方案，通过基于讲义区域对应的文字区域的文字内容以及语音信息对应的文本信息进行初始笔记内容的生成，之后基于用户行为数据对初始笔记内容进行调整，生成用户笔记内容，能够获取到满足用户需求的笔记，实现了视频软件的教学笔记的灵活记录，提升用户使用体验。