一种目标内容确定方法、电子设备及存储介质与流程

本技术涉及计算机应用，尤其涉及一种目标内容确定方法、电子设备及存储介质。

背景技术：

1、查生词是阅读学习过程中常见的场景，传统的查生词方式(如纸质字典、电子辞典等查生词方式)操作耗时，效率比较低，随着计算机视觉和深度学习的发展，在智能终端上出现了基于视觉的手指点读查词应用，智能终端上的摄像头打开后可以采集到读物的画面，使用者可以用手指指向读物中要查的目标内容(词或句子)，该应用就可以返回该目标内容(词或句子)的释义及发音等，极大的提高了学习效率。

2、目前基于视觉的手指点读查词的实现中存在下述问题，当前需要通过指尖定位模型对每一视频帧进行指尖稳定判定，占用了较高的计算资源，且指尖定位模型运行速度低于视频流帧率，会因部分数据丢失影响指尖稳定判定结果，进而影响读物中指尖所指向目标内容的确定。

技术实现思路

1、有鉴于此，本技术实施例提供了一种目标内容确定方法、电子设备及存储介质，实现了对读物中指尖所指向目标内容的精准确定，节省了资源成本。

2、第一方面，本技术实施例提供了一种目标内容确定方法，包括：

3、响应于触发的指尖内容确定操作，启动并接收视频采集装置相对读物采集到的视频流；

4、根据视频流中当前视频帧相对在前视频帧的运动变化进行指尖稳定判定；

5、在当前判定结果为指尖稳定时，确定所述当前视频帧中的内容检测区域，从所述内容检测区域中确定指尖指向的目标内容。

6、进一步地，所述根据视频流中当前视频帧相对在前视频帧的运动变化进行指尖稳定判定，包括：

7、对视频流中的当前视频帧及前一视频帧进行光流计算，获得当前光流图；

8、将所述当前光流图与前一光流图进行运动区域的变化比对，并根据比对结果确定当前是否满足指尖稳定判定条件；

9、若是，则通过在所述当前视频帧及前一视频帧中的指尖定位进行指尖稳定判定。

10、进一步地，所述将所述当前光流图与前一光流图进行运动区域的变化比对，并根据比对结果确定当前是否满足指尖稳定判定条件，包括：

11、根据所述当前光流图中的光流值，确定所述当前光流图的当前运动区域，并获取前一光流图的前一运动区域；

12、将所述当前运动区域中光流点与所述前一运动区域光流点进行比对，确定当前运动消失区域；

13、基于缓存数据表中缓存的在前运动消失区域，判定所述当前运动消失区域的消失时间是否达到设定时长；

14、如果所述消失时间达到所述设定时长，则确定当前满足指尖稳定判定条件。

15、进一步地，所述通过在所述当前视频帧及前一视频帧中的指尖定位进行指尖稳定判定，包括：

16、获取前一视频帧中所包含指尖的前一指尖位置信息；

17、在所述当前视频帧中进行指尖区域识别，获得包含所述指尖的指尖区域；

18、在所述指尖区域中进行指尖定位，获得所述指尖的当前指尖位置信息；

19、如果所述当前指尖位置信息与前一指尖位置信息的位置差处于设定范围，则将当前判定结果确定为指尖稳定。

20、进一步地，所述确定所述当前视频帧中的内容检测区域，从所述内容检测区域中确定指尖指向的目标内容，包括：

21、获取所述指尖稳定时在当前视频帧中对应的当前指尖位置坐标以及预设的截取尺寸；

22、在所述当前视频帧中基于所述当前指尖位置坐标确定具备所述截取尺寸的内容检测区域；

23、对所述内容检测区域进行文本行识别，并从识别到的文本行中确定单个词的词位置信息；

24、根据各所述词位置信息确定指尖所指向目标词的目标词位置信息，将所述目标词作为所述目标内容。

25、进一步地，所述对所述内容检测区域进行文本行识别，并从识别到的文本行中确定单个词的词位置信息，包括：

26、将文本分割处理后的内容检测区域输入至训练好的文本识别模型，获得输出的文本行识别结果；

27、根据所述文本行识别结果中的占位符及非占位符的字符位置信息，确定每个非占位符的单字符信息；

28、通过对所述文本行识别结果的分词处理，获得所述文本行中所包含各分词的分词组成内容；

29、根据所述单字符信息及所述分词组成内容，确定文本行中所包含各词的词位置信息。

30、进一步地，所述根据所述文本行识别结果中的占位符及非占位符的字符位置信息，确定每个非占位符的单字符信息，包括：

31、确定所述文本行识别结果中所包含字符的字符类别，将字符分为占位符及非占位符，并获得各所述占位符的占位字符位置信息及非占位符的非占位字符位置信息；

32、通过所述占位字符位置信息，确定非占位字符之间占位符的平均占位长度；

33、根据所述平均占位长度及各所述非占位字符位置信息，确定每个非占位符的单字符位置信息以及单字符内容信息；

34、基于所述单字符位置信息以及单字符内容信息构成相应非占位符的单字符信息。

35、进一步地，该方法还包括：

36、查找预先设定内容数据库，确定并展示所述目标内容对应的释义信息，以及播放所述目标内容的发音信息。

37、第二方面，本技术实施例提供了一种电子设备，包括：

38、视频采集装置、显示屏和一个或多个处理器，所述处理器运行所述电子设备上的目标内容确定方法，所述视频采集装置向所述处理器发送目标内容确定运行中采集的视频流，所述显示屏在所述目标内容确定方法运行时进行内容显示；其中，

39、所述处理器响应于触发的指尖内容确定操作，启动并接收视频采集装置相对读物采集到的视频流；

40、所述处理器根据视频流中当前视频帧相对在前视频帧的运动变化进行指尖稳定判定；

41、所述处理器在当前判定结果为指尖稳定时，确定所述当前视频帧中的内容检测区域，从所述内容检测区域中确定指尖指向的目标内容；

42、所述电子设备还包括：存储器，用于存储一个或多个程序；

43、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述第一方面实施例所述的方法。

44、第三方面，本技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现如上述第一方面实施例所述的方法。

45、本实施例上述提供的一种目标内容确定方法、电子设备及存储介质，该方法通过响应于触发的指尖内容确定操作，启动并接收视频采集装置相对读物采集到的视频流；之后根据视频流中当前视频帧相对在前视频帧的运动变化进行指尖稳定判定；最终在当前判定结果为指尖稳定时，确定所述当前视频帧中的内容检测区域，从所述内容检测区域中确定指尖指向的目标内容。相比于现有的需要通过指尖定位模型对每一视频帧进行指尖稳定判定，上述技术方案基于当前视频帧相对在前视频帧的运动变化进行指尖稳定判定，计算量较小，节省了计算资源占用且能够较大程度的保证数据不丢失，实现了通过指尖指向读物，快速识别出指尖所指的目标内容，提高了内容识别的准确性。