录屏信息收集方法、装置、设备及存储介质与流程

本发明涉及数据处理，尤其涉及一种录屏信息收集方法、装置、设备及存储介质。

背景技术：

1、随着智能手机的普及，各大平台获取用户信息，常用的方式分为两种，一种为客户提前拍摄好相关平台个人信息的图片，录制好视频，在app内提供入口进行相应图片和视频的上传，后台收到资料后进行存储操作，后续异步对客户信息进行分析操作。另一种形式是app内提供录屏直播的形式，将录屏的视频流通过推流的形式推送到视频服务器中，视频服务器中存储视频后续对其进行分析等。

2、但是第一种通过app收集用户预先拍摄的图片后录制的视频等资料，存证欺诈风险，且因为没有实时的提醒反馈，用户提供的资料并不规范，获取有效信息的效率较低，无形中提高了人力沟通等成本，另一种通过录屏直播形式收集信息，需要额外的视频服务器资源来支持这项服务，这种形式表面上直播的形式，实际的分析工作还是在服务端进行，属于异步的交互形式，在实时反馈方面较差，难以实时判断收集的信息是否正确有效。

3、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供了一种录屏信息收集方法、装置、设备及存储介质，旨在解决传统的个人信息收集方式实时反馈较差，难以实时判断收集的信息是否正确有效的技术问题。

2、为实现上述目的，本发明提供了一种录屏信息收集方法，所述方法包括以下步骤：

3、在接收到目标用户的业务请求时，向云服务器发送动态码请求，并通过录屏扩展启动录屏功能，所述云服务器基于所述动态码请求生成反欺诈动态码；

4、根据所述业务请求跳转至所述业务请求对应的目标软件，并通过tts语音播报向所述目标用户播报所述业务请求对应的操作步骤；

5、在所述目标用户基于所述操作步骤对所述目标软件进行操作时，通过所述录屏扩展获取所述目标用户操作过程对应的视频帧，所述录屏扩展通过socket服务将所述视频帧进行格式优化获得视频帧页面集，所述视频帧页面集包括基于所述反欺诈动态码验证生成的反欺诈页面；

6、通过目标页面识别模型对所述视频帧页面集进行页面识别，并将识别过程中达到匹配阈值时所对应的视频帧页面作为目标页面图像；

7、将所述录屏功能启动过程中所获得的录屏视频、所述目标页面图像和所述反欺诈动态码上传至所述云服务器。

8、可选地，所述在所述目标用户基于所述操作步骤对所述目标软件进行操作时，通过所述录屏扩展获取所述目标用户操作过程对应的视频帧，所述录屏扩展通过socket服务将所述视频帧进行格式优化获得视频帧页面集，包括：

9、在所述目标用户基于所述操作步骤对所述目标软件进行操作时，通过所述录屏扩展获取所述目标用户操作过程对应的视频帧；

10、所述录屏扩展通过socket服务对所述视频帧进行格式转换，获得所述视频帧对应的i420字节数组，并对所述i420字节数组进行拆分压缩处理，获得处理后的i420字节数组；

11、在接收到所述录屏扩展传输的处理后的i420字节数组时，对所述处理后的i420字节数组进行还原，获得视频帧页面集。

12、可选地，所述在接收到所述录屏扩展传输的处理后的i420字节数组时，对所述处理后的i420字节数组进行还原，获得视频帧页面集，包括：

13、在通过socket服务接收到所述录屏扩展传输的处理后的i420字节数组时，对所述处理后的i420字节数组进行拼接组装，获得i420视频帧集；

14、对所述i420视频帧集进行格式转换，获得所述i420视频帧集对应的nv12视频帧集；

15、对所述nv12视频帧集进行系统转换，获得视频帧页面集。

16、可选地，所述通过目标页面识别模型对所述视频帧页面集进行页面识别，并将识别过程中达到匹配阈值时所对应的视频帧页面作为目标页面图像，包括：

17、通过目标页面识别模型对所述视频帧页面集进行页面识别，获得所述视频帧页面集中视频帧页面对应的预测分数；

18、按预设页面顺序依次判断所述视频帧页面集中各视频帧页面的预测分数是否达到匹配阈值；

19、在所述预测分数达到匹配阈值时，将达到所述匹配阈值时所对应的视频帧页面作为目标页面图像。

20、可选地，所述按预设页面顺序依次判断所述视频帧页面集中各视频帧页面的预测分数是否达到匹配阈值，包括：

21、根据所述视频帧页面集构建信任队列，所述信任队列基于先进先出原则存储所述视频帧页面集中的各视频帧页面；

22、按预设页面顺序依次判断所述信任队列中的各视频帧页面是否达到匹配阈值；

23、相应的，所述在所述预测分数达到匹配阈值时，将达到所述匹配阈值时所对应的视频帧页面作为目标页面图像之后，还包括：

24、在所述目标页面图像识别结束时，通过所述录屏扩展关闭录屏功能，并获取所述录屏功能启动过程中所录制的录屏视频。

25、可选地，所述在接收到目标用户的业务请求时，向云服务器发送动态码请求，并通过录屏扩展启动录屏功能，包括：

26、在接收到目标用户的业务请求时，根据所述业务请求向云服务器发送参数配置请求，所述云服务器基于所述参数配置请求生成录屏过程中所需的录屏配置参数，所述录屏配置参数包括录屏时长和预设页面顺序；

27、在接收到所述录屏配置参数时，向所述云服务器发送动态码请求，并通过录屏扩展启动录屏功能；

28、相应的，所述在所述预测分数达到匹配阈值时，将达到所述匹配阈值时所对应的视频帧页面作为目标页面图像之后，还包括：

29、在定时器计时时长达到所述录屏时长时，通过所述录屏扩展关闭录屏功能，并获取所述录屏功能启动过程中所录制的录屏视频。

30、可选地，所述将所述录屏功能启动过程中所获得的录屏视频、所述目标页面图像和所述反欺诈动态码上传至所述云服务器之后，还包括：

31、所述云服务器对所述目标页面图像进行图文转换，获得所述目标页面图像对应的文字信息，所述目标页面图像包括反欺诈页面，所述文字信息包括反欺诈页面信息；

32、所述云服务器基于所述反欺诈动态码对所述反欺诈页面信息进行验证，并判断验证结果是否符合反欺诈要求，在符合反欺诈要求时，结束录屏信息的收集。

33、此外，为实现上述目的，本发明还提出一种录屏信息收集装置，所述装置包括：

34、录屏启动模块，用于在接收到目标用户的业务请求时，向云服务器发送动态码请求，并通过录屏扩展启动录屏功能，所述云服务器基于所述动态码请求生成反欺诈动态码；

35、语音播报模块，用于根据所述业务请求跳转至所述业务请求对应的目标软件，并通过tts语音播报向所述目标用户播报所述业务请求对应的操作步骤；

36、视频帧获取模块，用于在所述目标用户基于所述操作步骤对所述目标软件进行操作时，通过所述录屏扩展获取所述目标用户操作过程对应的视频帧，所述录屏扩展通过socket服务将所述视频帧进行格式优化获得视频帧页面集，所述视频帧页面集包括基于所述反欺诈动态码验证生成的反欺诈页面；

37、页面识别模块，用于通过目标页面识别模型对所述视频帧页面集进行页面识别，并将识别过程中达到匹配阈值时所对应的视频帧页面作为目标页面图像；

38、信息收集模块，用于将所述录屏功能启动过程中所获得的录屏视频、所述目标页面图像和所述反欺诈动态码上传至所述云服务器。

39、此外，为实现上述目的，本发明还提出一种录屏信息收集设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的录屏信息收集程序，所述录屏信息收集程序配置为实现如上文所述的录屏信息收集方法的步骤。

40、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有录屏信息收集程序，所述录屏信息收集程序被处理器执行时实现如上文所述的录屏信息收集方法的步骤。

41、本发明在接收到目标用户的业务请求时，向云服务器发送动态码请求，并通过录屏扩展启动录屏功能，所述云服务器基于所述动态码请求生成反欺诈动态码；根据所述业务请求跳转至所述业务请求对应的目标软件，并通过tts语音播报向所述目标用户播报所述业务请求对应的操作步骤；在所述目标用户基于所述操作步骤对所述目标软件进行操作时，通过所述录屏扩展获取所述目标用户操作过程对应的视频帧，所述录屏扩展通过socket服务将所述视频帧进行格式优化获得视频帧页面集，所述视频帧页面集包括基于所述反欺诈动态码验证生成的反欺诈页面；通过目标页面识别模型对所述视频帧页面集进行页面识别，并将识别过程中达到匹配阈值时所对应的视频帧页面作为目标页面图像；将所述录屏功能启动过程中所获得的录屏视频、所述目标页面图像和所述反欺诈动态码上传至所述云服务器。由于本发明在录屏过程中实时对视频帧进行分析，对于问题操作能实时做出反馈，同时通过识别反欺诈页面检测用户操作的真实性，能够在录屏过程对收集的信息实时反馈，得到准确性较高、真实性较高的录屏信息。