网络空间数据获取方法、系统及介质与流程

1.本发明涉及计算机领域，特别涉及一种网络空间数据获取方法、系统及介质。


背景技术：

2.在公安行业，证据对于案件的审理是很重要的，我国法律重视证据。从侦查、起诉、辩护、审判、等方面明确证据的认定标准和排除非法证据，切实防范冤假错案产生。在信息发达的现代社会，网络犯罪呈上升趋势，网络犯罪具备传统犯罪不一样的特征，其中网络犯罪证据的取证成为认定的关键工作。目前网络犯罪证据的取证主要是面向网络空间的电子数据，对这些内容进行收集、提取电子数据；能够获取原始存储介质的，应当封存原始存储介质，并制作笔录，记录原始存储介质的封存状态，由侦查人员、原始存储介质持有人签名或者盖章。无法获取原始存储介质的，可以远程提取电子数据，但应当在笔录中注明不能获取原始存储介质的原因、原始存储介质的存放地点等情况，并由侦查人员、电子数据持有人、提供人签名或者盖章。
3.网络空间在线取证即通过远程访问电子数据的方式获取网络犯罪证据！
4.目前网络空间取证主要是警察进行人工操作来获取，警察接警后获取案情和犯罪信息、线索，主要是嫌疑url地址或其他网络资源的地址，然后对取证设备进行规范处理，消除干扰因素，通过工具(如：浏览器)访问网络地址(如：url)抵达“现场”(站点、网页或网络资源所在处)，进行逐项取证和固定操作，基于取证的数据按规范制作法律文书；目前通过人工取证时url地址多、页面上菜单按钮多，要逐个点击打开，有的时候要几个小时甚至通宵执行取证操作，而且取证不及时则证据可能会被犯罪分子删除而消失！
5.而目前市面上其他技术的自动化取证方式主要为通过脚本、js代码注入、爬虫技术进行自动化网页数据爬取，这种方式一方面是对犯罪内容进行了修改(注入等方式是侵入式的，会影响证据不容改变的要求)，主流网站会进行反爬虫使得取证工作被犯罪嫌疑人发现、反制。


技术实现要素：

6.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种网络空间数据获取方法，能够以模拟人工操作的方式进行网络资源的操作，可防止被反爬虫技术检测和拦截。
7.本发明还提出一种网络空间数据获取系统。
8.本发明还提出一种实施上述网络空间数据获取方法的计算机可读存储介质。
9.根据本发明的第一方面实施例的网络空间数据获取方法，包括以下步骤：基于rpa机器人执行取证步骤，包括：获取空间取证地址信息，加载脚本文件和流程文件，并启动取证脚本程序和流程，启动记录功能；启动网络资源访问所依赖的基础设施，访问所述空间取证地址信息对应的网络资源，并模拟鉴权和模拟人工操作来获取网络空间数据；对网络空间数据的前端界面进行截图保存，保存为第一取证数据；通过所述记录功能记录取证全程
操作过程，保存为第二取证数据；上传取证数据至取证服务器，取证服务器调用文书模板，进行自动化数据录入生成文书。
10.根据本发明实施例的网络空间数据获取方法，至少具有如下有益效果：
11.1.整个过程的业务操作自动化流程符合公安取证规范，可提高网络空间数据取证的自动化程度；
12.2.本发明实施例基于rpa技术实现，以模拟人工操作的方式进行网络资源的操作，可防止被反爬虫技术检测和拦截；
13.3.对目标网络资源以模拟人工操作方式进行数据抓取，对目标网络资源(网站、数据)的访问是非侵入式的，对数据不会造成篡改污染，符合公检法等单位取证要求。
14.根据本发明的一些实施例，获取空间取证地址信息，加载脚本文件和流程文件前，所述方法还包括：取证后台服务获取案件基础信息，并连接检查取证机器人程序；所述取证机器人程序运行后，执行以下步骤：进行取证服务器主机系统状态检查，校准所述取证服务器时间；进行取证服务器操作系统环境准备。
15.根据本发明的一些实施例，所述进行取证服务器操作系统环境准备包括：清理浏览器缓存、关闭浏览器及清理应用程序缓存。
16.根据本发明的一些实施例，所述模拟鉴权和模拟人工操作来获取网络空间数据包括：调用本地操作函数对访问网络资源的鉴权控制进行模拟鉴权；调用操作函数库，模拟人工操作登录后的网页和/或应用程序系统界面，进行网络空间数据获取。
17.根据本发明的一些实施例，所述保存为第一取证数据和保存为第二取证数据包括：保存结果到本地并调用sha1工具进行计算生成唯一序列，保存唯一序列及对应关系。
18.根据本发明的一些实施例，所述方法还包括：上传所述取证数据前，把本地取证数据打包压缩；取证服务器接收所述取证数据的数据压缩包，对所述数据压缩包进行解压及sha1值校验。
19.根据本发明的一些实施例，所述自动化数据录入生成文书包括：填写基础案件信息、嵌入取证的截图、引用数据文件及证据固定的校验数据。
20.根据本发明的一些实施例，所述启动记录功能包括启动屏幕视频录制功能。
21.根据本发明的第二方面实施例的网络空间数据获取系统，包括：取证机器人，用于执行以下步骤：获取空间取证地址信息，加载脚本文件和流程文件，并启动取证脚本程序和流程，启动记录功能；启动网络资源访问所依赖的基础设施，访问所述空间取证地址信息对应的网络资源，并模拟鉴权和模拟人工操作来获取网络空间数据；对网络空间数据的前端界面进行截图保存，保存为第一取证数据；通过所述记录功能记录取证机器人取证全程操作过程，保存为第二取证数据；取证服务器，用于接收取证机器人上传的取证数据，调用文书模板，进行自动化数据录入生成文书。
22.根据本发明实施例的网络空间数据获取系统，至少具有如下有益效果：
23.1.整个过程的业务操作自动化流程符合公安取证规范，可提高网络空间数据取证的自动化程度；
24.2.本发明实施例基于rpa技术实现，以模拟人工操作的方式进行网络资源的操作，可防止被反爬虫技术检测和拦截；
25.3.对目标网络资源以模拟人工操作方式进行数据抓取，对目标网络资源(网站、数
据)的访问是非侵入式的，对数据不会造成篡改污染，符合公检法等单位取证要求。
26.根据本发明的第三方面实施例的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明的第一方面实施例的中任一项的方法。
27.由于本发明实施例的计算机可读存储介质上存储有用于执行如本发明第一方面中任一项所述的网络空间数据获取方法的计算机可执行指令，因此具有本发明第一方面的所有有益效果。
28.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
29.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
30.图1为本发明实施例的方法的流程示意图；
31.图2为本发明实施例的系统的模块示意框图。
具体实施方式
32.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
33.在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个及两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
34.在本发明的描述中，步骤标号仅是为了描述的方便或者引述的方便所作出的标识，而不能理解为对步骤的操作顺序的限定。
35.本发明实施例提出基于rpa技术(robot icprocess automat ion，机器人流程自动化)实现公安行业对网络空间案件线索及证据进行固定，实现证据采集工作全流程的自动化证据提取及笔录制作。rpa技术实现的好处是模拟人工方式进行数据自动获取，防止被反爬虫技术检测和拦截，减少被嫌疑人发现的风险；基于rpa技术结合业务特性制定符合公安取证规范的自动化取证流程，可提高网络空间数据取证的自动化程度，可以大幅降低公安民警取证的成本，提高取证效率，为公安机关打击网络犯罪提供有力工具，具备极高的社会和经济效益。
36.参照图1，本发明实施例的方法主要包括以下步骤：
37.s100、取证机器人获取空间取证地址信息，加载脚本文件和流程文件，并启动取证脚本程序和流程，启动记录功能；
38.s200、取证机器人启动网络资源访问所依赖的基础设施，访问空间取证地址信息对应的网络资源，并模拟鉴权和模拟人工操作来获取网络空间数据；
39.s300、取证机器人对网络空间数据的前端界面进行截图保存，保存为第一取证数据；
40.s400、通过记录功能记录取证机器人取证全程操作过程，保存为第二取证数据；
41.s500、取证服务器接收取证机器人上传的取证数据，调用文书模板，进行自动化数据录入生成文书。
42.在实施网络空间数据获取前，先定义网络在线的取证步骤，对取证步骤进行分组；设置步骤依赖顺序序列，设置分组执行序列，形成执行总体序列。然后rpa机器人读取取证序列数据；用户录入网络空间取证数据基本信息(即url链接等网络资源目标地址)，形成案件数据。最后取证机器人获取案件数据，开始按照预设步骤进行取证。
43.在一些实施例中，取证机器人获取空间取证地址信息，加载脚本文件和流程文件前，取证后台服务获取案件基础信息，并连接取证机器人；取证机器人进行取证服务器主机系统状态检查，校准取证服务器时间；取证机器人进行取证服务器操作系统环境准备。
44.在一些实施例中，取证机器人进行取证服务器操作系统环境准备包括：清理浏览器缓存、关闭浏览器及清理应用程序缓存。
45.在一些实施例中，模拟鉴权和模拟人工操作来获取网络空间数据包括：取证机器人调用本地操作函数对访问网络资源的鉴权控制进行模拟鉴权；取证机器人调用操作函数库，模拟人工操作登录后的网页和/或应用程序系统界面，进行网络空间数据获取。
46.在一些实施例中，保存为第一取证数据和保存为第二取证数据包括：保存结果到本地并调用sha1工具进行计算生成唯一序列，保存唯一序列及对应关系。
47.在一些实施例中，取证机器人上传取证数据前，取证机器人把本地取证数据打包压缩；取证服务器接收取证机器人上传的取证数据的数据压缩包，对数据压缩包进行解压及sha1值校验。
48.在一些实施例中，自动化数据录入生成文书包括：填写基础案件信息、嵌入取证的截图、引用数据文件及证据固定的校验数据。
49.在一些实施例中，启动记录功能包括启动屏幕视频录制功能。
50.在一具体实施例中，本发明实施例的方法包括：空间数据取证准备、空间数据取证、证据(数据)保存、数据上传及取证服务器后台处理。
51.1.空间数据取证准备，取证步骤流程：
52.(1)向取证后台服务输入：基础信息(case_id序列、case_name案件标题、case_addr空间资源取证地址、addr_type取证地址类型、case_info案件信息等)；
53.(2)后台服务远程连接检查空间数据取证机器人程序(以下简称取证机器人)；
54.(3)取证机器人进行取证服务器主机系统状态检查，校准服务器与北京时间；
55.(4)取证机器人进行取证服务器操作系统环境准备，如：清理浏览器缓存、关闭浏览器、清理应用程序缓存。
56.2.空间数据取证，取证步骤流程：
57.(1)取证服务器后台调起取证机器人并发送任务基础信息、取证任务脚本及流程文件；
58.(2)取证机器人读取数据，获得空间取证地址信息、加载脚本文件和流程文件，启动取证脚本程序与流程，启动屏幕视频录制功能；
59.(4)启动浏览器、应用程序、svn、网络文件夹或其他网络资源访问所依赖的基础设施；基础设施启动，依赖取证机器人的操作函数库，操作函数库实现调用操作系统api(如文
件系统、win32)、java虚拟机、浏览器、应用程序接口、操作系统外设驱动；
60.(5)取证机器人调用本地操作函数(模拟输入用户名、密码、自动识别验证码)对访问网络资源的鉴权控制进行模拟鉴权，如：网站登录、微博登录、cs程序登录等应用登录；
61.(6)取证机器人通过调用操作函数库，如鼠标键盘函数、文件系统函数、浏览器函数、win32函数，模拟人工操作登录后的网页、应用程序系统界面，进行网络空间数据获取。
62.3.证据(数据)保存，取证步骤分组：
63.(1)取证全程操作过程通过取证机器人，进行系统桌面视频录像保存，保存结果到本地时调用sha1工具计算生成唯一序列，保存唯一序列及对应关系；
64.(2)取证机器人在目标网络空间数据的前端界面上进行截图保存，如：以嫌疑目标的网页为例，操作浏览器全屏展示，调用截图函数进行页面全页截图，同时调用截图函数按一个画面截一个图(当页面长度大于屏幕分辨率出现侧面滑块条)；保存结果到本地并调用sha1工具进行计算生成唯一序列，保存唯一序列及对应关系；
65.(3)取证机器人把本地取证数据打包压缩；将案件所有取证截图，录屏视频和抽取的文字生成以案件命名的文件夹或介质中；
66.(4)取证机器人通知取证后台服务器，取证工作完成。
67.4.数据上传及取证服务器后台处理：
68.(1)取证服务器后台接收取证机器人上传的数据压缩包；
69.(2)对数据进行解压及sha1值校验；
70.(3)调用文书模板，进行自动化数据录入生成文书；在文书中包括填写基础案件信息，嵌入取证的截图、引用数据文件、证据固定的校验数据；
71.(4)后续警务或专业人员，可以对文书进行研判，增加备注。
72.与前述实施例相对应，本发明还提供了系统的实施例。对于系统实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。
73.参照图2，本发明实施例的系统包括：取证机器人，用于执行以下步骤：获取空间取证地址信息，加载脚本文件和流程文件，并启动取证脚本程序和流程，启动记录功能；启动网络资源访问所依赖的基础设施，访问空间取证地址信息对应的网络资源，并模拟鉴权和模拟人工操作来获取网络空间数据；对网络空间数据的前端界面进行截图保存，保存为第一取证数据；通过记录功能记录取证机器人取证全程操作过程，保存为第二取证数据；取证服务器，用于接收取证机器人上传的取证数据，调用文书模板，进行自动化数据录入生成文书。
74.尽管本文描述了具体实施方案，但是本领域中的普通技术人员将认识到，许多其它修改或另选的实施方案同样处于本公开的范围内。例如，结合特定设备或组件描述的功能和/或处理能力中的任一项可以由任何其它设备或部件来执行。另外，虽然已根据本公开的实施方案描述了各种例示性具体实施和架构，但是本领域中的普通技术人员将认识到，对本文所述的例示性具体实施和架构的许多其它修改也处于本公开的范围内。
75.应当认识到，本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编
译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
76.此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个微处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个微处理器执行的多个指令。
77.进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
78.计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
79.上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。