数据处理方法、装置、终端设备以及存储介质与流程

1.本技术涉及人工智能技术领域，尤其涉及一种数据处理方法、装置、终端设备以及存储介质。


背景技术：

2.随着计算机技术的成熟，人工智能技术也在日益发展。越来越多的研究人员投身于人工智能领域的研究，人工智能竞赛很好的为这些人员提供了一个技术交流的平台，“以赛促生产”是人工智能领域的常用方式，从竞赛结果中获取人工智能的生产价值，可以有效地促进人工智能技术的发展。在组织人工智能竞赛时，通常需要人工智能竞赛平台。
3.目前的人工智能竞赛平台，参赛者通常将相关赛题的开源数据集下载到本地存储，通过本地设备创建开发环境，建立模型并从本地调取数据集以完成模型的训练工作并生成结果文件。对于一些涉及到企业内部生产数据的竞赛，将开源数据集下载到本地存储的方式并不能满足企业对于内部数据安全性及保密性的需要。


技术实现要素：

4.本技术提供一种数据处理方法、装置、终端设备以及存储介质，用以解决企业组织的内部人工智能竞赛中，内部生产数据存在泄露的风险，安全性较差的问题。
5.一方面，本技术提供一种数据处理的方法，包括：
6.第一终端基于数据处理平台登录服务器；服务器的数据集仓库中设置有多个任务对应的数据文件，数据集仓库禁止来自第一终端的下载和上传；
7.第一终端在数据处理平台中选定目标任务；目标任务为多个任务中的其中一个；
8.第一终端在执行目标任务时，从数据集仓库获取目标任务对应的数据文件，以及根据目标任务对应的数据文件进行数据处理，得到处理结果；
9.第一终端基于数据处理平台向服务器发送处理结果。
10.可选的，第一终端在执行目标任务时，从数据集仓库获取目标任务对应的数据文件，包括：
11.第一终端创建虚拟的在线开发环境；在线开发环境包括镜像、在线集成开发环境ide工具jupyter notebook、定制化代码及数据集引用程序，在线集成开发环境ide工具jupyter notebook用于供用户进入在线开发环境；定制化代码用于对jupyter notebook进行定制化开发，以删除数据文件的上传与下载功能；数据集引用程序用于调取数据集仓库中的数据文件；
12.第一终端在在线开发环境执行目标任务时，利用数据集引用程序从数据集仓库获取目标任务对应的数据文件。
13.可选的，在线开发环境，还用于连接功能性插件以实现对用户的视频监控和对操作页面的屏幕录制并保存；方法还包括：
14.第一终端录制用户监控视频以及第一终端的操作页面视频；
15.第一终端基于在线开发环境向服务器发送用户监控视频以及第一终端的操作页面视频。
16.可选的，处理结果包括结果文件及结果文件对应的代码文件，根据目标任务对应的数据文件进行数据处理，得到处理结果，包括：
17.第一终端接收用户在线编写的算法代码，通过数据集引用程序引入用户数据集仓库的数据文件，生成对算法代码进行训练和测试的结果文件及结果文件对应的代码文件。
18.第一终端基于数据处理平台向服务器发送处理结果，包括：
19.第一终端基于数据处理平台接收提交指令；
20.响应于提交指令，第一终端处理结果进行规范性判断，规范性判断用于判断处理结果是否符合预设规范；
21.若处理结果符合预设规范，则第一终端将处理结果、视频监控文件及屏幕录制文件提交至服务器。
22.可选的，第一终端在数据处理平台中选定目标任务，包括：
23.第一终端显示报名信息页面以及赛题信息页面，报名信息页面用于参赛者填写报名信息；赛题信息页面用于参赛者浏览赛题任务信息；报名信息包括赛区信息；
24.第一终端在报名信息页面接收对目标任务的第一报名信息；
25.第一终端将第一报名信息经由服务器发送至第二终端；其中，在第一报名信息在第二终端审核通过的情况下，第一报名信息将存储在服务器中；
26.第一终端从服务器获取隔离配置后的目标任务的信息；隔离配置用于区别不同报名者得到的信息的范围。
27.第二方面，本技术实施例提供一种数据处理装置，包括：
28.登录模块，用于第一终端基于数据处理平台登录服务器；服务器的数据集仓库中设置有多个任务对应的数据文件，数据集仓库禁止来自第一终端的下载和上传；
29.选定模块，用于第一终端在数据处理平台中选定目标任务；目标任务为多个任务中的其中一个；
30.第一处理模块，用于第一终端在执行目标任务时，从数据集仓库获取目标任务对应的数据文件，以及根据目标任务对应的数据文件进行数据处理，得到处理结果；
31.第一发送模块，用于第一终端基于数据处理平台向服务器发送处理结果。
32.可选的，处理模块，用于第一终端在执行目标任务时，从数据集仓库获取目标任务对应的数据文件，包括：
33.开发环境模块，用于第一终端创建虚拟的在线开发环境；在线开发环境包括镜像、在线集成开发环境ide工具jupyter notebook、定制化代码及数据集引用程序，在线集成开发环境ide工具jupyter notebook用于供用户进入在线开发环境；定制化代码用于对jupyter notebook进行定制化开发，以删除数据文件的上传与下载功能；数据集引用程序用于调取数据集仓库中的数据文件；
34.数据集引用模块，用于第一终端在在线开发环境执行目标任务时，利用数据集引用程序从数据集仓库获取目标任务对应的数据文件。
35.可选的，开发环境模块，还用于连接功能性插件以实现对用户的视频监控和对操作页面的屏幕录制并保存；装置还包括：
36.监测模块，用于第一终端录制用户监控视频以及第一终端的操作页面视频；
37.第二发送模块，用于第一终端基于在线开发环境向服务器发送用户监控视频以及第一终端的操作页面视频。
38.可选的，处理结果包括结果文件及结果文件对应的代码文件，第一处理模块中根据目标任务对应的数据文件进行数据处理，得到处理结果，包括：
39.第二处理模块，用于第一终端接收用户在线编写的算法代码，通过数据集引用程序引入用户数据集仓库的数据文件，生成对算法代码进行训练和测试的结果文件及结果文件对应的代码文件。
40.可选的，第一发送模块，用于第一终端基于数据处理平台向服务器发送处理结果，包括：
41.第一接收模块，用于第一终端基于数据处理平台接收提交指令；
42.判断模块，用于响应于提交指令，第一终端处理结果进行规范性判断，规范性判断用于判断处理结果是否符合预设规范；
43.提交模块，用于若处理结果符合预设规范，则第一终端将处理结果、视频监控文件及屏幕录制文件提交至服务器。
44.可选的，选定模块，用于第一终端在数据处理平台中选定目标任务，包括：
45.显示模块，用于第一终端显示报名信息页面以及赛题信息页面，报名信息页面用于参赛者填写报名信息；赛题信息页面用于参赛者浏览赛题任务信息；报名信息包括赛区信息；
46.第二接收模块，用于第一终端在报名信息页面接收对目标任务的第一报名信息；
47.第三发送模块，用于第一终端将第一报名信息经由服务器发送至第二终端；其中，在第一报名信息在第二终端审核通过的情况下，第一报名信息将存储在服务器中；
48.获取模块，用于第一终端从服务器获取隔离配置后的目标任务的信息；隔离配置用于区别不同报名者得到的信息的范围。
49.第三方面，本技术实施例提供一种数据处理系统，数据处理系统包括第一终端、第二终端和服务器，包括：
50.第二终端基于数据处理平台将任务发布至服务器；
51.第一终端基于数据处理平台登录服务器；服务器的数据集仓库中设置有多个任务对应的数据文件，数据集仓库禁止来自第一终端的下载和上传；
52.第二终端接收第一终端在登录时上传的第一报名信息并对第一报名信息进行审核；
53.第二终端根据第一报名信息的审核结果对第一终端进行所能选择的任务数据进行隔离配置；
54.第一终端在数据处理平台中选定目标任务；目标任务为隔离配置后的多个任务中的其中一个；
55.第一终端在执行目标任务时，从数据集仓库获取目标任务对应的数据文件，以及根据目标任务对应的数据文件进行数据处理，得到处理结果；
56.第一终端基于数据处理平台向服务器发送处理结果；
57.第二终端审核第一终端发送到服务器的处理结果。
58.第四方面，本技术实施例提供一种终端设备，包括：存储器和处理器；
59.存储器用于存储计算机指令；处理器用于运行存储器存储的计算机指令实现第一方面中任一项的方法。
60.第五方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现第一方面中任一项的方法。
61.第六方面，本技术实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面中任一项的方法。
62.本技术实施例提供的数据处理方法、装置、终端设备以及存储介质，通过第一终端基于数据处理平台登录服务器后，在数据处理平台中选定目标任务，服务器的数据集仓库中设置有多个任务对应的数据文件，数据集仓库禁止来自第一终端的下载和上传，当第一终端在执行目标任务时，从数据集仓库获取目标任务对应的数据文件，以及根据目标任务对应的数据文件进行数据处理，得到处理结果并将处理结果发送至服务器。在上述过程中，参赛者在执行目标任务时，从服务器的数据集仓库中引入数据文件，且数据集仓库禁止来自第一终端的下载和上传，这样，数据集仓库的数据文件在数据处理平台上进行流通，没有离开过数据处理平台，做到了数据不离台，同时数据文件不能被参赛者下载到本地设备，进而提升了数据文件的安全性以及保密性。
附图说明
63.图1为本技术实施例提供的应用场景示意图；
64.图2为本技术一实施例提供的数据处理方法的流程示意图；
65.图3为本技术另一实施例提供的数据处理方法的流程示意图；
66.图4为本技术又一实施例提供的数据处理方法的流程示意图；
67.图5为本技术又一实施例提供的数据处理方法的流程示意图；
68.图6为本技术又一实施例提供的数据处理方法的流程示意图；
69.图7为本技术一实施例提供的数据处理装置的结构示意图；
70.图8为本技术一实施例提供的数据处理终端设备的结构示意图。
具体实施方式
71.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
72.首先对本技术所涉及的名词进行解释：
73.人工智能竞赛：人工智能(artificial intelligence,ai)是计算机科学的一个分支。人工智能是对人的意识、思维的信息过程的模拟。可用于智能控制，机器人学，语言和图像理解，遗传算法，自动程序设计，航天应用，大数据处理，执行化合生命体无法执行的或复杂或规模庞大的任务等。顾名思义，人工智能竞赛是组织者围绕着各类人工智能技术所举办的竞赛活动。
74.本技术实施例提供的数据处理方法，可以适用于图1所示的人工智能竞赛系统架
构示意图。如图1所示，该人工智能竞赛系统包括：服务器101、第一终端102以及第二终端103，其中，服务器101与终端设备连接，用于监控人工智能竞赛的参赛环境以及对参赛者成绩进行排行。第一终端102为参赛者报名、参赛、提交赛题结果的终端设备，参赛者通过在第一终端102注册或登录参赛者帐号接入服务器101；第二终端103为管理者对人工智能竞赛进行管理、设置的终端设备，管理者通过在第二终端103输入管理者帐号接入服务器101。可以理解的是，第一终端与第二终端可以是一台或多台。
75.本技术具体的应用场景为第一终端102为参赛者提供一参赛界面，参赛者可浏览相关赛事，选择感兴趣的人工智能竞赛进行报名，在赛事规定时间内获取赛题并提交竞赛结果，参赛者提交结果后，可实时查看排名情况等。第二终端103为管理者提供多个管理页面，管理页面包括：团队管理、赛题管理、配置隔离、审核报名以及成绩查询页面等，管理者选择目标管理界面以执行其相应的管理权限。例如：“团队管理”管理页面提供团队名称、赛区、队长姓名，参赛时间等，管理者可在搜索框输入关键字搜索团队名称，快速查找相关团队并进行编辑或删除。
76.可能的实现中，人工智能竞赛系统仍存在以下问题：
77.企业组织的内部竞赛对数据保密性要求较高，多数竞赛方法中使用将开源数据集下载到本地设备进行存储，开源数据集是随其源代码一起分发的常规数据集，用户可以自由地阅读、修改和扩展软件。这意味着企业内部举办的人工智能竞赛中的源代码数据会脱离竞赛平台，存储于参赛者们所使用的本地设备上，可能出现企业内部数据泄露的风险，无法满足企业对于数据安全及保密层面的需求。
78.针对上述问题，本技术提供一种人工智能竞赛的方法，设计了一套安全的人工智能竞赛方案。在管理者发布赛题数据集、参赛者订阅赛题将赛题同步至参赛者的数据集仓库中以及参赛者引用数据文件的过程中，数据文件始终流通于平台内部的数据集仓库中，保证了全流程数据不会离开平台，减少了在人工智能竞赛过程使用开源数据集对数据安全性的影响，提升的竞赛数据的安全性和保密性。下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
79.图2为本技术实施例提供的数据处理方法的流程示意图。请参见图2，该方法可以包括：
80.s201、第一终端基于数据处理平台登录服务器；服务器的数据集仓库中设置有多个任务对应的数据文件，数据集仓库禁止来自第一终端的下载和上传。
81.本技术实施例可以应用于数据处理系统。数据处理系统包括第一终端、第二终端及服务器。第一终端为参赛者所使用的终端设备，可选的，第一终端可以为手机、平板电脑、笔记本等设备。第二终端为管理者所使用的终端设备。数据处理平台主要是为用户(管理者、参赛者或非参赛人员)提供数据的收集、处理、审核、评分、展示的平台，可支持多个不同的终端设备同时登录，数据处理平台可显示不同功能的可视化操作页面，用户基于可视化操作页面进行对应操作。
82.公司的内部数据平台，主要是给各业务提供数据处理、分析、展示，供内部所有部门人员使用的，涉及数据的收集(填报)、数据的整合、业务报表制作、业务员数据分析以及
可视化数据展示，
83.第一终端基于数据处理平台登录服务器，与服务器建立连接。可选的，参赛者可以通过帐号登录，扫描二维码、人脸识别等方式验证用户信息以登录数据处理平台，本技术实施例对登陆方式不作具体限定。管理者基于数据处理平台发布任务以及发布与之对应数据集的数据文件，服务器中设置有存储数据集的数据集仓库。数据集仓库的数据文件无法下载到第一终端的本地设备上。
84.s202、第一终端在数据处理平台中选定目标任务；目标任务为多个任务中的其中一个。
85.参赛者登录数据处理平台后，可在第一终端提供的任务页面自行浏览，并选择感兴趣的任务作为目标任务。目标任务为数据处理平台上发布的多个任务中的其中一个，可选的，参赛者感兴趣的任务较多，也可选定多个任务，但多个任务中任意两个任务无法同时执行。可以理解的是，同一参赛者无法参加同时间的两个场次的人工智能竞赛。
86.s203、第一终端在执行目标任务时，从数据集仓库获取目标任务对应的数据文件，以及根据目标任务对应的数据文件进行数据处理，得到处理结果。
87.数据处理平台的数据集仓库中存储有目标任务所对应的数据文件，参赛者在第一终端上执行目标任务时，从数据集仓库引入目标任务所对应的数据文件，根据目标任务所对应的数据文件对目标任务进行处理，生成处理结果。
88.具体的，根据目标任务对应的数据文件进行数据处理，得到处理结果，包括：第一终端接收参赛者在线编写的算法代码，通过数据集引用程序引入参赛者的数据集仓库的数据文件，生成对算法代码进行训练和测试的结果文件及结果文件对应的代码文件。处理结果包括结果文件及结果文件对应的代码文件。
89.s204、第一终端基于数据处理平台向服务器发送处理结果。
90.生成处理结果后，参赛者可在第一终端提供的提交页面上将处理结果的结果文件发送至服务器，以备服务器后续对结果文件进行计分与审查。
91.本实施例提供的数据处理方法，通过第一终端基于数据处理平台登录服务器后，在数据处理平台中选定目标任务，服务器的数据集仓库中设置有多个任务对应的数据文件，数据集仓库禁止来自第一终端的下载和上传，当第一终端在执行目标任务时，从数据集仓库获取目标任务对应的数据文件，以及根据目标任务对应的数据文件进行数据处理，得到处理结果并将处理结果发送至服务器。在上述过程中，参赛者在执行目标任务时，从服务器的数据集仓库中引入数据文件，且数据集仓库禁止来自第一终端的下载和上传，这样，集仓库的数据文件在数据处理平台上进行流通，没有离开过数据处理平台，做到了数据不离台，同时数据文件不能被参赛者下载到本地设备，进而提升数据文件的安全性以及保密性。
92.图3为本技术实施例提供的第一终端在执行目标任务时，从数据集仓库获取目标任务对应的数据文件的方法的流程示意图，如图3所示，在图2所示实施例的基础上，s203包括：
93.s301、第一终端创建虚拟的在线开发环境；在线开发环境包括镜像、在线集成开发环境ide工具jupyter notebook、定制化代码及数据集引用程序，在线集成开发环境ide工具jupyter notebook用于供用户进入在线开发环境；定制化代码用于对jupyter notebook进行定制化开发，以删除数据文件的上传与下载功能；数据集引用程序用于调取数据集仓
库中的数据文件。
94.管理者在发布任务时，可以判断数据处理平台中的开发环境是否满足本次任务的开发环境条件，若满足本次任务的开发环境条件，则参赛者执行本次任务时可使用数据处理平台中的开发环境，否则的话，管理者可向数据处理平台自行上传支持本次任务的开发环境。对于开发环境，本技术不做限制。
95.例如，在线开发环境包括镜像、在线集成开发环境ide工具jupyter notebook、定制化代码及数据集引用程序。参赛者基于适合竞赛的镜像以及在线集成开发环境ide工具jupyter notebook构建开发环境，在第一终端上进行开发。镜像为包含应用程序以及其相关依赖的一个基础文件系统，镜像创建的环境相当于一台新的虚拟机，供参赛者进入环境后进行开发。一种可能的镜像获取方式中，参赛者可从数据处理平台获取手动封装镜像，镜像中包括python环境以及所有必要的python开发包，包括pandas、sklearn、xgboost、tensorflow等)，借助在线ide工具jupyter notebook，进入开发环境。
96.一种可能的方式中，参赛者进入开发环境后，可进行linux终端操作、py文件开发、notebook文件开发，也可进行其他代码的开发。
97.创建的开发环境中还包括定制化代码，定制化代码对开发环境进行了限制，使得进入开发环境的参赛者无法上传或者下载数据文件。
98.可选的，在线开发环境还用于连接功能性插件以实现对用户的视频监控和对操作页面的屏幕录制并保存。
99.第一终端在执行目标任务的过程中，在线开发环境实时监测参赛者的行为操作；
100.可选的，第一终端录制用户监控视频以及第一终端的操作页面视频。在线开发环境可接入功能性插件，在任务执行过程中开启第一终端的摄像头并录制参赛者的面部表情、行为动作及语音内容。在线开发环境可接入功能性插件，开启第一终端的操作页面的录屏，以监测任务执行过程中，第一终端的操作页面上有无参赛者的违规操作，在录制屏幕的同时，开发环境还可以抓取参赛者的页面操作中异常操作行为网络互联协议(internet protocol，ip)。一种可能的方式中，在线开发环境可以借助谷歌浏览器插件功能，实现强制视频监控与视频存储；在线开发环境还可以借助谷歌浏览器插件功能，实现强制屏幕录制与内容存储；
101.可选的，第一终端基于在线开发环境向服务器发送用户监控视频以及第一终端的操作页面视频。一种可能的方式中，监控视频以及操作页面视频可在任务执行完毕后由第一终端发送至服务器，后续对监控视频和操作页面视频进行自动审核或人工审核；也可以向服务器实时发送监控视频及操作页面视频，一旦监测到参赛者的违规行为，取消其当前场次的参赛资格。
102.s302、第一终端在在线开发环境执行目标任务时，利用数据集引用程序从数据集仓库获取目标任务对应的数据文件。
103.定制化代码限制了数据文件的上传与下载，平台在环境内部开发了一套数据集引用功能的程序，当第一终端在执行任务时，可通过具有数据集引用功能的数据集引用程序从数据集仓库中引用与目标任务对应的数据文件。通过这种方式引入数据文件并进行代码开发。
104.本实施例提供的数据处理方法，第一终端创建虚拟的在线开发环境，第一终端在
在线开发环境执行目标任务时，利用数据集引用程序从数据集仓库获取目标任务对应的数据文件。在线开发环境限制了数据文件的上传与下载，并通过从数据集仓库获取目标任务对应的数据文件的方式，确保数据不离台，提升了数据文件的安全性以及保密性。
105.图4为本技术实施例提供的数据处理的方法流程示意图，如图4所示，在上述实施例的基础上，s204包括：
106.s401、第一终端基于数据处理平台接收提交指令。
107.具体的，第一终端提供一任务提交界面，参赛者点击提交按钮后，页面跳转至结果提交页面，参赛者在结果提交页面的对应位置提交结果文件以及代码文件。
108.s402、响应于提交指令，第一终端对处理结果进行规范性判断，规范性判断用于判断处理结果是否符合预设规范。
109.s403、若处理结果符合预设规范，则第一终端将处理结果、视频监控文件及屏幕录制文件提交至服务器。
110.参赛者提交结果文件后，第一终端对结果文件的格式(行数与所需一致、未出现非数值等)进行规范性判断，若结果文件的格式符合规范性，方可成功提交，否则第一终端报错处理以提醒参赛者修改对应格式，并重新提交。结果文件提交成功后，代码文件、视频监控文件及屏幕录制文件一并发送至服务器，以备后续的人工审查。
111.s404、服务器接收结果文件，统计结果文件的分数。
112.服务器对第一终端提交的结果文件与管理者从第二终端上传的标准答案进行算法比对。根据参赛者的任务类型选择相应的计分方法，任务类型包括：分类任务与回归任务。
113.可选的，对于分类任务，分类任务为能够明确个数标准答案的任务，采用macro方法的f1值进行分数计算:
114.a1、获取每个类别的f1-scorei：
115.计算精准度/查准率(precision)与召回率/查全率(recall)：
[0116][0117][0118][0119]
precision指被分类器判定正例中的正样本的比重，recall指被预测为正例的占总的正例的比重，tp(true positive)为预测答案正确，fp(false positive)为将其他类预测为本类标签，fn(false negative)为将本类标签预测为其他类。
[0120]
a2、计算macro f1score。
[0121][0122]
其中macro f1score为全部f1-scorei的和的平均值，n为类别数量。
[0123]
可选的，对于回归类问题，采用mae值进行评价:
[0124]
b1、
[0125]
其中，mae为平均绝对误差，yi是实际值，是对yi的预测值，n为总量。
[0126]
s405、服务器基于结果文件的分数统计结果进行排名，将排名信息发送至第一终端与第二终端。
[0127]
服务器对结果文件的分数进行排名，对于分类问题，f1值接近于1者排名靠前，对于回归类问题，mae越小者排名靠前。对于同分者，以结果文件的提交时间为评判依据，提交时间在前者排名靠前。参赛者通过第一终端获取排行信息，查阅排名情况，管理者通过第二终端查看排行信息，准备后续的奖品发放。
[0128]
本实施例提供的数据处理方法，第一终端基于数据处理平台接收提交指令，响应于提交指令，第一终端对处理结果进行规范性判断，规范性判断用于判断处理结果是否符合预设规范，若处理结果符合预设规范，则第一终端将处理结果、视频监控文件及屏幕录制文件提交至服务器，服务器接收结果文件，统计结果文件的分数，并基于结果文件的分数统计结果进行排名，第一终端通过数据处理平台获取排行信息。在上述过程中提供了一套具体的发送处理结果以及评判处理结果的方法，处理结果、视频监控文件及屏幕录制文件为反作弊措施加码，提高了人工智能竞赛的公平公正性。
[0129]
图5为本技术实施例提供的第一终端在数据处理平台中选定目标任务的流程示意图。如图5所示，包括：
[0130]
s501、第一终端显示报名信息页面以及赛题信息页面，报名信息页面用于参赛者填写报名信息；赛题信息页面用于参赛者浏览赛题任务信息；报名信息包括赛区信息；
[0131]
第一终端提供报名信息页面与赛题信息页面，参赛者在报名信息页面填写报名信息，报名信息包括团队名称、头像、口号、个人姓名、手机、邮箱、公司部门、队友信息及赛区信息，该操作由队长完成。
[0132]
s502、第一终端在报名信息页面接收对目标任务的第一报名信息；
[0133]
s503、第一终端将第一报名信息经由服务器发送至第二终端；其中，在第一报名信息在第二终端审核通过的情况下，第一报名信息将存储在服务器中；
[0134]
第一终端接收到参赛者填写的第一报名信息后，将第一报名信息发送至服务器，由服务器发送给第二终端，以供管理者对第一报名信息进行审核。审核通过后，第一报名信息将存储到服务器中。
[0135]
s504、第一终端从服务器获取隔离配置后的目标任务的信息；隔离配置用于区别不同报名者得到的信息的范围。
[0136]
配置隔离可以针对不同用户进行数据隔离，包括参赛者与非参赛者之间的数据隔离以及不同赛区的参赛者之间的数据隔离。非参赛者无法在数据处理平台上浏览赛题、排行等，参赛者只能浏览自己赛区的赛题，无法浏览不同赛区的赛题信息。
[0137]
本实施例提供了数据处理平台中参赛者选定目标任务的操作流程，第一终端显示报名信息页面以及赛题信息页面，第一终端在报名信息页面接收对目标任务的第一报名信息，第一终端将第一报名信息经由服务器发送至第二终端，第一终端从服务器获取隔离配置后的目标任务的信息。人工审核报名信息有效的规范了参赛团队的信息与数量，对参赛者进行隔离配置，提升了数据处理平台的数据文件的安全性及保密性。
[0138]
图6为本技术实施例提供的数据处理系统的方法流程图，如图6所示，包括：
[0139]
s601：第二终端基于数据处理平台将任务发布至服务器。
[0140]
第二终端提供“赛题发布”管理页面，管理者通过基于“赛题发布”管理页面发布赛题任务。任务包括：赛题封面、赛题名称、赛题类型、赛题数据集、赛题标准答案、赛题最大允许提交次数、赛题开始时间、赛题截止时间、赛题说明等。任务发布成功后，参赛者可通过第一终端浏览到任务信息，未达开始时间或已过截止时间，无法对任务进行操作。
[0141]
s602：第一终端基于数据处理平台登录服务器；服务器的数据集仓库中设置有多个任务对应的数据文件，数据集仓库禁止来自第一终端的下载和上传。
[0142]
s603：第二终端接收第一终端在登陆时上传的第一报名信息并对第一报名信息进行审核。
[0143]
参赛者填写第一报名信息后，第二终端的“报名审核”管理页面显示第一报名信息，管理者对第一报名信息进行查看与审核，审核时管理者可以选择通过或驳回，驳回则删除这条报名记录，参赛者需重新提交。审核通过后，第一报名信息被保存至服务器中。第二终端还提供“团队管理”管理页面，管理者基于该页面对第一报名信息进行浏览、删除及编辑的操作。
[0144]
s604：第二终端根据第一报名信息的审核结果对第一终端进行所能选择的任务数据进行隔离配置。
[0145]
第一报名信息审核通过后，自动为参赛者加入隔离配置中，管理者也可通过“隔离配置”管理页面手动新增或删除隔离配置。
[0146]
s605：第一终端在数据处理平台中选定目标任务；目标任务为隔离配置后的多个任务中的其中一个。
[0147]
s606：第一终端在执行目标任务时，从数据集仓库获取目标任务对应的数据文件，以及根据目标任务对应的数据文件进行数据处理，得到处理结果。
[0148]
s607：第一终端基于数据处理平台向服务器发送处理结果。
[0149]
s608：第二终端审核第一终端发送到服务器的处理结果。
[0150]
第二终端可调取第一终端提交至服务器的处理结果、视频监控文件及屏幕录制文件，管理者对其进行人工审核。第二终端从服务器中获取排行信息，管理者基于排行信息进行奖品发放。
[0151]
本实施例开发了一套数据处理平台中的操作流程，管理者对进行报名信息审核，有效的规范了参赛团队的信息与数量；赛题发布能够支持不同类型赛题的定制化发布，自由配置比赛时间、提交次数，提升了管理者的使用体验，同时数据不离台增加了数据文件的安全性与保密性。
[0152]
图7为本技术一实施例提供的数据处理装置的结构示意图。如图7所示，本实施例提供的数据处理装置70可以包括：
[0153]
登录模块701，用于第一终端基于数据处理平台登录服务器；服务器的数据集仓库中设置有多个任务对应的数据文件，数据集仓库禁止来自第一终端的下载和上传。
[0154]
选定模块702，用于第一终端在数据处理平台中选定目标任务；目标任务为多个任务中的其中一个。
[0155]
第一处理模块703，用于第一终端在执行目标任务时，从数据集仓库获取目标任务
对应的数据文件，以及根据目标任务对应的数据文件进行数据处理，得到处理结果。
[0156]
第一发送模块704，用于第一终端基于数据处理平台向服务器发送处理结果。
[0157]
可选的，第一处理模块703，用于第一终端在执行目标任务时，从数据集仓库获取目标任务对应的数据文件，具体包括：
[0158]
开发环境模块，用于第一终端创建虚拟的在线开发环境；在线开发环境包括镜像、在线集成开发环境ide工具jupyter notebook、定制化代码及数据集引用程序，在线集成开发环境ide工具jupyter notebook用于供用户进入在线开发环境；定制化代码用于对jupyter notebook进行定制化开发，以删除数据文件的上传与下载功能；数据集引用程序用于调取数据集仓库中的数据文件。
[0159]
可选的，开发环境模块，还用于连接功能性插件以实现对用户的视频监控和对操作页面的屏幕录制并保存，包括：监测模块和第二发送模块：
[0160]
监测模块，用于第一终端录制用户监控视频以及第一终端的操作页面视频。
[0161]
第二发送模块，用于第一终端基于在线开发环境向服务器发送用户监控视频以及第一终端的操作页面视频。
[0162]
数据集引用模块，用于第一终端在在线开发环境执行目标任务时，利用数据集引用程序从数据集仓库获取目标任务对应的数据文件。
[0163]
可选的，第一处理模块703，用于根据目标任务对应的数据文件进行数据处理，得到处理结果，处理结果包括结果文件及结果文件对应的代码文件，具体包括：
[0164]
第二处理模块，用于第一终端接收用户在线编写的算法代码，通过数据集引用程序引入用户数据集仓库的数据文件，生成对算法代码进行训练和测试的结果文件及结果文件对应的代码文件。
[0165]
可选的，第一发送模块704，用于第一终端基于数据处理平台向服务器发送处理结果，具体包括：
[0166]
第一接收模块，用于第一终端基于数据处理平台接收提交指令。
[0167]
判断模块，用于第一终端响应于提交指令，第一终端对处理结果进行规范性判断，规范性判断用于判断处理结果是否符合预设规范。
[0168]
提交模块，用于若处理结果符合预设规范，则第一终端将处理结果、视频监控文件及屏幕录制文件提交至服务器。
[0169]
可选的，选定模块702，用于第一终端在数据处理平台中选定目标任务，具体包括：
[0170]
显示模块，用于第一终端显示报名信息页面以及赛题信息页面，报名信息页面用于参赛者填写报名信息；赛题信息页面用于参赛者浏览赛题任务信息；报名信息包括赛区信息。
[0171]
第二接收模块，用于第一终端在报名信息页面接收对目标任务的第一报名信息。
[0172]
第三发送模块，用于第一终端将第一报名信息经由服务器发送至第二终端；其中，在第一报名信息在第二终端审核通过的情况下，第一报名信息将存储在服务器中。
[0173]
获取模块，用于第一终端从服务器获取隔离配置后的目标任务的信息；隔离配置用于区别不同报名者得到的信息的范围。
[0174]
本技术实施例的数据处理装置，可以用于执行上述数据处理方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0175]
图8为本技术一实施例提供的数据处理终端设备的结构示意图。如图8所示，本实施例提供的数据处理终端设备80可以包括：
[0176]
处理器801；以及
[0177]
存储器802，用于存储终端设备的可执行指令；
[0178]
其中，处理器配置为经由执行可执行指令来执行上述数据处理方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0179]
本技术实施例中还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述数据处理方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0180]
本技术实施例中还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述数据处理方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0181]
在上述终端设备或者服务器的具体实现中，应理解，处理器可以是中央处理单元(英文：central processing unit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，简称：dsp)、专用集成电路(英文：application specific integrated circuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0182]
本领域技术人员可以理解，上述任一方法实施例的全部或部分步骤可以通过与程序指令相关的硬件来完成。前述的程序可以存储于计算机可读取存储介质中，该程序被执行时，执行上述方法实施例的全部或部分的步骤。
[0183]
本技术技术方案如果以软件的形式实现并作为产品销售或使用时，可以存储在计算机可读取存储介质中。基于这样的理解，本技术的技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括计算机程序或者若干指令。该计算机软件产品使得计算机设备(可以是个人计算机、服务器、网络设备或者类似的电子设备)执行本技术实施例一所述方法的全部或部分步骤。前述的存储介质可以是u盘、移动硬盘、rom、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0184]
最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本发申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。