数据处理方法、装置、计算机可读存储介质和处理器与流程

文档序号:28963746发布日期:2022-02-19 13:54阅读:88来源:国知局
数据处理方法、装置、计算机可读存储介质和处理器与流程

1.本发明涉及数据处理领域,具体而言,涉及一种数据处理方法、装置、计算机可读存储介质和处理器。


背景技术:

2.目前,在通过数据训练数据模型时,有些数据的安全是特别需要保护的,比如,隐私数据,而这些数据无法直接提供改算法开发者进行使用。
3.在相关技术中,通常会将需要保护的数据转换成无法肉眼识别的特征数据,再将其提供给算法工程师使用。可是在一些情况下,还必须使用到未处理的数据进行模型训练,从而无法无法保证数据模型有效训练同时还保证数据的安全性。
4.针对上述的问题,目前尚未提出有效的解决方案。


技术实现要素:

5.本发明实施例提供了一种数据处理方法、装置、计算机可读存储介质和处理器,以至少解决无法保证数据模型有效训练同时还保证数据的安全性的技术问题。
6.根据本发明实施例的一个方面,提供了一种数据处理方法。该方法可以包括:从共享存储系统获取目标资源,其中,共享存储系统具有只读属性;从数据中心获取训练数据,其中,获取到的训练数据禁止导出至非授权位置,且训练数据的安全级别高于目标阈值;基于目标资源对训练数据进行训练,得到目标数据模型。
7.根据本发明实施例的另一方面,还提供了另一种数据处理方法。该方法可以包括:在共享存储系统具有只读属性的情况下,获取目标资源;将目标资源发送至第二类型系统,其中,目标资源用于使第二类型系统对从数据中心中获取到的训练数据进行训练,以得到目标数据模型,训练数据禁止由第二类型系统中导出至非授权位置,且训练数据的安全级别高于目标阈值。
8.根据本发明实施例的另一方面,还提供了另一种数据处理方法。该方法可以包括:确定训练数据;将训练数据发送至第二类型系统,其中,训练数据禁止由第二类型系统中导出至非授权位置,且训练数据的安全级别高于目标阈值,训练数据由第二类型系统基于从共享存储系统获取的目标资源进行训练,以得到目标数据模型,共享存储系统具有只读属性。
9.根据本发明实施例的另一方面,还提供了另一种数据处理方法。该方法可以包括:在目标界面上显示目标资源,其中,目标资源从共享存储系统获取,共享存储系统具有只读属性;在目标界面上显示训练数据,其中,训练数据从数据中心获取,获取到的训练数据禁止导出至非授权位置,且训练数据的安全级别高于目标阈值;输出目标数据模型,其中,目标数据模型为基于目标资源对训练数据进行训练得到。
10.根据本发明实施例的另一方面,还提供了另一种数据处理方法。该方法可以包括:从交易平台获取交易对象的目标交易数据;基于目标数据模型对目标交易数据进行分析,
得到交易对象的交易结果,其中,目标数据模型为基于目标资源对媒体训练数据进行训练得到,目标资源从共享存储系统获取,共享存储系统具有只读属性,媒体训练数据从数据中心获取,获取到的媒体训练数据禁止导出至非授权位置,且媒体训练数据的安全级别高于目标阈值;向交易平台输出交易结果。
11.根据本发明实施例的另一方面,还提供了另一种数据处理方法。该方法可以包括:从媒体播放平台获取目标媒体数据;基于目标数据模型对目标媒体数据进行分析,得到媒体播放结果,其中,目标数据模型为基于目标资源对训练数据进行训练得到,目标资源从共享存储系统获取,共享存储系统具有只读属性,训练数据从数据中心获取,获取到的训练数据禁止导出至非授权位置,且训练数据的安全级别高于目标阈值;向媒体播放平台输出媒体播放结果。
12.根据本发明实施例的另一方面,还提供了另一种数据处理方法。该方法可以包括:从直播平台获取直播对象的目标直播数据;基于目标数据模型对目标直播数据进行分析,得到直播对象的直播结果,其中,目标数据模型为基于目标资源对直播训练数据进行训练得到,目标资源从共享存储系统获取,共享存储系统具有只读属性,直播训练数据从数据中心获取,获取到的直播训练数据禁止导出至非授权位置,且直播训练数据的安全级别高于目标阈值;向直播平台输出直播结果。
13.根据本发明实施例的另一方面,还提供了另一种数据处理方法。该方法可以包括:获取人脸识别平台获取人脸图像数据;基于目标数据模型对人脸图像数据进行识别,得到人脸识别结果,其中,目标数据模型为基于目标资源对人脸训练数据进行训练得到,目标资源从共享存储系统获取,共享存储系统具有只读属性,人脸训练数据从数据中心获取,获取到的人脸训练数据禁止导出至非授权位置,且人脸训练数据的安全级别高于目标阈值;向人脸识别平台输出人脸识别结果。
14.根据本发明实施例的另一方面,还提供了一种数据处理系统。该系统可以包括:第一类型系统,用于获取目标资源;共享存储系统,与第一类型系统相连接,用于存储目标资源,其中,共享存储系统具有只读属性;数据中心,用于存储训练数据,其中,训练数据的安全级别高于目标阈值;第二类型系统,与共享存储系统和数据中心相连接,用于基于获取到的目标资源对获取到的训练数据进行训练,得到目标数据模型,其中,获取到的训练数据禁止导出至非授权位置。
15.根据本发明实施例的另一方面,还提供了一种数据处理装置。该装置可以包括:第一获取单元,用于从共享存储系统获取目标资源,其中,共享存储系统具有只读属性;第二获取单元,用于从数据中心获取训练数据,其中,获取到的训练数据禁止导出至非授权位置,且训练数据的安全级别高于目标阈值;训练单元,用于基于目标资源对训练数据进行训练,得到目标数据模型。
16.根据本发明实施例的另一方面,还提供了另一种数据处理装置。该装置可以包括:第三获取单元,用于在共享存储系统具有只读属性的情况下,获取目标资源;第一发送单元,用于将目标资源发送至第二类型系统,其中,目标资源用于使第二类型系统对从数据中心中获取到的训练数据进行训练,以得到目标数据模型,训练数据禁止由第二类型系统中导出至非授权位置,且训练数据的安全级别高于目标阈值。
17.根据本发明实施例的另一方面,还提供了另一种数据处理装置。该装置可以包括:
确定单元,用于确定训练数据;第二发送单元,用于将训练数据发送至第二类型系统,其中,训练数据禁止由第二类型系统中导出至非授权位置,且训练数据的安全级别高于目标阈值,训练数据由第二类型系统基于从共享存储系统获取的目标资源进行训练,以得到目标数据模型,共享存储系统具有只读属性。
18.根据本发明实施例的另一方面,还提供了一种计算机可读存储介质。该计算机可读存储介质包括存储的程序,其中,在程序被处理器运行时控制计算机可读存储介质所在设备执行本发明实施例的数据处理方法。
19.根据本发明实施例的另一方面,还提供了一种处理器。该处理器用于运行程序,其中,程序运行时执行本发明实施例的数据处理方法。
20.根据本发明实施例的另一方面,还提供了一种数据处理系统。该数据处理系统包括:处理器;存储器,与处理器相连接,用于为处理器提供处理以下处理步骤的指令:从共享存储系统获取目标资源,其中,共享存储系统具有只读属性;从数据中心获取训练数据,其中,获取到的训练数据禁止导出至非授权位置,且训练数据的安全级别高于目标阈值;基于目标资源对训练数据进行训练,得到目标数据模型。
21.在本发明实施例中,从共享存储系统获取目标资源,其中,共享存储系统具有只读属性;从数据中心获取训练数据,其中,获取到的训练数据禁止导出至非授权位置,且训练数据的安全级别高于目标阈值;基于目标资源对训练数据进行训练,得到目标数据模型。也就是说,本技术从共享存储系统中灵活地获取目标资源,并且共享存储系统配置为只读属性,从而可以避免通过共享存储系统对数据进行泄露,另外,从数据中心获取到的训练数据无法导出到任何非授权位置,从而通过上述目标资源对训练数据进行训练,无需对训练数据进行脱敏处理,且可以灵活地运行目标资源,达到了保证模型有效训练同时还保证数据的安全性,解决了无法保证数据模型有效训练同时还保证数据的安全性的技术问题,达到了保证数据模型有效训练的同时还保证数据的安全性的技术效果。
附图说明
22.此处所说明的附图用来提供对本发明的进一步理解,构成本技术的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
23.图1是根据本发明实施例的一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图;
24.图2是根据本发明实施例的一种数据处理方法的流程图;
25.图3是根据本发明实施例的另一种数据处理方法的流程图;
26.图4是根据本发明实施例的另一种数据处理方法的流程图;
27.图5是根据本发明实施例的一种数据处理系统的示意图;
28.图6是根据本发明实施例的另一种数据处理系统的示意图;
29.图7是根据本发明实施例的一种数据处理装置的示意图;
30.图8是根据本发明实施例的另一种数据处理装置的示意图;
31.图9是根据本发明实施例的另一种数据处理装置的示意图;以及
32.图10是根据本发明实施例的一种计算机终端的结构框图。
具体实施方式
33.为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
34.需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
35.首先,在对本技术实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
36.梧桐studio,为一个一站式可编程算法开发平台,该平台提供了在线集成开发环境(integrated development environment,简称为ide),为算法专家提供可编程式环境,且提供一套训练环境,进而为模型训练提供算力;
37.开放训练环境,可与外网正常连接的开发环境,在该环境中已实现一个支持在线编程的算法训练环境(梧桐studio);
38.安全训练环境,该环境的网络与存储均已被控制,无法与外部通信,也无法将数据写到外部,在该环境中安装了与开放训练环境一致的一个支持在线编程的算法训练环境(梧桐studio);
39.安全云虚拟主机,一种安全云桌面,具有网络强管控,只能访问特定目标;
40.共享存储,一类可以通过挂载实现共享存储,可以是云盘,或者nas存储;
41.数据中心,经过授权可操作隐私数据的数据平台,可在安全环境中导入/导出数据。
42.实施例1
43.根据本发明实施例,还提供了一种数据处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
44.本技术实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1是根据本发明实施例的一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示,计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b,
……
,102n来示出)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外,还可以包括:显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为i/o接口的端口中的一个端口被包括)、网络接口、电源和/或相机。
本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
45.应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本技术实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
46.存储器104可用于存储应用软件的软件程序以及模块,如本发明实施例中的数据处理方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的数据处理方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
47.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(network interface controller,nic),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(radio frequency,rf)模块,其用于通过无线方式与互联网进行通讯。
48.显示器可以例如触摸屏式的液晶显示器(lcd),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
49.此处需要说明的是,在一些可选实施例中,上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是,图1仅为特定具体实例的一个实例,并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
50.在图1所示的运行环境下,本技术提供了如图2所示的数据处理方法。需要说明的是,该实施例的数据处理方法以由图1所示实施例的移动终端执行。
51.图2是根据本发明实施例的一种数据处理方法的流程图。如图2所示,该方法可以包括以下步骤:
52.步骤s202,从共享存储系统获取目标资源,其中,共享存储系统具有只读属性。
53.在本发明上述步骤s202提供的技术方案中,可以在安全训练环境中,从共享存储系统获取目标资源,其中,安全训练环境是指环境的网络与存储均已被控制,无法与外部进行通信,也无法将数据写到外部,在该环境中可以安装一个支持在线编程的算法训练环境。该实施例的共享存储系统可以称为共享存储,包括一类通过挂载来实现共享存储的设备,可以是云盘,或者nas存储等,此处不做具体限制。该实施例的目标资源可以包括在训练目标数据模型时所需要的依赖软件以及所需要的数据资料,上述依赖软件和数据资料拷贝在共享存储系统中。
54.在该实施例中,共享存储系统挂载至安全训练环境,这时需要将共享存储系统配
置为只读,也即,共享存储系统以只读属性挂载至安全训练环境中,从而防止用户将安全训练环境中的数据通过共享存储系统泄露到开放训练环境,其中,开放训练环境是指可以与外网正常进行连接的开发环境,在该环境中已实现一个支持在线编程的算法训练环境,该算法训练环境可以与安全训练环境中的算法训练环境相同,比如,该算法环境可以为梧桐studio,其为一站式可编程算法开发平台,该平台提供了在线ide,为算法专家提供可编程式环境,从而提供了一套训练环境,为模型训练提供了算力。
55.该实施例采用共享存储系统作为开放训练环境与安全训练环境的通道,具有普遍适用性,开放训练环境可以灵活地获取在寻目标数据模型的过程中所需要的目标资源。
56.步骤s204,从数据中心获取训练数据,其中,获取到的训练数据禁止导出至非授权位置,且训练数据的安全级别高于目标阈值。
57.在本发明上述步骤s204提供的技术方案中,在从共享存储系统获取目标资源之后,可以是从数据中心获取训练数据。
58.在该实施例中,数据中心可以为经过授权,且可操作训练数据的数据平台,可以向安全训练环境中导入/导出数据,可以进行数据任务的处理。该实施例的训练数据为安全级别高于目标阈值,且用于训练目标数据模型的原始数据,比如,为未经脱敏处理的隐私数据,可以包括用户对话的音频数据、通过摄像设备收集的人脸数据等特别需要进行安全保证的敏感数据,其无法在开放训练环境中使用。
59.在该实施例中,从数据中心获取到的训练数据无法导出到任何非授权的位置,从而保证训练数据的安全性。
60.步骤s206,基于目标资源对训练数据进行训练,得到目标数据模型。
61.在本发明上述步骤s206提供的技术方案中,在从数据中心获取训练数据之后,可以基于目标资源对训练数据进行训练,得到目标数据模型。
62.在该实施例中,可以在安全训练环境中,基于目标资源对训练数据进行训练,得到目标数据模型,其中,该实施例的训练可以是指机器学习训练,从而训练数据相当于用于训练得到目标数据模型的样本数据,其中,目标数据模型可以为人工智能(artificial intelligence,简称为ai)中的数据模型。可选地,该实施例的训练数据可以为用户对话的音频数据,在安全训练环境中采用第三代增强深度学习技术(asr)基于目标资源对其进行训练,可以得到语音识别模型,并且可以保证音频数据的安全性;可选地,该实施例的训练数据可以为人脸数据,在安全训练环境中基于目标资源对其进行训练,可以得到人脸识别模型,并且可以保证人脸数据的安全性。
63.在相关技术中,为了保证训练数据的安全性,可以对安全数据进行脱敏处理,虽然脱敏后的训练数据可在任何环境中使用,但是一些数据模型是无法采用脱敏后的训练数据的得到的,比如,第三代增强深度学习技术是必须使用未经脱敏处理的原始数据进行训练得到的,再比如,图像训练也必须使用未经脱敏处理的原始图像进行训练。在相关技术中,还可以创建一个完全与外网隔离的安全训练环境,在安全训练环境中使用训练数据训练得到需要的数据模型,但是这仅仅解决了训练数据使用的安全性的问题,由于安全训练环境与外部所有网络之间的通讯都到限制,从而无法灵活地使用目标资源,进而存在无法保证数据模型有效训练同时还保证数据的安全性的技术问题。
64.而本技术上述步骤s202至步骤s206,从共享存储系统获取目标资源,其中,共享存
储系统具有只读属性;从数据中心获取训练数据,其中,获取到的训练数据禁止导出至非授权位置,且训练数据的安全级别高于目标阈值;基于目标资源对训练数据进行训练,得到目标数据模型。也就是说,该实施例从共享存储系统中灵活地获取目标资源,并且共享存储系统配置为只读属性,从而可以避免通过共享存储系统对数据进行泄露,另外,从数据中心获取到的训练数据无法导出到任何非授权位置,从而通过上述目标资源对训练数据进行训练,无需对训练数据进行脱敏处理,且可以灵活地运行目标资源,达到了保证模型有效训练同时还保证数据的安全性,解决了无法保证数据模型有效训练同时还保证数据的安全性的技术问题,达到了保证数据模型有效训练的同时还保证数据的安全性的技术效果,使得可以方便灵活的使用训练数据,而同时又能保证训练数据的安全性。
65.下面对该实施例的上述方法进行进一步介绍。
66.作为一种可选的实施方式,步骤s206,基于目标资源对训练数据进行训练,得到目标数据模型,包括:将训练数据和目标资源发送至云虚拟主机,其中,训练数据由云虚拟主机基于目标资源对训练数据进行训练,得到目标数据模型,云虚拟主机已授权且用于保证训练数据在训练过程中的安全性。
67.在该实施例中,云虚拟主机可以称为安全云虚拟主机,为一种安全云桌面,具有网络强管控的特点,只能访问特定目标,作为连接安全训练环境的唯一经授权的入口,这里的授权是指云虚拟主机可以与安全训练环境中的系统建立通信连接,从而确保所有的操作都在可控范围以内。该实施例的云虚拟主机也可以理解为跳板机,可以通过特定通道与安全训练环境中的系统进行通信,其中,特定通道可以包括但不限于远程连接工具(ssh)、客户端,虚拟网络控制台(virtual network console,简称为vnc)、网页等。该实施例可以在云虚拟主机中基于目标资源使用已导入安全训练环境中的训练数据进行训练,从而得到目标数据模型。
68.作为一种可选的实施方式,目标资源包括:辅助数据和/或目标软件,其中,辅助数据用于辅助训练训练数据,目标软件为对训练数据进行训练所使用的软件。
69.在该实施例中,目标资源可以包括在训练得到目标数据模型时除了训练数据之外所需用到的辅助数据,该辅助数据也即必要的数据资料。可选地,该实施例的目标资源还可以包括目标软件,该目标软件为在对训练数据进行训练时所使用的依赖软件,可以是三方依赖软件,这些辅助数据和目标软件拷贝在共享存储系统中。
70.作为一种可选的实施方式,步骤s206,基于目标资源对训练数据进行训练,得到目标数据模型,包括:基于辅助数据和/或经过初始化后的目标软件,对训练数据进行训练,得到目标数据模型。
71.在该实施例中,可以在安全训练环境中,初始化挂载的共享存储系统中的目标软件,可以通过conda等软件管理方案对目标软件进行初始化,也可以直接使用共享存储系统中的辅助数据,从而基于上述辅助数据和/或经过初始化后的目标软件对训练数据进行训练,以得到目标数据模型。
72.在该实施例中的目标数据模型的训练过程中,如果需要补充其它的辅助数据或其它目标软件,则可以继续向共享存储系统存储其它的辅助数据或其它目标软件,将共享存储系统挂载到安全训练环境,将共享存储系统配置为只读属性,在安全训练环境中,初始化挂载的共享存储系统中的其它软件,也可以直接使用共享存储系统中其它的辅助数据。
73.作为一种可选的实施方式,目标资源由第一类型系统存储至共享存储系统,其中,第一类型系统允许与外部网络的系统进行通信,共享存储系统以可读属性和可写属性挂载至第一类型系统。
74.在该实施例中,第一类型系统可以为开放训练环境中的系统,其可以安装必要的目标软件,并拷入所需要的辅助数据,从而该实施例的目标资源中的目标软件和/或辅助数据由第一类型系统拷贝至共享存储系统中。由于该第一类型系统处于开放训练环境中,是可以与外部网络的系统进行通信的,并且共享存储系统以可读属性和可写属性挂载至第一类型系统,从而该实施例可以在开发过程中灵活地安装所需要的辅助数据和/或目标软件,避免了无法灵活地安装所需要的辅助数据和/或目标软件的问题。
75.作为一种可选的实施方式,步骤s202,从共享存储系统获取目标资源,包括:在第二类型系统中,从挂载至第二类型系统的共享存储系统获取目标资源,其中,第二类型系统禁止与外部网络的系统进行通信。
76.在该实施例中,第二类型系统处于安全训练环境中,其已被控制,从而无法与外部网络的系统进行通信,也无法将数据写到外部,这样就可以在以可读属性挂载至第二类型系统的共享存储系统中获取目标资源,防止将第二类型系统中的数据通过共享存储系统泄露到第一类型系统。该实施例的共享存储系统作为第一类型系统与第二类型系统的通道,具有普遍适用性,共享存储系统以可读属性和可写属性挂载至第一类型系统上,以只读属性挂载至第二类型系统上,可以保证数据使用的安全性,同时灵活地获取训练目标数据模型所需要的目标资源。
77.作为一种可选的实施方式,步骤s204,从数据中心获取训练数据,包括:将数据中心的训练数据存储至第二类型系统中的目标存储位置。
78.在该实施例中,可以通过数据中心,将所需要的训练数据拷贝到处于安全训练环境中的第二类型系统的目标存储位置,该目标存储位置可以为一种存储介质,其已经过控制,无法将存储的训练数据导出到任何非授权的位置,从而保证了训练数据使用的安全性。
79.作为一种可选的实施方式,步骤s206,基于目标资源对训练数据进行训练,得到目标数据模型,包括:建立第二类型系统与已授权的云虚拟主机之间的通信连接,其中,第二类型系统禁止与除云虚拟主机之外的外部网络的系统进行通信;基于通信连接将训练数据和目标资源从第二类型系统中发送至云虚拟主机,其中,训练数据由云虚拟主机基于目标资源对训练数据进行训练,得到目标数据模型,云虚拟主机用于保证训练数据在训练过程中的安全性。
80.在该实施例中,在实现基于目标资源对训练数据进行训练,得到目标数据模型时,可以先建立第二类型系统与已授权的云虚拟主机之间的通信连接,该第二类型系统在安全训练环境中禁止与除云虚拟主机之外的外部网络的系统进行通信,以保证在训练目标数据模型过程中数据的安全性。该实施例可以在云虚拟主机中基于目标资源使用已导入安全训练环境中的训练数据进行训练,从而得到目标数据模型。
81.作为一种可选的实施方式,在步骤s206,基于目标资源对训练数据进行训练,得到目标数据模型之后,该方法还包括:将以下至少之一通过数据中心发送至目标设备,目标数据模型、训练数据、目标资源。
82.在该实施例中,在基于目标资源对训练数据进行训练,得到目标数据模型之后,可
以通过数据中心申请向用户指定的目标设备导出训练后的结果,该训练后的结果可以包括但不限于目标数据模型、训练数据、目标资源。在申请通过之后,即可在目标设备中查看上述目标数据模型、训练数据、目标资源中的至少之一。
83.下面从共享存储系统侧对本发明实施例的数据处理方法进行介绍。
84.图3是根据本发明实施例的另一种数据处理方法的流程图。如图3所示,该方法可以包括以下步骤:
85.步骤s302,在共享存储系统具有只读属性的情况下,获取目标资源。
86.在本发明上述步骤s302提供的技术方案中,共享存储系统挂载至安全训练环境,这时需要将共享存储系统配置为只读属性,以防止将安全训练环境中的数据通过共享存储系统泄露到开放训练环境。该实施例的目标资源可以包括在训练目标数据模型时所需要的依赖软件以及所需要的必要数据资料,上述依赖软件和必要数据资料必须拷贝在共享存储系统中。
87.该实施例可以在共享存储系统具有只读属性的情况下,从开放训练环境中获取目标资源。该实施例采用共享存储系统作为开放训练环境与安全训练环境的通道,具有普遍适用性,开放训练环境可以灵活地获取在目标数据模型的过程中所需要的目标资源。
88.步骤s304,将目标资源发送至第二类型系统,其中,目标资源用于使第二类型系统对从数据中心中获取到的训练数据进行训练,以得到目标数据模型。
89.在本发明上述步骤s304提供的技术方案中,训练数据禁止由第二类型系统中导出至非授权位置,且训练数据的安全级别高于目标阈值。
90.在该实施例中,安全存储系统可以将目标资源发送至第二类型系统,该第二类型系统可以在安全训练环境中,基于目标资源对训练数据进行训练,以得到目标数据模型,其中,训练数据相当于用于训练得到目标数据模型的样本数据。可选地,该实施例的训练数据为从数据中心中获取到的数据,可以为用户对话的音频数据,在安全训练环境中采用第三代增强深度学习技术基于目标资源对其进行训练,可以得到语音识别模型,并且可以保证音频数据的安全性;可选地,该实施例的训练数据可以为人脸数据,在安全训练环境中基于目标资源对其进行训练,可以得到人脸识别模型,并且可以保证人脸数据的安全性。
91.下面对该实施例的上述方法进行进一步介绍。
92.作为一种可选的实施方式,第二类型系统禁止与外部网络的系统进行通信。
93.在该实施例中,第二类型系统处于安全训练环境中,其已被控制,无法与外部网络的系统进行通信,也无法将数据写到外部,这样就可以在以可读属性挂载至第二类型系统的共享存储系统中获取目标资源,防止将第二类型系统中的数据通过共享存储系统泄露到第一类型系统。
94.作为一种可选的实施方式,步骤s302,获取目标资源,包括:从第一类型系统中获取目标资源,其中,第一类型系统允许与外部网络的系统进行通信,且共享存储系统以可读属性和可写属性挂载至第一类型系统。
95.在该实施例中,第一类型系统可以为开放训练环境中的系统,其可以安装必要的目标软件,并拷入所需要的辅助数据,从而该实施例的共享存储系统可以从第一类型系统中获取目标资源。由于该实施例的第一类型系统处于开放训练环境中,是可以与外部网络的系统进行通信的,并且共享存储系统以可读属性和可写属性挂载至第一类型系统,从而
该实施例可以在开发过程中灵活地安装所需要的辅助数据和/或目标软件,避免了无法灵活地安装所需要的辅助数据和/或目标软件的问题。
96.作为一种可选的实施方式,目标资源包括:辅助数据和/或目标软件,其中,辅助数据用于辅助训练训练数据,目标软件为对训练数据进行训练所使用的软件。
97.在该实施例中,目标资源可以包括在训练得到目标数据模型时除了训练数据之外所需用到的辅助数据,该辅助数据也即必要的数据资料。可选地,该实施例的目标资源还可以包括目标软件,该目标软件为在对训练数据进行训练时所使用的依赖软件,这些辅助数据和目标软件拷贝在共享存储系统中。
98.下面从数据中心一侧对本发明实施例的数据处理方法进行进一步介绍。
99.图4是根据本发明实施例的另一种数据处理方法的流程图。如图4所示,该方法可以包括以下步骤:
100.步骤s402,确定训练数据。
101.在本发明上述步骤s402提供的技术方案中,数据中心为经过授权,且可操作训练数据的数据平台,可以向安全训练环境中导入/导出数据。该实施例的训练数据为安全级别高于目标阈值,且用于训练目标数据模型的原始数据,比如,为未经脱敏处理的隐私数据,可以包括用户对话的音频数据、通过摄像设备收集的人脸数据等特别需要进行安全保证的敏感数据,其无法在开放训练环境中使用。
102.在该实施例中,在数据中心中确定用于训练目标数据模型的训练数据。
103.步骤s404,将训练数据发送至第二类型系统,其中,训练数据由第二类型系统基于从共享存储系统获取的目标资源进行训练,以得到目标数据模型。
104.在本发明上述步骤s404提供的技术方案中,训练数据禁止由第二类型系统中导出至非授权位置,且训练数据的安全级别高于目标阈值,共享存储系统具有只读属性。
105.在该实施例中,在确定训练数据之后,可以将训练数据发送至第二类型系统。第二类型系统可以在安全训练环境中,基于目标资源对训练数据进行训练,得到目标数据模型,其中,训练数据可以为用户对话的音频数据,在安全训练环境中采用第三代增强深度学习技术(asr)基于目标资源对其进行训练,可以得到语音识别模型,并且可以保证音频数据的安全性;可选地,该实施例的训练数据可以为人脸数据,在安全训练环境中基于目标资源对其进行训练,可以得到人脸识别模型,并且可以保证人脸数据的安全性。
106.下面对该实施例的上述方法进行进一步介绍。
107.作为一种可选的实施方式,第二类型系统禁止与外部网络的系统进行通信。
108.在该实施例中,第二类型系统处于安全训练环境中,其已被控制,从而无法与外部网络的系统进行通信,也无法将数据写到外部,这样就可以在以可读属性挂载至第二类型系统的共享存储系统中获取目标资源,防止将第二类型系统中的数据通过共享存储系统泄露到第一类型系统。
109.作为一种可选的实施方式,目标资源由第二类型系统从第一类型系统中获取,其中,第一类型系统允许与外部网络的系统进行通信,且共享存储系统以可读属性和可写属性挂载至第一类型系统。
110.在该实施例中,目标资源可以由第二类型系统从第一类型系统中获取,其中,第一类型系统可以为开放训练环境中的系统,其可以安装必要的目标软件,并拷入所需要的辅
助数据,从而该实施例可以由第二类型系统从第一类型系统中获取目标资源。由于该实施例的第一类型系统处于开放训练环境中,是可以与外部网络的系统进行通信的,并且共享存储系统以可读属性和可写属性挂载至第一类型系统,从而该实施例可以在开发过程中灵活地安装所需要的辅助数据和/或目标软件,避免了无法灵活地安装所需要的辅助数据和/或目标软件的问题。
111.作为一种可选的实施方式,目标资源包括:辅助数据和/或目标软件,其中,辅助数据用于辅助训练训练数据,目标软件为对训练数据进行训练所使用的软件。
112.在该实施例中,目标资源可以包括目标软件,该目标软件为在对训练数据进行训练时所使用的依赖软件,这些辅助数据和目标软件拷贝在共享存储系统中。
113.本发明实施例还提供了另一种数据处理方法。该方法可以包括以下步骤:在目标界面上显示目标资源,其中,目标资源从共享存储系统获取,共享存储系统具有只读属性;在目标界面上显示训练数据,其中,训练数据从数据中心获取,获取到的训练数据禁止导出至非授权位置,且训练数据的安全级别高于目标阈值;输出目标数据模型,其中,目标数据模型为基于目标资源对训练数据进行训练得到。
114.在该实施例中,目标界面可以为终端设备的图形用户界面,其上显示了目标资源,该目标资源可以在安全训练环境中,从共享存储系统中进行获取,其中,在安全训练环境中,环境的网络与存储均已被控制,无法与外部进行通信,也无法将数据写到外部,从而保证数据处理的安全性。该实施例的上述共享存储系统可以包括一类通过挂载来实现共享存储的设备,从共享存储系统中获取并显示在目标界面上的目标资源可以包括在训练目标数据模型时所需要的依赖软件以及所需要的数据资料,上述依赖软件和数据资料拷贝在共享存储系统中。
115.在该实施例中,上述共享存储系统挂载至安全训练环境,这时需要将共享存储系统配置为只读,从而防止用户将安全训练环境中的数据通过共享存储系统泄露到开放训练环境,其中,开放训练环境是指可以与外网正常进行连接的开发环境,在该环境中已实现一个支持在线编程的算法训练环境,该算法训练环境可以与安全训练环境中的算法训练环境相同。
116.在该实施例中,在目标界面上还可以显示训练数据,该训练数据可以从数据中心获取,其中,数据中心可以为经过授权,且可操作训练数据的数据平台,可以向安全训练环境中导入/导出数据,可以进行数据任务的处理。其中。上述训练数据为安全级别高于目标阈值,且用于训练目标数据模型的原始数据,比如,为未经脱敏处理的隐私数据,可以包括用户对话的音频数据、通过摄像设备收集的人脸数据等特别需要进行安全保证的敏感数据,其无法在开放训练环境中使用。
117.在该实施例中,从数据中心获取到的训练数据无法导出到任何非授权的位置,从而保证训练数据的安全性。该实施例可以在安全训练环境中,基于目标资源对训练数据进行训练,得到目标数据模型,其中,该实施例的训练可以是指机器学习训练,从而训练数据相当于用于训练得到目标数据模型的样本数据,其中,目标数据模型可以为ai中的数据模型。可选地,该实施例的训练数据可以为用户对话的音频数据,在安全训练环境中采用第三代增强深度学习技术(asr)基于目标资源对其进行训练,可以得到语音识别模型,并且可以保证音频数据的安全性;可选地,该实施例的训练数据可以为人脸数据,在安全训练环境中
基于目标资源对其进行训练,可以得到人脸识别模型,并且可以保证人脸数据的安全性。
118.下面对该实施例的上述方法进行进一步介绍。
119.作为一种可选的实施方式,在输出目标数据模型之前,该方法还包括:响应作用在目标界面上的目标操作指令,将训练数据和目标资源发送至云虚拟主机,其中,训练数据由云虚拟主机基于目标资源对训练数据进行训练,得到目标数据模型,云虚拟主机已授权且用于保证训练数据在训练过程中的安全性。
120.在该实施例中,在输出目标数据模型之前,可以在目标界面上接收并响应目标操作指令,该目标操作指令可以为用户通过目标操作所触发的目标操作指令,进而将训练数据和目标资源发送至云虚拟主机,该云虚拟主机可以称为安全云虚拟主机,作为连接安全训练环境的唯一经授权的入口,这里的授权是指云虚拟主机可以与安全训练环境中的系统建立通信连接,从而确保所有的操作都在可控范围以内。该实施例可以在云虚拟主机中基于目标资源使用已导入安全训练环境中的训练数据进行训练,从而得到上述目标数据模型。
121.作为一种可选的实施方式,在目标界面上显示目标资源,包括:在目标界面上显示辅助数据和/或目标软件的界面,其中,辅助数据用于辅助训练训练数据,目标软件为对训练数据进行训练所使用的软件。
122.在该实施例中,目标资源可以包括在训练得到目标数据模型时除了训练数据之外所需用到的辅助数据,该辅助数据也即必要的数据资料,可以将其显示在目标界面上。可选地,该实施例的目标资源还可以包括目标软件,该目标软件为在对训练数据进行训练时所使用的依赖软件,可以是三方依赖软件,这些辅助数据和目标软件拷贝在共享存储系统中,可以在目标界面上显示目标软件的界面。
123.下面对该实施例的数据处理方法所应用的场景进行介绍。
124.本发明实施例提供了另一种数据处理方法。该方法可以包括:从交易平台获取交易对象的目标交易数据;基于目标数据模型对目标交易数据进行分析,得到交易对象的交易结果,其中,目标数据模型为基于目标资源对交易训练数据进行训练得到,目标资源从共享存储系统获取,共享存储系统具有只读属性,交易训练数据从数据中心获取,获取到的交易训练数据禁止导出至非授权位置,且交易训练数据的安全级别高于目标阈值。
125.该实施例的数据处理方法可以应用在交易场景中。可选地,该实施例可以从交易平台中获取交易对象的目标交易数据,其中,交易对象可以为真实物品、虚拟资源等,比如,真实物品可以为服装、电器、厨具等,虚拟资源可以为话费、虚拟游戏角色的道具等,此处不做具体限制,目标交易数据可以为对交易对象在进行交易的过程中所产生的交易数据,比如,为交易时间、交易时长、交易费用、订单数据等,此处不做具体限制。在获取目标交易数据之后,可以将目标交易数据输入至预先训练好的目标数据模型中,该目标数据模型为基于目标资源对交易训练数据进行训练得到。其中,目标资源可以在安全训练环境中,从共享存储系统中进行获取,交易训练数据可以为交易平台在历史交易过程中所产生的交易数据样本,包括各种交易对象、以及各种交易对象的交易时间、交易时长、交易费用、订单数据等,可以从数据中心获取,该交易训练数据为安全级别高于目标阈值,且用于训练目标数据模型的原始数据,可以为未经脱敏处理的隐私数据,其无法在开放训练环境中使用。
126.在该实施例中,从数据中心获取到的交易训练数据无法导出到任何非授权的位
置,从而保证交易训练数据的安全性。该实施例可以在安全训练环境中,基于目标资源对上述交易训练数据进行训练,得到目标数据模型,其中,该实施例的训练可以是指机器学习训练,从而交易训练数据相当于用于训练得到目标数据模型的样本数据,从而该实施例通过上述目标数据模型对目标交易数据进行处理,可以保证输出的交易结果的安全性,该交易结果可以为呈现在终端设备上的最终结果。
127.本发明实施例提供了另一种数据处理方法。该方法可以包括:从媒体播放平台获取目标媒体数据;基于目标数据模型对目标媒体数据进行分析,得到媒体播放结果,其中,目标数据模型为基于目标资源对媒体训练数据进行训练得到,目标资源从共享存储系统获取,共享存储系统具有只读属性,媒体训练数据从数据中心获取,获取到的媒体训练数据禁止导出至非授权位置,且媒体训练数据的安全级别高于目标阈值;向媒体播放平台输出媒体播放结果。
128.该实施例的数据处理方法可以应用在媒体播放场景中,比如,为语音通讯场景、视频通讯场景等。可选地,该实施例可以从媒体播放平台中获取目标媒体数据,该目标媒体数据包括目标语音数据和/或目标图像数据,其中,目标语音数据可以包括语音通讯时长、语音通讯类型等语音数据,目标图像数据可以包括视频通讯时长、视频通讯类型等视频数据等,此处不做具体限制。在获取目标媒体数据之后,可以将目标媒体数据输入至预先训练好的目标数据模型中,该目标数据模型为基于目标资源对媒体训练数据进行训练得到。其中,目标资源可以在安全训练环境中,从共享存储系统中进行获取,媒体训练数据可以为媒体播放平台在历史播放过程中所产生的媒体数据样本,可以包括各种媒体文件、以及各种媒体文件的媒体数据等,可以从数据中心获取,该媒体训练数据为安全级别高于目标阈值,且用于训练目标数据模型的原始数据,可以为未经脱敏处理的隐私数据,其无法在开放训练环境中使用。
129.在该实施例中,从数据中心获取到的媒体训练数据无法导出到任何非授权的位置,从而保证媒体训练数据的安全性。该实施例可以在安全训练环境中,基于目标资源对上述媒体训练数据进行训练,得到目标数据模型,其中,该实施例的训练可以是指机器学习训练,从而媒体训练数据相当于用于训练得到目标数据模型的样本数据,从而该实施例通过上述目标数据模型对目标媒体数据进行处理,可以保证输出的媒体播放结果的安全性,该媒体播放结果可以为呈现在终端设备上的最终结果。
130.作为一种可选的实施方式,本发明实施例提供了另一种数据处理方法。该方法可以包括:从直播平台获取直播对象的目标直播数据;基于目标数据模型对目标直播数据进行分析,得到直播对象的直播结果,其中,目标数据模型为基于目标资源对直播训练数据进行训练得到,目标资源从共享存储系统获取,共享存储系统具有只读属性,直播训练数据从数据中心获取,获取到的直播训练数据禁止导出至非授权位置,且直播训练数据的安全级别高于目标阈值;向直播平台输出直播结果。
131.该实施例的数据处理方法可以应用在直播场景中,比如,为视频直播场景等。可选地,该实施例可以从直播平台中获取目标直播数据,该目标直播数据可以包括直播时间、直播时长、直播对象等直播数据,此处不做具体限制。在获取目标直播数据之后,可以将目标直播数据输入至预先训练好的目标数据模型中,该目标数据模型为基于目标资源对直播训练数据进行训练得到。其中,目标资源可以在安全训练环境中,从共享存储系统中进行获
取,直播训练数据可以为直播平台在历史直播过程中所产生的直播数据样本,可以从数据中心获取,该直播训练数据为安全级别高于目标阈值,且用于训练目标数据模型的原始数据,可以为未经脱敏处理的隐私数据,其无法在开放训练环境中使用。
132.在该实施例中,从数据中心获取到的直播训练数据无法导出到任何非授权的位置,从而保证直播训练数据的安全性。该实施例可以在安全训练环境中,基于目标资源对上述直播训练数据进行训练,得到目标数据模型,其中,该实施例的训练可以是指机器学习训练,从而直播训练数据相当于用于训练得到目标数据模型的样本数据,从而该实施例通过上述目标数据模型对目标直播数据进行处理,可以保证输出的直播结果的安全性,该直播结果可以为呈现在终端设备上的最终结果。
133.作为一种可选的实施方式,获取人脸识别平台获取人脸图像数据;基于目标数据模型对人脸图像数据进行识别,得到人脸识别结果,其中,目标数据模型为基于目标资源对人脸训练数据进行训练得到,目标资源从共享存储系统获取,共享存储系统具有只读属性,人脸训练数据从数据中心获取,获取到的人脸训练数据禁止导出至非授权位置,且人脸训练数据的安全级别高于目标阈值;向人脸识别平台输出人脸识别结果。
134.该实施例的数据处理方法可以应用在人脸识别场景中,比如,人脸验证场景等。可选地,该实施例可以从人脸识别平台中获取人脸图像数据,该人脸图像数据可以包括人脸的特征数据,此处不做具体限制。在获取人脸图像数据之后,可以将人脸图像数据输入至预先训练好的目标数据模型中,该目标数据模型为基于目标资源对人脸训练数据进行训练得到。其中,目标资源可以在安全训练环境中,从共享存储系统中进行获取,人脸训练数据可以为人脸识别平台在历史识别过程中所产生的人脸数据样本,可以从数据中心获取,该人脸训练数据为安全级别高于目标阈值,且用于训练目标数据模型的原始数据,可以为未经脱敏处理的隐私数据,其无法在开放训练环境中使用。
135.在该实施例中,从数据中心获取到的人脸训练数据无法导出到任何非授权的位置,从而保证人脸训练数据的安全性。该实施例可以在安全训练环境中,基于目标资源对上述人脸训练数据进行训练,得到目标数据模型,其中,该实施例的训练可以是指机器学习训练,从而人脸训练数据相当于用于训练得到目标数据模型的样本数据,从而该实施例通过上述目标数据模型对人脸图像数据进行处理,可以保证输出的人脸识别结果的安全性,该人脸识别结果可以为呈现在终端设备上的最终结果。
136.需要说明的是,该实施例的上述数据处理方法应用在交易场景、媒体播放场景、直播场景以及人脸识别场景仅为本发明实施例的一种优选实施方式,并不代表本发明实施例的数据处理方法仅应用在上述交易场景、媒体播放场景、直播场景以及人脸识别场景,任何可以适用本发明实施例的数据处理方法,且需要提高数据安全性的场景,都在该实施例的范围之内,此处不再一一举例说明。
137.该实施例采用共享存储系统作为开放训练环境中的第一类型系统与安全训练环境中的第二类型系统之间的通道,具有普遍适用性,可以进一步结合梧桐studio,可以保证数据的安全使用,开放训练环境中的第一类型系统可以解决在开发过程中对于数据或者依赖软件的安装的问题;另外,该实施例的共享存储系统以可读属性和可写属性挂载至开放训练环境中的第一类型系统,可以解决软件安装的问题,共享存储系统在安全训练环境中是以只读属性进行挂载的,可以避免数据通过共享存储系统泄露到第一类型系统中;该实
施例的安全云主机作为连接安全训练环境的第二类型系统的唯一入口,可以确保所有的操作都在可控范围以内,从而通过上述方案可以解决无法保证数据模型有效训练同时还保证数据的安全性的技术问题,进而达到保证数据模型有效训练的同时还保证数据的安全性的技术效果。
138.实施例2
139.本发明实施例还提供了一种数据处理系统。需要说明的是,该数据处理系统可以用于执行本发明实施的数据处理方法。
140.图5是根据本发明实施例的一种数据处理系统的示意图。如图5所示,该数据处理系统50可以包括:第一类型系统51、共享存储系统52、数据中心53和第二类型系统54。
141.第一类型系统51,用于获取目标资源。
142.在该实施例中,第一类型系统51可以为开放训练环境中的系统,其可以安装必要的目标软件,并拷入所需要的辅助数据,从而该实施例的目标资源中的目标软件和/或辅助数据由第一类型系统51拷贝至共享存储系统52中。由于该第一类型系统51处于开放训练环境中,是可以与外部网络的系统进行通信的,并且共享存储系统52以可读属性和可写属性挂载至第一类型系统51,从而该实施例可以在开发过程中灵活地安装所需要的辅助数据和/或目标软件,避免了无法灵活地安装所需要的辅助数据和/或目标软件的问题。
143.共享存储系统52,与第一类型系统51相连接,用于存储目标资源,其中,共享存储系统52具有只读属性。
144.在该实施例中,共享存储系统52挂载至安全训练环境,这时需要将共享存储系统配置为只读,以防止用户将安全训练环境中的数据通过共享存储系统52泄露到开放训练环境。
145.该实施例可以在共享存储系统52具有只读属性的情况下,从开放训练环境中的第一类型系统51中获取目标资源。该实施例采用共享存储系统52作为开放训练环境中的第一类型系统51与安全训练环境中的第二类型系统54的通道,具有普遍适用性,开放训练环境可以灵活地获取在目标数据模型的过程中所需要的目标资源。
146.数据中心53,用于存储训练数据,其中,训练数据的安全级别高于目标阈值。
147.在该实施例中,数据中心53为经过授权,且可操作训练数据的数据平台,可以向安全训练环境中的第二类型系统54导入/导出数据。该实施例的训练数据为安全级别高于目标阈值,且用于训练目标数据模型的原始数据,比如,为未经脱敏处理的隐私数据,可以包括用户对话的音频数据、通过摄像设备收集的人脸数据等特别需要进行安全保证的敏感数据,其无法在开放训练环境中使用。
148.第二类型系统54,与共享存储系统52和数据中心53相连接,用于基于获取到的目标资源对获取到的训练数据进行训练,得到目标数据模型,其中,获取到的训练数据禁止导出至非授权位置。
149.在该实施例中,第二类型系统54处于安全训练环境中,其已被控制,无法与外部网络的系统进行通信,也无法将数据写到外部,这样就可以在以可读属性挂载至第二类型系统54的共享存储系统52中获取目标资源,防止将第二类型系统54中的数据通过共享存储系统52泄露到第一类型系统51。
150.该实施例的第二类型系统54可以在安全训练环境中基于目标资源对训练数据进
行训练,得到目标数据模型,其中,该实施例的训练可以是指机器学习训练,从而训练数据相当于用于训练得到目标数据模型的样本数据。可选地,该实施例的训练数据可以为用户对话的音频数据第二类型系统54采用第三代增强深度学习技术(asr)基于目标资源对其进行训练,可以得到语音识别模型,并且可以保证音频数据的安全性;可选地,该实施例的训练数据可以为人脸数据,第二类型系统54基于目标资源对其进行训练,可以得到人脸识别模型,并且可以保证人脸数据的安全性。
151.该实施例的数据处理系统,通过第一类型系统51获取目标资源;通过共享存储系统52与第一类型系统51相连接,用于存储目标资源,并将目标资源的属性设置为只读属性;通过数据中心53存储训练数据,其中,训练数据的安全级别高于目标阈值;通过第二类型系统54与共享存储系统和数据中心53相连接,用于基于获取到的目标资源对获取到的训练数据进行训练,得到目标数据模型,其中,获取到的训练数据禁止导出至非授权位置。也就是说,该实施例从共享存储系统中灵活地获取目标资源,并且共享存储系统配置为只读属性,从而可以避免通过共享存储系统对数据进行泄露,另外,从数据中心获取到的训练数据无法导出到任何非授权位置,从而通过上述目标资源对训练数据进行训练,无需对训练数据进行脱敏处理,且可以灵活地运行目标资源,达到了保证模型有效训练同时还保证数据的安全性,解决了无法保证数据模型有效训练同时还保证数据的安全性的技术问题,达到了保证数据模型有效训练的同时还保证数据的安全性的技术效果。
152.实施例3
153.下面结合优选的实施方式对本发明实施例的上述数据处理方法进行进一步介绍。
154.ai应用需要开发需要算力,数据,算法来进行支撑。算法开发需要将数据导入到算法开发者的开发环境中进行加工处理,最后形成数据模型,并将数据模型部署形成相应的服务。
155.在相关数据中,对敏感数据制定了非常严格的数据分级和安全限制的标准,对敏感数据提供了非常严格的保护,以保证用户的敏感数据的安全性。对机器学习模型而言,用户对话的音频数据和通过带摄像设备收集的图像(人脸)数据的安全是特别需要保证的。从法律角度,敏感数据可能会涉及隐私数据,是无法直接将其提供给改算法开发者进行使用的。
156.针对上述问题,可以通过特征转换,将敏感数据转换成无法通过肉眼识别的特征数据,再将其提供给算法开发者使用。但是,在一些技术要求下,比如,在第三代深度语音增强技术asr中,必须使用到原始音频数据进行模型训练,因为有对原始音频数据进行保护的要求,上述数据使用方式就无法使用。再比如,在人脸识别模型的训练过程中,需要使用人脸数据进行训练,而人脸数据属于用户的隐私数据,是需要进行保护的,是无法在开放训练环境中进行使用的。
157.为了保证敏感数据使用的安全性,还可以创建一个完全隔离的安全训练环境。该方案虽然可以解决敏感数据使用的安全性,可是因为安全训练环境中的系统与外部所有网络都收到限制,从而无法灵活地安装数据模型在训练过程中所依赖的软件与数据。
158.针对上述问题,该实施例提供了一种既可以方便灵活的使用敏感数据,而同时又能保证其安全性。图6是根据本发明实施例的另一种数据处理系统的示意图。如图6所示,该数据处理系统涉及开放训练环境、共享存储系统、安全训练环境、数据中心、安全云虚拟主
机,可以包括以下处理步骤:
159.s1,在开放训练环境中进行环境初始化,安装必要的依赖软件,并拷入必要数据资料。这些数据与软件必须拷贝在共享存储系统中,该共享存储系统可以以可读属性和可写属性挂载至开放训练环境中,该开放训练环境已实现一个支持在线编程的算法训练环境,比如,梧桐studio。
160.s2,将共享存储系统挂载到安全训练环境,这时候需要把共享存储配置为只读属性,也即,共享存储系统以只读属性挂载至安全训练环境中,从而防止用户将安全训练环境中的数据通过共享存储系统泄露到开放训练环境中。
161.s3,在安全训练环境,可以初始化挂载的共享存储系统中的软件依赖,也可直接使用共享存储系统中的数据。需要说明的是,对共享存储系统都必须是只读属性。初始化共享存储系统中软件依赖的方案,可以包括不限于conda等软件管理方案。该实施例在安全训练环境中安装了与开放训练环境一致的一个支持在线编程的算法训练环境,比如,梧桐studio。
162.s4,通过数据中心,将所需要的敏感数据拷贝到安全训练环境的存储介质中,该存储介质已经过控制,无法将其中的数据导出到任何非授权的目的。其中,数据中心可以进行数据任务(nas/oss)的处理,进行数据管理,敏感数据可以包括原始音频数据或原始图片数据,敏感数据可读可写安全训练环境中。
163.s5,在安全云虚拟主机中,可以理解为跳板机,通过特定通道与安全训练环境进行通信,使用已导入的敏感数据进行模型训练。该特定通道可以包括但不限于ssh、客户端、vnc、网页等。
164.s6,在数据模型的训练过程中,如果需要补充任何软件依赖,或者数据,则只需要重复步骤s1到步骤s3即可。
165.s7,将训练后的结果通过数据中心申请导出到指定目标设备,其中,训练后的结果可以包括但不限于训练好的数据模型、数据等资料。
166.s8,在申请通过后,即可在指定目标设备收到数据。
167.该实施例的方法具有普遍的适用性,可采用共享存储系统作为开放环境与安全训练环境的通道,具有普遍适用性,进一步结合梧桐studio,可以解决安全训练环境解决所有数据的安全使用问题,并能够在开发过程中进行灵活的软件依赖安装与数据导入,解决了在开发过程中对于数据或者依赖软件的安装问题。
168.该实施例的共享存储系统在开放训练环境中是可读属性和可写属性进行挂载的,从而解决了软件安装问题;共享存储系统以只读属性挂在安全训练环境中,以确保不会将数据通过共享存储系统进行泄露。
169.该实施例的安全云主机作为连接安全训练环境的唯一入口,可以确保所有的操作都在可控范围以内。
170.需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
171.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
172.实施例4
173.根据本发明实施例,还提供了一种用于实施上述数据处理方法的数据处理装置。需要说明的是,该实施例的数据处理装置可以用于执行本发明实施例图2所示的数据处理方法。
174.图7是根据本发明实施例的一种数据处理装置的示意图。如图7所示,该数据处理装置70可以包括:第一获取单元71、第二获取单元72和训练单元73。
175.第一获取单元71,用于从共享存储系统获取目标资源,其中,共享存储系统具有只读属性。
176.第二获取单元72,用于从数据中心获取训练数据,其中,获取到的训练数据禁止导出至非授权位置,且训练数据的安全级别高于目标阈值。
177.训练单元73,用于基于目标资源对训练数据进行训练,得到目标数据模型。
178.此处需要说明的是,上述第一获取单元71、第二获取单元72和训练单元73对应于实施例1中的步骤s202至步骤s206,三个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述单元作为装置的一部分可以运行在实施例一提供的计算机终端10中。
179.图8是根据本发明实施例的另一种数据处理装置的示意图。如图8所示,该数据处理装置80可以包括:第三获取单元81和第一发送单元82。
180.第三获取单元81,用于在共享存储系统具有只读属性的情况下,获取目标资源。
181.第一发送单元82,用于将目标资源发送至第二类型系统,其中,目标资源用于使第二类型系统对从数据中心中获取到的训练数据进行训练,以得到目标数据模型,训练数据禁止由第二类型系统中导出至非授权位置,且训练数据的安全级别高于目标阈值
182.此处需要说明的是,上述第三获取单元81和第一发送单元82对应于实施例1中的步骤s302至步骤s304,两个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述单元作为装置的一部分可以运行在实施例一提供的计算机终端10中。
183.图9是根据本发明实施例的另一种数据处理装置的示意图。如图9所示,该数据处理装置90可以包括:确定单元91和第二发送单元92。
184.确定单元91,用于确定训练数据。
185.第二发送单元92,用于将训练数据发送至第二类型系统,其中,训练数据禁止由第二类型系统中导出至非授权位置,且训练数据的安全级别高于目标阈值,训练数据由第二类型系统基于从共享存储系统获取的目标资源进行训练,以得到目标数据模型,共享存储系统具有只读属性。
186.此处需要说明的是,上述确定单元91和第二发送单元92对应于实施例1中的步骤
s402至步骤s404,两个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述单元作为装置的一部分可以运行在实施例一提供的计算机终端10中。
187.在该实施例的数据处理装置中,从共享存储系统中灵活地获取目标资源,并且共享存储系统配置为只读属性,从而可以避免通过共享存储系统对数据进行泄露,另外,从数据中心获取到的训练数据无法导出到任何非授权位置,从而通过上述目标资源对训练数据进行训练,无需对训练数据进行脱敏处理,且可以灵活地运行目标资源,达到了保证模型有效训练同时还保证数据的安全性,解决了无法保证数据模型有效训练同时还保证数据的安全性的技术问题,达到了保证数据模型有效训练的同时还保证数据的安全性的技术效果。
188.实施例5
189.本发明的实施例可以提供一种计算机终端,该计算机终端可以设置在本发明实施例的数据处理系统中,可以是计算机终端群中的任意一个计算机终端设备。可选地,在本实施例中,上述计算机终端也可以替换为移动终端等终端设备。
190.可选地,在本实施例中,上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
191.在本实施例中,上述计算机终端可以执行应用程序的数据处理方法中以下步骤的程序代码:从共享存储系统获取目标资源,其中,共享存储系统具有只读属性;从数据中心获取训练数据,其中,获取到的训练数据禁止导出至非授权位置,且训练数据的安全级别高于目标阈值;基于目标资源对训练数据进行训练,得到目标数据模型。
192.可选地,图10是根据本发明实施例的一种计算机终端的结构框图。如图10所示,该计算机终端a可以包括:一个或多个(图中仅示出一个)处理器1002、存储器1004和传输装置1006。
193.其中,存储器可用于存储软件程序以及模块,如本发明实施例中的数据处理方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的数据处理方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端a。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
194.处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:从共享存储系统获取目标资源,其中,共享存储系统具有只读属性;从数据中心获取训练数据,其中,获取到的训练数据禁止导出至非授权位置,且训练数据的安全级别高于目标阈值;基于目标资源对训练数据进行训练,得到目标数据模型。
195.可选地,上述处理器还可以执行如下步骤的程序代码:将训练数据和目标资源发送至云虚拟主机,其中,训练数据由云虚拟主机基于目标资源对训练数据进行训练,得到目标数据模型,云虚拟主机已授权且用于保证训练数据在训练过程中的安全性。
196.可选地,上述处理器还可以执行如下步骤的程序代码:基于辅助数据和/或经过初始化后的目标软件,对训练数据进行训练,得到目标数据模型。
197.可选地,上述处理器还可以执行如下步骤的程序代码:在第二类型系统中,从挂载
至第二类型系统的共享存储系统获取目标资源,其中,第二类型系统禁止与外部网络的系统进行通信。
198.可选地,上述处理器还可以执行如下步骤的程序代码:将数据中心的训练数据存储至第二类型系统中的目标存储位置。
199.可选地,上述处理器还可以执行如下步骤的程序代码:建立第二类型系统与已授权的云虚拟主机之间的通信连接,其中,第二类型系统禁止与除云虚拟主机之外的外部网络的系统进行通信;基于通信连接将训练数据和目标资源从第二类型系统中发送至云虚拟主机,其中,训练数据由云虚拟主机基于目标资源对训练数据进行训练,得到目标数据模型,云虚拟主机用于保证训练数据在训练过程中的安全性。
200.可选地,上述处理器还可以执行如下步骤的程序代码:在基于目标资源对训练数据进行训练,得到目标数据模型之后,将以下至少之一通过数据中心发送至目标设备:目标数据模型、训练数据、目标资源。
201.作为一种可选的示例,处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:在共享存储系统具有只读属性的情况下,获取目标资源;将目标资源发送至第二类型系统,其中,目标资源用于使第二类型系统对从数据中心中获取到的训练数据进行训练,以得到目标数据模型,训练数据禁止由第二类型系统中导出至非授权位置,且训练数据的安全级别高于目标阈值。
202.可选地,上述处理器还可以执行如下步骤的程序代码:从第一类型系统中获取目标资源,其中,第一类型系统允许与外部网络的系统进行通信,且共享存储系统以可读属性和可写属性挂载至第一类型系统。
203.作为一种可选的示例,处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:确定训练数据;将训练数据发送至第二类型系统,其中,训练数据禁止由第二类型系统中导出至非授权位置,且训练数据的安全级别高于目标阈值,训练数据由第二类型系统基于从共享存储系统获取的目标资源进行训练,以得到目标数据模型,共享存储系统具有只读属性。
204.作为一种可选的示例,处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:在目标界面上显示目标资源,其中,目标资源从共享存储系统获取,共享存储系统具有只读属性;在目标界面上显示训练数据,其中,训练数据从数据中心获取,获取到的训练数据禁止导出至非授权位置,且训练数据的安全级别高于目标阈值;输出目标数据模型,其中,目标数据模型为基于目标资源对训练数据进行训练得到。
205.可选地,上述处理器还可以执行如下步骤的程序代码:在输出目标数据模型之前,响应作用在目标界面上的目标操作指令,将训练数据和目标资源发送至云虚拟主机,其中,训练数据由云虚拟主机基于目标资源对训练数据进行训练,得到目标数据模型,云虚拟主机已授权且用于保证训练数据在训练过程中的安全性。
206.可选地,上述处理器还可以执行如下步骤的程序代码:在目标界面上显示辅助数据和/或目标软件的界面,其中,辅助数据用于辅助训练训练数据,目标软件为对训练数据进行训练所使用的软件。
207.作为一种可选的示例,处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:从交易平台获取交易对象的目标交易数据;基于目标数据模型对目标
交易数据进行分析,得到交易对象的交易结果,其中,目标数据模型为基于目标资源对交易训练数据进行训练得到,目标资源从共享存储系统获取,共享存储系统具有只读属性,交易训练数据从数据中心获取,获取到的交易训练数据禁止导出至非授权位置,且交易训练数据的安全级别高于目标阈值;向交易平台输出交易结果。
208.作为一种可选的示例,处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:从媒体播放平台获取目标媒体数据;基于目标数据模型对目标媒体数据进行分析,得到媒体播放结果,其中,目标数据模型为基于目标资源对媒体训练数据进行训练得到,目标资源从共享存储系统获取,共享存储系统具有只读属性,媒体训练数据从数据中心获取,获取到的媒体训练数据禁止导出至非授权位置,且媒体训练数据的安全级别高于目标阈值;向媒体播放平台输出媒体播放结果。
209.作为一种可选的示例,处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:从直播平台获取直播对象的目标直播数据;基于目标数据模型对目标直播数据进行分析,得到直播对象的直播结果,其中,目标数据模型为基于目标资源对直播训练数据进行训练得到,目标资源从共享存储系统获取,共享存储系统具有只读属性,直播训练数据从数据中心获取,获取到的直播训练数据禁止导出至非授权位置,且直播训练数据的安全级别高于目标阈值;向直播平台输出直播结果。
210.作为一种可选的示例,处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取人脸识别平台获取人脸图像数据;基于目标数据模型对人脸图像数据进行识别,得到人脸识别结果,其中,目标数据模型为基于目标资源对人脸训练数据进行训练得到,目标资源从共享存储系统获取,共享存储系统具有只读属性,人脸训练数据从数据中心获取,获取到的人脸训练数据禁止导出至非授权位置,且人脸训练数据的安全级别高于目标阈值;向人脸识别平台输出人脸识别结果。
211.采用本发明实施例,提供了一种数据处理方法的方案。从共享存储系统获取目标资源,其中,共享存储系统具有只读属性;从数据中心获取训练数据,其中,获取到的训练数据禁止导出至非授权位置,且训练数据的安全级别高于目标阈值;基于目标资源对训练数据进行训练,得到目标数据模型。也就是说,该实施例从共享存储系统中灵活地获取目标资源,并且共享存储系统配置为只读属性,从而可以避免通过共享存储系统对数据进行泄露,另外,从数据中心获取到的训练数据无法导出到任何非授权位置,从而通过上述目标资源对训练数据进行训练,无需对训练数据进行脱敏处理,且可以灵活地运行目标资源,达到了保证模型有效训练同时还保证数据的安全性,解决了无法保证数据模型有效训练同时还保证数据的安全性的技术问题,达到了保证数据模型有效训练的同时还保证数据的安全性的技术效果
212.本领域普通技术人员可以理解,图10所示的结构仅为示意,计算机终端也可以是智能手机(如android手机、ios手机等)、平板电脑、掌声电脑以及移动互联网设备(mobile internet devices,mid)、pad等终端设备。图10其并不对上述计算机终端的结构造成限定。例如,计算机终端a还可包括比图10中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图10所示不同的配置。
213.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质
中,存储介质可以包括:闪存盘、只读存储器(read-only memory,rom)、随机存取器(random access memory,ram)、磁盘或光盘等。
214.实施例6
215.本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于保存上述实施例一所提供的数据处理方法所执行的程序代码。
216.可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
217.可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:从共享存储系统获取目标资源,其中,共享存储系统具有只读属性;从数据中心获取训练数据,其中,获取到的训练数据禁止导出至非授权位置,且训练数据的安全级别高于目标阈值;基于目标资源对训练数据进行训练,得到目标数据模型。
218.可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:将训练数据和目标资源发送至云虚拟主机,其中,训练数据由云虚拟主机基于目标资源对训练数据进行训练,得到目标数据模型,云虚拟主机已授权且用于保证训练数据在训练过程中的安全性。
219.可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:基于辅助数据和/或经过初始化后的目标软件,对训练数据进行训练,得到目标数据模型。
220.可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:在第二类型系统中,从挂载至第二类型系统的共享存储系统获取目标资源,其中,第二类型系统禁止与外部网络的系统进行通信。
221.可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:将数据中心的训练数据存储至第二类型系统中的目标存储位置。
222.可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:建立第二类型系统与已授权的云虚拟主机之间的通信连接,其中,第二类型系统禁止与除云虚拟主机之外的外部网络的系统进行通信;基于通信连接将训练数据和目标资源从第二类型系统中发送至云虚拟主机,其中,训练数据由云虚拟主机基于目标资源对训练数据进行训练,得到目标数据模型,云虚拟主机用于保证训练数据在训练过程中的安全性。
223.可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:在基于目标资源对训练数据进行训练,得到目标数据模型之后,将以下至少之一通过数据中心发送至目标设备:目标数据模型、训练数据、目标资源。
224.作为一种可选的示例,存储介质被设置为存储用于执行以下步骤的程序代码:在共享存储系统具有只读属性的情况下,获取目标资源;将目标资源发送至第二类型系统,其中,目标资源用于使第二类型系统对从数据中心中获取到的训练数据进行训练,以得到目标数据模型,训练数据禁止由第二类型系统中导出至非授权位置,且训练数据的安全级别高于目标阈值。
225.可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:从第一类型系统中获取目标资源,其中,第一类型系统允许与外部网络的系统进行通信,且共享存储系统以可读属性和可写属性挂载至第一类型系统。
226.作为一种可选的示例,存储介质被设置为存储用于执行以下步骤的程序代码:确定训练数据;将训练数据发送至第二类型系统,其中,训练数据禁止由第二类型系统中导出
至非授权位置,且训练数据的安全级别高于目标阈值,训练数据由第二类型系统基于从共享存储系统获取的目标资源进行训练,以得到目标数据模型,共享存储系统具有只读属性。
227.作为一种可选的示例,存储介质被设置为存储用于执行以下步骤的程序代码:在目标界面上显示目标资源,其中,目标资源从共享存储系统获取,共享存储系统具有只读属性;在目标界面上显示训练数据,其中,训练数据从数据中心获取,获取到的训练数据禁止导出至非授权位置,且训练数据的安全级别高于目标阈值;输出目标数据模型,其中,目标数据模型为基于目标资源对训练数据进行训练得到。
228.可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:在输出目标数据模型之前,响应作用在目标界面上的目标操作指令,将训练数据和目标资源发送至云虚拟主机,其中,训练数据由云虚拟主机基于目标资源对训练数据进行训练,得到目标数据模型,云虚拟主机已授权且用于保证训练数据在训练过程中的安全性。
229.可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:在目标界面上显示辅助数据和/或目标软件的界面,其中,辅助数据用于辅助训练训练数据,目标软件为对训练数据进行训练所使用的软件。
230.作为一种可选的示例,存储介质被设置为存储用于执行以下步骤的程序代码:从交易平台获取交易对象的目标交易数据;基于目标数据模型对目标交易数据进行分析,得到交易对象的交易结果,其中,目标数据模型为基于目标资源对交易训练数据进行训练得到,目标资源从共享存储系统获取,共享存储系统具有只读属性,交易训练数据从数据中心获取,获取到的交易训练数据禁止导出至非授权位置,且交易训练数据的安全级别高于目标阈值;向交易平台输出交易结果。
231.作为一种可选的示例,存储介质被设置为存储用于执行以下步骤的程序代码:从媒体播放平台获取目标媒体数据;基于目标数据模型对目标媒体数据进行分析,得到媒体播放结果,其中,目标数据模型为基于目标资源对媒体训练数据进行训练得到,目标资源从共享存储系统获取,共享存储系统具有只读属性,媒体训练数据从数据中心获取,获取到的媒体训练数据禁止导出至非授权位置,且媒体训练数据的安全级别高于目标阈值;向媒体播放平台输出媒体播放结果。
232.作为一种可选的示例,存储介质被设置为存储用于执行以下步骤的程序代码:从直播平台获取直播对象的目标直播数据;基于目标数据模型对目标直播数据进行分析,得到直播对象的直播结果,其中,目标数据模型为基于目标资源对直播训练数据进行训练得到,目标资源从共享存储系统获取,共享存储系统具有只读属性,直播训练数据从数据中心获取,获取到的直播训练数据禁止导出至非授权位置,且直播训练数据的安全级别高于目标阈值;向直播平台输出直播结果。
233.作为一种可选的示例,存储介质被设置为存储用于执行以下步骤的程序代码:获取人脸识别平台获取人脸图像数据;基于目标数据模型对人脸图像数据进行识别,得到人脸识别结果,其中,目标数据模型为基于目标资源对人脸训练数据进行训练得到,目标资源从共享存储系统获取,共享存储系统具有只读属性,人脸训练数据从数据中心获取,获取到的人脸训练数据禁止导出至非授权位置,且人脸训练数据的安全级别高于目标阈值;向人脸识别平台输出人脸识别结果。
234.上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
235.在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
236.在本技术所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
237.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
238.另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
239.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
240.以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1