一种智能系统隐私性评估方法及系统

1.本发明涉及一种智能系统隐私性评估方及系统，属于数据隐私保护技术领域。


背景技术：

2.近年来随着深度学习技术的快速发展，智能化已经日渐成为系统设计的新需求。智能推断服务，尤指深度学习推断服务（deep learning inference service, dlis），在工作时以用户数据作为输入，产生具有特定语义的推断结果。通过向系统中引入深度学习推断服务，开发者可以为系统配备更多的功能，也可以优化提升系统的运行性能。在此，将一切以智能推断服务驱动的系统和应用，或者系统与应用当中的智能推断部分统称为智能系统。
3.用户在使用智能系统时，按照智能系统的要求提供数据，但对于智能系统在工作时到底使用了哪些数据特征进行推断，以及涉及到哪些用户数据隐私信息，用户不得而知。这也就导致了用户在准备智能系统输入数据时，往往会过度提供信息，从而造成了隐私信息泄露或智能系统滥用的风险。例如，在使用行人追踪系统时，用户很可能无意识地提供了包含清晰人脸的数据。
4.尽管智能系统快速发展，但对于智能系统隐私问题的相关工作还较少。对于解决智能系统隐私问题，现有方案主要是从智能系统的拥有者或训练数据提供者的角度出发，研究智能系统在推断过程中，是否会泄露模型的参数或模型的训练数据。这些方案对于想要从用户角度出发，获取智能系统的隐私性（本发明所定义的隐私性，是从用户角度出发来描述智能系统在执行正确的推断时所依赖的用户输入数据中的隐私信息数量）来说，基本无法满足。
5.由于用户既难以获得模型的结构和参数，又不具备丰富的深度学习知识，其很难通过对模型进行直接分析的方式来评估系统的隐私性。同时，一个理想的评估方法还应充分考虑不同系统的差异性，自动地针对不同待评估对象进行适配，避免无效评估。不同功能的智能系统往往会工作在不同的数据分布之上，因此评估系统需要能够为不同的待评估系统提供足够多的多种模态、不同分布的评估数据。智能系统的隐私性是从用户视角定义的系统固有属性，其评估过程应该足够高效以满足用户自发进行隐私性评估的需求。用户愿意花费的评估时间和计算开销往往非常有限，因此评估系统需要尽可能使用较少的测试样例、执行尽可能少的测试轮数来充分的进行隐私性评估。
6.因此，用户们希望找到一个通用、高效、自动化的技术方案，帮助他们自主判断智能系统的隐私性。比如在用户使用智能系统时，用户可以获取该智能系统在推断过程中真实需要的数据，从而仅提供必要数据，避免过度提供信息，造成隐私信息泄露或智能系统滥用的风险。
7.评估智能系统隐私性的关键是找出智能系统在执行正确推理时所依赖的语义信息中属于隐私信息的部分。而真正的评估过程面临了一些挑战，主要包括三个方面：1）理论层面：针对深度学习可解释性的研究还在持续发展，目前无法通过直接分
析深度学习模型的结构和参数得到模型正确推断时所依赖的全部语义信息，同时深度学习模型的结构和设计思路也复杂多样，很难围绕模型为中心建立一套通用的隐私性评估体系；2）场景层面：通常情况下，智能系统是仅提供一个查询接口的灰盒或黑盒系统，系统以用户数据为输入，输出推断结果，系统用户或第三方分析人员（如白帽子）对系统中的深度学习模型知识（如参数、结构、训练方法等）了解甚少，同时智能系统中的推断模型会被压缩优化，因此没有对模型利用反向传播等技术进行分析的机会；3）数据层面：由于深度学习社区快速发展，智能系统的功能和涵盖的应用场景越来越多，除了使用图片、文字、视频、音频、程序代码等单一模态数据进行决策的系统，使用多模态数据的模型来完成分析的系统也越来越多，对模型隐私性有评估需求的第三方分析人员或用户自身很难收集足够多的数据对智能系统完成隐私性评估。


技术实现要素：

8.发明目的：针对现有技术所存在的问题，本发明提供一种通用、高效、自动化的智能系统隐私性评估方法及系统，以数据驱动的方式，通过建立用户隐私信息与模型推断精度之间的关系，实现对智能系统的隐私性评估，从而提高智能系统对用户隐私信息使用的透明度，保证用户对个人隐私信息使用风险的知情权。
9.技术方案：为实现上述目的，本发明提供一种智能系统隐私性评估方法，主要包括在线数据准备、动态数据采样、智能语义编辑和高效隐私评估四个阶段。下面对这四个阶段进行详细分析：1、在线数据准备大多数智能系统用户并没有深度学习的背景知识，因此他们较难自行挑选出符合特定分布的数据来对智能系统进行充分的隐私性评估。同时，考虑到智能系统场景的多样性和用户有限的存储资源之间的矛盾，隐私性评估系统也很难预先准备足够多的数据供用户评估之用。因此隐私性评估的第一个关键阶段便是在线数据准备，通过在线数据准备来做到动态、按需地收集场景丰富且分布多样的评估数据。
10.在线数据准备涉及到两个关键技术，分别是智能场景理解和数据按需收集。
11.1.1、智能场景理解在线数据准备的第一个关键技术是进行智能系统场景的理解与建模，但是直接通过对其中的模型参数和结构进行分析来得到模型功能十分困难。但是智能系统除了模型本身，还有机会收集到模型的一些其他上下文信息，如一些必要的系统功能描述（如应用商店中对于智能系统的简介）、智能系统的用户界面（ui），甚至是智能模型的调用代码等。这些信息给了评估系统自动化理解场景语义和模型功能的可能。
12.因此，首先需要使用包括但不限于自然语言分析、程序代码分析、系统ui分析等智能分析技术，理解待评估系统的应用场景和具体功能。以智能移动应用中模型的功能分析为例，可以从应用商店中自动抓取应用的功能描述，并进行自然语言处理，提取描述应用智能部分的关键词（如年龄识别）；对于没有功能描述或功能描述模糊的应用，还可以使用程序分析方法，以智能模型为中心同时前向或后向建立程序依赖图（pdg）并进行程序语义挖掘；另外，可以通过程序ui的分析识别来智能系统中的模型功能。无论通过何种技术进行分
析，在理解程序关键语义的同时，还将建立模型功能数据库（如建立模型签名、应用描述、程序特征、ui特征与模型功能之间的关联关系）来加速后续待评估模型的场景或功能理解速度。
13.1.2、数据按需收集其次，在线数据准备阶段需要进行动态在线数据检索，即：将上述场景理解中得到的关键词放入搜索引擎中进行按需数据索引，索引范围包括但不限于开源数据集、图片网站、视频网站、音乐网站、博客文集等。可以预见的是，搜索到的网络数据中可能包含大量的脏数据，因此要对此进行智能化数据清洗。这里可以使用智能模型来评估检索到的数据与检索关键词之间的相关性，之后根据相关性对检索到的数据进行筛选，甚至是用关联性高的关键词完善下一轮查询。以图像检索为例，可以选取问答（qa）模型判断检索的关键词与搜索到的图像内容之间的相关性大小。
14.2、动态数据采样前述阶段完成了候选评估数据集的准备工作，但这些数据的分布是十分多样的，未必针对的是待评估系统的具体工作场景。比如前述阶段理解分析出待评估系统的功能是人类年龄识别，评估系统会从网络上找到大量的人类照片，这些照片可能包含单人人脸照、单人全身照、多人人脸照和多人全身照片等。若当前系统所配备的是一个工作在单人人脸照上的模型，那么对于上述四个数据分布，只有使用单人人脸照进行的隐私性评估才是有效的。因此数据分布推断操作完成的就是在众多满足功能描述的数据中选择特定分布数据的过程。在选定了特定分布之后，仍可能有大量的评估数据来用作评估选择。这就要考虑到数据中可能含有的语义特征冗余，智能地选择具有代表性的样例来进行模型评估，从而尽可能使用较少的数据样本完成充分的评估。
15.动态数据采样涉及到两个关键技术，分别是数据分布推断和代表样例选择。
16.2.1、数据分布推断数据分布推断操作所面临的最大挑战是所收集到的数据是无标签的，也就是无法通过使用模型完成一次推断，即判断推断结果与数据标签之间的一致性来确定当前数据分布是否符合预期。在此给出一种无监督的解决方案，该方案的关键思路是智能系统只能有效工作在与其模型训练数据独立同分布的数据上。因此，可以先对检索到的数据进行分布建模，并对这些数据中各种可能的数据分布进行划分。用待评估系统对每个可能分布中的一个随机样本完成推断。从推断结果上来看，符合预期分布的数据对应的推断结果与其他分布数据对应的推断结果应该体现出较大差异。通过利用离群点检测技术，可以确定哪个数据分布最符合智能系统的工作要求。上述操作步骤可重复进行，以得到更加鲁棒的结果。
17.2.2、代表样例选择在确定数据分布之后，面临符合数据分布的大量样例，需要在其中选出具有代表性的样例，尽量减少评估样例之间的冗余性，从而使得评估过程更加高效。这里可以对数据进行语义表示（如使用autoencoder技术对图像进行编码，使用word embedding技术对文字进行编码等），然后计算评估样本之间的语义相似度（如直接比较语义表示之间的1范数，也可使用孪生网络等深度度量方法）。根据语义表示的相似度，来从当前数据分布中选取代表性样例。一个可行的思路是，对语义表示进行聚类分析，然后从各类当中随机选取若干样例进行模型评估。同时，还可以根据评估时待评估系统的推断反馈来调整代表性样例的选择。
18.3、智能语义编辑智能语义编辑阶段是对评估数据中的隐私信息进行修改，通过判断修改后数据对模型推断精度的影响来进一步分析数据隐私信息与系统推断精度的关联关系。这一步所解决的最主要挑战就是，如何实现对单个数据中的隐私信息分量实现细粒度的编辑。因此本阶段划分为两个关键操作，一个是围绕智能系统建立隐私信息图谱并确定评估样例中的隐私信息，另一个是对评估数据进行语义提取与内容再编辑。
19.3.1、隐私信息图谱构建首先要构建通用的隐私信息图谱，该隐私信息图谱能够对语义实体、实体描述、实体关系的隐私性分类和分级，而后需要利用智能算法（如图片场景理解、文本理解等技术）提取评估样本中的语义实体、实体描述以及实体间的语义关系。接着，可以用在评估样本上抽取出的语义特征与隐私信息图谱上的信息求交集，求解所得的交集即为评估样例上的隐私信息。这里有两点需要注意：第一，要建立从样本中抽取的实体、描述、关系等表达方式与隐私信息图谱中对应信息表达的一致性。如样本隐私信息表示和隐私信息图谱表示均采用文字时，需要考虑两种表示之间的语义等价关系。第二，此处根据隐私信息图谱对样例进行隐私语义特征描述时，不考虑由于单个用户对于隐私信息敏感度不同等主观因素带来的差异。但此处设计是可扩展的，可以根据用户历史数据，挖掘用户意图和隐私偏好，进一步调整隐私信息的划定。
20.3.2、语义提取与再编辑得到隐私信息之后，需要采用智能化数据编辑算法对数据中的隐私属性进行编辑以及数据重建。编辑过程需要保证被编辑信息的语义类别不变，仅改变类别内的具体特征。比如，当隐私信息图谱与图像语义特征的交集中包含人脸这一信息分量时（也即人脸被评估系统自动确定为隐私信息），只会将样例中的人脸变为另外一张人脸，而不会将人脸变成气球或者其他动物的头部。语义编辑时，由可编辑的语义分量数量以及其他编辑参数组成的搜索空间十分巨大，因此需要根据隐私性评估阶段的反馈来对这个搜索过程进行指导。数据重建时要保证语义修改后数据与未经修改的数据仅在被修改的特征上存在差异，而不会因为特定语义修改导致其他语义实体、描述或关系发生改变。
21.4、高效隐私评估隐私评估阶段要解决的问题主要有：第一，如何保证评估方法的通用性，即对于不同的模型结构、不同的场景、在有无数据标签时都可以采用一致的评价体系和评价指标；第二，如何利用已有样例评估结果，生成隐私性评估报告，并指导前述智能语义编辑、动态数据采样和在线数据准备等过程，使得整个评估过程变得更加高效。
22.高效隐私评估涉及到两个关键技术，分别是自动化评估算法和启发式搜索策略。
23.4.1、自动化评估算法关于第一个问题，如果想要实现针对不同模型结构和不同场景的通用性评估方案，必须要抛开模型参数本身，将待评估目标作为黑盒来分析。这也正是建立以数据为中心的隐私性评估方法的主要动机之一。考虑到用于系统评估的样例缺少标签，在此选择蜕变测试的思路来评估数据中的隐私信息对于模型正确运行的影响。简要来说，待评估模型若在仅有某个隐私信息不同的两个评估样例上表现出不同的结果，那么这一不同的隐私信息对于模型的正确推断有着重要影响。考虑到假阳性存在的可能，如某个语义特征仅在特定
数据样例上才能使得模型的推断结果发生改变。因此，必须要选取其他代表性样例，重复进行此语义特征的编辑，从而确定这一语义特征对于系统工作的数据分布中全部数据均具有相似的影响，这样才能保证系统隐私性分析结果的正确性。
24.4.2、启发式搜索策略关于第二个问题，根据上一步的蜕变测试，可以初步得到样例中隐私分量与模型推断之间的相关性关系。而在评估系统中设计启发式搜索策略这一关键操作中，需要将分析结果与前述各个阶段建立关联关系，总的来说要实现四个目标：1）建立隐私分量与系统推断之间的量化关系。这对于设计权衡用户推断数据隐私保护与系统推断精度之间平衡的隐私保护方案，具有重要意义。
25.2）指导样例的语意编辑，高效地探索多个隐私分量的联合变化对推断结果的影响。请注意，要寻找的是在某个数据分布中隐私信息对于推断结果的影响，单一样例上的隐私信息对结果的影响可能是不稳定的。
26.3）指导动态数据采样阶段进行代表性样例的重新选择。由于动态数据选择阶段是无监督的样例采样过程，可能存在一些被错误采样的样例，因此可以根据评估结果对这些样例进行过滤，如当图像中的全部语义特征被改变都不会引起系统推断结果的显著变化，那么意味着当前样本可能并不属于系统所预期的数据分布。
27.4）提高在线数据准备阶段的数据质量。对影响推断结果的数据样例进行语义理解，并利用此语义信息对数据检索关键词进行微调再次进行数据收集。
28.根据上述规则，动态、分层次地优化指导前述语义编辑、数据采样和数据准备过程，同时持续动态更新隐私性评估结果，迭代此过程直到评估结果收敛。
29.基于上述评估方法，本发明还提供了一种智能系统隐私性评估系统，主要包括在线数据准备、动态数据采样、智能语义编辑、高效隐私评估四个模块，分别对应上述四个阶段。该系统利用其新颖的评估框架，在已经发布的智能系统上，完全自动化地实现了对智能系统隐私性的评估，整个部署过程可以在待评估智能系统的环境要求（智能手机、笔记本电脑）下进行。整个评估系统的工作过程无需智能系统供应商提供任何帮助，用户无需深度学习知识便能获取智能系统的隐私性分析。
30.有益效果：本发明提供的一种智能系统隐私性评估方法及系统，相对于现有技术，具有以下优点：1、揭示智能系统对用户隐私的滥用风险。通过对智能系统进行隐私性评估，自动化生成智能系统执行正确的推断时对用户隐私信息的依赖报告。这可以提高智能系统对用户隐私信息使用的透明度，保证用户对个人隐私信息使用风险的知情权，进而帮助用户根据主观需要结合可用性与安全性的相关评价来选择合适的智能系统。
31.2、指导设计针对用户数据的隐私保护方案。不同智能系统的隐私性不同，对用户隐私信息的依赖也不同，这也意味着为特定智能系统设计用户推断数据隐私保护方案的难度和方法也不相同。通过对智能系统所需隐私信息的描述与量化，可以帮助生成针对特定智能系统的最佳数据隐私保护方案，同时做到不泄漏用户所关心的隐私信息和不对用户数据过度保护。
32.3、帮助实现隐私友好的智能系统或深度学习模型。隐私性可以作为手动模型设计和自动模型结构搜索（nas）的优化目标之一，来指导模型网络结构、数据增强方法、参数优
化方式的选择。同时，可以将训练集中所有当前智能系统所依赖的非必要隐私信息进行混淆或变化，从而训练出对用户隐私最友好的深度学习模型。
33.4、增进对于智能系统可解释性的理解。目前对于深度学习可解释性的研究，主要通过模糊测试或反向传播等方法，建立用户数据与系统推断精度之间的关联关系，对于用户数据语义与系统推断精度的关系挖掘相对较弱。从智能系统隐私性的视角出发，可以建立统一且语义敏感的深度学习可解释性分析方法，甚至量化用户数据中每一维语义分量对智能系统推断过程的影响。
附图说明
34.图1为本发明实施例的整体评估流程图；图2为本发明实施例中不同数据分布的图像数据集；图3为本发明实施例中各类数据集的性别推断结果；图4为本发明实施例中选取的代表性样例；图5为本发明实施例中性别推断模型的隐私性评估结果；图6为本发明实施例中性别推断模型的隐私性评估示例；图7为本发明实施例中年龄推断模型的隐私性评估结果；图8为本发明实施例中年龄推断模型的隐私性评估示例；图9为本发明实施例中烹饪文本分类模型的隐私性评估结果；图10为本发明实施例中烹饪文本分类模型的隐私信息编辑示例。
具体实施方式
35.下面将结合附图对本发明的优选实施方式进行描述，更加清楚、完整地阐述本发明的技术方案。
36.图1展示了一种智能系统隐私性评估方法及系统的整体评估流程，主要包括在线数据准备、动态数据采样、智能语义编辑和高效隐私评估四个部分。下面以性别推断模型为例进行详细分析：1、在线数据准备评估系统能够利用有限的系统功能描述、系统交互界面或系统代码语义进行在线评估数据集的准备。此过程需要使用包括但不限于自然语言分析、程序代码分析、系统ui分析等智能分析技术，理解待评估系统的应用场景和具体功能。以智能移动应用中模型的功能分析为例，评估系统会从应用商店中自动抓取应用的功能描述，并进行自然语言处理，提取描述应用智能部分的关键词（如年龄识别）；对于没有功能描述或功能描述模糊的应用，可以使用程序分析方法，以智能模型为中心同时前向或后向建立程序依赖图（pdg）并进行程序语义挖掘；另外，可以通过程序ui的分析识别来推测系统中的模型功能。无论通过何种技术进行分析，在理解程序关键语义的同时，还将建立模型功能数据库（如建立模型签名、应用描述、程序特征、ui特征与模型功能之间的关联关系）来加速后续待评估模型的场景或功能理解速度。
37.其次，在线数据准备阶段需要进行动态在线数据检索。评估系统会将上述场景理解中得到的关键词放入搜索引擎中进行按需数据索引，索引范围包括但不限于开源数据
集、图片网站、视频网站、音乐网站、博客文集等。可以预见的是，搜索到的网络数据中可能包含大量的脏数据，因此要对此进行智能化数据清洗。这里可以使用智能模型来评估检索到的数据与检索关键词之间的相关性，之后根据相关性对检索到的数据进行筛选，甚至是用关联性高的关键词完善下一轮查询。以图像检索为例，可以选取问答（qa）模型判断检索的关键词与搜索到的图像内容之间的相关性大小。
38.通过上述方法，对待评估系统的功能描述进行语义理解，从描述“从图像中识别出人的性别”中抽取出关键词：图像，识别，人，性别，并利用这些关键词进行数据检索和筛选，得到候选评估数据集。
39.2、动态数据采样。
40.完成评估数据的在线准备之后，评估系统将对候选评估数据进行动态采样。首先对检索到的数据进行分布建模，并对这些数据中各种可能的数据分布进行划分。用待评估系统对每个可能分布中的一个随机样本完成推断。从推断结果上来看，符合预期分布的数据对应的推断结果与其他分布数据对应的推断结果应该体现出较大差异。通过利用离群点检测技术，可以确定哪个数据分布最符合智能系统的工作要求。上述操作步骤可重复进行，以得到更加鲁棒的结果。
41.在确定数据分布之后，面临符合数据分布的大量样例，需要在其中选出具有代表性的样例，尽量减少评估样例之间的冗余性，从而使得评估过程更加高效。在此可以对数据进行语义表示（如使用autoencoder技术对图像进行编码，使用word embedding技术对文字进行编码），然后计算评估样本之间的语义相似度（如直接比较语义表示之间的1范数，也可使用孪生网络等深度度量方法）。根据语义表示的相似度，来从当前数据分布中选取代表性样例。一个可行的思路是，对语义表示进行聚类分析，然后从各类当中随机选取若干样例进行模型评估。
42.图2展示了多种数据分布的图像数据集，在此需要判断哪种数据分布的图像可以使得dlis正确运行。利用上述方法，先对收集到的图像做聚类，用性别推断服务对每类中的两张图片做识别，识别后的结果如图3所示。可以看到，该模型在数据集2所对应的数据分布上，与其他图像所对应的数据分布上的推断结果明显不同。那么数据集2对应的数据分布便为该模型预期的数据分布。接着再利用上述方法对数据集2对应的数据分布进行代表性样例m的选择（如图4所示）。
43.3、智能语义编辑在智能语义编辑阶段，首先要构建一个通用的隐私信息图谱，而后利用智能算法（如图片场景理解、文本理解等技术）提取评估样本中的语义实体、实体描述以及实体间的语义关系。最后用在评估样本上抽取出的语义特征与隐私信息图谱上的信息求交集，求解所得的交集即为评估样例上的隐私信息。
44.得到隐私信息之后，需要采用智能化数据编辑算法对数据中的隐私属性进行编辑以及数据重建。语义编辑时，由可编辑的语义分量数量以及其他编辑参数组成的搜索空间十分巨大，需要根据隐私性评估阶段的反馈来对这个搜索过程进行指导。数据重建时要保证语义修改后数据与未经修改的数据仅在被修改的特征上存在差异，而不会因为特定语义修改导致其他语义实体、描述或关系发生改变。
45.本实施例中，将此场景下的隐私信息定义为发型、表情、胡须、瞳孔颜色、耳饰、眼
镜、头发颜色、化妆和肤色信息，并选择智能编辑工具styleclip对上述两个代表性样例进行编辑。该工具会选取一个隐私信息分量，并对样例上的对应隐私信息分量进行变化，得到变化后的评估样例m’。
46.4、高效隐私评估。
47.一个有效的隐私性评估思想是，若系统的推断结果随着输入样例上的某个语义特征的改变而产生变换，那么该语义特征对模型的正确推断有着重要影响。因此，这一步可以用评估样例m和m’在待测试系统上进行推断，并分析这两份推断结果之间的差异性，由此得到所编辑的语义特征对于模型推断结果的影响。根据智能系统在不同语义特征上的反应情况，评估系统可以依次对智能语义编辑、动态数据采样和在线数据准备过程进行优化和调整，由此进行迭代评估，直到评估结果收敛（即不会因为新的数据、新的样例、新的编辑的引入而生成新的评估结果）。每次迭代评估都会记录评估数据中隐私信息与系统推断精度的相关性，进而利用信息量度量函数来对待评估系统的隐私性进行量化评估。
48.本实施例中，利用以下公式得到某一隐私信息对该性别推断模型推断结果的影响：其中，n表示该隐私信息对应的评估数据总个数，genderi和gender
i’分别表示待评估系统对第i个评估样例m和m’的推断结果。图5、图6分别展示了各隐私信息对性别推断模型的影响以及性别推断模型的部分隐私性评估示例，可以观察到，惊讶、生气、白发、口红与白皮肤等隐私信息对性别推断无影响（即这些隐私信息是该性别推断模型的非必要输入数据）。
49.除了性别推断模型，我们还对年龄推断模型、烹饪文本分类模型分别进行了实验评估：图7、图8分别展示了不同隐私信息对于年龄推断模型结果的影响以及年龄推断模型的部分隐私性评估示例；图9、图10分别展示了不同隐私信息对于烹饪文本分类模型结果的影响以及烹饪文本分类模型的部分隐私信息编辑示例。
50.实验结果表明，该评估系统在满足待评估系统运行环境下即可工作，具体评估时间取决于待评估系统的推断时间与语义编辑时间，例如在性别推断模型中，语义编辑需要0.31s，性别推断需要0.09s。
51.上述具体实施方式仅仅对本发明的优选实施方式进行描述，而并非对本发明的保护范围进行限定。在不脱离本发明设计构思和精神范畴的前提下，本领域的普通技术人员根据本发明所提供的文字描述、附图对本发明的技术方案所作出的各种变形、替代和改进，均应属于本发明的保护范畴。