保护推理引擎免受模型检索攻击的制作方法

文档序号:19746353发布日期:2020-01-21 18:30阅读:来源:国知局

技术特征:

1.一种电子处理系统,包括:

推理引擎;以及

模型检索阻止器,其通信地耦合到所述推理引擎,所述模型检索阻止器包括逻辑单元,所述逻辑单元用于:

执行对所述推理引擎的机器学习模型的输入和输出的运行时分析,

基于所述运行时分析来检测指示对检索所述机器学习模型的尝试的活动,以及

在检测到指示尝试的模型检索的所述活动时执行一个或多个预防措施。

2.根据权利要求1所述的系统,其中,所述逻辑单元还用于:

至少部分地在安全执行环境中运行活动检测和预防措施中的一个或多个。

3.根据权利要求1所述的系统,其中,所述逻辑单元还用于:

检测与所述机器学习模型的使用相关的异常。

4.根据权利要求3所述的系统,其中,所述使用异常基于以下中的一个或多个:模型检索查询模式与训练模式之间的相似性、常规预测和分类中的一个或多个中的模型查询与训练查询之间的差异、训练中的特征集与推理数据集之间的随机分布的差异、以及训练数据集与所述推理数据集之间的分类的统计分布之间的差异。

5.根据权利要求1至4中任一项所述的系统,其中,所述逻辑单元还用于:

基于检测到的异常在所述机器学习模型中的一个或多个流执行点处实行流。

6.根据权利要求1至4中任一项所述的系统,其中,所述一个或多个预防措施包括以下中的一个或多个:所述机器学习模型的所述流的中断、所述机器学习模型的执行中的延迟的引入、所述机器学习模型的输出的修改、与所述模型检索尝试相关的信息日志的创建、以及所述模型检索尝试的通知。

7.一种半导体封装装置,包括:

一个或多个衬底;以及

逻辑单元,其耦合到所述一个或多个衬底,其中,所述逻辑单元至少部分地实施成可配置逻辑单元和固定功能硬件逻辑单元中的一个或多个,耦合到所述一个或多个衬底的所述逻辑单元用于:

执行对推理引擎的机器学习模型的输入和输出的运行时分析,

基于所述运行时分析来检测指示对检索所述机器学习模型的尝试的活动,以及

在检测到指示尝试的模型检索的所述活动时执行一个或多个预防措施。

8.根据权利要求7所述的装置,其中,所述逻辑单元还用于:

至少部分地在安全执行环境中运行活动检测和预防措施中的一个或多个。

9.根据权利要求7所述的装置,其中,所述逻辑单元还用于:

检测与所述机器学习模型的使用相关的异常。

10.根据权利要求9所述的装置,其中,所述使用异常基于以下中的一个或多个:模型检索查询模式与训练模式之间的相似性、常规预测和分类中的一个或多个中的模型查询与训练查询之间的差异、训练中的特征集与推理数据集之间的随机分布的差异、以及训练数据集与所述推理数据集之间的分类的统计分布之间的差异。

11.根据权利要求7至10中任一项所述的装置,其中,所述逻辑单元还用于:

基于检测到的异常在所述机器学习模型中的一个或多个流执行点处实行流。

12.根据权利要求7至10中任一项所述的装置,其中,所述一个或多个预防措施包括以下中的一个或多个:所述机器学习模型的所述流的中断、所述机器学习模型的执行中的延迟的引入、所述机器学习模型的输出的修改、与所述模型检索尝试相关的信息日志的创建、以及所述模型检索尝试的通知。

13.根据权利要求7至10中任一项所述的装置,其中,耦合到所述一个或多个衬底的所述逻辑单元包括位于所述一个或多个衬底内的晶体管沟道区。

14.一种禁止模型检索的方法,包括:

执行对推理引擎的机器学习模型的输入和输出的运行时分析;

基于所述运行时分析来检测指示对检索所述机器学习模型的尝试的活动;以及

在检测到指示尝试的模型检索的所述活动时执行一个或多个预防措施。

15.根据权利要求14所述的方法,还包括:

至少部分地在安全执行环境中运行活动检测和预防措施中的一个或多个。

16.根据权利要求14所述的方法,还包括:

检测与所述机器学习模型的使用相关的异常。

17.根据权利要求16所述的方法,其中,所述使用异常基于以下中的一个或多个:模型检索查询模式与训练模式之间的相似性、常规预测和分类中的一个或多个中的模型查询与训练查询之间的差异、训练中的特征集与推理数据集之间的随机分布的差异、以及训练数据集与所述推理数据集之间的分类的统计分布之间的差异。

18.根据权利要求14至17中任一项所述的方法,还包括:

基于检测到的异常在所述机器学习模型中的一个或多个流执行点处实行流。

19.根据权利要求14至17中任一项所述的方法,其中,所述一个或多个预防措施包括以下中的一个或多个:所述机器学习模型的所述流的中断、所述机器学习模型的执行中的延迟的引入、所述机器学习模型的输出的修改、与所述模型检索尝试相关的信息日志的创建、以及所述模型检索尝试的通知。

20.一种模型检索阻止器装置,包括:

用于执行对推理引擎的机器学习模型的输入和输出的运行时分析的模块;

用于基于所述运行时分析来检测指示对检索所述机器学习模型的尝试的活动的模块;以及

用于在检测到指示尝试的模型检索的所述活动时执行一个或多个预防措施的模块。

21.根据权利要求20所述的装置,还包括:

用于至少部分地在安全执行环境中运行活动检测和预防措施中的一个或多个的模块。

22.根据权利要求20所述的装置,还包括:

用于检测与所述机器学习模型的使用相关的异常的模块。

23.根据权利要求22所述的装置,其中,所述使用异常基于以下中的一个或多个:模型检索查询模式与训练模式之间的相似性、常规预测和分类中的一个或多个中的模型查询与训练查询之间的差异、训练中的特征集与推理数据集之间的随机分布的差异、以及训练数据集与所述推理数据集之间的分类的统计分布之间的差异。

24.根据权利要求20至23中任一项所述的装置,还包括:

用于基于检测到的异常在所述机器学习模型中的一个或多个流执行点处实行流的模块。

25.根据权利要求20至23中任一项所述的装置,其中,所述一个或多个预防措施包括以下中的一个或多个:所述机器学习模型的所述流的中断、所述机器学习模型的执行中的延迟的引入、所述机器学习模型的输出的修改、与所述模型检索尝试相关的信息日志的创建、以及所述模型检索尝试的通知。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1