训练问答对话系统以避免对抗性攻击的制作方法

背景技术：

1、本发明涉及用于回答问题的问答对话系统的领域。更具体地，本发明涉及保护问答对话系统免受破坏这样的问答对话系统的对抗性攻击的领域。

技术实现思路

1、在本发明的一个或多个实施例中，一种方法保护问答对话系统免受错误地回答问题的对抗性语句的攻击。计算设备访问能够对问答对话系统进行对抗性攻击的多个对抗性语句，该问答对话系统被训练为提供对特定类型的问题的正确回答。计算设备利用多个对抗性语句来训练用于问答对话系统的机器学习模型。计算设备然后通过将识别多种类型的对抗性语句的对抗性策略引导到经训练的机器学习模型上来强化经训练的机器学习模型。计算设备然后利用经训练的和引导的机器学习模型以在对提交给问答对话系统的问题进行响应时避免对抗性攻击。

2、在本发明的一个或多个实施例中，由计算设备对经训练的和引导的机器学习模型进行测试：将用于问答对话系统的问题转换成具有用于回答的占位符的语句；从回答中随机挑选回答实体，并且添加随机挑选的回答实体来代替占位符，以生成对抗性语句；利用对抗性语句生成对经训练的和引导的机器学习模型的攻击；测量来自经训练的和引导的机器学习模型的对所生成的攻击的响应；以及修改经训练的和引导的机器学习模型，以便增加对所生成的攻击的响应的响应水平。

3、在本发明的一个或多个实施例中，上下文段落包括正确回答，该正确回答包括正确回答实体，特定类型的问题包括特定类型的问题实体，并且该方法还包括计算设备：生成/检索随机回答随机问题rarq对抗性语句，其中，rarq对抗性语句包括对正确回答中的正确回答实体进行替换的随机回答实体，并且其中，rarq对抗性语句包括对正确回答中的正确问题实体进行替换的随机问题实体；生成/检索随机回答原始问题raoq对抗性语句，其中，raoq对抗性语句包括对正确回答中的正确回答实体进行替换的随机回答实体，并且其中，raoq对抗性语句包括来自正确回答的正确问题实体；生成/检索无回答随机问题narq对抗性语句，其中，narq对抗性语句用无回答来替换正确回答中的正确回答实体，并且其中，narq对抗性语句包括对正确回答中的正确问题实体进行替换的随机问题实体；生成/检索无回答原始问题(naoq)对抗性语句，其中，naoq对抗性语句用无回答来替换正确回答中的正确回答实体，并且其中，naoq对抗性语句包括来自正确回答的正确问题实体；以及利用rarq对抗性语句、raoq对抗性语句、narq对抗性语句和naoq对抗性语句作为输入来进一步训练用于问答对话系统的机器学习模型，以识别对抗性语句。

4、在本发明的一个或多个实施例中，在问答对话系统中使用的原始问题、在问答对话系统中使用的原始上下文段落和/或为问答对话系统生成的对抗性语句采用一种或多种不同的语言，使得问答对话系统能够处理多种语言的对抗性攻击。

5、在一个或多个实施例中，通过计算机程序产品和/或计算机系统的执行来执行本文中描述的方法。

技术特征：

1.一种方法，包括：

2.根据权利要求1所述的方法，还包括通过以下操作来测试经训练的和引导的机器学习模型：

3.根据权利要求1所述的方法，其中，所述多个对抗性语句包括采用第一语言的第一对抗性语句和采用不同的第二语言的第二对抗性语句，并且其中，所述第一对抗性语句和所述第二对抗性语句都提供对所述问题的相同的错误回答。

4.根据权利要求1所述的方法，其中，所述正确回答包括正确回答实体并且与正确问题实体相关联，并且其中，所述方法还包括：

5.根据权利要求1所述的方法，其中，所述正确回答包括正确回答实体并且与正确问题实体相关联，并且其中，所述方法还包括：

6.根据权利要求1所述的方法，其中，所述正确回答包括正确回答实体和正确问题实体，并且其中，所述方法还包括：

7.根据权利要求1所述的方法，其中，所述正确回答包括正确回答实体和正确问题实体，并且其中，所述方法还包括：

8.根据权利要求1所述的方法，其中，所述正确回答包括正确回答实体和正确问题实体，并且其中，所述方法还包括：

9.一种计算机程序产品，包括具有体现在其中的程序代码的计算机可读存储介质，其中，所述计算机可读存储介质本身不是瞬态信号本身，其中，所述程序代码是由处理器可读和可执行的，以执行避免对问答对话系统的对抗性攻击的方法，并且其中，所述方法包括：

10.根据权利要求9所述的计算机程序产品，其中，所述方法还包括通过以下操作来测试经训练的和引导的机器学习模型：

11.根据权利要求9所述的计算机程序产品，其中，所述多个对抗性语句包括采用第一语言的第一对抗性语句和采用不同的第二语言的第二对抗性语句，并且其中，所述第一对抗性语句和所述第二对抗性语句都提供对所述问题的相同的错误回答。

12.根据权利要求9所述的计算机程序产品，其中，所述正确回答包括正确回答实体并且与正确问题实体相关联，并且其中，所述方法还包括：

13.根据权利要求9所述的计算机程序产品，其中，所述正确回答包括正确回答实体并且与正确问题实体相关联，并且其中，所述方法还包括：

14.根据权利要求9所述的计算机程序产品，其中，所述正确回答包括正确回答实体和正确问题实体，并且其中，所述方法还包括：

15.根据权利要求9所述的计算机程序产品，其中，所述正确回答包括正确回答实体和正确问题实体，并且其中，所述方法还包括：

16.根据权利要求9所述的计算机程序产品，其中，所述正确回答包括正确回答实体和正确问题实体，并且其中，所述方法还包括：

17.根据权利要求9所述的计算机程序产品，其中，所述程序代码被提供为云环境中的服务。

18.一种计算机系统，包括一个或多个处理器、一个或多个计算机可读存储器、一个或多个计算机可读非暂态存储介质、以及存储在所述一个或多个计算机可读非暂态存储介质中的至少一个上的程序指令，所述程序指令用于由所述一个或多个处理器中的至少一个处理器经由所述一个或多个计算机可读存储器中的至少一个计算机可读存储器来执行，所存储的程序指令被执行以执行一种方法，所述方法包括：

19.根据权利要求18所述的计算机系统，其中，所述正确回答包括正确回答实体并且与正确问题实体相关联，并且其中，所述方法还包括：

20.根据权利要求18所述的计算机系统，其中，所存储的程序指令被提供为云环境中的服务。

技术总结
方法、计算机程序产品和/或计算机系统保护问答对话系统免受错误地回答问题的对抗性语句的攻击。计算设备访问能够对问答对话系统进行对抗性攻击的多个对抗性语句，该问答对话系统被训练为提供对特定类型的问题的正确回答。计算设备利用多个对抗性语句来训练用于问答对话系统的机器学习模型。计算设备然后通过将识别多种类型的对抗性语句的对抗性策略引导到经训练的机器学习模型上来强化经训练的机器学习模型。计算设备然后利用经训练的和引导的机器学习模型以在对提交给问答对话系统的问题进行响应时避免对抗性攻击。

技术研发人员：S·罗森塔尔,A·希尔,M·A·博尔纳,R·弗洛里安
受保护的技术使用者：国际商业机器公司
技术研发日：
技术公布日：2024/1/13