技术特征：
1.一种生成可解释性信息的计算机实现的方法(600)，所述可解释性信息用于解释作为神经网络类型模型的经训练模型的模型输出，所述方法包括：访问(610)：经训练模型，所述经训练模型被配置为确定针对输入实例的模型输出，所述经训练模型至少包括源层，所述源层是所述经训练模型的输入层或内部层；针对所述经训练模型的输入实例的相应特性的一个或多个方面识别模型，针对给定特性的方面识别模型被配置为指示输入实例中的所述特性的存在，所述方面识别模型至少包括目标层，所述目标层是所述方面识别模型的输入层或内部层；获得(620)输入实例；将所述经训练模型应用(630)到所述输入实例以获得模型输出，所述应用包括：在所述经训练模型的所述源层处获得所述输入实例的源表示；应用(640)显著性方法以在所述源层处获得所述经训练模型的所述输入实例的掩蔽源表示，所述掩蔽源表示包括与所述模型输出相关的所述源表示的元素；对于针对特性的方面识别模型：将所述掩蔽源表示映射(652)到所述方面识别模型的所述目标层，以获得针对所述目标层处的所述输入实例的目标表示；将针对所述特性的所述方面识别模型应用(654)到所述目标表示以获得模型输出，所述模型输出指示与所述经训练模型的所述模型输出相关的所述特性的存在；输出(660)由所应用的所述方面识别模型指示存在的所述特性作为所述可解释性信息。2.根据权利要求1所述的方法(600)，其中输入实例包括以下至少一项：图像和一个或多个传感器测量的时间序列。3.根据权利要求1或2所述的方法(600)，其中所述经训练模型是较大模型的部分，其中所述较大模型的内部神经元的一个或多个输出基于所述经训练模型的所述模型输出。4.根据前述权利要求中任一项所述的方法(600)，其中应用所述显著性方法包括：在所述源层处确定针对所述输入实例的显著性映射，所述显著性映射指示针对所述源表示的相应元素的所述元素与针对所述输入实例的所述经训练模型的所述模型输出的相应相关性；由所述显著性映射来掩蔽所述源表示以获得所述掩蔽源表示。5.根据前述权利要求中任一项所述的方法(600)，其中针对所述特性的所述方面识别模型被配置为指示表示所述特性的所述输入实例的部分。6.根据前述权利要求中任一项所述的方法(600)，其中将所述掩蔽源表示映射到所述方面识别模型的所述目标层包括：应用在所述经训练模型的所述源层与所述方面识别模型的所述目标层之间的映射模型。7.根据权利要求6所述的方法(600)，其中所述经训练模型的所述源层和所述方面识别模型的所述目标层为卷积层，所述映射模型包括图像到图像的转换模型，例如u-net模型。8.根据权利要求1至5中任一项所述的方法(600)，其中所述经训练模型的所述源层和所述源层之前的层被与所述方面识别模型共享。9.根据前述权利要求中任一项所述的方法(600)，其中输出指示存在的所述特性包括：
以对用户可感知的方式在所述输入实例中突出显示所述特性。10.根据前述权利要求中任一项所述的方法(600)，其中输出指示存在的所述特性包括：利用所指示的所述特性来注释所述输入实例。11.根据前述权利要求中任一项所述的方法(600)，其中所述经训练模型是用于检测临床适应症的医学图像分类模型，所述方面识别模型被配置为指示对所述临床适应症的相应贡献因素的存在。12.一种使得能够生成针对作为神经网络类型模型的经训练模型的可解释性信息的计算机实现的方法(700)，包括：访问(710)：经训练模型，所述经训练模型被配置为确定针对输入实例的模型输出，所述经训练模型至少包括源层，所述源层是所述经训练模型的输入层或内部层；针对所述经训练模型的输入实例的相应特性的一个或多个方面识别模型，方面识别模型被配置为指示输入实例中的所述特性的存在，所述方面识别模型至少包括目标层，所述目标层是所述方面识别模型的输入层或内部层；训练数据集，所述训练数据集包括多个训练实例；训练所述经训练模型与所述一个或多个方面识别模型之间的映射模型，所述经训练模型与方面识别模型之间的映射模型通过针对所述训练数据集的训练实例进行以下步骤而被训练(720)：将所述经训练模型至少部分地应用(722)到所述训练实例，以在所述源层处确定所述经训练模型的所述训练实例的源表示；将所述方面识别模型至少部分地应用(724)到所述训练实例，以确定在所述方面识别模型的所述目标层处的所述训练实例的目标表示；训练(726)所述映射模型，以在给定所述源表示的情况下输出所述目标表示。13.一种用于生成可解释性信息的系统(200)，所述可解释性信息用于解释作为神经网络类型模型的经训练模型的模型输出，所述系统包括：数据接口(220)，用于访问：经训练模型(040)，所述经训练模型被配置为确定针对输入实例的模型输出，所述经训练模型至少包括源层，所述源层是所述经训练模型的输入层或内部层；针对所述经训练模型的输入实例的相应特性的一个或多个方面识别模型(051,052)，针对给定特性的方面识别模型被配置为指示输入实例中的所述特性的存在，所述方面识别模型至少包括目标层，所述目标层是所述方面识别模型的输入层或内部层；处理器子系统(240)，被配置为：获得输入实例；将所述经训练模型应用于所述输入实例以获得模型输出，所述应用包括：在所述经训练模型的所述源层处获得所述输入实例的源表示；应用显著性方法以在所述经训练模型的所述源层处获得所述输入实例的掩蔽源表示，所述掩蔽源表示包括与所述模型输出相关的所述源表示的元素；对于针对特性的方面识别模型：将所述掩蔽源表示映射到所述方面识别模型的所述目标层，以获得针对所述目标层处
的所述输入实例的目标表示；将针对所述特性的所述方面识别模型应用于所述目标表示以获得模型输出，所述模型输出指示与所述经训练模型的所述模型输出相关的所述特性的存在；输出由所应用的所述方面识别模型指示存在的所述特性作为所述可解释性信息。14.一种使得能够生成针对作为神经网络类型模型的经训练模型的可解释性信息的系统(100)，所述系统包括：数据接口(120)，用于访问：经训练模型(040)，所述经训练模型被配置为确定针对输入实例的模型输出，所述经训练模型至少包括源层，所述源层是所述经训练模型的输入层或内部层；针对所述经训练模型的输入实例的相应特性的一个或多个方面识别模型(051,052)，方面识别模型被配置为指示输入实例中的所述特性的存在，所述方面识别模型至少包括目标层，所述目标层是所述方面识别模型的输入层或内部层；训练数据集(010)，所述训练数据集包括多个训练实例；处理器子系统(140)，被配置为：训练所述经训练模型与所述一个或多个方面识别模型之间的映射模型，所述经训练模型与方面识别模型之间的映射模型通过针对所述训练数据集的训练实例进行以下步骤而被训练：将所述经训练模型至少部分地应用于所述训练实例，以在所述源层处确定所述经训练模型的所述训练实例的源表示；将所述方面识别模型至少部分地应用于所述训练实例，以确定在所述方面识别模型的所述目标层处的所述训练实例的目标表示；训练所述映射模型，以在给定所述源表示的情况下输出所述目标表示。15.一种包括瞬态或非瞬态数据(710)的计算机可读介质(700)，所述瞬态或非瞬态数据表示：指令，所述指令在由处理器系统执行时使所述处理器系统执行根据权利要求1至11中任一项所述的计算机实现的方法；和/或指令，所述指令在由处理器系统执行时使所述处理器系统执行根据权利要求12所述的计算机实现的方法；和/或经训练模型与一个或多个相应方面识别模型之间的一个或多个相应映射模型，用于在根据权利要求1至11中任一项所述的计算机实现的方法中使用。
技术总结
本发明涉及生成用于解释经训练模型的模型输出的可解释性信息的计算机实现的方法(500)。该方法使用一个或多个方面识别模型，其被配置为指示输入实例中相应特性的存在。显著性方法被应用以在经训练模型的源层处(例如，输入层或内部层)获得输入实例的掩蔽源表示，包括与模型输出相关的源层处的那些元素。掩蔽源表示被映射到方面识别模型的目标层(例如，输入或内部层)，并且方面识别模型然后被应用以获得模型输出，该模型输出指示与经训练模型的模型输出相关的给定特性的存在。作为可解释性信息，由方面识别模型指示的特性被输出。由方面识别模型指示的特性被输出。由方面识别模型指示的特性被输出。
技术研发人员：B
受保护的技术使用者：皇家飞利浦有限公司
技术研发日：2021.02.07
技术公布日：2022/9/20