基于多智能体强化学习的乳腺病历实体识别标注增强系统的制作方法

本发明涉及一种基于多智能体强化学习的乳腺病历实体识别标注增强系统,属于医疗自然语言处理技术领域。

背景技术：

随着医院信息化技术的普及与发展，已逐步形成了以电子病历系统为核心，并有效集成了多个临床信息系统的综合信息系统。在电子病历系统数几十年的使用过程中，积累了海量医疗文本数据，涌现出了许多机构和团队对医疗文本结构化展开了诸多研究。

电子病历是医疗活动过程中产生的与医学、健康密切相关的重要临床信息资源，不仅包含了丰富的医学专业知识，也反映了患者的详细健康信息。因此，对电子病历数据的信息提取显得尤为重要。但电子病历的数据并非完全结构化的形式，其中包含了自由文本及一些复杂半结构化数据，对信息的分析利用造成了障碍。因此，通过命名实体识别技术从电子病历中有效提取医疗、健康等相关概念实体，对电子病历的分析、挖掘和利用具有重要意义。

由于医疗领域实体模式之间的差异性，因此，需要针对特定疾病进行命名实体识别研究。而乳腺疾病在女性中是一种常见多发疾病，其致病因素复杂，并具有较高的风险性，如治疗不及时或治疗不当，随时可能发生病变，导致生命危险。通过对医疗数据的科学分析提取，寻找有效方式对乳腺疾病进行早期筛查、诊断治疗，降低其发病率致死率具有重大意义。

乳腺疾病电子病历是在疾病诊疗过程中产生的数据，相较于文献教材等经过整理删选而呈现出的理想化状态文本而言，它更接近医学实际应用场景，蕴含着更为丰富而真实的信息。但同样它也具有其他电子病历文本共有的复杂特性，因此，直接对其进行分析利用有一定难度。通过乳腺电子病历的命名实体识别，可提供有效方法对乳腺疾病电子病历文本数据中所蕴含的医疗实体进行精准可靠的结构化描述，有助于乳腺疾病数据的信息利用，为后续乳腺疾病的快速精准查询服务及临床决策支持等提供了坚实的基础：一方面可用于建设乳腺疾病风险患者识别标记、疾病药物推荐、辅助决策诊断等系统，帮助医生提高乳腺疾病规范化诊疗的执行效率，予以科学的依据和建议方案；另一方面，还可以协助医生发现诊疗过程中潜在的非正常情况，降低误诊和漏诊率，提高乳腺疾病患者的治愈几率，对乳腺疾病研究的智能化发展具有重要价值。

命名实体识别的概念在muc-6(messageunderstandingconference)首次被提出后，随着其发展范围的不断扩大，针对各种特定领域的研究和应用不断被提出，逐渐也成为了医疗文本结构化领域的一项重要技术手段。针对医疗领域，该研究在医学信息学的临床决策支持、用户健康信息学的用户健康状况建模和个性化医疗服务系统中皆有应用。目前，虽然深度神经网络技术在命名实体识别的应用中取得了一定成果，但要获得较好的识别效果需建立在大量已标注数据训练的基础上。由于神经网络自身结构特性和数据分布问题，模型识别性能存在上限，不能满足临床医疗应用中对模型输出结果的高准确性要求。因此，寻找新方法进一步提升实体识别性能也有着重要意义。

技术实现要素：

本发明所要解决的技术问题是：提供一种基于多智能体强化学习的乳腺病历实体识别标注增强系统，能够有效修正深度学习实体识别模型预测结果中的错误标签，进一步提高识别准确率。

本发明解决其技术问题所采用的技术方案是：

一种基于多智能体强化学习的乳腺病历实体识别标注增强系统，其特征在于，包括以下模块：

乳腺临床电子病历数据预处理模块：对乳腺临床电子病历数据从病历内容、结构特征、语言特征和语义特征进行分析，根据分析结果完成对电子病历数据的清洗与整合，并完成乳腺临床实体类别定义和实体标注工作，采用word2vector完成文本向量化处理；该模块用于将原始数据处理为系统可识别分析的表示形式；

医疗临床实体识别模块：采用gru结构构建bigru-crf模型进行实体识别；该模块用于提取文本中的医疗概念实体；

强化学习标注增强模块：利用部分可观测马尔科夫决策过程建立多智能体强化学习模型以适应多个序列标注协同预测的情况；模型学习采用适用于高维动作空间的深度确定性策略梯度算法，使得在序列标签排列组合而产生指数级动作空间的情况下，仍然能够寻找到最优价值函数进行收敛，对价值网络和策略网络都采用双网络形式，使网络快速向优化目标靠拢；该模块在不影响原实体识别模型泛化性能的基础上，对从乳腺电子病历中抽取出的错误实体标签进行修正，以进一步提高实体识别性能。

优选地，所述乳腺临床电子病历数据预处理模块包括：

数据清洗子模块，从原始数据中抽取并整合文本数据，消除噪声和冗余数据，并对文本中的常见表达问题进行修正，使数据更为规范化，用于下一步研究分析；

数据标注子模块，定义临床实体类型及标识符，并对选中的文本数据进行标注；

文本向量化子模块，通过word2vec技术在字符级对文本进行向量化，生成字向量表示。

更优选地，所述数据清洗子模块包括：依据xml语法规范，采用基于规则的方式分段提取文本数据，并依据医疗卡号将同一患者多次就诊记录进行整合；对数据进行筛选，删除噪声数据和冗余数据；并修正错别字、常见术语及特殊符、异常数据的问题。

更优选地，所述数据标注子模块包括：依据乳腺电子病历内容特征定义6大类医疗临床命名实体类型及其标示符，并采用bio标注模式对文本数据进行实体标注。

更优选地，所述文本向量化子模块包括：采用word2vec技术中的cbow算法，以字符为单位，将每个字符的one-hot表示映射成低维连续空间中的稠密向量，获得字向量表示。

优选地，所述医疗临床实体识别模块包括：bigru-crf深度学习算法，通过双向gru神经网络学习文本的上下文特征，生成包含上下文关联信息的隐层向量；并利用条件随机场有效捕捉句子级别的标注序列信息，最终获得标签序列预测结果。

优选地，所述强化学习模块包括：基于部分可观测马尔科夫决策过程的多智能体强化学习模型，适应序列预测需要对多个文字联合标注的情况，满足上下文之间协同工作的需求；同时，针对序列预测的动作空间由于标签序列的排列组合而达到指数量级的情况，采用适用于高维动作空间的深度确定性策略梯度算法寻找最优价值函数，并对算法中的网络采用双网络模式避免过度估计。

本发明基于部分可观测马尔科夫决策过程设计了针对实体识别序列标注的多智能体强化学习模型，对标注结果进行修正。

本发明与传统技术相比，具有以下有益效果：

本发明针对乳腺疾病临床电子病历文本，利用强化学习辅助实体识别，在不影响原实体识别模型泛化性能的基础上，对从乳腺电子病历中抽取出的错误实体标签进行修正，以进一步提高实体识别性能。该方法相比于传统深度学习实体识别模型，有效提高了准确率，在原bigru-crf模型的基础上提升了4.45％的准确率。本发明提取出的临床医疗实体可为后续乳腺疾病的快速精准查询服务及临床决策支持等提供了坚实的基础。一方面可用于建设乳腺疾病风险患者识别标记、疾病药物推荐、辅助决策诊断等系统，帮助医生提高乳腺疾病规范化诊疗的执行效率，予以科学的依据和建议方案；另一方面，还可以协助医生发现诊疗过程中潜在的非正常情况，降低误诊和漏诊率，提高乳腺疾病患者的治愈几率，对乳腺疾病研究的智能化发展具有重要价值。

附图说明

图1为本发明提供的基于多智能体强化学习的乳腺病历实体识别标注增强系统的框架图；

图2为本发明中乳腺临床电子病历数据预处理过程的流程图；

图3为本发明中bigru-crf实体识别模型；

图4为本发明中深度确定性策略梯度算法框架。

具体实施方式

为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。

实施例

本发明提供了一种基于多智能体强化学习的乳腺病历实体识别标注增强系统，即一种利用深度学习算法进行乳腺电子病历临床医疗实体提取，进而采用强化学习进行标签修正的系统，其包括：1)乳腺临床电子病历数据预处理模块：对乳腺临床电子病历数据从病历内容、结构特征、语言特征和语义特征等进行分析。根据分析结果完成对电子病历数据的清洗与整合，并完成乳腺临床实体类别定义和实体标注工作，采用word2vector完成文本向量化处理。该模块用于将原始数据处理为系统可识别分析的表示形式；2)医疗临床实体识别模块：采用更轻量级的gru结构代替了常用的lstm神经网络单元，构建了bigru-crf模型进行实体识别。该模块用于提取文本中的医疗概念实体；3)强化学习标注增强模块：利用部分可观测马尔科夫决策过程建立了多智能体强化学习模型以适应多个序列标注协同预测的情况。模型学习采用适用于高维动作空间的深度确定性策略梯度算法，使得在序列标签排列组合而产生指数级动作空间的情况下，仍然能够寻找到最优价值函数进行收敛，对价值网络和策略网络都采用双网络形式，使网络快速向优化目标靠拢。该模块在不影响原实体识别模型泛化性能的基础上，对从乳腺电子病历中抽取出的错误实体标签进行修正，以进一步提高实体识别性能。

结合图1，本发明的总体框架主要分为三大模块。首先，将原始医疗电子病历数据输入预处理模块，经处理后最终获得后续识别模块可处理的表示形式。然后，进行bigru-crf深度学习实体识别模型。训练完成后对数据进行预测，将预测结果作为输入数据送入强化学习标注增强模型通过actor-critic模式的深度确定性策略梯度算法进行学习和修正。

在预处理过程中，从病历内容、结构特征、语言特征和语义特征等对电子病历数据进行分析，完成了数据清洗和数据标注。针对中文分词边界歧义问题，以字符为单位进行文本向量化。在实体识别训练过程中，为提高收敛速度，使用轻量级gru结构代替lstm构建神经网络。在强化学习过程中，通过部分可观测马尔科夫决策过程建立多智能体强化学习模型，采用深度确定性策略梯度算法进行学习，对标签进行修正。

结合图2，实现乳腺临床电子病历数据的预处理。由于数据的质量会影响最终模型训练的效果，需要对原始数据先进行清洗。在数据标注过程中，定义了疾病诊断、检查、检验、手术、药物、解剖部位共6类实体及其表示符，采用bio标注模式进行标注。最后通过生成字向量获得模型可处理的文本表示形式。具体步骤如下：

步骤1：基于规则匹配xml标签，从原始xml文件中提取电子病历文本；

步骤2：依据医疗卡号选出同一患者的所有病历记录进行整合；

步骤3：删除非乳腺疾病为主要疾病的噪声数据、缺失率超多50％的数据及冗余数据；

步骤4：修正错别字、常见术语及特殊符的错误表示、异常数据等问题；并同时进入步骤5和步骤6；

步骤5：根据预定义的实体类型采用bio标注模式对需要标注的数据标注，构建训练数据语料库；

步骤6：生成每个字符的one-hot向量；

步骤7：输入上下文one-hot向量，预测中心字one-hot向量，训练cbow模型；

步骤8：得到cbow模型收敛后的参数，即字向量。

结合图3，基于bigru-crf的深度学习算法，实现临床实体识别。在实体识别过程中，深度学习算法根究输入的字向量序列，通过双向gru神经网络学习上下文之间的依赖关系，获得包含关联信息的隐层表示，交予softmax计算对应各实体标签的概率。并通过crf层有效捕捉句子级别的序列标注信息，最终计算获得联合概率最大的标签序列。具体步骤及其伪代码如下：

定义算法输入为字向量序列e＝{emb(x1),…,emb(xi),…,emb(xn)}，ht为隐层状态，为由softmax所得的第i个字的标签为yi的概率，a为转移矩阵，为yi的下一个标签为yi+1的转移概率，最终算法输出位一个标签序列y＝{y1,y2,…,yn}。

步骤1：输入字向量序列e＝{emb(x1),…,emb(xi),…,emb(xn)}；

步骤2：经过双向gru层中gru单元的更新门、复位门生成隐层状态ht；

步骤3：将隐层状态ht输入softmax得到每个字对应每个标签的概率

步骤4：经过crf层计算序列得分最终选择得分最大的序列。

结合图4，基于强化学习方法，实现实体识别标注修正。将深度学习实体识别模型的预测结果输入强化学习模型，将文本序列和已有标注结果作为强化学习的环境状态，根据反馈奖励不断修正标注结果，直到最大化累积收益。多智能体强化学习基于部分可观测马尔科夫决策过程的建模如下：

g＝<s，a，p，r，ω，o，γ>

其中，s为多智能体的一组优先的状态集合；a为对应的动作集合；p为在t时刻，由状态s采取动作a转变为状态s’的转移概率函数；r为采取动作a带来的收益的函数；ω为环境观测对象的集合；o为条件观测概率函数，表示在上一时刻采取动作a，到达当前状态s，能观测到环境对象z∈ω的概率但在本发明中，参考ryanlowe等人提出的通用多智能体actor-critic算法思想，仅考虑使用本地信息(即自己的观察)来学习策略，并且不假设可微的环境动态模型和任何特定结构的智能体间的通信方法；γ为折扣因子。

结合图4，强化学习框架采用actor-critic模式，策略网络π作为actor，价值网络q作为critic，采用中心化训练和分散式预测的方式，其框架图如图1所示。策略网络以其他智能体的策略作为额外增强信息进行训练，但在预测时不使用这些信息。而deepq-learning中的q网络在训练和预测时无法分别包含不同的信息，因此，仅访问本地信息(即自己的观察)。同时，为使智能体更好的进行协作，互相了解各自所掌握的环境状态，对价值网络参数进行共享。

具体步骤如下：

步骤1：将深度学习实体识别模型的预测结果作为输入数据送入强化学习模型；

步骤2：智能体的策略根据环境和观察选择相应动作执行；

步骤3：执行动作后，环境进入下一状态；

步骤4：根据得到的环境计算该动作的反馈奖励；

步骤5：策略根据环境和反馈奖励执行下一个动作，反复迭代，直到最大化累计收益。

基于深度确定性策略梯度的多智能体强化学习算法如下：