心电图分析方法和装置与流程
本发明涉及图像处理技术领域，具体涉及一种心电图分析方法和装置。
背景技术：
心电图(electrocardiography,ecg)检查技术自诞生以来，因为其简单高效和无创伤的特性被广泛应用于心血管等领域的临床健康检查中。传统心电图机可以生成包含心电信号波形、节律等基本信息的心电报告；人类医师借助对患者年龄、体征、病史等的综合分析，以及医学知识和案例经验，给出对于心电报告的具体判断。心电图检查在各级医院有较大的业务量，然而我国医疗资源相对稀缺且分布严重不均，基层医院、社区门诊等医疗机构中有经验的心电图医师十分缺乏。
近些年伴随着以深度学习为代表的新一代人工智能技术的突破，利用计算硬件设备和人工智能算法进行心电图事件的辅助分析也取得了一定发展。然而这些公开的系统主要集中在对心电图机输出的原始数值心电信号进行直接利用，借助人工智能技术的辅助分析。然而就我国大量医疗机构已经配备的心电图机设备来说，特别是对只能打印心电图报告而不具备分析能力或者只能分析少数基本心电图事件的机器来说，受限于不同厂商的数据存储格式、交换接口等条件，通用的信息管理系统或者辅助分析工具难以直接接入获取心电信号的数值。这也使得现有公开系统只能实施在少数定制心电图机上，在适用范围上有很大的限制。与此同时，现有公开系统使用深度卷积神经网络为代表的人工智能算法模型，端到端地进行心电图事件训练和分析，这在实际的临床医疗场景下会面临两个主要问题。其一是高质量医疗标注稀缺的问题：对于罕见心电图事件，由于收集足够的训练样本十分困难，复杂神经网络等端到端模型容易对训练集的心电图产生过拟合，即便在实验数据上取得了较好的结果，仍然难以保证在真实复杂环境下的病人泛化能力。其二是辅助分析缺少可解释性的问题：现代循证医学十分重视给出诊断的依据证据，而现有公开的端到端人工智能诊断模型只能直接给出特定心电图事件的概率，人类医师难以对这种机器给出的判断进行高效的校验和确认，这使得这些系统在具有高安全性要求的临床场景下作用有限
因此，如何提出一种解决现有技术问题的方案是本领域技术人员需要解决的技术问题。
技术实现要素：
为了解决现有技术中的上述问题，即为了解决现有技术缺失高质量医疗标注以及缺少可解释性辅助分析的问题，本发明的第一方面提供了一种心电图分析方法，所述方法包括：
基于预先获取的多个心电图，通过预设的文本语义信息提取模型，获取与每个所述心电图对应的文本语义信息向量，其中，所述文本语义信息提取模型基于神经网络构建，通过预设的第一训练集训练并用于提取文本文件的文本语义信息向量，所述文本语义信息向量包括所述心电图的波形信息以及所述心电图对应的目标对象的身份信息；
基于多个所述心电图，通过预设的心电图波形向量提取模型，获取与每个所述心电图对应的心电图波形向量，其中，所述心电图波形向量提取模型基于神经网络构建，通过预设的第二训练集训练并用于提取心电图对应的心电图波形向量；
根据所述文本语义信息向量、所述心电图波形向量以及预先获取的第一事件集合，通过预设的第一心电图分析模型获取第一心电图分析结果，其中，所述第一事件集合为医疗人员所确诊心电图事件的集合，所述第一心电图分析模型基于神经网络构建，通过预设的第三训练集训练并用于获取心电图分析结果，所述第一心电图分析结果为心电图所出现的次数小于等于第一预设阈值所对应的心电图分析结果；
根据所述文本语义信息向量以及所述心电图波形向量，通过预设的第二心电图分析模型获取第二心电图分析结果，其中，所述第二心电图分析模型基于神经网络构建，通过预设的第四训练集训练并用于获取心电图分析结果，所述第二心电图分析结果为心电图所出现次数大于等于第二预设阈值所对应的心电图分析结果；
根据所述第一心电图分析结果以及所述第二心电图分析结果，通过预设的融合心电图结果分析模型，获取每个所述心电图对应的心电图事件，其中，所述融合心电图结果分析模型基于神经网络构建，通过预设的第五训练集训练并用于输出心电图对应的心电图事件。
在一种可能的实现方式中，“基于预先获取的多个心电图，通过预设的文本语义信息提取模型，获取与每个所述心电图对应的文本语义信息向量”，其方法包括：
基于多个所述心电图，通过所述文本语义信息提取模型，获取与每个所述心电图对应的初始文本语义信息向量；
对所述初始文本语义信息向量进行分词处理，得到所述初始文本语义信息向量对应的多个分词向量；
分别获取每个所述分词向量与预设的标准医学向量的空间距离，根据每个所述分词向量与所述标准医学向量的空间距离，确定与每个所述心电图对应的文本语义信息向量。
在一种可能的实现方式中，“基于多个所述心电图，通过预设的心电图波形向量提取模型，获取与每个所述心电图对应的心电图波形向量”，其方法包括：
基于多个所述心电图，通过所述心电图波形向量提取模型，获取与每个所述心电图对应的多个导联的初始心电图波形向量；
若心电图的波形频率与标准波形频率不同，在预设时间周期内对所述初始心电图波形向量进行二次采样处理，获取与每个所述心电图对应的多个导联的心电图波形向量。
在一种可能的实现方式中，“根据所述文本语义信息向量、所述心电图波形向量以及预先获取的第一事件集合，通过预设的第一心电图分析模型获取第一心电图分析结果”，其方法包括：
基于所述心电图波形向量，通过向量切分算法将所述心电图波形向量切分为多个心率向量；
基于多个所述心率向量以及所述心电图波形向量，确定所述心电图对应的心电图特征向量；
根据所述文本语义信息向量、所述心电图特征向量以及所述第一事件集合，通过所述第一心电图分析模型对应的随机森林算法获取所述第一心电图分析结果。
在一种可能的实现方式中，“根据所述文本语义信息向量以及所述心电图波形向量，通过预设的第二心电图分析模型获取第二心电图分析结果”，其方法包括：
根据所述文本语义信息向量以及所述心电图波形向量，通过所述第二心电图分析模型获取所述文本语义信息向量对应文本信息向量嵌入表示、所述心电图波形向量对应的心博采样波形幅值嵌入表示；
基于所述文本信息向量嵌入表示以及所述心博采样波形幅值嵌入表示，通过所述第二心电图分析模型的softmax网络层获取每个所述心电图所对应的心电图事件概率；
根据每个所述心电图所对应的心电图事件概率获取所述第二心电图分析结果。
本发明的另一方面还提供了一种心电图分析装置，所述装置包括：
文本语义信息提取模块，用于基于预先获取的多个心电图，通过预设的文本语义信息提取模型，获取与每个所述心电图对应的文本语义信息向量，其中，所述文本语义信息提取模型基于神经网络构建，通过预设的第一训练集训练并用于提取文本文件的文本语义信息向量，所述文本语义信息向量包括所述心电图的波形信息以及所述心电图对应的目标对象的身份信息；
心电图波形向量提取模块，用于基于多个所述心电图，通过预设的心电图波形向量提取模型，获取与每个所述心电图对应的心电图波形向量，其中，所述心电图波形向量提取模型基于神经网络构建，通过预设的第二训练集训练并用于提取心电图对应的心电图波形向量；
第一心电图分析结果获取模块，用于根据所述文本语义信息向量、所述心电图波形向量以及预先获取的第一事件集合，通过预设的第一心电图分析模型获取第一心电图分析结果，其中，所述第一事件集合为医疗人员所确诊心电图事件的集合，所述第一心电图分析模型基于神经网络构建，通过预设的第三训练集训练并用于获取心电图分析结果，所述第一心电图分析结果为心电图所出现的次数小于等于第一预设阈值所对应的心电图分析结果；
第二心电图分析结果获取模块，用于根据所述文本语义信息向量以及所述心电图波形向量，通过预设的第二心电图分析模型获取第二心电图分析结果，其中，所述第二心电图分析模型基于神经网络构建，通过预设的第四训练集训练并用于获取心电图分析结果，所述第二心电图分析结果为心电图所出现次数大于等于第二预设阈值所对应的心电图分析结果；
心电图事件获取模块，用于根据所述第一心电图分析结果以及所述第二心电图分析结果，通过预设的融合心电图结果分析模型，获取每个所述心电图对应的心电图事件，其中，所述融合心电图结果分析模型基于神经网络构建，通过预设的第五训练集训练并用于输出心电图对应的心电图事件。
在一种可能的实现方式中，所述文本语义信息提取模块还用于：
基于多个所述心电图，通过所述文本语义信息提取模型，获取与每个所述心电图对应的初始文本语义信息向量；
对所述初始文本语义信息向量进行分词处理，得到所述初始文本语义信息向量对应的多个分词向量；
分别获取每个所述分词向量与预设的标准医学向量的空间距离，根据每个所述分词向量与所述标准医学向量的空间距离，确定与每个所述心电图对应的文本语义信息向量。
在一种可能的实现方式中，心电图波形向量提取模块还用于：
基于多个所述心电图，通过所述心电图波形向量提取模型，获取与每个所述心电图对应的多个导联的初始心电图波形向量；
若心电图的波形频率与标准波形频率不同，在预设时间周期内对所述初始心电图波形向量进行二次采样处理，获取与每个所述心电图对应的多个导联的心电图波形向量。
在一种可能的实现方式中，第一心电图分析结果获取模块还用于：
基于所述心电图波形向量，通过向量切分算法将所述心电图波形向量切分为多个心率向量；
基于多个所述心率向量以及所述心电图波形向量，确定所述心电图对应的心电图特征向量；
根据所述文本语义信息向量、所述心电图特征向量以及所述第一事件集合，通过所述第一心电图分析模型对应的随机森林算法获取所述第一心电图分析结果。
在一种可能的实现方式中，所述第二心电图分析结果获取模块还用于：
根据所述文本语义信息向量以及所述心电图波形向量，通过所述第二心电图分析模型获取所述文本语义信息向量对应文本信息向量嵌入表示、所述心电图波形向量对应的心博采样波形幅值嵌入表示；
基于所述文本信息向量嵌入表示以及所述心博采样波形幅值嵌入表示，通过所述第二心电图分析模型的softmax网络层获取每个所述心电图所对应的心电图事件概率；
根据每个所述心电图所对应的心电图事件概率获取所述第二心电图分析结果。
本发明提供的心电图分析方法和装置，可以在无需心电图机设备提供原始数据接口的情况下，利用间接获得的pdf格式文件进行分析；以此同时，本发明提供的方法可以同时处理罕见和常见的心电图，发挥不同类型人工智能算法的优势；相比于现有技术的方法，本发明的方法能够直接对pdf格式的心电图进行解释，扩展了本发明方法的应用范围。
附图说明
图1是本公开实施例的心电图分析方法的流程示意图。
图2是本公开实施例的心电图分析装置的结构示意图。
具体实施方式
为使本发明的实施例、技术方案和优点更加明显，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所述的实施例是本发明的一部分实施例，而不是全部实施例。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
参阅附图1，图1示例性地示出了本公开实施例的心电图分析方法的流程示意图。
步骤s101：基于预先获取的多个心电图，通过预设的文本语义信息提取模型，获取与每个所述心电图对应的文本语义信息向量。
在一种可能的实现方式中，所述文本语义信息提取模型基于神经网络构建，通过预设的第一训练集训练并用于提取文本文件的文本语义信息向量，所述文本语义信息向量包括所述心电图的波形信息以及所述心电图对应的目标对象的身份信息。
在一种可能的实现方式中，“基于预先获取的多个心电图，通过预设的文本语义信息提取模型，获取与每个所述心电图对应的文本语义信息向量”，其方法包括：
基于多个所述心电图，通过所述文本语义信息提取模型，获取与每个所述心电图对应的初始文本语义信息向量；
对所述初始文本语义信息向量进行分词处理，得到所述初始文本语义信息向量对应的多个分词向量；
分别获取每个所述分词向量与预设的标准医学向量的空间距离，根据每个所述分词向量与所述标准医学向量的空间距离，确定与每个所述心电图对应的文本语义信息向量。
在实际应用中，根据心电图机提供的接口方式不同，通过有线网络、无线网络或usb中转存储介质获得打印生成的pdf格式心电图报告文件。与现有直接读取心电图机原始信号的公开系统对比，使用pdf格式的心电图报告间接获取的波形信息以描点形式存在，往往丢失了每个采样点的绝对电压数值，但可以保持波形中各个描点的相对变化位置。此外，对接医院健康管理系统的心电图机打印报告中还会包含诸如年龄、性别等其他文本信息，而现有独立心电图机集成的自动分析系统一般不在分析流程中利用这些信息。
跟据心电图机的具体实现功能程度、与信息化系统联网程度等的不同，除了心电波形信号的描点和基本身份信息外，还会包含诸如心率、pr间期、心电轴信息等基本测量信息，诸如性别、年龄、病史等补充资料信息。
根据医学专家知识定义与心电图事件有关的文本信息因子集合f＝{f1，...，fq}，其中，可以包括但不限于性别、年龄、用药情况、疾病史、身高、体重、pr间期、qt间期等常见心电报告信息。对于心电图报告的文本信息根据相应的域标签解析获取相应的文本，初始化一个文本信息向量f＝[f1，...，fq]，对于实际含义为数值形式的信息(如年龄、pr间期)，转化为对应的数值赋值给对应的文本信息向量f的相应维度。
对于实际含义为语义类别的信息(如用药情况、疾病史)，首先尝试利用一对多标准语义映射近义词词表(一种标准语义概念，如“地高辛用药”，映射为多种可能的表达如“狄戈辛”、“拉诺辛”、“异羟基洋地黄毒”等)进行查询，在找不到完全匹配的情况下，首先将域标签(如tag：用药情况)解析获取相应的文本输入利用针对心血管健康领域语料训练得到分词模块，如将“使用地高辛注射液”分词为“使用/地高辛/注射液”，将其中的字符替换为统一维度d的预训练嵌入向量，“使用/地高辛/注射液”分词实例中将嵌入向量拼合为3个子分词部分，每一部分内部对每个嵌入维度获取最大值、平均值、中位数3个特征权值，拉平3个特征权后在维度d上进行拼合，获得每个子分词部分的一个3·d维度的嵌入表示向量，通过与标准医学概念向量进行余弦距离(或其他距离计算方式)获得子分词部分中最近的标准语义概念。将标准语义概念利用icd-10编码、国家药品编码等进行去重的结合心电报告领域的重新编号；将获得的最近距离标准语义概念返回填入对应的文本信息向量f所属维度(如“地高辛用药”编码为“mq1000”，赋值给“用药情况”维度)。语义类别的信息的f所属维度存在多种选择共存的情况下，设置冗余扩增维度，即对应向量f相占位大于1个维度。
步骤s102：基于多个所述心电图，通过预设的心电图波形向量提取模型，获取与每个所述心电图对应的心电图波形向量。
在一种可能的实现方式中，所述心电图波形向量提取模型基于神经网络构建，通过预设的第二训练集训练并用于提取心电图对应的心电图波形向量。
对于原始心电图信号的常见标准化有基线漂移调整、滤波器滤波去噪等操作。很多主流的心电图机已经集成了基线漂移调整、滤波器滤波去噪等内置模块，而且相关的处理技术已经比较成熟(如基于频域滤波的去噪,基于中值滤波的基线调整)已成为通用的心电分析系统的标准流程，这里只作为本发明必要的(非特色的)步骤加入到标准化模块中，不再展开讨论。
不同厂商的心电图报告中的心电信号在导联数量、打印报告排布位置、采样率、时间长度等方面会有差异，本发明提出的通用心电图时间分析方案需要首先对这些信息进行标准化。这里以较为常见的n导联心电图机输出t秒采样频率m赫兹心电图为统一标准进行说明，对于其他的标准参数规格可以参照实施例进行相似操作。
在一种可能的实现方式中，“基于多个所述心电图，通过预设的心电图波形向量提取模型，获取与每个所述心电图对应的心电图波形向量”，其方法包括：
基于多个所述心电图，通过所述心电图波形向量提取模型，获取与每个所述心电图对应的多个导联的初始心电图波形向量；
若心电图的波形频率与标准波形频率不同，在预设时间周期内对所述初始心电图波形向量进行二次采样处理，获取与每个所述心电图对应的多个导联的心电图波形向量。
在一种可能的实现方式中，标准化模块在进行完通用的基线调整和去噪之后，通过解析pdf文件获取n个导联的n组心电向量{x1，...，xl，...，xn}，其中，每个导联的心电向量为
步骤s103：根据所述文本语义信息向量、所述心电图波形向量以及预先获取的第一事件集合，通过预设的第一心电图分析模型获取第一心电图分析结果。
在一种可能的实现方式中，所述第一事件集合为医疗人员所确诊心电图事件的集合，所述第一心电图分析模型基于神经网络构建，通过预设的第三训练集训练并用于获取心电图分析结果，所述第一心电图分析结果为心电图所出现的次数小于等于第一预设阈值所对应的心电图分析结果。
在一种可能的实现方式中，“根据所述文本语义信息向量、所述心电图波形向量以及预先获取的第一事件集合，通过预设的第一心电图分析模型获取第一心电图分析结果”，其方法包括：
基于所述心电图波形向量，通过向量切分算法将所述心电图波形向量切分为多个心率向量；
基于多个所述心率向量以及所述心电图波形向量，确定所述心电图对应的心电图特征向量；
根据所述文本语义信息向量、所述心电图特征向量以及所述第一事件集合，通过所述第一心电图分析模型对应的随机森林算法获取所述第一心电图分析结果。
其中，第一心电图分析结果可以是罕见心电图分析结果。
输入心电波形向量标准化模块所产生的n组长度m·t为时间对齐的心电向量{x1，...，xl，...，xn}；输入心电图报告文本信息标准化模块所产生的文本信息向量；输入知识驱动的规则注意力模块产生的罕见事件注意力索引集合{i1，...，iz}。
首先对输入的心电向量，从时域相对幅值空间映射到波形特征空间，一种可行的实施流程：针对节律带导联(若不存在优先使用ii导联)的心电向量，考虑利用qrs波群、p波、t波等的成熟检测算法(如pan-tompkins算法等)，对心电向量切分为c个心搏关键点组(产生相应的特征点组{p，...，pc，...，pc}，其中，每个特征点组pc包含若干种特征点，使用qrs波群作为心博的定位点；
结合{x1，...，xl，...，xn}和{p，...，pc，...，pc}，计算包括但不限于qrs面积、pt期间、p相对振幅等关键心电描述特征值向量a＝[a1，...，aa]。结合罕见心电图事件的医学指南或专家判图规则，对心电描述特征值进行基于专家规则的扩充。例如，某特征ai定义为qrs期间长度，而一条与罕见病有关的诊断标准为qrs间期长度大于120毫秒，则将“ai是否大于120毫秒”、“ai与标准阈值的差值ai-120”、“ai与标准阈值的比值ai/120”作为3个补充特征连接到向量a。最后，其他专家规则以类似形式扩增特征向量，最终，将输入的心搏信息转化为了特征值向量a＝[a1，...，aa′]，将f＝[f1，...，fq]与按照是否满足罕见心电图事件的专家规则进行类似的增广，获得f＝[f1，...，fq′]。
使用文本信息向量f＝[f1，...，fq′]、特征值向量a＝[a1，...，aa′]、罕见事件注意力索引集合{i1，...，iz}，以及罕见事件注意力引导的随机森林算法进行类别分类，输出属于正常/每个类别罕见心电事件二分类的概率。下面对罕见事件注意力引导的随机森林算法进行说明。
经典随机森林是将bagging集成学习理论与随机子空间方法相结合的一种机器学习算法。随机森林是以k个决策树为基本分类器，进行集成学习后得到的一个组合分类器。bagging思想是指从原样本集x中有放回地随机抽取k个与原样本集同样大小的训练样本集{tk，k＝1，2，...，k}(每次约有37％的样本未被抽中)，每个训练样本集tk构造一个对应的决策树。特征子空间思想是指在对决策树每个节点进行分裂时，从全部属性中等概率随机抽取一个属性子集(例如取|log2(m)+1|个属性，m为特征总数)，再从这个子集中选择一个最优属性来分裂节点。
罕见心电图事件的训练数据由于极其有限，往往不能反映真实心电图数据的分布，罕见事件注意力引导的随机森林算法尝试利用专家先验，提升与罕见心电图事件有关的特征被抽取的概率，使得最终集成的分类器更多地反映与心电专家知识吻合的特征，提升模型在训练数据极其缺乏情况下的泛化能力。具体来说，对于罕见事件注意力索引集合{i1，...，iz}下标的心电特征，在特征子空间生成阶段，提升其被选中的概率，即提升与罕见心电图事件相关的特征被抽取的概率，使集成分类器在利用数据驱动模型训练的同时，反映更多专家的经验。
对于扩增后的文本信息向量f＝[f1，...，fq′]、特征值向量a＝[a1，...，aa′]，结合具体到每一类罕见心电图事件的专家判定规则，将与之相关的向量维度索引增添到该类别罕见心电图事件注意力索引集合中，最终形成{i1，...，iz}进行返回。
步骤s104：根据所述文本语义信息向量以及所述心电图波形向量，通过预设的第二心电图分析模型获取第二心电图分析结果。
在一种可能的实现方式中，所述第二心电图分析模型基于神经网络构建，通过预设的第四训练集训练并用于获取心电图分析结果，所述第二心电图分析结果为心电图所出现次数大于等于第二预设阈值所对应的心电图分析结果。
其中，第二心电图分析结果可以是常见心电图分析结果。
对于常见心电图事件，由于在真实的实施过程中，可以获得大量的相关心电图数据(并进行相应的标注)，以多层卷积神经网络为代表的深度学习方法，可以通过端到端的自动特征学习和分类实现很好的性能。然而现有这些系统只能对输入的心电图输出一个不同心电图事件的具体预测概率，然而缺乏对于这种预测的证据支持、推导过程。这种“黑箱化”的时间分析流程在可靠性、解释性上还有诸多不足。鉴于此，本发明借鉴处理符号化文本信息的研究社区相关成果，通过将心电波性信息首先映射到表征相对幅值大小的符号化空间，然后利用自注意力记忆网络模型对心电图波形和文本信息进行对应心电图事件的协同分析。在保留端到端训练的模型优点的同时，读取利用自注意力层的相对权值关系，给出具备证据支撑的心电图事件分析。
输入心电波形向量标准化模块所产生的n组长度为m·t时间对齐的心电向量{x1，...，xl，...，xn}；输入心电图报告文本信息标准化模块所产生的文本信息向量f＝[f1，...，fq]。
利用前述步骤所产生的r峰位置，在时间维度对波形心电向量进行切分，获得单个心博的n个导联的波形信号组合。具体来说，在保证截取的波形相对完整的基础上，一种可实施的典型方法：取r峰位置前199个采样点到r峰后个200采样点的窗口内共400个波形描点，对于单个心搏得到400×n总长度的波形向量。
对于每一个导联的心博向量，分别进行z-score形式的标准化。对每个导联，根据训练数据上的经验最大值和最小值，使用min-max标准化将心搏数据映射到[0,1]的固定范围内。将[0,1]取值范围均匀地切分为若干个部分(实施例中建议典型值为50)，全部导联可看作可能有50×n种表征相对大小的符号。利用一个(50×n)行d列的嵌入映射矩阵(实施例中建议d典型值为100)，将400×n长度的波形向量转化为相应的嵌入维度为100的嵌入表示形式，得到400×100×n的心搏采样波形幅值嵌入表示。
对每个导联长度为400的波形向量，对应生成序号为1-400的绝对位置序号，n个导联则对应400×n个序号。利用一个400行d列的嵌入映射矩阵(实施例中建议d典型值为50)，将400×n长度的序号向量转化为相应的嵌入维度为50的嵌入表示形式，得到400×50×n的相对r峰位置嵌入表示(这里虽然计算使用了绝对位置序号，由于指定了r峰是第200个点，所以可以反应相对的r峰位置关系)。
若文本信息向量单个维度为数值属性，使用类似前述步骤中min-max标准化后的[0,1]范围切分方法进行符号化处理。将整体的文本信息符号化向量使用类似前述步骤中的嵌入映射矩阵转化为相应的向量嵌入表示。
网络模型输入心搏采样相对r峰位置嵌入表示、心搏采样波形幅值嵌入表示、文本信息向量嵌入表示，输出对应心搏的心电图事件概率。
具体来说，首先将心搏采样相对r峰位置嵌入表示、心搏采样波形幅值嵌入表示按照时间维度对齐，嵌入维度拼接，得到400×150×n的嵌入表示，输入到波形信息多头注意力模型层中。波形信息多头注意力模型学习多个自注意力表示子空间(实施例中典型值为6个表示子空间)，对每个具体时间点的拼接嵌入表示，通过适当的尺寸映射矩阵将原始嵌入表示映射成为维度为dv的原幅值空间表示功能的向量v，维度为dk的时间键值比较功能的向量k，维度为dq的查询功能的向量q。q为当前处理的时间点信息表示，k和v可以看做整个时间窗口内各个时间点之间的互相依赖关系。在实际实施时将时间维度拼合得到矩阵v、k和q，利用公式(1)进行计算：
公式(1)：
将计算得到注意力矩阵与原始心搏嵌入表示按照时间维度的对应关系进行合并和归一化。由于从原始的心电幅值信号到抽象的心电图事件之间存在较为复杂的映射过程，由波形信息多头注意力模型层和归一化层所组成模块一般需要进行多次层叠，即将合并归一化后的表示矩阵输入到另一个类似的模块组合中。实施例中的典型值为层叠4次。
随后，将层叠的波性信息多头注意力模型层的最终输出输入到文本信息多头注意力模型层中。具体来说，k与v的生成方式与之前的模块相同，q为文本向量嵌入表示通过尺寸映射矩阵得到，不同维度的与心电图事件有关的文本信息。通过公式(1)的注意力计算方法，获得不同维度的文本信息与心电窗口不同位置的波形信息的依赖关系。随后利用归一化层将生成的文本信息多头注意力与输入进行归一化合并。
最后，通过一个全连接前馈层和一个归一化合并层，将包含波形信息多头注意力、文本信息多头注意力、原始波形信息和时间位置信息四个部分的输入内容进行统一编码和表示，使用一个softmax层获得对应各个心电图事件的概率值。
因为常见心电图事件的分析模块中的注意力是内嵌在模型结构中进行计算的，而且结构权重是通过端到端训练学习获得的，这里我们称之为数据驱动的结构注意力模块。波形信息多头注意力和文本信息多头注意力通过旁路进行读取，使用热图可视化等方法，给出最终心电图事件预测的证据重要性路径。
具体来说，波形信息多头注意力给出了具体时间维度的位置相互之间的依赖关系，因为这种依赖关系是可以在导联之间进行生成的，最终的心电图事件分析结果所依据的导联信息可以进行回溯。文本信息多头注意力给出了具体的文本信息与特定导联、特定心搏区域的关联关系，提供了联合文本信息和特定位置波形信息进行心电图事件分析的一种依据来源。
在用于罕见心电图事件分析模块和用于常见心电图事件分析模块分别输出了相应的心电图事件分析结果的情况下，考虑到真实人群中的心电图事件出现的概率，结合一些基于读取的文本信息(如年龄、用药情况、体征等)和专家规则进行事件输出的约束与修正，减少明显不符合医学指南和常识的分析结果输出。
步骤s105：根据所述第一心电图分析结果以及所述第二心电图分析结果，通过预设的融合心电图结果分析模型，获取每个所述心电图对应的心电图事件。
在一种可能的实现方式中，所述融合心电图结果分析模型基于神经网络构建，通过预设的第五训练集训练并用于输出心电图对应的心电图事件。
其中，融合心电图结果分析模型可以是神经网络模型。
本发明提供的心电图分析方法，可以在无需心电图机设备提供原始数据接口的情况下，利用间接获得的pdf格式文件进行分析；以此同时，本发明提供的方法可以同时处理罕见和常见的心电图，发挥不同类型人工智能算法的优势；相比于现有技术的方法，本发明的方法能够直接对pdf格式的心电图进行解释，扩展了本发明方法的应用范围。
参阅附图2，图2示例性地示出了本公开实施例的心电图分析装置的结构示意图。所述心电图分析装置包括：
文本语义信息提取模块1，用于基于预先获取的多个心电图，通过预设的文本语义信息提取模型，获取与每个所述心电图对应的文本语义信息向量，其中，所述文本语义信息提取模型基于神经网络构建，通过预设的第一训练集训练并用于提取文本文件的文本语义信息向量，所述文本语义信息向量包括所述心电图的波形信息以及所述心电图对应的目标对象的身份信息；
心电图波形向量提取模块2，用于基于多个所述心电图，通过预设的心电图波形向量提取模型，获取与每个所述心电图对应的心电图波形向量，其中，所述心电图波形向量提取模型基于神经网络构建，通过预设的第二训练集训练并用于提取心电图对应的心电图波形向量；
第一心电图分析结果获取模块3，用于根据所述文本语义信息向量、所述心电图波形向量以及预先获取的第一事件集合，通过预设的第一心电图分析模型获取第一心电图分析结果，其中，所述第一事件集合为医疗人员所确诊心电图事件的集合，所述第一心电图分析模型基于神经网络构建，通过预设的第三训练集训练并用于获取心电图分析结果，所述第一心电图分析结果为心电图所出现的次数小于等于第一预设阈值所对应的心电图分析结果；
第二心电图分析结果获取模块4，用于根据所述文本语义信息向量以及所述心电图波形向量，通过预设的第二心电图分析模型获取第二心电图分析结果，其中，所述第二心电图分析模型基于神经网络构建，通过预设的第四训练集训练并用于获取心电图分析结果，所述第二心电图分析结果为心电图所出现次数大于等于第二预设阈值所对应的心电图分析结果；
心电图事件获取模块5，用于根据所述第一心电图分析结果以及所述第二心电图分析结果，通过预设的融合心电图结果分析模型，获取每个所述心电图对应的心电图事件，其中，所述融合心电图结果分析模型基于神经网络构建，通过预设的第五训练集训练并用于输出心电图对应的心电图事件。
在一种可能的实现方式中，所述文本语义信息提取模块1还用于：
基于多个所述心电图，通过所述文本语义信息提取模型，获取与每个所述心电图对应的初始文本语义信息向量；
对所述初始文本语义信息向量进行分词处理，得到所述初始文本语义信息向量对应的多个分词向量；
分别获取每个所述分词向量与预设的标准医学向量的空间距离，根据每个所述分词向量与所述标准医学向量的空间距离，确定与每个所述心电图对应的文本语义信息向量。
在一种可能的实现方式中，所述心电图波形向量提取模块2还用于：
基于多个所述心电图，通过所述心电图波形向量提取模型，获取与每个所述心电图对应的多个导联的初始心电图波形向量；
若心电图的波形频率与标准波形频率不同，在预设时间周期内对所述初始心电图波形向量进行二次采样处理，获取与每个所述心电图对应的多个导联的心电图波形向量。
在一种可能的实现方式中，所述第一心电图分析结果获取模块3还用于：
基于所述心电图波形向量，通过向量切分算法将所述心电图波形向量切分为多个心率向量；
基于多个所述心率向量以及所述心电图波形向量，确定所述心电图对应的心电图特征向量；
根据所述文本语义信息向量、所述心电图特征向量以及所述第一事件集合，通过所述第一心电图分析模型对应的随机森林算法获取所述第一心电图分析结果。
在一种可能的实现方式中，所述第二心电图分析结果获取模块4还用于：
根据所述文本语义信息向量以及所述心电图波形向量，通过所述第二心电图分析模型获取所述文本语义信息向量对应文本信息向量嵌入表示、所述心电图波形向量对应的心博采样波形幅值嵌入表示；
基于所述文本信息向量嵌入表示以及所述心博采样波形幅值嵌入表示，通过所述第二心电图分析模型的softmax网络层获取每个所述心电图所对应的心电图事件概率；
根据每个所述心电图所对应的心电图事件概率获取所述第二心电图分析结果。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
- 还没有人留言评论。精彩留言会获得点赞！