1.基于伪单词序列生成的病例分类的零样本蒸馏系统及方法,其特征在于,包括:模型分离模块;多元正态分布生成模块;伪样本生成模块;蒸馏模块;
2.根据权利要求1所述的基于伪单词序列生成的病例分类的零样本蒸馏系统及方法,其特征在于,所述多元正态分布生成模块通过将已经在真实训练数据上训练好的教师模型的词嵌入层和编码层进行分离,形成新的模型并保存;
3.根据权利要求1所述的基于伪单词序列生成的病例分类的零样本蒸馏系统及方法,其特征在于,所述对应的多元正态分布,公式表达如下:
4.根据权利要求1所述的基于伪单词序列生成的病例分类的零样本蒸馏系统及方法,其特征在于,所述模拟标签分布采样模块在softmax计算过程中加入放缩系数调整得到的不同类别数据模拟标签分布的概率尖锐度。
5.根据权利要求1所述的基于伪单词序列生成的病例分类的零样本蒸馏系统及方法,其特征在于,所述模拟标签分布采样模块,对多元正态分布进行采样得到噪声z,将其输入到教师模型最后一层分类线性层与权重w相乘中得到输出,并将该输出除以放缩系数α后输入到softmax函数fs中计算得到模拟标签分布,公式表达如下:
6.根据权利要求1所述的基于伪单词序列生成的病例分类的零样本蒸馏系统及方法,其特征在于,所述伪样本标签分布生成模块,将随机生成的均匀分布整数代替bert词表中的单词索引x输入到教师模型的词嵌入层femb得到词嵌入向量,再将其输入到教师模型的编码层fec(θt)中得到伪样本标签分布,其中θt为教师模型参数,公式表达如下:
7.根据权利要求1所述的基于伪单词序列生成的病例分类的零样本蒸馏系统及方法,其特征在于,所述多元正态分布采样监督优化模块,利用采样得到的多元正态分布样本n作为标签信息,监督伪样本的生成,反向传播优化词嵌入层et,直到生成满足条件的伪样本作为最终的伪样本x,损失函数采用了交叉熵损失和kl散度损失并且加入温度系数来控制标签分布尖锐度,公式表达如下:
8.根据权利要求1所述的基于伪单词序列生成的病例分类的零样本蒸馏系统及方法,其特征在于,所述词嵌入空间一致性训练模块,通过输入公开病例数据集第i个句子xi到教师模型的嵌入层et和学生模型的嵌入层es,将教师模型词嵌入向量与学生模型词嵌入向量经过线性层转换后做kl散度lkl处理,优化线性层使双方词嵌入向量处于同一空间内,公式表达如下:
9.根据权利要求1所述的基于伪单词序列生成的病例分类的零样本蒸馏系统及方法,其特征在于,所述知识转移模块,将生成的词嵌入向量x分别输入教师模型的编码层ft(θt),以及转换词向量维度的线性层ffc,转化为768维度的词嵌入向量,得到教师模型和学生模型输出的标签分布,将其对齐,从而把教师模型的知识迁移到轻量化的学生模型当中,采用kl散度lkl作为损失函数,优化学生模型的编码层fs(θs),公式表达如下:
10.基于伪单词序列生成的病例分类的零样本蒸馏系统及方法,其特征在于,包括步骤如下: