一种基于大语言模型的中文论文投稿期刊推荐方法与系统

文档序号:38257194发布日期:2024-06-12 23:06阅读:11来源:国知局
本发明属于智能推荐,尤其涉及一种基于大语言模型的中文论文投稿期刊推荐方法与系统。
背景技术
::1、现有技术中,虽然可以进行投稿期刊的推荐,但是由于算法以及词表的局限性,仅支持英文期刊投稿推荐。2、现有方法采用知识图谱、向量相似度等间接方法进行投稿推荐。基于知识图谱或向量相似度的方法,能够基于图关系发现一些期刊间的潜在关联,或者计算出两篇文献之间的向量相似度,再利用这些关联信息来辅助进行决策。该类方法无法直接给出准确的文献推荐结果以及被收录的概率排序,切在计算过程中误差会累计。3、现有技术均基于文章的标题或摘要进行推荐。完全放弃了论文正文中蕴含的特征信息,会导致推荐结果不准确,并且可能导致所推荐的期刊主收方向与论文研究方向不匹配,增大被拒稿的风险。技术实现思路1、本发明的目的在于针对现有技术的不足,提供一种基于大语言模型的中文论文投稿期刊推荐方法与系统。2、本发明的目的是通过以下技术方案来实现的:一种基于大语言模型的中文论文投稿期刊推荐方法,包括:3、构建数据集,并得到数据集中每一个中文字符和英文单词的embedding向量表征,从而得到lookup table;所述数据集包括中文语料数据集、英文语料数据集、中文文献数据集和英文文献数据集;4、对所述中文文献数据集和英文文献数据集进行采样;5、对论文中的每一个中文字符和英文单词,通过lookup table查找对应的embedding向量表征,从而构造成一条由向量表征所组成的该论文的向量表征,即第一训练样本;6、将第一训练样本送入transformer模型,在中文语料数据集、英文语料数据集、以及采样后的中文文献数据集和采样后的英文文献数据集上进行训练,得到预训练基底模型;7、将中文文献数据集中的作者信息进行离散编码,然后进行one-hot编码,得到离散化的作者信息特征;8、构建第二训练样本,所述第二训练样本包括论文全文、离散化的作者信息特征和录用期刊名称;其中录用期刊名称也需要对其进行one-hot编码,并作为第二训练样本的标签;9、构建期刊推荐模型:在预训练基底模型的基础上,新增三个权重矩阵,分别为低秩矩阵a、b以及全连接层wfc,最终输出层采用softmax进行归一化得到各目标文献的录用概率;10、所述第二训练样本用于微调期刊推荐模型;11、微调后的期刊推荐模型用于中文论文投稿期刊推荐。12、进一步地,所述得到数据集中每一个中文字符和英文单词的embedding向量表征,从而得到lookup table具体为:13、设计自然语言处理词表,建立词表中字符与编号的映射关系;14、按照词表中字符与编号的映射关系,查找每个中文字符和英文单词的编号,使用word2vec算法,在所述数据集上训练得到每一个中文字符或英文单词的embedding向量表征,从而得到lookup table。15、进一步地,在中文语料数据集、英文语料数据集、以及采样后的中文文献数据集和采样后的英文文献数据集上进行训练具体为:在中文语料数据集、英文语料数据集、以及采样后的中文文献数据集和采样后的英文文献数据集上按照teacher forcing方法进行训练。16、进一步地,训练时使用mask矩阵对待预测字符进行掩码处理,从而实现并行训练。17、进一步地,所述论文全文包括标题、摘要、关键字、作者信息和参考文献。18、进一步地,还包括搭建期刊推荐服务,具体为:19、搭建公网跳板服务器,通过cloudflare托管域名解析服务;20、在内网服务器部署微调后的期刊推荐模型分布式推理服务,接受用户请求,期刊推荐结果最终将通过server-sent-event方式发送给用户。21、进一步地,用户进入系统页面,上传论文全文;22、公网跳板服务器接受到用户请求,将请求根据负载均衡转发到内网的模型推理服务;23、模型推理服务对论文中的每个字符在lookup table中进行检索,得到该论文的向量表征;24、模型执行前向传播,在最终的softmax层给出各个中文期刊对本文的录取概率。25、本发明还提供了一种基于大语言模型的中文论文投稿期刊推荐系统,包括:26、lookup table构建模块,用于构建数据集,并得到数据集中每一个中文字符和英文单词的embedding向量表征,从而得到lookup table;所述数据集包括中文语料数据集、英文语料数据集、中文文献数据集和英文文献数据集;27、采样模块,用于对所述中文文献数据集和英文文献数据集进行采样;28、第一训练样本构建模块,用于对论文中的每一个中文字符和英文单词,通过lookup table查找对应的embedding向量表征,从而构造成一条由向量表征所组成的该论文的向量表征,即第一训练样本;29、模型训练模块,用于将第一训练样本送入transformer模型,在中文语料数据集、英文语料数据集、以及采样后的中文文献数据集和采样后的英文文献数据集上进行训练,得到预训练基底模型;30、第二训练样本构建模块,用于将中文文献数据集中的作者信息进行离散编码,然后进行one-hot编码,得到离散化的作者信息特征;所述第二训练样本包括论文全文、离散化的作者信息特征和录用期刊名称;其中录用期刊名称也需要对其进行one-hot编码,并作为第二训练样本的标签;31、期刊推荐模型构建模块,用于构建期刊推荐模型:在预训练基底模型的基础上,新增三个权重矩阵,分别为低秩矩阵a、b以及全连接层wfc,最终输出层采用softmax进行归一化得到各目标文献的录用概率;32、模型微调模块,所述第二训练样本用于微调期刊推荐模型;33、期刊推荐模块,微调后的期刊推荐模型用于中文论文投稿期刊推荐。34、本发明还提供了一种电子设备,包括存储器及处理器,所述存储器用于存储包括程序指令的信息,所述处理器用于控制程序指令的执行,所述程序指令被处理器加载并执行时实现上述的一种基于大语言模型的中文论文投稿期刊推荐方法。35、本发明还提供了一种存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述的一种基于大语言模型的中文论文投稿期刊推荐方法。36、与现有技术相比,本发明的有益效果是:37、1.本发明创新性的支持中文期刊的投稿推荐38、2.本发明使用端到端的方法进行推荐,使用者只需上传论文,系统直接给出推荐结果及优先级排序39、3.本发明能够利用所有已知信息进行推荐(标题、摘要、关键字、正文、作者信息、参考文献)使得推荐准确率更高,并且所推荐的期刊所在领域与论文研究方向的联系更加紧密,能够降低由于投稿方向不匹配而被拒稿的概率。原因在于,算法能够从论文正文中提取出更多有价值的信息,而不是仅仅依赖摘要来做判断。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1