基于深度学习模型和专家系统的相似JD召回与推荐方法与流程

基于深度学习模型和专家系统的相似jd召回与推荐方法
技术领域
1.本发明涉及计算机软件领域，尤其涉及的是一种基于深度学习模型和专家系统的相似jd召回与推荐方法。


背景技术：

2.在现有人力资源猎头招聘领域，根据候选人的简历信息与雇主发布的职位信息，利人工智能，大数据分析等技术方案，为猎头在寻找匹配的候选人简历
‑‑
职位对的过程中提升效率。
3.通常猎头给发布职位的雇主推荐了合适的候选人之后，候选人往往由于面试失败，个人原因及公司关闭职位等原因导致招聘流程无法进行下去，也就导致候选人无法在人才市场中充分发挥自己的效用。为了解决此问题，猎头通常会通过以下几种方案继续为候选人推荐职位：
4.1.猎头会继续在海量招聘平台例如boss直聘，猎聘，智联招聘，脉脉等平台中寻找与其手中职位相匹配的简历，通过线上和电话的方式挨个联系候选人，获取简历确认意向之后与潜在职位进行撮合，该种方案最为耗时耗力，因：1.)平台中的海量简历质量参差不齐，某些简历的信息不完整不是最新的甚至是错误的2.)无法确认平台中的简历人选是否在招聘市场中寻找机会。这两个原因导致猎头耗费大量的时间来做简历搜索/筛选与沟通。
5.2.借助人工智能技术方案作为辅助，利用市面上的人岗匹配技术，通过文本解析，智能匹配等方案为候选人寻找其他合适的职位，猎头仅需花费时间与雇主候选人进行沟通达成一致即可，节省猎头用于寻找合适职位的时间。但智能人岗匹配技术将人岗匹配全部交由人工智能完成，而通常神经网络或机器学习等模型往往由于训练数据量的问题而导致匹配准确率不准，无法达成有效推荐。且猎头招聘领域往往需要人工介入来确认候选人意愿与职位画像，现有人岗智能匹配等方案无法很好的满足猎头需求。
6.3.以猎头过去为候选人推荐过的职位作为基准，利用ai技术从海量职位中继续匹配相似职位。此种方案在猎头过往为候选人主动撮合的职位上进行推荐，一定程度上为ai人岗匹配赋予了人工手动纠偏的因素，因此达成有效推荐的概率较高。但正如第1，2点所述，现有ai技术在为jd(job descriptions,职位描述，下同)寻找相似jd时同样无法满人岗位匹配中所需要的深度语义理解(人工理解)，从而导致寻找的相似jd较少，且准确率不高。
7.因此，现有技术存在缺陷，需要改进。


技术实现要素：

8.本发明所要解决的技术问题是：提供一种结合基于猎头行为微调的深度学习模型与专家系统的优势，通过利用猎头行为修正深度学习模型仅由文本语义相似程度作为唯一评判标准的偏差，同时借助专家经验对特定专业性领域的误判进行打标，提高jd推荐链路的数据召回质量，从而解决人岗推荐领域相似jd召回数量与质量不高的问题的基于深度学习模型和专家系统的相似jd召回与推荐方法。
9.本发明的技术方案如下：
10.一种基于深度学习模型和专家系统的相似jd召回与推荐方法，包括如下步骤：s1：选用在大规模语料库上训练好的bert模型作为预训练模型；s2：加入企业内各专业领域的职位文本信息对选用的预训练模型的参数进行增量训练；s3：通过猎头过往的人工撮合行为构造相似职位的正负样本对，并对增量训练后的预训练模型进行调整，形成相似jd召回的最终bert模型；s4：采用最终bert模型从海量职位中召回相似jd，并为召回相似jd进行打分排序，取top k相似jd对应的职位作为最终结果推荐给候选人，其中，k为自然数。
11.应用于上述技术方案，所述的基于深度学习模型和专家系统的相似jd召回与推荐方法中，步骤s1中，通过在大规模语料上进行预训练，赋予bert模型对自然语言的基础理解能力，后续将其迁移应用至为不同的专业职位文本生成embedding表示，再通过计算职位文本的embedding相似度来获得排序在top-n的职位jd作为相似jd，其中，n为自然数。
12.应用于上述技术方案，所述的基于深度学习模型和专家系统的相似jd召回与推荐方法中，步骤s2中，在加入企业内各专业领域的职位文本信息对选用的预训练模型参数进行增量训练后，使得增量训练后的预训练模型对于专业职位获得更好的职位文本embedding表示，增强预训练模型对专业类型职位的理解能力。
13.应用于上述技术方案，所述的基于深度学习模型和专家系统的相似jd召回与推荐方法中，步骤s3中，通过猎头过往的人工撮合行为构造相似职位的正负样本对，并对增量训练后的预训练模型参数进行调整，使得最终bert模型对相似jd生成的职位文本embedding表示融入猎头行为的先验知识，让最终bert模型的评判标准尽量靠齐猎头的人工标准。
14.应用于上述技术方案，所述的基于深度学习模型和专家系统的相似jd召回与推荐方法中，步骤s4中，还采用专家系统从海量职位中召回相似jd，并对召回的相似jd进行甄别，过滤掉因较难评判的因素而误召回的相似jd；并且，合并专家系统召回并甄别的相似jd与最终bert模型召回的相似jd，并为合并后的相似jd进行打分排序，取top k相似jd对应的职位作为最终结果推荐给候选人，其中，k为自然数。
15.应用于上述技术方案，所述的基于深度学习模型和专家系统的相似jd召回与推荐方法中，步骤s4中，是通过采用专家系统对召回的相似jd进行打标甄别，过滤掉因较难评判的因素而误召回的相似jd。
16.应用于上述技术方案，所述的基于深度学习模型和专家系统的相似jd召回与推荐方法中，步骤s4中，还在所述专家系统中加入以下打标不可推荐的原因：a)专业不匹配、b)无特定产品相关经验、c)业务内容不同，并过滤掉打标不可推荐的相似jd。
17.应用于上述技术方案，所述的基于深度学习模型和专家系统的相似jd召回与推荐方法中，步骤s4中，通过对召回的相似jd调用人岗匹配精排模型和相似职位精排模型进行打分排序，最后取top k相似jd对应的职位作为最终结果推荐给候选人。
18.应用于上述技术方案，所述的基于深度学习模型和专家系统的相似jd召回与推荐方法中，步骤s4中，在对召回相似jd进行打分排序时，是将候选人简历/职位对的推荐效益分数u(resume,cjd,sjd)定义为人岗匹配精排模型输出p(cv,sjd)与相似职位精排模型输出p(cjd,sjd)的加权之和：u(resume,cjd,sjd)＝w1*p(cjd,sjd)+w2*p(cv,sjd)；其中，cjd为猎头已推荐过候选人的职位，sjd为最终bert模型得到的相似职位，resume为候选人简历，cv为候选人履历，通过推荐效益分数u(resume,cjd,sjd)对召回得到的相似jd进行排
序，最后取top k相似jd对应的职位作为最终结果推荐给候选人。
19.本发明的有益效果为：
20.本发明通过在猎头招聘领域创新性提出了基于embedding与专家系统的相似职位召回的双向推荐方案。在使用深度学习bert模型用来做相似文本召回的基础上融入了专业领域职位的文本信息进行微调，增强bert模型对职位信息的解读能力，同时结合过往猎头的推荐行为对bert模型进行再次调整，使得bert模型根据jd-embedding评判相似职位的标准进一步靠齐人工评判的标准。同时，我们并行的增加了一路专家打标召回，对召回出的jd-pair对进行甄别，过滤在某些特殊领域由于技术专业性，及薪酬年限等较难评判的因素而误召回的相似jd，提高整体推荐链路的稳定性及可靠性。最后使用人岗匹配精排模型和相似职位精排模型对召回结果进行打分，得到每个相似职位的综合得分，通过取最终综合得分较高的top k职位作为最终结果推荐给候选人可有效减少猎头在手工为候选人寻找合适职位的精力时间，并可使得猎头将大部分时间花费在与雇主和候选人双方意愿的沟通理解上，从而最终促进offer的达成率，缓解人才市场大量人才错配的问题。相比较传统猎头招聘领域使用ai系统给候选人推荐合适职位的技术方案，该技术发明主要有以下几方面的技术优势：
21.1.基于小领域的jd专业知识对大规模语料训练的bert模型进行预训练，增强深度学习模型对相似内容jd的解读能力。
22.2.基于猎头产生的推荐行为构造相似jd正负样本对，对增量训练后的bert模型进行参数微调，使得模型最后对jd产生的embedding表示融入猎头行为的先验知识，进一步提高深度模型的召回质量。
23.3.借助专家系统打标，对召回出的jd-pair对进行甄别，过滤在某些特殊领域由于技术专业性，及薪酬年限等较难评判的因素而误召回的相似jd，提高整体推荐链路的稳定性及可靠性。
24.4.在召回模块后融入相似jd打分的精排模块，通过人岗匹配模型和相似职位排序的精排模型对召回结果进行综合打分，最终取top k推荐给候选人可提升最终的有效推荐与成单率。
25.4.多路召回在电商，视频，广告等推荐场景有大量应用，本提案聚焦招聘场景，不同于传统的单向选择方案，我们的潜在相似职位需要和cv进行双向选择。另外，我们在传统召回结果之外利用场景频次优势，设计了新的系统结构来融合专家知识进行进一步甄别。
附图说明
26.图1为本发明的相似jd召回与推荐的流程图；
27.图2为本发明的bert模型的模型结构图；
28.图3为本发明的相似职位精排模型的模型结构图；
29.图4为本发明的人岗匹配精排模型的模型结构图。
具体实施方式
30.以下结合附图和具体实施例，对本发明进行详细说明。
31.本实施例提供了一种基于深度学习模型和专家系统的相似jd召回与推荐方法，如
图1所示，该方法主要包括以下步骤：
32.首先是步骤s1：为了解决现有人工智能方案无法满足在相似职位匹配中的深度语义理解问题，我们首先选用在大规模语料库上面训练好的基础bert模型，通过大规模语料的预训练，获得的基础bert模型已经可以对通用的文本语言产生很好的embedding表示，而行业内大多数ai文本匹配方案大多采用此预训练模型为不同的职位文本生成embedding表示，再通过计算职位embedding表示的相似度来获得排序在top n(排名前n)的职位jd作为相似jd，其中，n为自然数，n的具体数值可以根据实际应用场景自行设置。
33.并且，步骤s1中，是在维基百科大规模语料库进行bert模型预训练时，是通过在这些语料库的自然语言上构造掩码语言建模和下句预测任务来模拟自监督学习的过程。目的是使得基础的bert模型具备迁移学习的能力，通过在大规模语料上进行预训练，赋予bert模型对自然语言的基础理解能力，方便后续将其迁移应用至为不同的专业职位文本生成embedding表示，再通过计算职位文本的embedding相似度来获得排序在top-n的职位jd作为相似jd。
34.另外，通常由于bert预训练的大规模语料库往往很少包含专业领域内的自然语言信息，因此对于某些专业领域的职位，职位间信息无法获得有效的区分。具体体现在原生的mlm模型无法捕捉到同一个jd职位类型下不同职位描述的侧重点。为了解决此问题，我们在上述预训练方案基础上，加入企业内各专业领域内的职位文本信息对bert模型参数进行增量训练，使得增量训练后的模型对于专业职位可以获得更好的embedding表示，增强深度学习模型对专业类型职位的理解能力，及通过步骤s2：加入企业内各专业领域内的职位文本信息对选用的所述预训练模型的参数进行增量训练。
35.并且，由于猎头招聘领域的特殊性，招聘流程中人工介入的因素较为重要，例如，即便两个职位信息文本表述极为相似，但仅一个工作年限要求的差别便可导致该职位无法推荐给候选人，现有市面上人岗智能匹配的ai技术方案无法很好的抓住这种关键信息的差别，而上述步骤所述方案也是仅基于职位文本信息相似程度作为匹配依据，因此仍无法有效克服这一问题，为了提高相似jd的召回质量，我们在步骤s2中增量训练后的bert模型基础上，继续通过猎头过往的人工撮合行为构造相似职位的正负样本对，即通过步骤s3：通过猎头过往的人工撮合行为构造相似职位的正负样本对，并对增量训练后的预训练模型参数再次训练调整，得到相似jd召回的最终bert模型；如此，通过对增量训练后的bert模型再次进行fine-tuning，即微调，使得模型最终对jd产生的embedding表示融入猎头行为的先验知识，让模型的评判标准尽量靠齐猎头的人工标准，进一步提高模型召回相似jd的质量。
36.其中，在对预训练模型bert模型进行微调时，可以采用如下方法进行：基于过往猎头在候选人简历上产生的推荐行为构造相似jd的正负样本对，假设猎头推荐了两个职位jd1，jd2给简历a，那么对于简历a来说，jd1和jd2便可视为相似jd从而产生一条正样本。假设猎头推荐了职位jd3给简历b，并同时在简历b上放弃推荐职位jd4，那么对于简历b来说，jd3和jd4便可视为不相似jd产生一条负样本。通过该方法构造正负样本对并将其作为增量训练后bert模型的输入，根据正负样本对的label对模型参数进行微调，由于该正负样本对是基于猎头人工行为产生，因此微调后模型参数融入了猎头行为的先验知识，从而使得模型评判标准进一行步对齐人工标注，模型效果更加准确。其中bert模型的模型结构图如图2所示。
37.其次，在进行打分排序之前，步骤s4还采用专家系统从海量职位中召回相似jd，并借助专家系统打标，对召回出的jd-pair对进行甄别，过滤在某些特殊领域由于技术专业性，薪酬年限，公司行业差异等较难评判的因素而误召回的相似jd，提高整体推荐链路的稳定性及可靠性。为了最大限度的提取专家知识，我们在专家打标的系统中加入了不可推荐原因如：1.)专业不匹配2.)无特定产品相关经验3.)业务内容不同，供后续优化模型与数据分析提供洞察讯息。
38.其中，采用专家系统从海量职位中召回相似jd时，可以通过专家人工的方式从职位组合对中打标，从中获取相似的职位对作为召回结果。
39.最后通过专家召回和最终bert模型的召回结果作为每个jd相似jd的最终召回结果，并对合并后召回的相似jd进行打分排序，取top k相似jd对应的职位作为最终结果推荐给候选人，其中，k为自然数，其具体数值根据应用场景自行设定。
40.其中，专家系统是通过后台专家进行打标，打标即打标签的意思，比如两个jd组成一个对(岗位a，岗位b)，那专家会给他们打个标签(本质上是做个判断)：比如是否是相似的岗位，他们之间是否可以复推，如，复推：如果一个候选人推到a岗位，也能推到b岗位，就叫做从a到b可以复推。
41.如此，将上述专家召回和基于bert模型的embedding的召回结果合并作为每个职位相似职位的最终召回结果，由于召回从海量职位中进行挖掘匹配，某些情况下会召回出一些与对比职位相似度并不高的岗位，为了过滤掉这些bad case，提高最终的推荐效果，我们利用人岗匹配精排模型和相似职位精排模型为召回出的职位继续进行打分排序，最终我们将某个简历/职位对的推荐效益分数u(resume,cjd,sjd)定义为人岗匹配精排模型p(cv,sjd)与相似职位精排模型p(cjd,sjd)的加权之和：
42.u(resume,cjd,sjd)＝w1*p(cjd,sjd)+w2*p(cv,sjd)
43.其中，cjd为猎头已推荐过候选人的职位，sjd为最终bert模型得到的相似职位，resume为候选人简历，cv为候选人履历，通过推荐效益分数u(resume,cjd,sjd)对召回得到的相似jd的职位进行排序，最后取top k职位作为最终结果推荐给候选人，k为自然数，其具体数值根据应用场景自行设定；并且，人岗匹配精排模型和相似职位精排模型的模型结构图如图3和4所示，其中，相似职位精排模型可以采用xgboost精排模型，xgboost精排模型如图3所示，人岗匹配精排模型可以采用wide&deep人岗匹配模型，wide&deep人岗匹配模型如图4所示，两者均属于现有模型，其具体结构此处不做赘述。
44.本实施例基于深度学习模型和专家系统的相似jd召回与推荐方法在电商，视频，广告等推荐场景有大量应用，本发明聚焦招聘场景，不同于传统的单向选择选择方案，我们的潜在相似职位需要和cv(curriculum vitae，简历)进行双向选择。另外在传统召回结果之外我们利用场景频次优势，设计了新的系统结构来融合专家知识进行进一步甄别。从而提高了为候选人推荐相似jd整个推荐链路结果的稳定性及可靠性。
45.另外，一个例子是，本实施基于深度学习模型和专家系统的相似jd召回与推荐方法的方案在rcn(recruiter coordination network)产品中落地的几个主要步骤：
46.1.收集猎头在rcn平台上之推荐行为：本方案是基于猎头推荐行为而产生的相似职位推荐，在这一步我们在系统里面收集了猎头推荐行为数据的各种面向，如：1)简历讯息，2)职位讯息3)推荐时间4)推荐给哪家客户。
47.2.根据猎头已经推荐的职位，产生给专家打标的相似职位：猎头在产生推荐行为后，我们基于规则的方式产生了与该职位相似的职位，并将这些职位推送给后台专家进行打标。
48.3.利用图算法增强专家打标数据：专家打标是针对一个职位对进行打标。为了提高专家知识利用率，我们设计了图算法来增强专家打标数据。算法思路旨在让打标数据有传递关系，如：a职位与b职位相似，b职位与c职位相似，则a职位与c职位相似。
49.4.利用bert模型召回相似职位：使用公司内部jd信息对大规模语料库上预训练的bert模型进行增量训练以增强bert模型对专业领域jd的理解能力。基于过往猎头在候选人简历上产生的推荐行为构造相似jd的正负样本对，假设猎头推荐了两个职位jd1，jd2给简历a，那么对于简历a来说，jd1和jd2便可视为相似jd从而产生一条正样本。假设猎头推荐了职位jd3给简历b，并同时在简历b上放弃推荐职位jd4，那么对于简历b来说，jd3和jd4便可视为不相似jd产生一条负样本。通过该方法构造正负样本对并将其作为增量训练后bert模型的输入，根据正负样本对的label对模型参数进行微调，由于该正负样本对是基于猎头人工行为产生，因此微调后模型参数融入了猎头行为的先验知识，从而使得模型评判标准进一行步对齐人工标注，模型效果更加准确。
50.5.利用xgboost精排模型对召回的相似职位打分：精排模型使用了xgboost树模型并加入了许多岗位的特征，让模型能够抓到更细致的讯息。学历要求，薪资要求，地点要求，工作内容，技能要求，职称等在特征化之后送入xgboost模型进行打分。
51.6.利用wide&deep人岗匹配模型对简历/职位对打分：人岗匹配模型使用解析后的简历特征与职位特征作为输人，同时包含简历与职位的交叉特征，通过该模型对简历与职位的匹配度进度打分可得到简历与职位的匹配分数。
52.7.推送相似职位至猎头：相似职位在经过上述精排模型打分之后，质量已经在人岗匹配跟岗岗相似两个维度得到了把控。在猎头登入rcn平台时我们取精排模型打分排序top k的结果对猎头进行相似职位的推荐。
53.如此，本实施例在猎头招聘领域创新性提出了基于embedding与专家系统的相似职位召回的双向推荐方案。在使用深度学习模型用来做相似文本召回的基础上融入了专业领域职位的文本信息进行增量训练，增强模型对职位信息的解读能力，同时结合过往猎头的推荐行为对模型参数进行微调，使得模型根据jd-embedding评判相似职位的标准进一步靠齐人工评判的标准。同时，我们并行的增加了一路专家打标召回，对召回出的jd-pair对进行甄别，过滤在某些特殊领域由于技术专业性，及岗位细分方向等较难评判的因素而误召回的相似jd，提高整体推荐链路的稳定性及可靠性。最后使用人岗匹配精排模型和相似职位精排模型对召回结果进行打分，得到每个相似职位的综合得分，通过取最终综合得分较高的top k职位作为最终结果推荐给候选人。在该技术方案上线后，公司内及外部猎企的有效推荐率提升了15％左右，有效推荐率指将职位推荐给候选人后，雇主与候选人双方达成共同意愿可进行下一步交流。上线三个月后，通过综合统计公司内及外部猎企的成单率，最终成单率提升10％左右，成单率指猎头将职位推荐给候选人后，雇主与候选人双方达成一致并接受面试流程。可见该技术方案可有效提升猎头招聘的效率，包括有效推荐及成单率等，在后续的时间内，我们会进一步拉长时间线对最终offer达成率进行统计，通过观测该项指标来确定此技术方案对最终offer成交的提升效果。
54.以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。