一种优化后的初始飞行训练阶段胜任力评级方法

本发明涉及飞行训练评级，具体涉及一种优化后的初始飞行训练阶段胜任力评级方法。

背景技术：

1、初始飞行训练是飞行学员胜任力培养与评估的关键阶段。在不同课程、不同阶段结束后，均需要对飞行学员进行系统性的考核评估，考核工作单是考官实施评测的主要载体。传统的训练考核工作单主要包括科目、完成标准、综合能力评定等部分，在考核过程中需要由考官对学员各科目表现手动勾选、评分，并以此为基础得出对学员综合成绩的评定。但是，这种基于科目清单勾选的考核方式无法全面量化反映学员胜任力的层级和结构特征。

2、为此申请人在前期提出了“一种基于可观察行为的飞行训练质量评级的方法(202211168069.6)”，在传统考核工作单的科目下增加观测项评分环节以求更全面、详细地测评学员的能力特征，并通过构建观测项-可观察行为指标(ob)关联矩阵、基于venn准则构建胜任力评级模型，实现了对初始训练阶段胜任力的评估。但是，随着培训进程的推进，后续课程的考核工作单所涉及科目、观测项的数量和复杂性不断增加，如何保证考官测评的有效性是一个问题。此外，要求考官对所有科目、观测项进行测评带来工作负荷增强，导致考官随意给出观测项评分甚至不予评分的现象，影响到对学员胜任力的最终评价效果。

3、现有技术中的不足是需要对所有观测项逐一进行测评。在实际训练考核工作中，即使最简单的筛选考核也有90多个观测项，随着培训进程的推进，工作单所涉及的科目和观测项规模不断增加。由此带来的问题有：1)极大增加了考官工作负荷、降低考核工作效率。在实际工作中一名考官通常每天需要连续考核多名学员，过于繁杂的观测项测评工作不仅无谓浪费飞行训练资源，而且引起考官的抵触厌烦情绪。2)影响观测项评估质量。观测项是胜任力评估的基础，从实际使用效果来看，观测项过于繁杂难以保证对所有项目的测评可靠，甚至出现考官随意给出观测项测评甚至不予勾选测评现象，影响最终评价效果。

4、因此，亟需一种能简化观测项测评考核流程，降低考官工作负荷、提升测工作效率，保证观测项测评质量的稳定可靠的飞行训练评级方法。

技术实现思路

1、为解决现有技术中存在的问题，本发明提供了一种优化后的初始飞行训练阶段胜任力评级方法，首先根据样本数据统计由专家定义科目和观测项匹配准则，再根据科目评分给观测项赋初值再由系统依据观测项属性及其与科目评分相关性自适应遴选出若干观测项，由考官对评分进行调整确认直至满足匹配性准则，最后计算ob指标、确定学员的胜任力评级；该方法简化了观测项测评考核流程，提升测评工作效率，保证观测项测评质量的稳定可靠，解决了上述背景技术中提到的问题。

2、为实现上述目的，本发明提供如下技术方案：一种优化后的初始飞行训练阶段胜任力评级方法，包括如下步骤：

3、s1、构建优化的训练评估工作单、定义科目和观测项属性；

4、s2、通过样本数据采集及标定确定科目-观测项匹配检验准则；

5、s3、利用标定的样本数据构建胜任力评级模型；

6、s4、基于自适应遴选的观测项评分；

7、s5、基于步骤s4得到观测项评分，利用步骤s3构建的胜任力评级模型计算胜任力评级。

8、优选的，在步骤s1中，构建优化的训练评估工作单、定义科目和观测项属性具体包括如下：

9、s11、定义各科目、观测项的评分准则；

10、s12、对各科目观测项属性进行定义，包括困难度和相关度。

11、优选的，所述步骤s11中的评分准则具体包括：

12、各科目评分准则为：“优秀”，4分，全程表现显著超出大纲要求的标准；“良好”，3分，综合表现高于大纲要求的标准；“合格”，2分，基本达到大纲要求的标准；“不通过”，1分，出现重大差错、综合表现低于大纲要求的标准；

13、

14、其中k∈1,2,…,l，task_insp(k)表示考官对第k个科目的评分；

15、观测项评分标准为：4分-展示了足够多的可观察行为；3分-展示出的可观察行为数量显著高于最低标准；2分-观察到最低数量的可观察行为；1分-很少能观察到所需的可观察行为；

16、

17、其中i∈1,2,…,m，obs_insp(i)表示考官对第i个观测项的评分。

18、优选的，所述步骤s12中的困难度和相关度具体包括如下：

19、困难度：

20、

21、其中i∈1,2,…,m，obs_dif(i)表示该科目中第i个观测项的困难度；

22、相关度：利用标定的样本数据对观测项之间的相关性进行检验得到皮尔逊系数pear_cor，将与该观测项存在显著相关性pear_cor≥0.6的观测项的数量作为该观测项的相关度obs_cor(i)。

23、优选的，所述步骤s2中的通过样本数据采集pear_cor及标定确定科目-观测项匹配检验准则，具体包括如下：

24、采集大量训练考核样本数据，由飞行专家根据测评准则进行科目评分、观测项评分的样本数据；

25、通过对样本数据的机器学习，构建基于观测项评分的科目评分预测模型，通过预测模型得到模型评分task_svm(k)；

26、通过各科目的考官评分task_insp(k)与模型评分task_svm(k)间的均方根误差来定义科目-观测项评分匹配性检验准则：

27、|task_insp(k)-task_svm(k)|≤3εk

28、其中εk是第k个科目的考官评分与预测模型评分结果的均方根差阈值。

29、优选的，在步骤s3中，具体包括：

30、s31、根据优化的训练评估工作单的观测项评分标准，对学员完成各科目时观测项表现进行相应的勾选评分，得到对观测项测量的结果，形成观测向量a，

31、a＝(ai)m×1＝(a1,a2，…,am)t，i＝1,2,...,m，

32、其中，ai为第i个观测项的评分，其最大值为该观测项的满分值，当所有观测项均取满分时可得到观测向量

33、s32、任意观测项i与胜任力可观察行为指标obj间建立关联，以观测项-ob关联矩阵b表示，

34、

35、其中，bij表示第i个观测项与第j个ob的关联属性，i＝1,2,...,m；j＝1,2,…,n；bij＝1时表示第i个观测项与第j个ob存在映射关系，否则取0。

36、s33、利用观测向量a和观测项-ob关联矩阵，将观测向量a中的元素分别与关联矩阵中对应行相乘，构建得到胜任力的评估矩阵y，

37、

38、其中，aibij代表第i个观测项对于obj的贡献水平；

39、s34、根据胜任力评估矩阵y，引入相对范数表征得到可观察行为ob的展现频度fofn和展现数量fmny的评级模型；

40、s35、根据评级模型通过求解优化问题，得到阈值最优解和γ1、γ2、γ3，然后基于胜任力进行评级，得到根据胜任力所划分的评级标准用于评级优化。

41、优选的，在步骤s34中，所述评级模型表达如下：

42、

43、

44、当所有观测项均取满分，即观测向量时，根据评估模型可得到ob展现数量fmny、频度fofn的最大值为：

45、

46、

47、针对不同训练机构、不同训练课程所涉及训练考核工作单在观测项及完成标准设置上存在差异的情况，并便于统一胜任力评级标准，引入相对范数如下，其中

48、

49、

50、优选的，在步骤s35中，所述通过求解如下优化问题得到阈值最优解和γ1、γ2、γ3，具体如下：

51、

52、

53、

54、pobb＝min(pofnpmny)

55、

56、其中，pexa为考试员对学员的等级评分，pexa＝{优，良，中，差}＝{4，3，2，1}；pofn为划分的等级，pmny为划分的等级，和γ1、γ2、γ3为的分级阈值，pob为根据pofn和pmny并基于venn准则得出的胜任力评级。

57、优选的，所述步骤s4中的基于自适应遴选的观测项评分，具体包括如下：

58、s41、观测项赋初值：按照科目评分给该科目下的各观测项赋初值；

59、s42、首先按照观测项遴选最低覆盖要求对每个科目下的观测项进行遴选排序挑选若干观测项，由考官对其评分进行调整确认；

60、所述观测项遴选排序规则为：

61、对科目打分task_insp(k)大于等于3的科目，观测项按困难度obs_dif(i)降序排序并标号，如果困难度相同则按相关度obs_cor(i)降序排列并标号；

62、对科目打分task_insp(k)小于等于2的科目，观测项按困难度obs_dif(i)升序排序并标号，如果困难度相同则按相关度obs_cor(i)降序排列并标号；

63、所述符合观测项遴选最低覆盖要求是指遴选后的观测项数量是否满足最低覆盖要求，如果不满足则需要考官继续增补观测项进行确认；

64、

65、其中k∈1,2,…,l，根据每个科目的重要度task_imp(k)不同，由飞行专家遴选不低于最低数量要求的观测项并调整确认评分；

66、s43、然后根据科目-观测项评分匹配性检验准则，逐项对各科目评分和观测项评分进行匹配性检验，如果观测项评分与科目评分不匹配，则需要考官继续增补观测项进行确认，直至满足科目-观测项评分匹配性检验准则。

67、优选的，所述步骤s5中的胜任力评级具体包括：根据步骤s4得到观测项评分，得到待考核学员的观测向量，然后按照步骤s3构建的胜任力评级模型，最终得到考核学员的胜任力评级。

68、本发明的有益效果是：本发明针对目前的技术方案要求对所有观测项进行逐一评测所带来的评估工作效率不高、质量可靠性难以保证的不足，本发明提出了改进考核评估工作单的设计，科目、观测项匹配性检验，基于观测项自适应遴选迭代计算ob指标等主要改进，可在确保考核质量的前提下提升考官/检查员的考核效率。本发明通过遴选观测项简化考核流程，降低考官工作负荷，可将需要考官测评的观测项数量减少70％以上；通过增加科目、观测项属性定义，以及科目-观测项匹配性检验、“观测项遴选最低覆盖”检验，可有效保证胜任力评测的可靠性，提升胜任力评估质量。