一种基于图灵测试的船舶智能航行测试评价方法

本发明涉及智能船舶，特别涉及一种基于图灵测试的船舶智能航行测试评价方法。

背景技术：

1、目前在智能船舶验证测试方面可按照实验环境大致划分为虚拟仿真测试和物理实验测试，虚实融合的船舶智能航行测试已成为智能船舶测试评价的研究新方向。随着全球范围内智能航行的不断发展，产生了结合虚拟仿真和数字孪生技术构建虚拟船舶和虚拟场景展开测试验证的虚拟场景测试；在政府、企业和机构的推动下建设相应实船测试场的实际场景测试，同时也提出了相应的测试评价体系框架，但在智能船舶领域仍然缺少具体完备的测试评价方法来评估人工智能驾驶算法与人类驾驶员的驾驶行为是否合乎规范、达到给定的要求，或者说，人工智能驾驶算法与人类驾驶员，谁的驾驶效果更好。

2、当讨论人工智能是否比人类更聪明这个问题的时候，艾伦图灵是第一个意识到智能测试对开发人工智能的重要性的研究人员。1950年，他提出了一种测试，在这个测试中，人类评估者将判断人类和旨在产生类人反应的机器之间的自然语言对话。如果评估者不能可靠地区分机器和人，则认为该机器已经完成了任务并通过了测试。这就是模仿游戏——也就是熟知的图灵测试。然而，图灵测试有几个缺点，它不能直接应用于去多其他需要对机器进行可靠智能测试的场景。

3、基于此，本专利提出了一种基于图灵测试的船舶智能航行测试评价方法，将图灵测试的人机对抗思想与人的主观经验评价结合的方法，通过实验来回答“智能船舶够不够智能”的问题。

技术实现思路

1、本发明目的在于提供一种基于图灵测试的船舶智能航行测试评价方法，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

2、为解决上述技术问题所采用的技术方案：

3、本发明提供一种基于图灵测试的船舶智能航行测试评价方法，其包括以下步骤：

4、选择测试场景，人类驾驶员和ai算法同处一个虚拟场景或实际场景进行航行操作；

5、确定被测对象，包括数名人类驾驶员、一套船舶智能驾驶的ai算法、虚拟场景或实际场景以及评价人员；

6、确定测试形式，在既定的测试场景下，人类驾驶员和计算机分别或同时沿规划好的路径进行驾驶操作；

7、记录测试数据，记录驾驶过程中的相关参数；

8、评价评估，根据测试数据对人类驾驶员组和计算机的操作流程评分，评分采取层次分析法进行权重计算以得出评分数据集，根据评分数据集的累计概率分布图进行优秀评分区间的划分，得到ai算法和人类驾驶员的优秀评分区间，根据评分数据集中的评分情况分别计算各自的优秀率，并最终综合考量确定实验结果。

9、作为上述技术方案的进一步改进，上述的层次分析法进行权重计算的步骤：

10、1)确定指标：

11、c＝{c1,c2,c3,c4}；

12、2)对指标的相对重要性进行打分；

13、3)根据打分可以得到样式如下的评价指标判断矩阵：

14、

15、4)计算权重向量：通过对判断矩阵进行数学运算，计算出每个因素的权重值；

16、5)一致性检验：对判断矩阵的一致性进行检验。

17、作为上述技术方案的进一步改进，关于评价流程：

18、定义为第i名评价人员所给出的数据表单服从正态分布，则记为：

19、xi～n(μ,σ2)

20、xi是由n1+n2组分数排序组成的数据表单，其中n1和n2分别代表ai算法与人类驾驶员进行的实验次数，μ为所有得分数据的均值，σ为得分标准差；

21、将ai算法与人类驾驶员的实验数据合并整理，得到含有n1+n2项数据的完整初始表单，将得到的表单递交给n名评价人员，评价人员将会参考上述提到的权重进行主观评分，而得到n组得分数据；

22、对于任意一组得分数据xi，对其分数在不同分数区间的出现频次以及概率密度分布进行统计分析，并分别计算该组数据的平均分μi，得分标准差σi，得到xi～n(μi,σi2)，即为xi评分集服从的正态分布；

23、从评分集xi中分离出来自ai算法和人类驾驶员的评分xai和xhi，分别计算他们对应的μai、σai和μhi、σhi，并分别满足n(μai,σai2)、n(μhi,σhi2)；

24、分析xai和xhi的分布情况，根据不同数据来源的累计概率分布图进行优秀评分区间的划分，得到ai算法和人类驾驶员优秀评分区间[a1,b1],[a2,b2]，根据评分数据集中的评分情况可以分别计算他们各自的优秀率p1和p2,并最终综合考量确定实验结果。

25、作为上述技术方案的进一步改进，权重计算时的指标为：航速控制、航向保持、操纵灵活性、安全性。

26、作为上述技术方案的进一步改进，在记录测试数据中，航行过程中的相关参数和数据可以通过交互界面导出或导航模拟器导出。

27、作为上述技术方案的进一步改进，在计算权重向量中，采用的计算方法为计算特征向量和最大特征值。

28、作为上述技术方案的进一步改进，其中，一致性检验的方法为计算一致性指标和一致性比率。

29、本发明的有益效果是：该测试方法在一定程度上解决了人们对于船舶驾驶的能力好坏这一抽象概念难以定量评判的问题，将评价人员的主观评价因素考虑在内，转化成可视化的定量数据进而对比ai算法与人类驾驶员在不同场景下的驾驶行为，确保智能船舶系统的可靠性和有效性。

技术特征：

1.一种基于图灵测试的船舶智能航行测试评价方法，其特征在于：其包括以下步骤：

2.根据权利要求1所述的一种基于图灵测试的船舶智能航行测试评价方法，其特征在于：

3.根据权利要求2所述的一种基于图灵测试的船舶智能航行测试评价方法，其特征在于：

4.根据权利要求2所述的一种基于图灵测试的船舶智能航行测试评价方法，其特征在于：权重计算时的指标为：航速控制、航向保持、操纵灵活性、安全性。

5.根据权利要求1所述的一种基于图灵测试的船舶智能航行测试评价方法，其特征在于：在记录测试数据中，航行过程中的相关参数和数据可以通过交互界面导出或导航模拟器导出。

6.根据权利要求2所述的一种基于图灵测试的船舶智能航行测试评价方法，其特征在于：在计算权重向量中，采用的计算方法为：计算特征向量和最大特征值。

7.根据权利要求2所述的一种基于图灵测试的船舶智能航行测试评价方法，其特征在于：其中，一致性检验的方法为计算一致性指标和一致性比率。

技术总结
本发明公开了一种基于图灵测试的船舶智能航行测试评价方法，其包括以下步骤：选择测试场景、确定被测对象、确定测试形式、记录测试数据和评价评估，通过在既定的测试场景下，人类驾驶员和计算机分别或同时沿规划好的路径进行驾驶操作；记录驾驶过程中的相关参数；根据测试数据对人类驾驶员组和计算机的操作流程评分，评分采取层次分析法进行权重计算以得出评分数据集，根据评分数据集的累计概率分布图进行优秀评分区间的划分，得到AI算法和人类驾驶员的优秀评分区间，根据评分数据集中的评分情况分别计算各自的优秀率，并最终综合考量确定实验结果。可以对相关的智能航行控制算法进行评价，与人类驾驶员进行定性及定量化对比。

技术研发人员：李诗杰,余越,刘佳仑,刘泰序
受保护的技术使用者：武汉理工大学
技术研发日：
技术公布日：2024/1/15