基于投影增强现实的智能车裁判方法及系统

1.本发明涉及科技竞赛领域，尤其涉及一种基于投影增强现实的智能车裁判方法及系统。


背景技术：

2.增强现实(augmented reality，ar)技术是一种可以将真实世界信息和虚拟世界信息无缝集成的智能技术。近年来，ar技术被广泛应用在我们生活中的各个领域，例如教学演示、商业广告、电影游戏、工业加工等，ar设备逐渐成为日后人们生活中所接触到主流产品。目前增强现实技术最终是要呈现一种虚实结合的效果，其常用的显示设备有头戴式显示设备、计算机屏幕显示设备、手持式移动显示设备和投影显示设备，其中投影设备，由于其生成的互动图像焦点不会随目标的移动而发生改变，所以它是一种适合在室内进行增强现实的设备。微软研究院所设计的项目可以通过投影设备、摄像机、计算机和kinect结合起来，实现室内目标的定位，从而实现虚实世界的交互。然而增强现实技术在智能车裁判系统领域并没有应用。
3.关于国内智能车裁判系统的设计，2016年清华大学的卓晴、鲁畅、金浩哲采用了感应线圈检测和信标枚举的技术，提升了比赛系统的检测性能和灵活性，但是仍然没能摆脱无线控制，场地中仍然装有裁判系统线路来干扰智能车的运行。
4.2019年武汉理工大学的揭梦梅研究出了一种采用zigbee构建无线传感网的信标裁判系统，其是通过zigbee实现对五个信标等的控制，采用的是主控芯片为cc2530，设计了同时亮灯和随机点亮两种模式，此方案最大的改进是实现了无线通信，信标摆放的自由度得以提高。
5.2019年西南交通大学的付永高设计了一套全自动裁判系统，该系统对竞速组和信标组都进行了设计，竞速组采用的是在易出线的位置摆放检测圆柱，将zigbee、mpu6050、3d打印外壳结合起来作为圆柱的整体设计，检测采集碰撞信息才判断是否出界，但是此方法只能检测特定地点，而且对于智能车的车型也有一定的限制。信标组采用电磁感应方法检测是否靠近信标，将nrf24l01和stc15w4k45s4结合起来实现检测系统。该方法最大的优点是无需布线，且移动方便。
6.以上对于智能车裁判系统的研究都存在同样的问题，无法对竞速组违规出界进行统一的判罚，而且对于竞速组别的出界判断不能做到全方位的覆盖，只能针对容易出界的地方进行处理，所以为了保证准确性和公平性，可以针对此方向提出一种改进方案。


技术实现要素：

7.本发明要解决的主要技术问题在于，提供一种基于投影增强现实的智能车裁判方法及系统，实现对竞速组违规出界进行统一的判罚，而且对于竞速组别的出界判断做到全方位的覆盖，以保证裁判结果的准确性和公平性。
8.根据本发明的第一方面，一种基于投影增强现实的智能车裁判方法，包括以下步
骤：
9.赛前调试准备，将捕捉到的赛道与投影赛道进行校准，实现智能车在赛道中实际位置的定位；
10.接受发车指令，实时获取智能车的目标位置信息，当捕捉到智能车通过起始线的时刻，开始计时；
11.在智能车行驶的过程中，循环检测智能车是否出界，若是，则结束计时并终止当前比赛，重新等待发车指令；若否，则循环检测智能车是否驶过终止线，若是，则结束计时并记录比赛成绩，若否，则持续计时，直至驶过终止线。
12.优选地，所述实时获取智能车的目标位置信息的步骤，包括：
13.采用特征匹配算法、背景差法和帧差法实时检测获取智能车的位置。
14.优选地，所述采用特征匹配算法、背景差法和帧差法实时检测获取智能车的目标位置信息的步骤，包括：
15.由摄像头捕捉智能车图像，对捕捉到的图像进行预处理；
16.将预处理后的图像与预设的智能车模板进行帧处理：将每一帧图像进行特征匹配，判断是否能捕捉到预设数量的特征点，若是，则获取智能车的目标位置信息；否则，通过背景差法获取目标位置信息，并判断是否能确定为智能车，若是，则获取智能车的目标位置信息，否则，继续通过帧差法获取目标位置信息，并判断是否能确定为智能车，若是，则获取智能车的目标位置信息，否则对摄像头捕捉的下一帧图像进行特征匹配。
17.优选地，所述预处理包括：二值化、高斯滤波、sift角点检测。
18.优选地，在智能车行驶的过程中，还包括：
19.循环检测智能车是否处于赛道变换位置，若是，则进行赛道变换；若否，则保持当前赛道。
20.优选地，所述循环检测智能车是否处于赛道变换位置的步骤，包括：
21.获取智能车的目标位置信息，判断智能车是否处于变换点，若否，继续获取智能车的目标位置信息；若是，判断是否投影赛道库里的所有赛道，若是，投影终点赛道，否则，随机投影赛道库里未使用的赛道。
22.优选地，所述循环检测智能车是否出界的步骤，包括：
23.获取智能车的目标位置信息；
24.将当前投影赛道与摄像头采集到的图像进行特征点模板匹配，得到单应性矩阵；
25.根据单应性矩阵进行智能车位置比对，判断是否出界，若是，则结束当前比赛，否则，继续进行智能车位置比对。
26.根据本发明的第二方面，一种基于投影增强现实的智能车裁判系统，包括以下模块：
27.赛前调试模块，用于进行赛前调试准备，将捕捉到的赛道与投影赛道进行校准，实现智能车在赛道中实际位置的定位；
28.计时开始模块，用于接受发车指令，实时获取智能车的目标位置信息，当捕捉到智能车通过起始线的时刻，开始计时；
29.循环检测模块，用于在智能车行驶的过程中，循环检测智能车是否处于赛道变换位置，若是，则进行赛道变换；若否，则保持当前赛道；循环检测智能车是否出界，若是，则结
束计时并终止当前比赛，重新等待发车指令；若否，则循环检测智能车是否驶过终止线，若是，则结束计时并记录比赛成绩，若否，则持续计时直至驶过终止线；
30.结束计时模块，用于在检测到智能车出界或驶过终止线时，结束计时，比赛结束。
31.优选地，所述循环检测模块，还用于循环检测智能车是否处于赛道变换位置，若是，则进行赛道变换；若否，则保持当前赛道。
32.优选地，所述循环检测模块包括：赛道变换检测模块、出界检测模块和终点检测模块。
33.本发明的提供了一种基于增强现实的智能车裁判方法及系统，主要用于竞速组别，能够完成赛道投影、比赛计时和违规判断主要功能，本发明在一定程度上为比赛的举办减少了人力物力，减少了人工裁判带来的误差。同时为智能车比赛的后续发展提供了一种新的思维，为以后智能车比赛的创新起到了抛砖引玉的效果。
34.与现有技术相比，本发明的有益效果主要体现在以下几点：
35.(1)设计研究目标检测算法在智能车比赛中应用的可能性，并选取最适合该比赛的算法。
36.(2)设计研究智能车违规出界的算法，解决了以往出界判断靠人工裁判和不能够对赛道进行全方位监控的问题。
37.(3)创新性的引入了增强现实赛道投影方法进行赛道的制作，节省了比赛的材料，也为动态赛道的设计提供了思路。
附图说明
38.下面将结合附图及实施例对本发明作进一步说明，附图中：
39.图1是本发明实施例中的整体实施流程图；
40.图2是本发明实施例中的整体硬件框架图；
41.图3是本发明实施例中的整体设备结构示意图；
42.图4是本发明实施例中的目标检测流程图；
43.图5是本发明实施例中的投影赛道；
44.图6是本发明实施例中的赛道变换流程图；
45.图7是本发明实施例中的违规出界判断流程图；
46.图8是本发明实施例中的上位机界面图；
47.图9是本发明实施例中的上位机使用流程图；
48.图10是本发明实施例中的上位机显示图像；
49.图11是本发明实施例中的上位机操作界面；
50.图12是本发明实施例中的打开摄像头错误界面；
51.图13是本发明实施例中的关闭摄像头错误界面；
52.图14是本发明实施例中的打开投影仪报错界面；
53.图15是本发明实施例中的调节滑块；
54.图16是本发明实施例中的比赛过程操作组件；
55.图17是本发明实施例中的历史成绩查询界面。
具体实施方式
56.为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
57.实施例一：参考图1，一种基于增强现实的智能车裁判方法，包括以下步骤：
58.赛前调试准备，将捕捉到的赛道与投影赛道进行校准，实现智能车在赛道中实际位置的定位；
59.接受发车指令，实时获取智能车的目标位置信息，当捕捉到智能车通过起始线的时刻，开始计时；
60.在智能车行驶的过程中，循环检测智能车是否出界，若是，则结束计时并终止当前比赛，重新等待发车指令；若否，则循环检测智能车是否驶过终止线，若是，则结束计时并记录比赛成绩，若否，则持续计时，直至驶过终止线。
61.参考图2，上述方法的实现平台是基于python语言的pycharm ide，采集视频的摄像头采用的是德国ximea微型usb3.0 xiq机器视觉相机，使用np-cd1100投影仪作为赛道投影设备，采用solidworks软件设计、3d打印技术制作摄像机承载外壳。整体设备结构示意图如图3所示，其中投影仪支架高度约2米。通过按键实现摄像头、赛道投影的开启与关闭，同时一键准备，实现自动计时和成绩记录。
62.作为可选地实施方式，所述实时获取智能车的目标位置信息的步骤，包括：
63.采用特征匹配算法、背景差法和帧差法实时检测获取智能车的位置。
64.本发明以特征匹配算法为主，其他两种算法为辅进行目标检测，其具体流程如图4所示，首先由摄像头捕捉图像，对捕捉到的图像进行预处理，其中包括二值化、高斯滤波、sift角点检测等图像处理算法，其次将准备好的智能车模板与摄像头获取的图像进行帧处理，包括：将每一帧摄像头图像进行特征点匹配，如果捕捉到了足够的特征点(本实施例中设定为不少于10，可根据实际需要调整)，则直接获取智能车的目标位置，进行智能车的目标定位获取目标位置信息。若没有捕捉到足够多的特征点，则进行背景差处理，将图像与赛道的背景图像进行比对，从而获得图中与背景图像不相符的目标，在此算法过程中，为了避免目标识别错误，本实施例将模板匹配算法丢失(即特征点少于10个点)的前一帧检测到的智能车位置信息，与背景差法得到的智能车位置信息进行对比，如若位置信息差距不大(此处的差距是根据智能车最大车速5m/s，以及摄像头60帧率的采集速度计算，两帧图像位置信息差距不超过5*1/60＝0.083m。最终按照智能车中心位置差距不超过10cm来作为衡量标准)，则可基本确定智能车的目标位置，否则进行帧差处理，将前后两帧的图像进行比对，从而获取图像中所有正在移动目标，将目标与前一位置进行比较，从而判断智能车的目标位置。
65.在目标检测的过程中，通过调整背景差与二值化阈值直至智能车轮廓清晰可见。
66.如此往复循环，将获得的智能车的目标位置信息发送到下一环节进行处理，该发明中只有将智能车的目标位置准确地获取之后，才能进行后面的赛道变换、计时、违规等算法的实现。
67.在实现目标检测的过程中，需要满足实时性，本发明所使用的特征匹配算法对于图像处理速度与图像大小有关，摄像头所采集到的图像为640*480像素，使用特征匹配进行一次计算的时间大约为0.49～0.52秒之间，而使用背景差法计算一幅图像的时间远小于1
毫秒，所以在智能车比赛中，如果智能车的速度较快的话，则会更多的使用背景差法来获得智能车的目标检测，这样不仅能够可以更好的满足该系统在实现目标检测中的实时性，更能节省机器资源，实现多线程操作。
68.在智能车行驶的过程中，还包括：循环检测智能车是否处于变换点位置，为了实现在赛道变换的时候不影响智能车的行驶，本实施例从智能车的角度出发，智能车的光电组是一个基于机器视觉的智能车组别，需要通过摄像头所捕捉到的信息，以获取下一步所要走的路线。因此，如图5所示，该系统只需要在智能车行驶到设定赛道变换点时，将智能车摄像头所捕捉到的赛道进行保留，变换其无法捕捉到的赛道图像，即可以实现赛道元素的变换。其中智能车行驶位置信息由目标检测算法所提供。
69.同时建立赛道库，这种方法可以使比赛的赛道元素(例如：十字、环岛、s弯道、岔路口等)进行随机组合，避免在此前比赛当中，有的参赛队员提前对看到的赛道进行设计的情况，真正的实现“智能”车比赛。其赛道变换的具体流程如图6所示。
70.由前面的目标检测算法获取智能车目标位置信息，再将当前投影赛道与摄像头采集到的图像进行特征点模板匹配，即可得到单应性矩阵。然后再将所获取的智能车目标位置信息由单应性矩阵转换放入到投影赛道当中，提取智能车目标轮廓的四个点在投影赛道的图像中是否为黑色，即在赛道外侧，既可以判断出智能车是否有出界状况。其具体流程如图7所示。
71.本发明的智能车裁判系统主要是针对智能车比赛中竞速类的组别，因此为了管理者在使用过程中的方便，将所有的模块一目了然的部署在了主界面上，如图8所示，软件的具体使用流程图如图9所示，开始时先将投影仪固定，随后打开摄像头，若无问题再打开赛道投影，随后点击校准赛道，投影赛道校准画面，点击校准将摄像头图像与赛道图像进行匹配，随后选择赛道第一幅图像，点击校准完成实现背景帧的更换，准备结束后将智能车放入到赛道后，如果能够捕捉到智能车，则点击准备就绪按钮，当智能车驶过起始点时自动开始计时，若在比赛中出现出线状况则视为比赛失败，否则当智能车冲过终点线时结束计时，记录完赛时间。
72.如图8所示，上位机的左侧为显示模块，右侧为控制模块，左侧四幅图像分别显示了摄像头所采集到的原图像，背景差处理图像，帧差图像和赛道投影图像，裁判员可以在左侧监视比赛的情况，右侧为软件的控制界面。
73.操作打开摄像头按钮如图11所示，摄像头会开启采集图像，可以在左侧原图像中看到摄像头采集的真实图像，在背景差图像中看到智能车目标，在帧差图像中看到所有运动的目标如图10(a)所示，如果在点击该按钮时，摄像头并未与上位机连接，则会弹出“未找到设备(no device found)”如图12所示，提醒使用者连接好摄像头。如果在操作过程中摄像头出现状况，则可以点击关闭摄像头按钮，摄像头会停止采集图像。如果在点击该按钮时摄像头并未与上位机连接，则会弹出“摄像头未开启(camera is not open)”如图13所示，提醒使用者还没有开启摄像头。
74.赛道投影点击“打开赛道投影”按钮之后，投影仪就会投影出赛道。此时上位机左边的投影图像会显示与投影仪投影图像相似的图像。如果在投影过程中出现问题，则可以点击关闭赛道投影关闭投影图，如果在点击该按钮时未开启投影赛道，则会弹出“投影仪未开启(object is not open)”，如图14所示，提醒使用者还没有开启赛道投影。赛道库列表
内为赛道投影图像，可以双击预览图像。如果在双击列表内元素时未开启投影赛道，则会弹出“投影仪未开启(object is not open)”提醒使用者还没有开启赛道投影。
75.如图15所示，通过调节帧差阈值和背景差阈值滑块可以使所捕捉到的画面变得越来越清晰，直到到达理想效果。
76.比赛过程组件如图16所示，点击“点击准备”按钮后，按钮会变成准备就绪，此时只要当目标经过起始点时就开始计时，开始比赛流程。比赛时间和智能车位置将会显示在下方，方便后续查验。如果出现意外状况可以按下“停止”按钮重置，主要用于参赛队员主动停止或意外情况发生。
77.历史成绩查询处理显示最近7场比赛以外，点击改按钮之后会弹出历史成绩查询框，看到所有的记录成绩如图17所示。当比赛结束、违规出界、手动停止时，都会自动记录下此次比赛信息，其中包括比赛时间，比赛日期，比赛用时，是否有效。
78.实施例二，本实施例提供了一种基于投影增强现实的智能车裁判系统，包括以下模块：
79.赛前调试模块，用于进行赛前调试准备，将捕捉到的赛道与投影赛道进行校准，实现智能车在赛道中实际位置的定位；
80.计时开始模块，用于接受发车指令，实时获取智能车的目标位置信息，当捕捉到智能车通过起始线的时刻，开始计时；
81.循环检测模块，用于在智能车行驶的过程中，循环检测智能车是否出界，若是，则结束计时并终止当前比赛，重新等待发车指令；若否，则循环检测智能车是否驶过终止线，若是，则结束计时并记录比赛成绩，若否，则持续计时直至驶过终止线；
82.结束计时模块，用于在检测到智能车出界或驶过终止线时，结束计时，比赛结束。
83.进一步地，所述循环检测模块，还用于循环检测智能车是否处于赛道变换位置，若是，则进行赛道变换；若否，则保持当前赛道。
84.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
85.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。
86.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。