本发明涉及车辆驾驶控制技术领域,具体而言,涉及一种车辆驾驶控制方法及系统。
背景技术:
随着汽车智能化的发展,自动驾驶技术越来越受到广大汽车制造厂商的重视。作为商业上的先期运用,ADAS(Advanced Driver Assistant System,高级驾驶辅助系统)技术目前已经得到了充分的发展,并有了诸多应用的实例。例如,在很多汽车上有自动巡航,自动泊车,车道保持等功能的相关技术的应用。
自动驾驶技术对于安全性的要求非常严苛,其与人工驾驶之间的切换更需要完备的安全保护策略。上述切换是双向的,即包括:人工驾驶模式切换为自动驾驶模式和自动驾驶模式切换为人工驾驶模式。从人工驾驶至自动驾驶切换时,汽车首先需要获得驾驶员期望进行自动驾驶的意图以进行相应的模式切换,其中,上述意图可以通过某些按压某些按钮得以实现,也可以通过双手同时脱离方向盘若干秒后得以实现;而从自动驾驶至人工驾驶切换时,比前者的切换更为复杂,特别是在某些紧急的情况下,例如,驾驶员发现驾驶轨迹存在问题而存有立即进行人工驾驶的意图以进行相应的模式切换,可见,如何保证驾驶员的意图能够被汽车所感应而能够进一步获得与释放汽车操控权成为一个亟待解决的问题。
考虑到驾驶员释放及获得操控权的能力应对应着上述模式的切换,且转向系统作为汽车控制系统中的重要环节,又对应着驾驶员释放及获得操控权的能力。目前,通过主流的转向系统产品EPS(Electrical Power Steering,电子助力转向系统)进行汽车的控制,利用EPS中的扭矩传感器可以得到驾驶员是否施加手力在方向盘上的状态以进行驾驶员意图的判断。但是,依靠扭矩传感器作为驾驶者的意图,不足以通过上述状态控制模式的切换。例如,扭矩传感器感应到无施加手力在方向盘上时,将汽车从人工驾驶切换到自动驾驶,然而产生上述无施加手力的状态可能是直行时方向盘无转动而没有扭矩力,并不代表驾驶员期望进行上述切换,此外,如果人工驾驶和自动驾驶的切换不明确,当人工驾驶错判为自动驾驶时,本身存在安全隐患,且双手脱离方向盘的行为在人工驾驶时也是法律明确禁止的。
发明人在研究中发现,现有技术中采用扭矩传感器的方式进行汽车模式切换的控制,上述开关式的非此即彼的冷切换,安全可靠性较差,且对于自动驾驶和人工驾驶如何进行柔性切换、和谐交互的控制系统尚无完善的方案。
技术实现要素:
有鉴于此,本发明的目的在于提供一种车辆驾驶控制方法及系统,通过车辆方向盘与驾驶员双手意图之间的信息交互,实现了自动驾驶和人工驾驶的柔性切换,保证了切换过程中的安全性。
第一方面,本发明实施例提供了一种车辆驾驶控制方法,该方法具体包括:
在预设跟踪区域内检测到驾驶者双手信息时,实时跟踪采集驾驶者双手在预设跟踪区域内的多帧第一图像信息;
对采集的多帧第一图像信息进行分析处理,得到驾驶者双手的第一运行轨迹;
实时跟踪采集车辆方向盘在预设跟踪区域内的多帧第二图像信息;
对采集的多帧第二图像信息进行分析处理,得到车辆方向盘的第二运行轨迹;
根据第一运行轨迹和第二运行轨迹的匹配程度对应的切换模式控制车辆实现模式切换;其中,模式包括自动驾驶模式和人工驾驶模式。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,实时跟踪采集驾驶者双手在预设跟踪区域内的多帧第一图像信息包括:
采集驾驶者双手在预设跟踪区域内的第一帧第一图像信息;
在检测到驾驶者双手在预设跟踪区域内的第一帧第一图像信息时,提取第一图像信息中的第一特征信息;第一特征信息包括驾驶者双手的以下信息:第一颜色特征信息和第一运动特征信息;第一运动特征信息至少包括驾驶者双手的第一位置点;
根据多重特征空间的粒子滤波算法对第一帧第一图像信息的第一特征信息进行计算处理,得到下一帧第一图像信息的第一位置点;
每接收到一帧第一图像信息时,提取第一图像信息中的第一特征信息,并根据多重特征空间的粒子滤波器算法对第一特征信息进行计算处理,得到下一帧第一图像信息的第一位置点,直至采集到最后一帧第一图像信息时,输出采集的所有的第一图像信息及第一图像信息对应的第一位置点。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第二种可能的实施方式,其中,根据多重特征空间的粒子滤波算法对第一帧第一图像信息的第一特征信息进行计算处理,得到下一帧第一图像信息的第一位置点包括:
在下一帧第一图像信息的预设范围区域设置多个符合高斯分布的目标搜索粒子;其中,每一个目标搜索粒子分别对应不同的搜索图像,搜索图像为下一帧第一图像信息中不同区域的图像;
提取每一个搜索图像的第二特征信息;第二特征信息包括搜索图像的以下信息:第二颜色特征信息和第二运动特征信息;第二运动特征信息至少包括搜索图像的第二位置点;
对第一颜色特征信息和第二颜色特征信息进行颜色相似性计算,获取与第一颜色特征信息相似度最高的第二颜色特征信息;
将获取的第二颜色特征信息对应的搜索图像的第二位置点确定为下一帧第一图像信息中驾驶者双手的第一位置点。
结合第一方面的第二种可能的实施方式,本发明实施例提供了第一方面的第三种可能的实施方式,其中,实时跟踪采集车辆方向盘在预设跟踪区域内的多帧第二图像信息包括:
采集车辆方向盘在预设跟踪区域内的第一帧第二图像信息;
在第一帧第二图像信息中,计算车辆方向盘的预设轨迹起始点的绝对坐标;
根据卡尔曼滤波算法对第一帧第二图像信息中的预设轨迹起始点的绝对坐标进行计算处理,得到下一帧第二图像信息的绝对坐标;
每接收到一帧第二图像信息时,提取第二图像信息中的预设轨迹起始点的绝对坐标,得到下一帧第二图像信息中的预设轨迹起始点的绝对坐标,直至采集到最后一帧第二图像信息时,输出采集的所有的第二图像信息及第二图像信息中的预设轨迹起始点的绝对坐标。
结合第一方面的第三种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,其中,根据第一运行轨迹和第二运行轨迹的匹配程度对应的切换模式控制车辆实现模式切换包括:
根据第一运行轨迹和第二运行轨迹的第一匹配程度,生成与第一匹配程度相应的第一驾驶模式切换信号;第一驾驶模式切换信号用于控制车辆由自动驾驶模式切换至人工驾驶模式;
根据第一运行轨迹和第二运行轨迹的第二匹配程度,生成与第二匹配程度相应的第二驾驶模式切换信号;第二驾驶模式切换信号用于控制车辆由人工驾驶模式切换至自动驾驶模式。
第二方面,本发明实施例还提供了一种车辆驾驶控制系统,该系统包括:
第一图像信息跟踪采集模块,用于在预设跟踪区域内检测到驾驶者双手信息时,实时跟踪采集驾驶者双手在预设跟踪区域内的多帧第一图像信息;
第一分析处理模块,用于对第一图像信息跟踪采集模块采集的多帧第一图像信息进行分析处理,得到驾驶者双手的第一运行轨迹;
第二图像信息跟踪采集模块,用于实时跟踪采集车辆方向盘在预设跟踪区域内的多帧第二图像信息;
第二分析处理模块,用于对第二图像信息跟踪采集模块采集的多帧第二图像信息进行分析处理,得到车辆方向盘的第二运行轨迹;
模式切换控制模块,用于根据第一分析处理模块处理得到的第一运行轨迹和第二分析处理模块处理得到的第二运行轨迹的匹配程度对应的切换模式控制车辆实现模式切换;其中,模式包括自动驾驶模式和人工驾驶模式。
结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方式,其中,第一图像信息跟踪采集模块包括:
第一图像信息采集单元,用于采集驾驶者双手在预设跟踪区域内的第一帧第一图像信息;
第一特征信息提取单元,用于在第一图像信息采集单元采集到第一帧第一图像信息时,提取第一图像信息中的第一特征信息;第一特征信息包括驾驶者双手的以下信息:第一颜色特征信息和第一运动特征信息;第一运动特征信息至少包括驾驶者双手的第一位置点;
位置点计算单元,用于根据多重特征空间的粒子滤波算法对第一特征信息提取单元提取的第一特征信息进行计算处理,得到下一帧第一图像信息的第一位置点;
第一特征信息提取单元还用于,在每接收到一帧第一图像信息时,提取第一图像信息中的第一特征信息;位置点计算单元还用于,根据多重特征空间的粒子滤波器算法对第一特征信息提取单元提取的第一特征信息进行计算处理,得到下一帧第一图像信息的第一位置点,直至采集到最后一帧第一图像信息时,输出采集的所有的第一图像信息及第一图像信息对应的第一位置点。
结合第二方面的第一种可能的实施方式,本发明实施例提供了第二方面的第二种可能的实施方式,其中,位置点计算单元包括:
目标搜索粒子设置子单元,用于在下一帧第一图像信息的预设范围区域设置多个符合高斯分布的目标搜索粒子;其中,每一个目标搜索粒子分别对应不同的搜索图像,搜索图像为下一帧第一图像信息中不同区域的图像;
第二特征信息提取子单元,用于提取每一个搜索图像的第二特征信息;第二特征信息包括搜索图像的以下信息:第二颜色特征信息和第二运动特征信息;第二运动特征信息至少包括搜索图像的第二位置点;
颜色相似性计算子单元,用于对第一特征信息提取单元提取的第一颜色特征信息和第二特征信息提取子单元提取的第二颜色特征信息进行颜色相似性计算,获取与第一颜色特征信息相似度最高的第二颜色特征信息;
位置点计算子单元,用于将颜色相似性计算子单元得到的第二颜色特征信息对应的搜索图像的第二位置点确定为下一帧第一图像信息中驾驶者双手的第一位置点。
结合第二方面的第二种可能的实施方式,本发明实施例提供了第二方面的第三种可能的实施方式,其中,第二图像信息跟踪采集模块包括:
第二图像信息采集单元,用于采集车辆方向盘在预设跟踪区域内的第一帧第二图像信息;
第一绝对坐标计算单元,用于在第二图像信息采集单元采集的第一帧第二图像信息中,计算车辆方向盘的预设轨迹起始点的绝对坐标;
第二绝对坐标计算单元,用于根据卡尔曼滤波算法对第一绝对坐标计算单元计算的绝对坐标进行计算处理,得到下一帧第二图像信息的预设轨迹起始点的绝对坐标;
第一绝对坐标计算单元还用于,在每接收到一帧第二图像信息时,提取第二图像信息中的预设轨迹起始点的绝对坐标;第二绝对坐标计算单元还用于,根据第一绝对坐标计算单元计算的绝对坐标进行处理,得到下一帧第二图像信息中的预设轨迹起始点的绝对坐标,直至采集到最后一帧第二图像信息时,输出采集的所有的第二图像信息及第二图像信息中的预设轨迹起始点的绝对坐标。
结合第二方面的第三种可能的实施方式,本发明实施例提供了第二方面的第四种可能的实施方式,其中模式切换控制模块包括:
第一切换信号生成单元,用于根据第一分析处理模块处理得到的第一运行轨迹和第二分析处理模块处理得到的第二运行轨迹的第一匹配程度,生成与第一匹配程度相应的第一驾驶模式切换信号;第一驾驶模式切换信号用于控制车辆由自动驾驶模式切换至人工驾驶模式;
第二切换信号生成单元,用于根据第一分析处理模块处理得到的第一运行轨迹和第二分析处理模块处理得到的第二运行轨迹的第二匹配程度,生成与第二匹配程度相应的第二驾驶模式切换信号;第二驾驶模式切换信号用于控制车辆由人工驾驶模式切换至自动驾驶模式。
本发明实施例提供的车辆驾驶控制方法及系统,首先实时跟踪采集驾驶者双手以及车辆方向盘在预设跟踪区域内对应的多帧第一图像信息和多帧第二图像信息,并分别对上述多帧第一图像信息和多帧第二图像信息进行计算处理得到对应的第一运行轨迹和第二运行轨迹;然后根据第一运行轨迹和第二运行轨迹的匹配程度控制车辆实现模式切换,与现有技术中的采用扭矩传感器进行汽车模式切换的控制方式,安全可靠性较差相比,其同时提取驾驶者手部和汽车方向盘的轨迹信息,并能够将两者轨迹信息的交互所对应的驾驶员意图用于施加到车辆上并对该车辆进行控制,使得驾驶模式的切换安全性较高,且实现了自动驾驶和人工驾驶的柔性切换以及和谐交互,也使得实用性较强。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的一种车辆驾驶控制的方法流程图;
图2示出了本发明实施例所提供的另一种车辆驾驶控制的方法流程图;
图3示出了本发明实施例所提供的另一种车辆驾驶控制的方法流程图;
图4示出了本发明实施例所提供的另一种车辆驾驶控制的方法流程图;
图5示出了本发明实施例所提供的另一种车辆驾驶控制的方法流程图;
图6示出了本发明实施例所提供的一种车辆驾驶控制系统的结构示意图;
图7示出了本发明实施例所提供的一种车辆驾驶控制系统中第一图像信息跟踪采集模块的结构示意图;
图8示出了本发明实施例所提供的一种车辆驾驶控制系统中位置点计算单元的结构示意图;
图9示出了本发明实施例所提供的一种车辆驾驶控制系统中第二图像信息跟踪采集模块的结构示意图;
图10示出了本发明实施例所提供的一种车辆驾驶控制系统中模式切换控制模块的结构示意图。
主要元件符号说明:
11、第一图像信息跟踪采集模块;22、第一分析处理模块;33、第二图像信息跟踪采集模块;44、第二分析处理模块;55、模式切换控制模块;111、第一图像信息采集单元;112、第一特征信息提取单元;113、位置点计算单元;331、第二图像信息采集单元;332、第一绝对坐标计算单元;333、第二绝对坐标计算单元;551、第一切换信号生成单元;552、第二切换信号生成单元;1131、目标搜索粒子设置子单元;1132、第二特征信息提取子单元;1133、颜色相似性计算子单元;1134、位置点计算子单元。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到相关技术中采用扭矩传感器进行汽车模式切换的控制方式,安全可靠性较差且无法进行自动驾驶和人工驾驶之间的柔性切换、和谐交互而实用性较差等问题,本发明实施例提供了一种车辆驾驶控制方法及系统,能够将驾驶员意图施加到车辆控制本身,安全可靠性较高,且实现了自动驾驶和人工驾驶的柔性切换、和谐交互,实用性较强。参见图1所示的本发明实施例所提供的车辆驾驶控制方法的流程图,所述方法具体包括如下步骤:
S101、在预设跟踪区域内检测到驾驶者双手信息时,实时跟踪采集驾驶者双手在预设跟踪区域内的多帧第一图像信息;
S102、对采集的多帧第一图像信息进行分析处理,得到驾驶者双手的第一运行轨迹。
具体的,考虑到在判断驾驶者驾驶意图的过程中,最为核心点的是驾驶者双手的跟踪算法,本发明实施例提供的车辆驾驶控制方法在预设跟踪区域内检测到驾驶者双手信息时,实时跟踪采集所述驾驶者双手在预设跟踪区域内的多帧第一图像信息,该第一图像信息可以包括驾驶者双手的矩形图像框,还可以是包括驾驶者双手轮廓的不规则图像;将采集的多帧第一图像信息进行对应的轨迹点的提取与组合,得到驾驶者双手的第一运行轨迹。
其中,上述预设跟踪区域是包含车辆方向盘在内的区域,在驾驶着双手和车辆方向盘有交互时,驾驶者双手也在该预设跟踪区域内;在驾驶者双手和车辆方向盘无交互时,驾驶者双手离开上述预设跟踪区域。其中,预设跟踪区域对应的图像可以通过装载于车辆驾驶区上方的监控摄像系统进行实时采集,基于这些图像进行初始化的图像处理,提取出双手首次出现时对应的初始化信息,并根据该初始化信息通过粒子滤波实时的进行驾驶者双手的跟踪,得到跟踪采集双手的各个轨迹点对应的多帧第一图像信息及该轨迹点的位置信息以得到对应于驾驶者双手的第一运行轨迹。其中,驾驶者双手的跟踪可以是驾驶者单手的分别跟踪,也可以是驾驶者双手的同时跟踪。
S103、实时跟踪采集车辆方向盘在预设跟踪区域内的多帧第二图像信息;
S104、对采集的多帧第二图像信息进行分析处理,得到车辆方向盘的第二运行轨迹。
具体的,为了更好的进行驾驶者驾驶意图的判断,本发明实施例所提供的车辆驾驶控制方法还实时跟踪采集车辆方向盘在预设跟踪区域内的多帧第二图像信息,通过上述第二图像信息上预设的轨迹起始点进行相应的绝对坐标的提取,以得到对应与各个绝对坐标的该车辆方向盘的第二运行轨迹。其中,上述车辆方向盘始终出现于上述预设跟踪区域所对应的监控摄像系统中。
S105、根据第一运行轨迹和第二运行轨迹的匹配程度对应的切换模式控制车辆实现模式切换;其中,模式包括自动驾驶模式和人工驾驶模式。
具体的,本发明实施例提供的车辆驾驶控制方法通过上述第一运行轨迹和第二运行轨迹的匹配程度来控制车辆的模式切换。
其中,考虑到车辆方向盘的第二运行轨迹在整个车辆驾驶控制中一直存在,而驾驶者双手的第一运行轨迹只有在驾驶者有驾驶控制意图时才存在,因此,在进行自动驾驶模式至人工驾驶模式的切换时,上述匹配程度是以提取的驾驶者双手进入监控摄像系统的初始轨迹点时刻作为参考的匹配初始时刻,此时,通过第一运行轨迹和第二运行轨迹的匹配程度所对应的切换模式控制车辆实现从自动驾驶模式切换至人工驾驶模式;在进行人工驾驶模式至自动驾驶模式的切换时,上述匹配程度是以提取的驾驶者双手离开监控摄像系统的最终轨迹点时刻作为参考的匹配初始时刻,此时,通过第一运行轨迹和第二运行轨迹的匹配程度所对应的切换模式控制车辆实现从人工驾驶模式至自动驾驶模式的切换。
本发明实施例提供的车辆驾驶控制方法,首先实时跟踪采集驾驶者双手以及车辆方向盘在预设跟踪区域内对应的多帧第一图像信息和多帧第二图像信息,并分别对上述多帧第一图像信息和多帧第二图像信息进行计算处理得到对应的第一运行轨迹和第二运行轨迹;然后根据第一运行轨迹和第二运行轨迹的匹配程度控制车辆实现模式切换,与现有技术中的采用扭矩传感器进行汽车模式切换的控制方式,安全可靠性较差相比,其同时提取驾驶者手部和汽车方向盘的轨迹信息,并能够将两者轨迹信息的交互所对应的驾驶员意图用于施加到车辆上并对该车辆进行控制,使得驾驶模式的切换安全性较高,且实现了自动驾驶和人工驾驶的柔性切换以及和谐交互,也使得实用性较强。
为了更好的实现对驾驶者双手的轨迹提取,上述本发明S101的跟踪采集过程,具体通过如下步骤实现,参见图2所示的流程图,所述方法还包括:
S201、采集驾驶者双手在预设跟踪区域内的第一帧第一图像信息;
S202、在检测到驾驶者双手在预设跟踪区域内的第一帧第一图像信息时,提取第一图像信息中的第一特征信息;其中,第一特征信息包括驾驶者双手的以下信息:第一颜色特征信息和第一运动特征信息;第一运动特征信息至少包括驾驶者双手的第一位置点。
具体的,每当驾驶者双手出现在监控摄像系统对应的预设跟踪区域内时,本发明实施例提供的车辆驾驶控制方法均能准确的跟踪采集驾驶者双手对应的第一图像信息。
其中,监控摄像系统在首次捕获到驾驶者双手时,采集当前驾驶者双手的第一帧第一图像信息,上述采集过程可以通过模式识别等方法将驾驶者双手进行分割识别,也可以通过运动物体检测采集运动的驾驶者双手。通过特征提取方式对上述第一帧第一图像信息进行分析处理,得到对应于第一图像信息的第一特征信息。
为了提高后续跟踪处理的鲁棒性,本发明实施例提供的车辆驾驶控制方法中提取的第一图像信息的第一特征信息是驾驶者双手的二重特征信息,该二重特征信息包括第一颜色特征信息和运动特征信息,其中,该第一颜色特征信息是基于RGB空间的图像特征空间和基于HSV空间的肤色特征空间;上述运动特征信息是基于前后帧的运动特征空间,且至少包括驾驶者双手的位置点。
具体的,在监控摄像系统实时摄取的图像中,对于第一颜色特征信息的提取而言,由原图像的RGB空间转化为HSV空间后,再使用HSV特征空间进行阀值判断,由此可以更有效地提取驾驶者双手的肤色信息,再通过使用BC(Bhattacharyya)系数得到手部中心点的概率分布,其中高概率区域为驾驶者双手而低概率区域为预设跟踪区域内驾驶者双手之外的其他部分;对于运动特征空间而言,提取前后两帧的信息(基于灰度空间)并进行差值计算得到运动特征空间,运动特征空间对应的灰度差值可通过相应的算法提取所有高差值的区域的信息,其中包括操控方向盘的手部运动概率分布。由于存在手部运动,因此在双手处存在高概率分布,而在静止处只存在低概率分布。
此外,该第一特征信息是集合第一颜色特征信息和运动特征信息且经过上述特征信息权重分配得到的总信息,其中,该总信息可以是一个具体的特征向量,且该总信息为后续的鲁棒跟踪处理提供了基础条件。
S203、根据多重特征空间的粒子滤波算法对第一帧第一图像信息的第一特征信息进行计算处理,得到下一帧第一图像信息的第一位置点。
考虑到驾驶者双手作为柔性运动目标,在进行相关的图像处理的过程中,很容易受到柔性目标本身特性的限制而发生跟踪丢失等情形,本发明实施例所提供的车辆驾驶控制方法优选的采用基于上述二重特征信息的粒子滤波算法进行后续的驾驶者双手的跟踪处理。从当前第一帧第一图像信息的第一特征信息预测下一帧第一图像信息的第一位置点的具体过程,参见图3。
S301、在下一帧第一图像信息的预设范围区域设置多个符合高斯分布的目标搜索粒子;其中,每一个目标搜索粒子分别对应不同的搜索图像,搜索图像为下一帧第一图像信息中不同区域的图像;
S302、提取每一个搜索图像的第二特征信息;第二特征信息包括搜索图像的以下信息:第二颜色特征信息和第二运动特征信息;第二运动特征信息至少包括搜索图像的第二位置点;
S303、对第一颜色特征信息和第二颜色特征信息进行颜色相似性计算,获取与第一颜色特征信息相似度最高的第二颜色特征信息;
S304、将获取的第二颜色特征信息对应的搜索图像的第二位置点确定为下一帧第一图像信息中驾驶者双手的第一位置点。
考虑到传统的粒子滤波器在预测阶段主要是通过高斯预测,或高斯预测加移动速度进行判断,这些预测方法尽管计算量小,但是在实际情况中经常会发生跟踪错误。本发明实施例提供的车辆驾驶控制方法基于二重特征信息进行相应的预计算,从而提高预测阶段更多的目标粒子位于高概率区域。
具体的,相比在整个预设跟踪区域对应的整个图像平面均匀的设置目标搜索粒子而导致后续特征提取过程耗时较长,本发明首先在下一帧第一图像信息的预设范围区域设置多个符合高斯分布的目标搜索粒子,即是在靠近目标(即驾驶者双手)的地方多设置一些目标搜索粒子,在远离目标处少设置一些目标搜索粒子,其中,每一个目标搜索粒子分别对应不同的搜索图像,搜索图像为下一帧第一图像信息中不同区域的图像,然后提取每一个搜索图像的第二特征信息;同样的,上述第二特征信息包括搜索图像的第二颜色特征信息和第二运动特征信息,其中,第二运动特征信息至少包括搜索图像的第二位置点;然后根据初始化阶段得到的第一帧第一图像信息的第一颜色直方图(对应第一颜色特征信息)和目标搜索图像的第二颜色直方图(对应第二颜色特征信息)的相似度计算,得到与第一颜色直方图相似度最高的第二颜色直方图,最后还要在相似度最高处对应的目标搜索粒子处设置更多的搜索粒子,在相似度最低处对应的目标搜索粒子处设置更少的搜索粒子,继续计算相似性,反复循环,通过随机采样和重要性重采样实现了下一帧第一图像信息中驾驶者双手的第一位置点,即完成了驾驶者双手的一步动态跟踪。
S204、每接收到一帧第一图像信息时,提取第一图像信息中的第一特征信息,并根据多重特征空间的粒子滤波器算法对第一特征信息进行计算处理,得到下一帧第一图像信息的第一位置点,直至采集到最后一帧第一图像信息时,输出采集的所有的第一图像信息及第一图像信息对应的第一位置点。
具体的,基于上述从当前第一帧第一图像信息的第一特征信息预测下一帧第一图像信息的第一位置点的具体过程可以通过循环方式实现驾驶者双手在监控摄像系统中出现的整个过程中的持续实时跟踪,在增加了部分可接受的预计算后,搜索粒子将更有效的出现在更高概率的像素上,从而避免了某些手部动作比较快以后,粒子滤波器会丢失跟踪的目标,其通过目标搜索粒子的相关特征信息实时更新目标的位置,直至在采集到最后一帧第一图像信息时,输出采集的所有的第一图像信息及该第一图像信息对应的第一位置点,考虑到双手的轮廓不规则现象,本发明实施例优选的选取驾驶者双手的中心作为第一图像信息对应的位置点。
另外,驾驶者双手作为柔性目标,其姿态、轮廓等在动态变化,在场景中时刻存在的光照变化,也会给驾驶者双手的跟踪带来挑战,又考虑到在判断驾驶者的驾驶意图时,最核心的功能是驾驶者双手的跟踪算法,本发明实施例优选的选取多重特征空间进行粒子滤波跟踪,还能够带来如下效果:
1、能够准确获得双手的轨迹点,且在保证轨迹点的可信度时,可以通过与方向盘的圆弧点的比较获得状态描述;
2、具备双手鲁棒跟踪,本发明实施例提供的跟踪算法鲁棒性较强,在双手存在接近并覆盖的情况,也能无丢失的持续跟踪;
3、具备再次探测双手的功能,当双手从摄像范围内消失后,本发明实施例具备再次获得双手位置的功能。
综上,在提取到第一图像信息及其第一位置点后,通过轨迹组合,可以很容易的得到对应于驾驶者双手的第一运行轨迹。
为了更好的实现驾驶者双手和车辆方向盘的信息交互,本发明实施例提供的车辆驾驶控制方法还包括对于车辆方向盘上预设轨迹起始点的绝对坐标所对应的第二运行轨迹点的提取,参见图4。该绝对坐标提取的具体过程包括如下步骤:
S401、采集车辆方向盘在预设跟踪区域内的第一帧第二图像信息;
S402、在第一帧第二图像信息中,计算车辆方向盘的预设轨迹起始点的绝对坐标;
S403、根据卡尔曼滤波算法对第一帧第二图像信息中的预设轨迹起始点的绝对坐标进行计算处理,得到下一帧第二图像信息的绝对坐标;
S404、每接收到一帧第二图像信息时,提取第二图像信息中的预设轨迹起始点的绝对坐标,得到下一帧第二图像信息中的预设轨迹起始点的绝对坐标,直至采集到最后一帧第二图像信息时,输出采集的所有的第二图像信息及第二图像信息中的预设轨迹起始点的绝对坐标。
同样的,在提取到第二图像信息及其绝对坐标后,通过轨迹组合,可以很容易的得到对应于车辆方向盘的第二运行轨迹。
本发明实施例所提供的车辆驾驶控制方法通过驾驶者双手对应的第一运行轨迹和车辆方向盘对应的第二运行轨迹的交互信息进行相应的车辆驾驶模式切换,参见图5,该模式切换过程具体包括如下步骤:
S501、根据第一运行轨迹和第二运行轨迹的第一匹配程度,生成与第一匹配程度相应的第一驾驶模式切换信号;第一驾驶模式切换信号用于控制车辆由自动驾驶模式切换至人工驾驶模式;
S502、根据第一运行轨迹和第二运行轨迹的第二匹配程度,生成与第二匹配程度相应的第二驾驶模式切换信号;第二驾驶模式切换信号用于控制车辆由人工驾驶模式切换至自动驾驶模式。
其中,通过上述匹配程度对应的驾驶模式切换信号控制车辆进行相应的驾驶模式切换。
此外,在人工驾驶模式下,通过分析第一运行轨迹和第二运行轨迹将驾驶者的驾驶行为分为:
1、转向有控制行为,此时,第一运行轨迹与第二运行轨迹同时存在并且均呈现为椭圆型;
2、无转向有控制行为,此时,第一运行轨迹与第二运行轨迹同时存在且均近似为一点;
3、无控制行为,此时,不存在第一运行轨迹,存在第二运行轨迹。
在自动驾驶模式下,通过分析第一运行轨迹和第二运行轨迹将驾驶者的驾驶行为分为:
1、完全无控制意图行为,此时,不存在第一运行轨迹;
2、存在控制意图,此时,存在第一运行轨迹,但该第一运行轨迹和第二运行轨迹无明显的轨迹交集;
3、意图控制,第一运行轨迹和第二运行轨迹同时存在。
通过上述驾驶者驾驶行为的进一步分析,实时准确的了解驾驶员的意图,该驾驶员的意图配合相应的控制总线以控制上述驾驶模式的切换及维持。
本发明实施例提供的车辆驾驶控制方法,首先实时跟踪采集驾驶者双手以及车辆方向盘在预设跟踪区域内对应的多帧第一图像信息和多帧第二图像信息,并分别对上述多帧第一图像信息和多帧第二图像信息进行计算处理得到对应的第一运行轨迹和第二运行轨迹;然后根据第一运行轨迹和第二运行轨迹的匹配程度控制车辆实现模式切换,与现有技术中的采用扭矩传感器进行汽车模式切换的控制方式,安全可靠性较差相比,其同时提取驾驶者手部和汽车方向盘的轨迹信息,并能够将两者轨迹信息的交互所对应的驾驶员意图用于施加到车辆上并对该车辆进行控制,使得驾驶模式的切换安全性较高,且实现了自动驾驶和人工驾驶的柔性切换以及和谐交互,也使得实用性较强。
本发明实施例还提供了一种车辆驾驶控制系统,所述系统用于执行上述车辆驾驶控制方法,参见图6,所述系统包括:
第一图像信息跟踪采集模块11,用于在预设跟踪区域内检测到驾驶者双手信息时,实时跟踪采集驾驶者双手在预设跟踪区域内的多帧第一图像信息;
第一分析处理模块22,用于对第一图像信息跟踪采集模块11采集的多帧第一图像信息进行分析处理,得到驾驶者双手的第一运行轨迹;
第二图像信息跟踪采集模块33,用于实时跟踪采集车辆方向盘在预设跟踪区域内的多帧第二图像信息;
第二分析处理模块44,用于对第二图像信息跟踪采集模块33采集的多帧第二图像信息进行分析处理,得到车辆方向盘的第二运行轨迹;
模式切换控制模块55,用于根据第一分析处理模块22处理得到的第一运行轨迹和第二分析处理模块44处理得到的第二运行轨迹的匹配程度对应的切换模式控制车辆实现模式切换;其中,模式包括自动驾驶模式和人工驾驶模式。
进一步的,为了更好的实现对驾驶者双手的轨迹提取,参见图7,上述第一图像信息跟踪采集模块11包括第一图像信息采集单元111、第一特征信息提取单元112和位置点计算单元113,其中,
第一图像信息采集单元111,用于采集驾驶者双手在预设跟踪区域内的第一帧第一图像信息;
第一特征信息提取单元112,用于在第一图像信息采集单元111采集到第一帧第一图像信息时,提取第一图像信息中的第一特征信息;第一特征信息包括驾驶者双手的以下信息:第一颜色特征信息和第一运动特征信息;第一运动特征信息至少包括所述驾驶者双手的第一位置点;
位置点计算单元113,用于根据多重特征空间的粒子滤波算法对第一特征信息提取单元112提取的第一特征信息进行计算处理,得到下一帧第一图像信息的第一位置点;
第一特征信息提取单元112还用于,在每接收到一帧第一图像信息时,提取第一图像信息中的第一特征信息;位置点计算单元113还用于,根据多重特征空间的粒子滤波器算法对第一特征信息提取单元112提取的第一特征信息进行计算处理,得到下一帧第一图像信息的第一位置点,直至采集到最后一帧第一图像信息时,输出采集的所有的第一图像信息及第一图像信息对应的第一位置点。
进一步的,考虑到驾驶者双手作为柔性运动目标,在进行相关的图像处理的过程中,很容易受到柔性目标本身特性的限制而发生跟踪丢失等情形,本发明实施例所提供的车辆驾驶控制系统优选的采用基于上述二重特征信息的粒子滤波算法进行后续的驾驶者双手的跟踪处理。则上述位置点计算单元113包括目标搜索粒子设置子单元1131、第二特征信息提取子单元1132、颜色相似性计算子单元1133和位置点计算子单元1134,参见图8,其中,
目标搜索粒子设置子单元1131,用于在下一帧第一图像信息的预设范围区域设置多个符合高斯分布的目标搜索粒子;其中,每一个目标搜索粒子分别对应不同的搜索图像,搜索图像为下一帧第一图像信息中不同区域的图像;
第二特征信息提取子单元1132,用于提取每一个搜索图像的第二特征信息;第二特征信息包括搜索图像的以下信息:第二颜色特征信息和第二运动特征信息;第二运动特征信息至少包括搜索图像的第二位置点;
颜色相似性计算子单元1133,用于对第一特征信息提取单元112提取的第一颜色特征信息和第二特征信息提取子单元1132提取的第二颜色特征信息进行颜色相似性计算,获取与第一颜色特征信息相似度最高的第二颜色特征信息;
位置点计算子单元1134,用于将颜色相似性计算子单元1133得到的第二颜色特征信息对应的搜索图像的第二位置点确定为下一帧第一图像信息中驾驶者双手的第一位置点。
进一步的,为了更好的实现驾驶者双手和车辆方向盘的信息交互,参见图9,本发明实施例提供的车辆驾驶控制系统中的第二图像信息跟踪采集模块33包括第二图像信息采集单元331、第一绝对坐标计算单元332和第二绝对坐标计算单元333,其中,
第二图像信息采集单元331,用于采集车辆方向盘在预设跟踪区域内的第一帧第二图像信息;
第一绝对坐标计算单元332,用于在第二图像信息采集单元331采集的第一帧第二图像信息中,计算车辆方向盘的预设轨迹起始点的绝对坐标;
第二绝对坐标计算单元333,用于根据卡尔曼滤波算法对第一绝对坐标计算单元332计算的绝对坐标进行计算处理,得到下一帧第二图像信息的预设轨迹起始点的绝对坐标;
第一绝对坐标计算单元332还用于,在每接收到一帧第二图像信息时,提取第二图像信息中的预设轨迹起始点的绝对坐标;第二绝对坐标计算单元333还用于,根据第一绝对坐标计算单元332计算的绝对坐标进行处理,得到下一帧第二图像信息中的预设轨迹起始点的绝对坐标,直至采集到最后一帧第二图像信息时,输出采集的所有的第二图像信息及第二图像信息中的预设轨迹起始点的绝对坐标。
本发明实施例所提供的车辆驾驶控制系统通过模式切换控制模块55进行相应的车辆驾驶模式切换,参见图10,该模式切换控制模块55包括第一切换信号生成单元551和第二切换信号生成单元552,其中,
第一切换信号生成单元551,用于根据第一分析处理模块22处理得到的第一运行轨迹和第二分析处理模块44处理得到的第二运行轨迹的第一匹配程度,生成与第一匹配程度相应的第一驾驶模式切换信号;第一驾驶模式切换信号用于控制车辆由自动驾驶模式切换至人工驾驶模式;
第二切换信号生成单元552,用于根据第一分析处理模块22处理得到的第一运行轨迹和第二分析处理模块44处理得到的第二运行轨迹的第二匹配程度,生成与第二匹配程度相应的第二驾驶模式切换信号;第二驾驶模式切换信号用于控制车辆由人工驾驶模式切换至自动驾驶模式。
本发明实施例提供的车辆驾驶控制系统,首先实时跟踪采集驾驶者双手以及车辆方向盘在预设跟踪区域内对应的多帧第一图像信息和多帧第二图像信息,并分别对上述多帧第一图像信息和多帧第二图像信息进行计算处理得到对应的第一运行轨迹和第二运行轨迹;然后根据第一运行轨迹和第二运行轨迹的匹配程度控制车辆实现模式切换,与现有技术中的采用扭矩传感器进行汽车模式切换的控制方式,安全可靠性较差相比,其同时提取驾驶者手部和汽车方向盘的轨迹信息,并能够将两者轨迹信息的交互所对应的驾驶员意图用于施加到车辆上并对该车辆进行控制,使得驾驶模式的切换安全性较高,且实现了自动驾驶和人工驾驶的柔性切换以及和谐交互,也使得实用性较强。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。