一种平视显示系统、显示方法和汽车与流程

文档序号:20607218发布日期:2020-05-01 22:12阅读:129来源:国知局
一种平视显示系统、显示方法和汽车与流程

本发明涉及车载设备技术领域,尤其涉及一种平视显示系统、显示方法和汽车。



背景技术:

汽车两侧后视镜大都存在盲区,盲区内的交通情况司机没有办法从两侧后视镜中发现;为提两侧后视镜的观察视野,通常采用的办法是在两侧后视镜上额外添加凸镜或将两侧后视镜的一部分做成凸镜;同时,后视镜主要依靠司机的主动观察,缺乏主动的提示信息;

因此,如何能在提供盲区影像信息的同时向司机提供必要提示信息,提升驾驶安全性,是亟待解决的问题。



技术实现要素:

有鉴于此,本发明实施例期望提供一种平视显示系统、显示方法和汽车,能在提供盲区影像信息的同时向司机提供必要提示信息,提升驾驶安全性。

为达到上述目的,本发明的技术方案是这样实现的:

本发明实施例提供了一种平视显示系统,所述系统包括:一个以上的图像采集装置,处理装置和图像投影装置;其中,

所述图像采集装置,用于捕获预设图像采集区域的实时图像;

所述处理装置,用于采用预设图像识别规则,识别所述实时图像中的识别对象和/或所述识别对象与所述平视显示系统载体的相对运动参数信息;根据所述识别对象和/或所述相对运动参数信息,采用预设信息处理规则生成提示信息,并将所述提示信息和所述实时图像合并为输出图像;

所述图像投影装置,用于向预设投影面的指定区域投影所述输出图像。

上述方案中,所述一个以上的图像采集装置包括:第一图像采集装置和第二图像采集装置;

所述处理装置,具体用于:根据第一图像采集装置和第二图像采集装置分别捕获的实时图像,采用双摄测距原理,检测所述识别对象与所述载体的距离。

上述方案中,

所述第一图像采集装置为可见光图像采集装置,所述第二图像采集装置为红外图像采集装置。

上述方案中,所述系统还包括:所述红外发射装置,用于向识别对象发送红外波束;

所述处理装置,还用于根据所述红外发射装置发送所述红外波束的发射时间,和第二图像采集装置接收所述红外波束在识别对象上产生的反射光束的接收时间,采用飞行时间tof测距法,确定所述识别对象与所述载体的距离。

上述方案中,所述系统还包括:投影调整装置和/或投影图像采集装置;其中,

所述投影调整装置,用于接受所述处理装置控制,调整所述图像投影装置的投影方位;

所述投影图像采集装置,用于捕获所述图像投影装置投影产生的投影图像;

所述处理装置,还用于根据所述投影图像,采用预设调整规则控制所述投影调整装置调整所述图像投影装置的投影方位。

上述方案中,所述系统还包括环境光线传感器,用于检测环境光线强度;

所述处理装置,还用于根据所述环境光线强度,采用预设亮度调整规则,调整所述图像投影装置的投影亮度。

本发明实施例还提供了一种平视显示方法,所述方法包括:

捕获预设图像采集区域的实时图像;

采用预设图像识别规则,识别所述实时图像中的识别对象和/或所述识别对象与平视显示系统载体的相对运动参数信息;根据所述识别对象和/或所述相对运动参数信息,采用预设信息处理规则生成提示信息,并将所述提示信息和所述实时图像合并为输出图像;

向预设投影面的指定区域投影所述输出图像。

上述方案中,所述采用预设图像识别规则,识别所述实时图像中的识别对象和/或所述识别对象与平视显示系统载体的相对运动参数信息,包括:

根据第一图像采集装置和第二图像采集装置分别捕获的实时图像,采用双摄测距原理,检测所述识别对象与所述载体的距离。

上述方案中,所述第一图像采集装置和第二图像采集装置分别捕获的实时图像,包括:

所述根据第一图像采集装置捕获的可见光实时图像

所述根据第一图像采集装置捕获的红外实时图像。

上述方案中,所述方法还包括:

向识别对象发送红外波束;

根据所述红外发射装置发送所述红外波束的发射时间,和第二图像采集装置接收所述红外波束在识别对象上产生的反射光束的接收时间,采用tof测距法,确定所述识别对象与所述载体的距离。

上述方案中,所述方法还包括:

根据投影图像采集装置捕获的投影产生的投影图像,采用预设调整规则控制投影调整装置调整所述图像投影装置的投影方位。

上述方案中,所述方法还包括:

根据环境光线传感器检测的环境光线强度,采用预设亮度调整规则,调整投影亮度。

本发明实施例还提供了一种汽车,包括车身,所述汽车还包括上面所述的任意一种平视显示系统。

本发明实施例所提供的平视显示系统;包括:一个以上的图像采集装置,处理装置和图像投影装置;图像采集装置捕获预设图像采集区域的实时图像;处理装置按预设图像识别规则识别所述实时图像中的识别对象及所述识别对象与所述平视显示系统载体的相对运动参数信息,并根据预设信息处理规则将所述识别对象及所述相对运动参数信息合并为输出图像;图像投影装置13向预设投影面的指定区域投影所述输出图像。如此,可以在预设投影面,即两侧后视镜上实时投影预设图像采集区,即包含后视盲区的后视区域的图像,并且在后视区域图像上叠加安全提示信息,从而提升了驾驶安全性。

附图说明

图1为本发明实施例平视显示系统组成结构示意图;

图2为本发明实施例平视显示系统各部件组成示意图;

图3为本发明实施例平视显示系统设置在车外部示意图;

图4为本发明实施例平视显示系统设置在车内部示意图;

图5为本发明实施例平视显示系统工作流程示意图;

图6为本发明实施例第一种情况处理流程示意图;

图7为本发明实施例平视显示系统向侧窗投影示意图;

图8为本发明实施例第二种情况处理流程示意图;

图9为本发明实施例转向场景处理流程示意图;

图10为本发明实施例平视显示方法的流程意图。

具体实施方式

本发明实施例中,图像采集装置捕获预设图像采集区域的实时图像;处理装置按预设图像识别规则识别所述实时图像中的识别对象及所述识别对象与所述平视显示系统载体的相对运动参数信息,并根据预设信息处理规则将所述识别对象及所述相对运动参数信息合并为输出图像;图像投影装置向预设投影面的指定区域投影所述输出图像。

下面结合实施例对本发明再作进一步详细的说明。

本发明实施例提供的平视显示系统,如图1所示,所述平视显示系统10包括:一个以上的图像采集装置11,处理装置12和图像投影装置13;

这里,所述平视显示系统10可以是单独的一个整体,也可以是由分布在车身各个位置的不同装置组成;所述平视显示系统10可以安装在汽车等载体上;与其他车载系统类似,所述平视显示系统10可以由汽车等载体等供电,也可以平视显示系统10自身电池供电。

增强现实(ar,augmentedreality)是现实场景和虚拟场景的结合,在摄像头拍摄的画面基础上,通过计算机处理能力,将虚拟的数据叠加在现实环境当中,再利用同一个画面进行显示而带来的一种交互模式;所述平视显示系统10可以通过ar方式向司机提供驾驶信息。

所述图像采集装置11,用于捕获预设图像采集区域的实时图像;

这里,所述图像采集装置11可以是摄像头等图像、视频捕捉设备;所述预设图像采集区域可以是覆盖两侧后视镜时的视觉盲区的区域。

进一步的,所述图像采集装置11可以包括第一图像采集装置111和第二图像采集装置112;第一图像采集装置111和第二图像采集装置112可以分别从两个不同角度捕获预设图像采集区域的实时图像;用于后续图像处理。

实际应用中,以单独成一个整体的平视显示系统10为例,平视显示系统10内部详细构造可以如图2所示,包括:图像采集装置11,处理装置12即主控电路板和图像投影装置13。图像采集装置11包含第一图像采集装置111和第二图像采集装置112,即两个摄像头;所述主控电路板上还设置有电源管理电路等,用于管理整个平视显示系统10的电源,包括管理外接电源和可选内置电池供电的电源切换、充放电,以及平视显示系统10中各装置的电源供应分配等。其中,主控板可以包括处理器等进行数据处理,及电源等各功能相应的电路,以及接口等。

所述处理装置12,用于采用预设图像识别规则,识别所述实时图像中的识别对象和/或所述识别对象与所述平视显示系统10载体的相对运动参数信息;根据所述识别对象和/或所述相对运动参数信息,采用预设信息处理规则生成提示信息,并将所述提示信息和所述实时图像合并为输出图像;

这里,所述预设图像识别规则可以根据所述图像采集装置11设置,所述图像采集装置11为一个摄像头时,可以对单个摄像头捕获的实时图像进行识别;所述图像采集装置11为两个或两个以上摄像头时,可以通过双目视差测距算法等方法对两个摄像头捕获的实时图像进行识别。对识别对象的识别可以采用模型训练、深度学习等方法实现;所述相对运动参数可以包括:所述识别对象与所述载体的相对距离和相对运动速度等;所述相对运动速度可以通过两个时间点的相对距离除以两个时间点的时间间隔确定。当所述图像采集装置11为两个或两个以上摄像头时,可以根据所述预设信息处理规则预先选定一个摄像头的实时图像合并作为输出图像;

所述预设信息处理规则可以根据所述识别对象和所述相对运动参数设置,将需要的提示信息与捕捉图像进行合并,即直接在捕捉到的图像上显示提示信息;如识别对象为预设对象时,可以指示识别对象的大体轮廓等;相对运动参数超出预测值时,显示距离或警告信息等提示信息。

实际应用中,为加强对重点目标物体的辨识,提升针对性的警示措施,可以融合单摄像头基于深度学习的物体识别能力;可以对图像中的场景进行道路以及障碍物或者各种特殊物体的分割进行特征提取,在此基础上进行基于机器学习和深度学习进行模式匹配,实现识别对象的识别。重点识别出对行车安全重大影响的人体,车辆等识别对象;

识别出识别对象后,针对单摄像头情况可以采用机器学习、深度学习或雷达等其他辅助手段,获取识别对象的距离和位移情况,从而,可以在后续给出更加明确的提示信息。

进一步的,所述处理装置12可以根据第一图像采集装置111和第二图像采集装置112分别捕获的实时图像,采用双摄测距原理,检测所述识别对象与所述载体的距离;

具有两个摄像头时,可以通过双摄测距原理,即双目视差测距原理可以判别出障碍物的距离和位移等情况;和人的双眼成像类似,双摄像头同步对场景进行成像过程中的各自的成像中,同一物体所处的位置并不同:近处的物体在两者之间的位置变化比较剧烈,远处的物体在两者中的位置差异较小。如此,可以对相对运动中的人或车等识别对象的接近度和速度进行检测,进而根据预设信息处理规则生成提示信息,如:通过计算生成红色警示图文标识,包括:物体距离,移动速度,极限距离红色告警,并叠加在实物影像上,并同时辅以声音警示。

进一步的,所述第一图像采集装置111可以是可见光图像采集装置,所述第二图像采集装置112可以是红外图像采集装置;

这里,可见光图像采集装置可以是可见光摄像头;红外图像采集装置可以是红外摄像头,也可以采用同时支持可见光和红外功能的摄像头,需要时可以切换至红外功能。

实际应用中,为了达到更理想的图像采集效果,可以采用广角+长焦的配置,可见光摄像头采用广角,红外摄像头采用长焦,以可见光摄像的彩色图像加红外摄像头采集并解析的黑白图像为图像处理基础;如此,可以获取更多差异化环境信息,增强立体视觉系统应对夜间情景或特殊天气的能力。

在两个摄像头基础上,还可以再增加一个可见光摄像头,形成三摄,两个可见光摄像头负责双目视差测距,红外摄像头专门负责暗光摄像。

进一步的,所述系统还包括红外发射装置14,用于向识别对象发送红外波束;所述处理装置12,还用于根据所述红外发射装置14发送所述红外波束的发射时间,以及第二图像采集装置112接收所述红外波束在识别对象上产生的反射光束的接收时间,采用飞行时间(tof,timeofflight)测距法,确定所述识别对象与所述载体的距离;

具体的,处理装置12根据红外发射装置14发射的红外光束发射到障碍物以及第二图像采集装置112即红外摄像头接收障碍物反射的红外光束两者之间的时间差获取障碍物深度信息。并且结合所述第一图像采集装置111即可见光摄像头获取的图像信息,对障碍物的三维信息可以更快速准确的判断。

所述图像投影装置13,用于向预设投影面的指定区域投影所述输出图像;

这里,所述预设投影面可以是汽车两侧后视镜;可以向两侧后视镜的指定区域投影所述输出图像;可以在一辆车上设置两台所述平视显示系统10,分别对应于两侧后视镜;两台平视显示系统10分别将两侧的盲区影像以及提示信息投影到两侧后视镜,从而司机可以直接观察到后视盲区,并可以得到提示信息,大大加强了驾驶安全性;

实际应用中,图像投影装置13可以用由可动态变焦的投影镜头和采用发光二极管(led,lightemittingdiode)光源照射基于数字光学处理(dlp,digitallightprocessing)技术的数字微镜装置(dmd,digitalmicromirrordevice)实现电信号转换为光信号。

所示平视显示系统10,可以如图3所示,放到汽车外部,可机械固定于车窗外沿并辅以磁力吸附到车门金属部分,也可以如图4所示;也可机械固定于内置于侧面车窗内侧上沿或下沿;图中标号31表示投影图像,32表示用户观察后视镜时视觉形成的所述投影图像的虚像。

这里,如图5所示:以两个摄像头为例,解释平视显示系统10工作步骤,包括:

步骤501,摄像头摄取车身侧边近距环境实时图像信息,并传送至主控电路板;主控电路板的处理器等可以采用并行处理的方法同时执行步骤502和步骤503;

步骤502,对实时图像进行压缩、差值和锐化等处理,使所述实时图像适应后续投影数据传输处理等,并转至步骤507;

步骤503,采用预设图像识别规则对视频信息进行重点目标特征提取并对识别对象进行识别;执行步骤504;

步骤504,采用预设图像识别规则确定识别对象和车身的距离、速度等相对运动参数信息:如果具有双摄像头的话可以按双目视差测距算法,如果具有红外发射器,则按tof测距算法,并可以对运动轨迹和趋势进行估算;执行步骤505;

步骤505,根据识别及计算结果,针对接近车身风险评估并判别等级;执行步骤506;

步骤506,根据风险等级给出ar叠加提示信息,包括:计算得来的需要直接显示的信息以及根据计算结果调取的数据库预存的关联警示图示等,可以是警色条和规避图示等;执行步骤507;

步骤507,将提示信息和步骤502处理过的实时图像进行叠加,并将叠加后的投影图像转换为图像投影装置13即投影光机适用的投影信号;

步骤508,将投影信号推送到投影光机,进行光学处理并投射;

步骤509,在汽车外部后视镜投影区呈现投射结果。

所述平视显示系统10还可以包括:距离传感器15,用于测量所述识别对象的相对运动参数信息;

这里,所述距离传感器15可以是红外距离传感器或测距雷达等;以红外距离传感器为例,红外距离传感器红外光功率和散射面有限,但红外距离传感器响应速度较快,可以作为一个快速预判工具,预判车身侧后部附近有障碍物后,立即启动红外发射装置14发出更大功率和更大散射面的红外光到障碍物,然后第二图像采集装置112即红外摄像头接收障碍物反射的红外光,获取障碍物距离或深度信息,并结合可见光摄像头获取的彩色信息,对障碍物的三维信息可以更快速准确的判断。距离传感器15可以不放在平视显示系统10本体上,可以放置在车身侧后部更接近可疑障碍物的位置,甚至可以设置多个以提高测距精确性。

进一步的,本发明实施例还提供了对投影画面进行调整的投影调整装置16,和/或投影图像采集装置17,所述投影调整装置16,用于接受所述处理装置12控制,调整所述图像投影装置13的投影方位;所述投影图像采集装置17,用于采集所述图像投影装置13投影产生的投影图像;所述处理装置12,还用于根据所述投影图像,采用预设调整规则控制所述投影调整装置16调整所述图像投影装置13的投影方位;

这里,可以采用由电动机驱动的云台等,通过调整调整图像投影装置13的位置起到调整投影方位的作用;或者也可以通过云台或其他支架装置直接调整整个平视显示系统10,以起到调整投影方位的效果;所述云台或其他类型支架同时可以具备手动调整功能,可以由用户进行调整。

所述投影图像采集装置17可以是摄像头等,投影图像采集装置17可以对所述图像投影装置13的投影图像进行采样;处理装置12可以根据投影图像实际状况,控制投影调整装置16调整投影方向;所述预设调整规则可以根据司机位置和投影位置等设置,调整投影方位使图像投影装置13的投影图像投射在预设的位置;可以在后视镜预设投影位置,由于后视镜调整等情况,如果投影图像超出预设投影位置时,可以对投影方位进行调整,使投影图像保持在预设投影位置。

更进一步,投影图像采集装置17可以采用广角摄像头,可以同时观测转向灯的情况,发现转向灯闪动,如连续闪动三次等情况时,处理装置12可以开始处理盲区实时图像的处理,平时可以不对实时图像进行处理。

更进一步,平视显示系统10还可以包括一个环境光线传感器18,用于检测环境光线强度;所述处理装置12,还用于根据所述环境光线强度,采用预设亮度调整规则,调整所述图像投影装置13的投影亮度;所述预设亮度调整规则可以根据投影亮度在不同环境光线亮度下的可视性设置;可以根据不同环境光线亮度设置不同的投影亮度。使投影图像在不同环境光线亮度下都可以被观察到。

更进一步的,平视显示系统10还可以包括无线收发装置19,用于向所述处理装置12传输从外部终端接收的控制信息;

具体的,所述无线收发装置19可以采用蓝牙,无线(wifi)、或移动通信网络传输控制信息;用户可以通过外部终端遥控方式选择平视显示系统10;所述终端可以是无线遥控器或手机等移动终端;

外部终端可以通过设置不同工作模式,启动平视显示系统10中的不同功能,如夜视模式,夜视模式可以切换为红外摄像;也可以通过外部终端发送指令调整投影方向等;

以按键式蓝牙遥控为例,可设置行车、倒车、驻车、夜视等模式,夜视模式下,可以切换为红外摄像,可藉由光感识别自动转为夜视模式;或夜视模式下面再有行车,倒车,驻车等模式;还可以设置麦克等收音装置,用于把车内遥控器声音传递到平视显示系统10的扬声器;

另外,移动终端还可以通过无线传输,从平视显示系统10获取实时图像和输出图像等。

实际应用中,还可以如图2所示,在平视显示系统10中设置补光装置20,在图像采集装置11进行图像捕捉时采用闪光等方式补光;所述平视显示系统10还可以设置发声装置21,如扬声器等,在投影的同时,根据提示信息的不同等级,发出不同的提示影;图2中的平视显示系统10还包括可选的电池22以及外接电源接口23,如此可以采用不同的电源为平视显示系统10供电。

这里,结合实际使用情况,对实际使用过程中可能出现的投影方位调整的情况说明如下:

情况一、当平视显示系统10放置在车内时,向两侧反光镜投影时,投影光线会受到侧边车窗影响产生折射,此时可能需要对投影方位进行调整或校正;同时,外部光线变化同样会引起对投影图像亮度的调整;具体步骤如图6所示包括:

步骤601:对投影光束穿过或未穿过车窗的情况进行学习确定在有侧边车窗和无侧边车窗情况下投射区域在投影图像采集装置17的采集图像中的位置范围;

步骤602:环境光线传感器18感应环境光线强度;

步骤603:与预设光线强度阈值比较,确定是否处于暗环境,如果处于暗环境,则执行步骤604,否则,执行步骤605;

步骤604:将投射方位调整到预设的暗光角度,避开车外部后视镜投影区,直接将投影画面投影到侧窗玻璃上,避免多向散射;如图7所示,在特定投影角度,图像投影装置13在侧窗玻璃上的投影图像可以被司机观察到;

步骤605:投影图像采集装置17对投影区域在采集图像中位置进行识别;

步骤606:将识别的投影区在采集图像中位置与学习的位置范围进行比较,如果没有超出位置范围,则执行步骤607,否则执行步骤608;

步骤607:对投影方位不做调整补偿;

步骤608:对投影方位进行调整补偿,使投影图像落到投影区域内。

情况二、侧后视镜调整时,平视显示系统10实时追踪投影位置,进行实时调整,如图8所示,具体步骤包括:

步骤801:投影图像采集装置17对车外部后视镜投影图像边缘进行识别;

步骤802:投影图像边缘边缘区是否超出侧视镜镜面或系统认定的预定范围,如果超出,则执行步骤804,否则,执行步骤803;

步骤803:不做投影方位调整;

步骤804:调整投影方位,使投影图像投射到侧后视镜预定范围内;如果超出可调整范围可以提示用户进行人为干涉。

情况三、根据车辆转向情况,进行实时投影,如图9所示,具体步骤包括:

步骤901:判断车辆转向;

这里,判断车辆转向除了可以通过与车辆控制系统的通信实现外,还可以采用投影图像采集装置17对转向灯的拍摄实现;如投影图像采集装置17拍摄的图像中出现了转向灯闪烁,如连续三次,则确定车辆进入转向状态;

步骤902:启动转向侧平视显示系统10的处理功能,重点针对移动状态的目标进行运动趋势分析;

步骤903:提取目标特征并拟合归类,调取高风险特征进行匹配;

步骤904:可以在实物影像上叠加比常态信息更多的数据分析结果和警示性提示,这里,可以用投影信息和声音信息提示司机。

综上所述,图像采集装置11采集车身外部侧后方的环境影像并送达处理装置12进行图像处理和分析计算,之后把环境实景视频信息和根据实景影像数据分析计算得来的虚拟信息均送达图像投影装置13投射到汽车外部后视镜的局部镜面。典型应用场景如,行人或其他障碍物体靠近车身或通过预测其移动轨迹接近或穿入车身时,投影界面给出叠加在实物影像上的图文或语音提示。如此,司机可以根据投影图像获得更多的信息,提高驾驶安全性。

本发明实施例提供的平视显示方法,如图10所示,所述方法包括:

步骤1001:捕获预设图像采集区域的实时图像;

这里,可以如图1所述,由平视显示系统10中的图像采集装置11来捕获实时图像;所述平视显示系统10可以是单独的一个整体,也可以是由分布在车身各个位置的不同装置组成;所述平视显示系统10可以安装在汽车等载体上;与其他车载系统类似,所述平视显示系统10可以由汽车等载体等供电,也可以平视显示系统10自身电池供电。

ar是现实场景和虚拟场景的结合,在摄像头拍摄的画面基础上,通过计算机处理能力,将虚拟的数据叠加在现实环境当中,再利用同一个画面进行显示而带来的一种交互模式;所述平视显示系统10可以通过ar方式向司机提供驾驶信息。

这里,所述图像采集装置11可以是摄像头等图像、视频捕捉设备;所述预设图像采集区域可以是覆盖两侧后视镜时的视觉盲区的区域。

进一步的,所述图像采集装置11可以包括第一图像采集装置111和第二图像采集装置112;第一图像采集装置111和第二图像采集装置112可以分别从两个不同角度捕获预设图像采集区域的实时图像;用于后续图像处理。

实际应用中,以单独成一个整体的平视显示系统10为例,平视显示系统10内部详细构造可以如图2所示,包括:图像采集装置11,处理装置12即主控电路板和图像投影装置13。图像采集装置11包含第一图像采集装置111和第二图像采集装置112,即两个摄像头;所述主控电路板上还设置有电源管理电路等,用于管理整个平视显示系统10的电源,包括管理外接电源和可选内置电池供电的电源切换、充放电,以及平视显示系统10中各装置的电源供应分配等。其中,主控板可以包括处理器等进行数据处理,及电源等各功能相应的电路,以及接口等。

步骤1002:采用预设图像识别规则,识别所述实时图像中的识别对象和/或所述识别对象与所述平视显示系统10载体的相对运动参数信息;根据所述识别对象和/或所述相对运动参数信息,采用预设信息处理规则生成提示信息,并将所述提示信息和所述实时图像合并为输出图像;

这里,可以如图1所述,由平视显示系统10中的处理装置12来执行所述步骤1002;所述预设图像识别规则可以根据所述图像采集装置11设置,所述图像采集装置11为一个摄像头时,可以对单个摄像头捕获的实时图像进行识别;所述图像采集装置11为两个或两个以上摄像头时,可以通过双目视差测距算法等方法对两个摄像头捕获的实时图像进行识别。对识别对象的识别可以采用模型训练、深度学习等方法实现;所述相对运动参数可以包括:所述识别对象与所述载体的相对距离和相对运动速度等;所述相对运动速度可以通过两个时间点的相对距离除以两个时间点的时间间隔确定。当所述图像采集装置11为两个或两个以上摄像头时,可以根据所述预设信息处理规则预先选定一个摄像头的实时图像合并作为输出图像;

所述预设信息处理规则可以根据所述识别对象和所述相对运动参数设置,将需要的提示信息与捕捉图像进行合并,即直接在捕捉到的图像上显示提示信息;如识别对象为预设对象时,可以指示识别对象的大体轮廓等;相对运动参数超出预测值时,显示距离或警告信息等提示信息。

实际应用中,为加强对重点目标物体的辨识,提升针对性的警示措施,可以融合单摄像头基于深度学习的物体识别能力;可以对图像中的场景进行道路以及障碍物或者各种特殊物体的分割进行特征提取,在此基础上进行基于机器学习和深度学习进行模式匹配,实现识别对象的识别。重点识别出对行车安全重大影响的人体,车辆等识别对象;

识别出识别对象后,针对单摄像头情况可以采用机器学习、深度学习或雷达等其他辅助手段,获取识别对象的距离和位移情况,从而,可以在后续给出更加明确的提示信息。

进一步的,所述处理装置12可以根据第一图像采集装置111和第二图像采集装置112分别捕获的实时图像,采用双摄测距原理,检测所述识别对象与所述载体的距离;

具有两个摄像头时,可以通过双摄测距原理,即双目视差测距原理可以判别出障碍物的距离和位移等情况;和人的双眼成像类似,双摄像头同步对场景进行成像过程中的各自的成像中,同一物体所处的位置并不同:近处的物体在两者之间的位置变化比较剧烈,远处的物体在两者中的位置差异较小。如此,可以对相对运动中的人或车等识别对象的接近度和速度进行检测,进而根据预设信息处理规则生成提示信息,如:通过计算生成红色警示图文标识,包括:物体距离,移动速度,极限距离红色告警,并叠加在实物影像上,并同时辅以声音警示。

进一步的,所述第一图像采集装置111可以是可见光图像采集装置,所述第二图像采集装置112可以是红外图像采集装置;

这里,可见光图像采集装置可以是可见光摄像头;红外图像采集装置可以是红外摄像头,也可以采用同时支持可见光和红外功能的摄像头,需要时可以切换至红外功能。

实际应用中,为了达到更理想的图像采集效果,可以采用广角+长焦的配置,可见光摄像头采用广角,红外摄像头采用长焦,以可见光摄像的彩色图像加红外摄像头采集并解析的黑白图像为图像处理基础;如此,可以获取更多差异化环境信息,增强立体视觉系统应对夜间情景或特殊天气的能力。

在两个摄像头基础上,还可以再增加一个可见光摄像头,形成三摄,两个可见光摄像头负责双目视差测距,红外摄像头专门负责暗光摄像。

进一步的,所述系统还包括红外发射装置14,用于向识别对象发送红外波束;所述处理装置12,还用于根据所述红外发射装置14发送所述红外波束的发射时间,以及第二图像采集装置112接收所述红外波束在识别对象上产生的反射光束的接收时间,采用tof测距法,确定所述识别对象与所述载体的距离;

具体的,处理装置12根据红外发射装置14发射的红外光束发射到障碍物以及第二图像采集装置112即红外摄像头接收障碍物反射的红外光束两者之间的时间差获取障碍物深度信息。并且结合所述第一图像采集装置111即可见光摄像头获取的图像信息,对障碍物的三维信息可以更快速准确的判断。

步骤1003:向预设投影面的指定区域投影所述输出图像。

这里,可以如图1所述,由平视显示系统10中的图像投影装置13来进行投影;所述预设投影面可以是汽车两侧后视镜;可以向两侧后视镜的指定区域投影所述输出图像;可以在一辆车上设置两台所述平视显示系统10,分别对应于两侧后视镜;两台平视显示系统10分别将两侧的盲区影像以及提示信息投影到两侧后视镜,从而司机可以直接观察到后视盲区,并可以得到提示信息,大大加强了驾驶安全性;

实际应用中,图像投影装置13可以用由可动态变焦的投影镜头和采用led光源照射基于dlp技术的dmd实现电信号转换为光信号。

所示平视显示系统10,可以如图3所示,放到汽车外部,可机械固定于车窗外沿并辅以磁力吸附到车门金属部分,也可以如图4所示;也可机械固定于内置于侧面车窗内侧上沿或下沿;图中标号31表示投影图像,32表示用户观察后视镜时视觉形成的所述投影图像的虚像。

这里,如图5所示:以两个摄像头为例,解释平视显示系统10工作步骤,包括:

步骤501,摄像头摄取车身侧边近距环境实时图像信息,并传送至主控电路板;主控电路板的处理器等可以采用并行处理的方法同时执行步骤502和步骤503;

步骤502,对实时图像进行压缩、差值和锐化等处理,使所述实时图像适应后续投影数据传输处理等,并转至步骤507;

步骤503,采用预设图像识别规则对视频信息进行重点目标特征提取并对识别对象进行识别;执行步骤504;

步骤504,采用预设图像识别规则确定识别对象和车身的距离、速度等相对运动参数信息:如果具有双摄像头的话可以按双目视差测距算法,如果具有红外发射器,则按tof测距算法,并可以对运动轨迹和趋势进行估算;执行步骤505;

步骤505,根据识别及计算结果,针对接近车身风险评估并判别等级;执行步骤506;

步骤506,根据风险等级给出ar叠加提示信息,包括:计算得来的需要直接显示的信息以及根据计算结果调取的数据库预存的关联警示图示等,可以是警色条和规避图示等;执行步骤507;

步骤507,将提示信息和步骤502处理过的实时图像进行叠加,并将叠加后的投影图像转换为图像投影装置13即投影光机适用的投影信号;

步骤508,将投影信号推送到投影光机,进行光学处理并投射;

步骤509,在汽车外部后视镜投影区呈现投射结果。

所述平视显示系统10还可以包括:距离传感器15,用于测量所述识别对象的相对运动参数信息;

这里,所述距离传感器15可以是红外距离传感器或测距雷达等;以红外距离传感器为例,红外距离传感器红外光功率和散射面有限,但红外距离传感器响应速度较快,可以作为一个快速预判工具,预判车身侧后部附近有障碍物后,立即启动红外发射装置14发出更大功率和更大散射面的红外光到障碍物,然后第二图像采集装置112即红外摄像头接收障碍物反射的红外光,获取障碍物距离或深度信息,并结合可见光摄像头获取的彩色信息,对障碍物的三维信息可以更快速准确的判断。距离传感器15可以不放在平视显示系统10本体上,可以放置在车身侧后部更接近可疑障碍物的位置,甚至可以设置多个以提高测距精确性。

进一步的,本发明实施例还提供了对投影画面进行调整的投影调整装置16,和/或投影图像采集装置17,所述投影调整装置16,用于接受所述处理装置12控制,调整所述图像投影装置13的投影方位;所述投影图像采集装置17,用于采集所述图像投影装置13投影产生的投影图像;所述处理装置12,还用于根据所述投影图像,采用预设调整规则控制所述投影调整装置16调整所述图像投影装置13的投影方位;

这里,可以采用由电动机驱动的云台等,通过调整调整图像投影装置13的位置起到调整投影方位的作用;或者也可以通过云台或其他支架装置直接调整整个平视显示系统10,以起到调整投影方位的效果;所述云台或其他类型支架同时可以具备手动调整功能,可以由用户进行调整。

所述投影图像采集装置17可以是摄像头等,投影图像采集装置17可以对所述图像投影装置13的投影图像进行采样;处理装置12可以根据投影图像实际状况,控制投影调整装置16调整投影方向;所述预设调整规则可以根据司机位置和投影位置等设置,调整投影方位使图像投影装置13的投影图像投射在预设的位置;可以在后视镜预设投影位置,由于后视镜调整等情况,如果投影图像超出预设投影位置时,可以对投影方位进行调整,使投影图像保持在预设投影位置。

更进一步,投影图像采集装置17可以采用广角摄像头,可以同时观测转向灯的情况,发现转向灯闪动,如连续闪动三次等情况时,处理装置12可以开始处理盲区实时图像的处理,平时可以不对实时图像进行处理。

更进一步,平视显示系统10还可以包括一个环境光线传感器18,用于检测环境光线强度;所述处理装置12,还用于根据所述环境光线强度,采用预设亮度调整规则,调整所述图像投影装置13的投影亮度;所述预设亮度调整规则可以根据投影亮度在不同环境光线亮度下的可视性设置;可以根据不同环境光线亮度设置不同的投影亮度。使投影图像在不同环境光线亮度下都可以被观察到。

更进一步的,平视显示系统10还可以包括无线收发装置19,用于向所述处理装置12传输从外部终端接收的控制信息;

具体的,所述无线收发装置19可以采用蓝牙,无线(wifi)、或移动通信网络传输控制信息;用户可以通过外部终端遥控方式选择平视显示系统10;所述终端可以是无线遥控器或手机等移动终端;

外部终端可以通过设置不同工作模式,启动平视显示系统10中的不同功能,如夜视模式,夜视模式可以切换为红外摄像;也可以通过外部终端发送指令调整投影方向等;

以按键式蓝牙遥控为例,可设置行车、倒车、驻车、夜视等模式,夜视模式下,可以切换为红外摄像,可藉由光感识别自动转为夜视模式;或夜视模式下面再有行车,倒车,驻车等模式;还可以设置麦克等收音装置,用于把车内遥控器声音传递到平视显示系统10的扬声器;

另外,移动终端还可以通过无线传输,从平视显示系统10获取实时图像和输出图像等。

实际应用中,还可以如图2所示,在平视显示系统10中设置补光装置20,在图像采集装置11进行图像捕捉时采用闪光等方式补光;所述平视显示系统10还可以设置发声装置21,如扬声器等,在投影的同时,根据提示信息的不同等级,发出不同的提示影;图2中的平视显示系统10还包括可选的电池22以及外接电源接口23,如此可以采用不同的电源为平视显示系统10供电。

这里,结合实际使用情况,对实际使用过程中可能出现的投影方位调整的情况说明如下:

情况一、当平视显示系统10放置在车内时,向两侧反光镜投影时,投影光线会受到侧边车窗影响产生折射,此时可能需要对投影方位进行调整或校正;同时,外部光线变化同样会引起对投影图像亮度的调整;具体步骤如图6所示包括:

步骤601:对投影光束穿过或未穿过车窗的情况进行学习确定在有侧边车窗和无侧边车窗情况下投射区域在投影图像采集装置17的采集图像中的位置范围;

步骤602:环境光线传感器18感应环境光线强度;

步骤603:与预设光线强度阈值比较,确定是否处于暗环境,如果处于暗环境,则执行步骤604,否则,执行步骤605;

步骤604:将投射方位调整到预设的暗光角度,避开车外部后视镜投影区,直接将投影画面投影到侧窗玻璃上,避免多向散射;如图7所示,在特定投影角度,图像投影装置13在侧窗玻璃上的投影图像可以被司机观察到;

步骤605:投影图像采集装置17对投影区域在采集图像中位置进行识别

步骤606:将识别的投影区在采集图像中位置与学习的位置范围进行比较,如果没有超出位置范围,则执行步骤607,否则执行步骤608;

步骤607:对投影方位不做调整补偿;

步骤608:对投影方位进行调整补偿,使投影图像落到投影区域内。

情况二、侧后视镜调整时,平视显示系统10实时追踪投影位置,进行实时调整,如图8所示,具体步骤包括:

步骤801:投影图像采集装置17对车外部后视镜投影图像边缘进行识别

步骤802:投影图像边缘边缘区是否超出侧视镜镜面或系统认定的预定范围,如果超出,则执行步骤804,否则,执行步骤803;

步骤803:不做投影方位调整;

步骤804:调整投影方位,使投影图像投射到侧后视镜预定范围内;如果超出可调整范围可以提示用户进行人为干涉。

情况三、根据车辆转向情况,进行实时投影,如图9所示,具体步骤包括:

步骤901:判断车辆转向;

这里,判断车辆转向除了可以通过与车辆控制系统的通信实现外,还可以采用投影图像采集装置17对转向灯的拍摄实现;如投影图像采集装置17拍摄的图像中出现了转向灯闪烁,如连续三次,则确定车辆进入转向状态;

步骤902:启动转向侧平视显示系统10的处理功能,重点针对移动状态的目标进行运动趋势分析;

步骤903:提取目标特征并拟合归类,调取高风险特征进行匹配;

步骤904:可以在实物影像上叠加比常态信息更多的数据分析结果和警示性提示,这里,可以用投影信息和声音信息提示司机。

综上所述,图像采集装置11采集车身外部侧后方的环境影像并送达处理装置12进行图像处理和分析计算,之后把环境实景视频信息和根据实景影像数据分析计算得来的虚拟信息均送达图像投影装置13投射到汽车外部后视镜的局部镜面。典型应用场景如,行人或其他障碍物体靠近车身或通过预测其移动轨迹接近或穿入车身时,投影界面给出叠加在实物影像上的图文或语音提示。如此,司机可以根据投影图像获得更多的信息,提高驾驶安全性。

以上所述,仅为本发明的最佳实施例而已,并非用于限定本发明的保护范围,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1