一种基于DLP的智能交互解锁系统及方法

一种基于dlp的智能交互解锁系统及方法
技术领域
1.本发明属于本发明涉及投影交互技术领域，尤其是涉及一种车载投影交互组件以及人与车之间的交互技术。


背景技术：

2.随着车辆智能化和互动多媒体技术的发展，人们对人车交互的需求越来越多，要求也越来越高。很多时候，汽车已不单单作为一个交通工具，其功能的智能化，多样化，甚至成为一个移动的办公室或者娱乐室，从而解决了不同人群对汽车的需求，并且适应了现代人高质量、便捷化、智能化生活的要求。
3.近年来，车载信息娱乐和信息通信系统正逐渐成为汽车厂商追捧的热点，越来越多的智能化操作在汽车中得到应用。但现有的车辆，智能系统还不够支持人们特定的需求，人车的交互性较差，车辆解锁智能化不够，例如，车主遗忘或者丢失车钥匙，又或者手机关机无法使用app开车门。此外，人们也不再满足于这些传统方法实现的人车交互，而是需要一种更自然、更具娱乐性的交互方式。
4.因此，如何解决现有技术中的汽车功能性单一，交互性能较差，客户的体验感较差、交互的新颖性不足成为本领域技术人员亟待解决的技术问题。


技术实现要素：

5.为了解决上述技术问题，本发明提供一种基于dlp的智能交互解锁系统及方法。
6.本发明的技术方案：一种基于dlp(dlp是"digital light processing"的缩写，即为数字光处理)的智能交互解锁系统及方法。系统主要包括供电单元、dlp投影单元、信息采集单元、预处理单元、决策融合单元和执行单元。系统开启后，dlp投影单元将解锁界面投影至地面上，用户可脚踩解锁界面来进行交互解锁。信息采集单元负责采集用户的脚部信息，包括类别、速度、位置等，传输至决策融合单元，并与相应投影区域的坐标进行比较后输出对应指令，交由执行单元进行车辆的解锁操作。
7.所述的供电单元负责整个系统的供电，并可以诊断出外接设备电源的短路断路、通讯故障等信息，从而起到保护作用。
8.所述的dlp投影单元，具有自校正功能，保障投影效果不发生畸变。
9.所述的信息采集单元是由短距毫米波雷达和红外相机组成，安装在主驾驶一侧，负责采集用户的交互信息，短距雷达更适用于本系统的检测场景，红外相机的使用滤除了图像的可见光信息，解决了投影仪光线的干扰，为系统的图像处理过程提供了可能，也实现了相机的夜间检测功能。
10.所述的预处理单元和决策融合单元，均属于控制器组件，各组件间通过can通信，当传感器获取脚部数据后，控制器进行信号预处理、数据融合、特征提取、分类识别和控制决策。
11.一种基于dlp的智能交互解锁方法，所述的方法包括：
12.dlp投影单元自校正后，将解锁界面准确投影至相应投影区域的地面上。
13.用户通过脚踩方式人车交互，信号采集单元将检测到的用户脚部数据传递给预处理单元进行解析和滤波处理，然后传输给决策融合单元。
14.决策融合单元在得到毫米波雷达数据和图像数据后，进行时空融合和特征融合，完成两种传感器的坐标系转换和时间维度上的同步对准，以及获取特征信息和有效目标的提取。
15.将速度阈值v
τ
时的脚部位置坐标与解锁界面的相应投影区域坐标进行对比，得出交互结果，并由执行单元进行解锁操作。
16.本发明的有益效果：以本发明提供的技术方案可以通过投影方式将解锁界面投影至地面上，用户通过脚踩相应的投影区域来实现人车交互。系统利用视觉融合雷达技术，在经过信号预处理、数据融合、特征提取、分类识别、控制决策一系列流程后，精准判断出用户脚踩动作对应的交互信息，输出对应指令，执行车辆解锁的操作。解决了现有技术中的汽车功能性单一，交互性能较差，客户的体验感较差、交互的新颖性不足的技术问题，极大地提高了汽车的功能性、交互性、娱乐性，用户的体验感得到较好的提升。
附图说明
17.图1是本发明系统总体框图；
18.图2是本发明系统总体示意图；
19.图3是本发明预处理单元的有效滤波流程图；
20.图4是本发明雷达坐标系与世界坐标系转换示意图；
21.图5是本发明相机坐标系与世界坐标系转换示意图；
22.图6是本发明像素坐标系与图像坐标系转换示意图；
23.图7是本发明融合决策单元的时间融合示意图。
具体实施方式
24.下面我们结合实际的产品原理和附图对本发明的一种基于dlp的智能交互解锁系统详细说明。
25.如图1所示，本发明的一种基于dlp的智能交互解锁系统，包括供电单元、dlp投影单元、信息采集单元、预处理单元、决策融合单元和执行单元。供电单元负责整个系统的供电和电路保护。dlp投影单元，具有自校正功能，负责投影解锁界面。信息采集单元由4d毫米波雷达和红外相机组成，安装在主驾驶一侧，负责采集用户的交互信息。预处理单元和决策融合单元，均属于控制器组件，当传感器获取脚部数据后，由控制器进行信号预处理、数据融合、特征提取、分类识别和控制决策。执行单元在得到相应指令后，负责执行车辆的解锁操作。
26.如图2所示，dlp投影单元自校正后，将解锁界面准确投影至相应投影区域的地面上。用户通过脚踩方式人车交互，信号采集单元将检测到的用户脚部数据传递给预处理单元进行解析和滤波处理，然后传输给决策融合单元。决策融合单元在得到毫米波雷达数据和图像数据后，进行时空融合和特征融合，完成两种传感器的坐标系转换和时间维度上的同步对准，以及获取特征信息和有效目标的提取。最后，将脚部位置坐标与解锁界面的相应
投影区域坐标进行对比，得出交互结果，并由执行单元进行解锁操作。
27.如图3所示，预处理单元根据4d毫米波雷达产品特性以及在实际使用过程中遇到的情况设置毫米波雷达有效目标数据滤波条件，为毫米波雷达有效目标的筛选提供合理的判断规则。滤波程序将根据判断规则，对雷达每个周期内的数据进行预处理，剔除干扰数据。
28.本发明融合决策单元的空间融合主要通过对两种传感器数据的坐标转换来完成，其中包括雷达坐标系与世界坐标系的转换、相机坐标系与世界坐标系的转换、相机坐标系与图像坐标系的转换以及像素坐标系与图像坐标系的转换等。
29.首先是雷达坐标系与世界坐标系的转换，如图4所示，假设毫米波雷达位置为or，毫米波雷达波束发射面为xroryr，毫米波雷达发射波束的方向为zr，该坐标轴方向垂直于毫米波雷达，yr方向垂直于地面向上，xr方向垂直于向右，将o
r-xryrzr确定为毫米波雷达坐标系。o
w-x
wrywzw
确定为世界坐标系，其三个坐标平面分别平行于上述雷达坐标系，坐标轴指向也分别相同。雷达坐标系平面与世界坐标系平面的距离为h，垂直于雷达表面的方向设定为0度方向，顺时针角度为正，逆时针角度为负，假设毫米波雷达探测到脚部目标为p，其径向距离为r，偏航角为α，则其在世界坐标系下的坐标可通如下公式计算得到：
[0030][0031]
相机坐标系与世界坐标系的转换如图5所示，o
w-x
wywzw
是世界坐标，o
c-xcyczc是相机坐标系，坐标系原点oc是相机的镜头中心，zc是相机的光轴，垂直穿过成像平面xo1y，与成像平面的交点为o1。
[0032]
相机坐标系与世界坐标系之间的转换关系可以用旋转矩阵r和平移向量t来表示，对于三维空间中的一点p，其在世界坐标系和相机坐标系中的坐标分别为(xw,yw,zw)和(xc,yc,zc)，它们之间存在如下关系：
[0033][0034]
相机坐标系与图像坐标系的转换，设相机坐标系中的一点p(xc,yc,zc)，在成像平面中的投影点则为p’，在图像坐标系中的坐标为(x,y)，p’点就是p点与相机光心oc的连线ocp与成像平面xo1y的交点。根据小孔成像的原理，p点和p’点存在相似关系，根据相似原理可得：
[0035][0036]
其中，f是相机的焦距，将上式转化为矩阵形式进行表示，即相机坐标系到图像坐标系的转换如下：
[0037][0038]
图像坐标系到像素坐标系的转换如图6所示，在成像平面上以左上角为原点建立以像素为单位的像素坐标系uo0v，坐标轴o0u、o0v分别与图像坐标系中的坐标轴o1x、o1y平行，对于图像上的每一个像素点，其横坐标u代表该像素在图像数组中所在的列数，纵坐标v代表所在的行数，单位是像素单位，需将像素单位与物理单位进行联系，使用d
x
和dy分别表示每个像素在横轴x与纵轴y上的物理尺寸，图像坐标系中的原点o1在像素坐标系中的坐标为(u0,v0)，则图像中的每个像素在像素坐标系uo0v中的坐标与在图像坐标系xo1y中的坐标之间存在如下的关系：
[0039][0040]
用矩阵形式进行表示为：
[0041][0042]
如图7所示，本发明所选用的毫米波雷达的采样频率为20hz，摄像头的采样帧速率为30fps。由于两种传感器的采样速率不一致，需要对其采用多线程时间同步的方法以获取同一时刻的环境信息，选用两种传感器采样周期的最小公倍数作为系统的采样周期，即传感器融合系统的采样周期为100ms。