车载图像采集系统、控制方法、车辆和存储介质与流程

1.本发明涉及汽车领域，并且更具体地涉及一种车载图像采集系统、用于车载图像采集的控制方法、车辆和存储介质。


背景技术：

2.为了进一步保障驾驶员和乘客的安全性，舱内监控技术应运而生，并且已然成为保护驾驶安全、实现座舱智能化、迈向自动驾驶的必备技术。越来越多的车舱环境同时部署有多个图像采集设备（例如，摄像头）进行图像采集，而这些图像采集设备在图像采集过程中，可能会在某些时间点产生曝光干扰，从而导致无法正常采集图像。
3.目前，解决多个图像采集设备之间相互曝光干扰的方法主要有两种：一种是波分复用方案，也即，将各图像采集设备配置为在不同的波段（例如，850 nm和940 nm）工作，通过滤波技术避免曝光干扰，然而这种方案仍然存在红曝问题的可能；另一种是时分复用方案，也即，将各图像采集设备的曝光时间完全错开，这种方案的缺点是会限制曝光时间并降低出图帧率。


技术实现要素：

4.按照本发明的一个方面，提供了一种车载图像采集系统，包括：第一模块，其包括第一图像采集单元和用于所述第一图像采集单元的第一补光单元；第二模块，其包括第二图像采集单元和用于所述第二图像采集单元的第二补光单元；以及控制单元，其配置成：接收来自所述第一图像采集单元的第一驱动信号和来自所述第二图像采集单元的第二驱动信号；对所述第一驱动信号和所述第二驱动信号进行逻辑或运算，以生成第三驱动信号；以及利用所述第三驱动信号驱动所述第一补光单元和所述第二补光单元，其中所述第一补光单元和所述第二补光单元根据所述第三驱动信号同时开启或关闭。
5.作为以上方案的替代或补充，在根据本发明一实施例的系统中，控制单元进一步配置成利用帧同步信号触发所述第一图像采集单元和所述第二图像采集单元，其中所述帧同步信号用于对所述第一图像采集单元和所述第二图像采集单元的帧开始时间进行同步。
6.作为以上方案的替代或补充，在根据本发明一实施例的系统中，所述第一图像采集单元配置成至少基于所述帧同步信号和所述第一图像采集单元的第一曝光时间生成所述第一驱动信号，其中所述第一驱动信号在当前帧的第一像素行的开始曝光时刻至最后像素行的结束曝光时刻期间为高电平。
7.作为以上方案的替代或补充，在根据本发明一实施例的系统中，所述第二图像采集单元配置成至少基于所述帧同步信号和所述第二图像采集单元的第二曝光时间生成所述第二驱动信号，其中所述第二驱动信号在当前帧的像素行的开始曝光时刻至结束曝光时刻期间为高电平。
8.作为以上方案的替代或补充，在根据本发明一实施例的系统中，所述第一补光单元和所述第二补光单元配置成：在所述第三驱动信号为高电平时进行补光；以及在所述第
三驱动信号为低电平时不进行补光。
9.作为以上方案的替代或补充，在根据本发明一实施例的系统中，所述第一图像采集单元的曝光方式为卷帘式曝光，并且所述第二图像采集单元的曝光方式为全局式曝光。
10.作为以上方案的替代或补充，在根据本发明一实施例的系统中，所述第一模块和所述第二模块部署在同一车舱环境中。
11.按照本发明的另一个方面，提供了一种用于车载图像采集的控制方法，包括下列步骤：a、接收来自第一图像采集单元的第一驱动信号和来自第二图像采集单元的第二驱动信号；b、对所述第一驱动信号和所述第二驱动信号进行逻辑或运算，以生成第三驱动信号；以及c、利用所述第三驱动信号驱动用于所述第一图像采集单元的第一补光单元和用于所述第二图像采集单元的第二补光单元，其中所述第一补光单元和所述第二补光单元根据所述第三驱动信号同时开启或关闭。
12.作为以上方案的替代或补充，根据本发明一实施例的方法还包括：d、利用帧同步信号触发所述第一图像采集单元和所述第二图像采集单元，其中所述帧同步信号用于对所述第一图像采集单元和所述第二图像采集单元的帧开始时间进行同步。
13.作为以上方案的替代或补充，根据本发明一实施例的方法还包括：e1、至少基于所述帧同步信号和所述第一图像采集单元的第一曝光时间生成所述第一驱动信号，其中所述第一驱动信号在所述第一图像采集单元的当前帧的第一像素行的开始曝光时刻至最后像素行的结束曝光时刻期间为高电平；和/或e2、至少基于所述帧同步信号和所述第二图像采集单元的第二曝光时间生成所述第二驱动信号，其中所述第二驱动信号在所述第二图像采集单元的当前帧的像素行的开始曝光时刻至结束曝光时刻期间为高电平。
14.作为以上方案的替代或补充，在根据本发明一实施例的方法中，在步骤c中，所述第一补光单元和所述第二补光单元根据所述第三驱动信号同时开启或关闭包括：所述第一补光单元和所述第二补光单元在所述第三驱动信号为高电平时进行补光，并在所述第三驱动信号为低电平时不进行补光。
15.按照本发明的又一个方面，提供了一种车辆，所述车辆包括：根据本发明一个方面的任一实施例所述的车载图像采集系统。
16.按照本发明的再一个方面，提供一种计算机可读存储介质，其上存储有可由处理器执行的程序指令，所述程序指令在由所述处理器执行时，执行根据本发明一个方面的任一实施例所述的方法。
17.一方面，本发明提出的用于车载图像采集的方案通过对用于各图像采集设备（例如，第一图像采集单元和第二图像采集单元）的补光灯（例如，第一补光单元和第二补光单元）的驱动信号（例如，第一驱动信号和第二驱动信号）进行逻辑或运算，使得各补光亮开始亮起的时刻为各图像采集设备的开始曝光时刻中的较小值，各补光亮关闭的时刻为各图像采集设备的结束曝光时刻中的较大值，从而保证各图像采集设备的补光灯同步亮起和同步熄灭。与时分复用方案相比，该方案不会受曝光时间和相机帧率的限制，同时不会受后端图像信号处理能力的限制。
18.另一方面，在按照本发明的一个或多个实施例的用于车载图像采集的方案中，利用同一个同步信号对各图像采集设备进行触发，从而保证各图像采集设备同步输出并进一步降低了上述各图像采集设备之间的曝光干扰。
附图说明
19.本发明的上述和/或其它方面和优点将通过以下结合附图的各个方面的描述变得更加清晰和更容易理解，附图中相同或相似的单元采用相同的标号表示。附图包括：图1示出了根据本发明的一个实施例的车载图像采集系统10的示意性框图；图2示出了根据本发明的一个实施例的卷帘式曝光方式的示意图；图3示出了根据本发明的一个实施例的全局式曝光方式的示意图；图4示出了根据本发明的一个实施例的第三驱动信号的波形示意图；以及图5示出了根据本发明的一个实施例的用于车载图像系统的控制方法50的示意性流程图。
具体实施方式
20.在本说明书中，参照其中图示了本发明示意性实施例的附图更为全面地说明本发明。但本发明可以按不同形式来实现，而不应解读为仅限于本文给出的各实施例。给出的各实施例旨在使本文的披露全面完整，以将本发明的保护范围更为全面地传达给本领域技术人员。
21.需要说明的是，本文中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述对象在时间、空间、大小等方面的顺序。此外，除非另外特别指明，本文中的术语“包括”、“具备”以及类似表述意在表示不排他的包含。
22.在本说明书中，术语“车辆”或者其它类似的术语包括一般的机动车辆，例如乘用车（包括运动型多用途车、公共汽车、卡车等）、各种商用车等等，并包括混合动力汽车、电动车、插电式混动电动车等。混动动力汽车是一种具有两个或更多个功率源的车辆，例如汽油动力和电动车辆。
23.在本说明书中，术语“图像采集单元”指代诸如相机、镜头、摄像机、摄像头之类的能够获取覆盖范围内的图像或影像信息的设备。需要说明的是，在本文中，相机、镜头、摄像机、摄像头等术语的含义类似，且可以互换使用，本发明对此不做限制。
24.目前，dms（driver monitor system，驾驶员监控系统）相机以及oms（occupant monitor system，舱内乘员监控系统）相机是智能车舱场景中常用的监控设备，并且这两种相机从功能和形态上都是相互独立的。dms相机的曝光方式一般为全局式曝光，其基于红外技术对驾驶员驾驶状态进行检测，并基于检测出的驾驶状态对驾驶员进行监控。oms相机的曝光方式一般为卷帘式曝光，其基于红外技术对舱内成员的乘坐状态进行检测，并基于检测出的乘坐状态对舱内成员进行监控。由于两种相机同时工作时曝光时间不同步，且由于全局式曝光的曝光持续时间短于卷帘式曝光，导致dms相机发出的红外光会对oms相机造成串扰，从而使oms相机出现画面亮度闪烁的问题。
25.在一些相关技术中，为了解决上述曝光干扰，将dms相机的工作波段确定为850 nm，将oms相机工作波段确定为940 nm，从而通过光学滤波技术，降低二者之间的曝光干扰。然而，由于850 nm波段的光源已接近可见光波段（780 nm～400 nm），可能对车内人员造成干扰。此外，850 nm的光源仍然存在红曝的可能性。在另一些相关技术中，将oms相机和dms相机的曝光在时间上完全错开，然而这会限制曝光时间和降低出图帧率有鉴于此，本发明创新地提出一种用于车载图像采集的方案，通过对用于各图像
采集设备（例如，oms相机和dms相机）的补光灯的驱动信号进行逻辑或运算，并利用生成的输出信号（例如，第三驱动信号）驱动各图像采集设备的补光灯，从而实现补光灯的同步亮起和同步熄灭。根据本技术的用于车载图像采集的方案在解决了时分复用方案中所存在的限制相机帧率和曝光时间问题的同时，也避免了波分复用方案中存在的红曝问题。
26.在下文中，将参考附图详细描述根据本发明的各示例性实施例。
27.现在参考图1，根据本发明的一个实施例的车载图像采集系统10的示意性框图。
28.如图1所示，车载图像采集系统10包括第一模块110、第二模块120以及控制单元130，其中，第一模块110包括第一图像采集单元111和第一补光单元112，并且第二模块120包括第二图像采集单元121和第二补光单元122。
29.示例性地，第一图像采集单元111和第二图像采集单元121可以包括但不限于相机、镜头、摄像机、摄像头等能够获取覆盖范围内的图像或影像信息的设备。示例性地，第一图像采集单元111和第二图像采集单元121可以包括图像传感器。
30.可选地，第一模块110和第二模块120可以是搭载于同一图像采集环境的图像采集模块。举例来说，在车舱场景中，第一模块110和第二模块120可以部署在同一车舱内。示例性地，第一模块110和第二模块120在物理上彼此独立。
31.可选地，第一图像采集单元111和第二图像采集单元121可以具有不同的曝光方式。举例来说，第一图像采集单元111的曝光方式为卷帘式曝光，而第二图像采集单元121的曝光方式为全局式曝光；或者，第一图像采集单元111的曝光方式为全局式曝光，而第二图像采集单元121的曝光方式为卷帘式曝光。
32.可选地，第一图像采集单元111可以是用于座舱监控的摄像头，而第二图像采集单元121可以是用于驾驶员监控的摄像头。举例来说，第一图像采集单元111可以是具有卷帘式曝光方式的oms相机，而第二图像采集单元121可以是具有全局式曝光方式的dms相机。
33.示例性地，车载图像采集系统10中的控制单元130可以与第一模块110和第二模块120一起搭载于同一图像采集环境。举例来说，在车舱场景中，控制单元130、第一模块110和第二模块120可以部署在同一车舱内。
34.示例性地，控制单元130也可以集成在第一模块110和/或第二模块120中，或布置在与第一模块110和第二模块120通信地耦合的外部设备中。
35.可选地，控制单元130可以配置成利用帧同步信号触发第一图像采集单元111和第二图像采集单元121，其中帧同步信号用于对第一图像采集单元111和第二图像采集单元121的帧开始时间进行同步。
36.相较于现有技术方案中将不同的曝光同步信号直接输出各图像采集设备的控制端，来实现补光灯亮起的时间与图像采集设备（例如，图像传感器）的曝光保持同步，按照本发明的利用同一个帧同步信号驱动各图像采集设备的方案能够帮助实现各补光灯同步亮起和熄灭，从而解决红外串扰问题。示例性地，该帧同步信号可以是来自车载图像采集系统10外部的控制信号。
37.可选地，在接收到来自控制单元130的帧同步信号之后，第一图像采集单元111可以至少基于该帧同步信号和第一图像采集单元111的第一曝光时间生成第一驱动信号；并且，第二图像采集单元121可以至少基于帧同步信号和第二图像采集单元121的第二曝光时间生成第二驱动信号。
38.下面参考图2，以具有卷帘式曝光方式的oms相机为例对第一图像采集单元111生成第一驱动信号的过程进行描述。
39.如图2所示，具有卷帘式曝光方式的第一图像采集单元（例如，图1中的第一图像采集单元111）的曝光是逐行进行的，也即，其像素不是同时曝光，而是同一行上的像素同时曝光，不同行的曝光起始时间是不同的。
40.需要注意的是，第一图像采集单元在接收到帧同步信号后可以立即进行曝光，也可以延迟一段时间进行曝光，本发明对此不做限定。
41.在图2中，第一像素行最先开始曝光并最先结束曝光，后面的像素行的开始曝光时间和结束曝光时间均比前一行略有延迟，相互有交迭，每一像素行的曝光时间可以是相同的，像素行之间的延迟可以是不变的。如图2所示，第一像素行的开始曝光时间为t1，结束曝光时间为t2；最后像素行的开始曝光时间为t
n-1
，结束曝光时间为tn。
42.如前所述，在接收帧同步信号之后，第一图像采集单元可以至少基于该帧同步信号和第一图像采集单元的第一曝光时间生成第一驱动信号。示例性地，第一驱动信号在当前帧的第一像素行的开始曝光时刻t1至最后像素行的结束曝光时刻tn期间为高电平，在当前帧的剩余时刻为低电平。
43.下面继续参考图3，以具有全局式曝光方式的dms相机为例对第二图像采集单元121生成第二驱动信号的过程进行描述。
44.如图3所示，具有全局式曝光方式的第二图像采集单元（例如，图1中的第二图像采集单元121）的曝光是同时进行的，也即，针对一帧图像的曝光过程为整体曝光。
45.需要注意的是，第二图像采集单元在接收到帧同步信号后可以立即进行曝光，也可以延迟一段时间进行曝光，本发明对此不做限定。
46.在图3中，所有像素行的开始曝光时间都为ta，结束曝光时间为t
b。
如前所述，在接收帧同步信号之后，第二图像采集单元可以至少基于该帧同步信号和第二图像采集单元的第二曝光时间生成第一驱动信号。示例性地，第二驱动信号在当前帧的所有像素行的开始曝光时刻ta至结束曝光时刻tb期间为高电平，在当前帧的剩余时刻为低电平。
47.下面回到图1，第一图像采集单元111在生成第一驱动信号之后将其传送到控制单元130，同样地，第二图像采集单元121在生成第二驱动信号之后也将其传送到控制单元130。控制单元130在接收到第一驱动信号和第二驱动信号之后，对第一驱动信号和第二驱动信号进行逻辑或运算并生成第三驱动信号。
48.图4示例性地示出了第三驱动信号的波形图。如图4所示，第三驱动信号的上升沿时刻对应于当前帧中的第一驱动信号和第二驱动信号中上升沿时刻的较小值，第三驱动信号的下降沿时刻对应于当前帧中的第一驱动信号和第二驱动信号中下降沿时刻的较大值。
49.控制单元130将生成的第三驱动信号传送至第一模块110中的第一补光单元112，以用于驱动第一补光单元112对第一图像采集单元111进行补光。同时，控制单元130将生成的第三驱动信号同步传送至第二模块120中的第二补光单元122，以用于驱动第二补光单元122对第二图像采集单元121进行补光。
50.可选地，第一补光单元112和第二补光单元122可以配置成：在第三驱动信号为高电平时进行补光；以及在第三驱动信号为低电平时不进行补光。以这种方式，第一补光单元112和第二补光单元122能够实现同时开启和关闭，从而解决了第一图像采集单元111和第
二图像采集单元121之间的曝光干扰问题。
51.继续参考图5，图5为按照本发明一个实施例的用于车载图像系统的控制方法50的示意性流程图。该车载图像系统可以是图1中所示的车载图像系统10。
52.在步骤s510中，接收来自第一图像采集单元的第一驱动信号和来自第二图像采集单元的第二驱动信号。
53.在步骤s520中，对第一驱动信号和第二驱动信号进行逻辑或运算，以生成第三驱动信号；以及在步骤s530中，利用第三驱动信号驱动用于第一图像采集单元的第一补光单元和用于第二图像采集单元的第二补光单元，其中第一补光单元和第二补光单元根据第三驱动信号同时开启或关闭。其中，第一补光单元和第二补光单元根据第三驱动信号同时开启或关闭包括：第一补光单元和第二补光单元在第三驱动信号为高电平时进行补光，并在第三驱动信号为低电平时不进行补光。
54.可选地，在步骤s540中，利用帧同步信号触发第一图像采集单元和第二图像采集单元，其中帧同步信号用于对第一图像采集单元和第二图像采集单元的帧开始时间进行同步。
55.可选地，在步骤s550中，至少基于帧同步信号和第一图像采集单元的第一曝光时间生成第一驱动信号，其中第一驱动信号在第一图像采集单元的当前帧的第一像素行的开始曝光时刻至最后像素行的结束曝光时刻期间为高电平；和/或至少基于帧同步信号和第二图像采集单元的第二曝光时间生成第二驱动信号，其中第二驱动信号在第二图像采集单元的当前帧的像素行的开始曝光时刻至结束曝光时刻期间为高电平。
56.关于该方法50的详细描述可参考上面关于车载图像采集系统10的描述，对此不再赘述。
57.按照本发明的另一方面，还提供了一种车辆，该车辆包括如图1中所示的系统。
58.按照本发明的另一方面，还提供了一种计算机可读存储介质，其上存储计算机程序，该程序被处理器执行时实现如图5所示的方法。该计算机可读存储介质可以包括随机存取存储器（ram）（诸如同步动态随机存取存储器（sdram））、只读存储器（rom）、非易失性随机存取存储器（nvram）、电可擦除可编程只读存储器（eeprom）、闪存、其他已知的存储介质等。
59.按照本发明的一些实施例，车载图像系统通过对用于各图像采集设备（例如，第一图像采集单元和第二图像采集单元）的补光灯（例如，第一补光单元和第二补光单元）的驱动信号（例如，第一驱动信号和第二驱动信号）进行逻辑或运算，使得各图像采集设备的补光灯同步亮起和同步熄灭，并且该系统不会受曝光时间和相机帧率的限制，同时不会受后端图像信号处理能力的限制。
60.按照本发明的一些实施例，车载图像系统利用同一个同步信号对各图像采集设备进行触发，从而保证各图像采集设备同步输出并进一步降低了上述各图像采集设备之间的曝光干扰。
61.应当理解的是，本发明附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或者在一个或多个硬件模块或集成电路中实现这些功能实体，或者在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
62.还应当理解的是，在一些备选实施例中，前述方法中所包括的功能/步骤可以不按流程图所示的次序来发生。例如，依次示出的两个功能/步骤可以基本同时执行或甚至逆序执行。这具体取决于所涉及的功能/步骤。
63.另外，本领域技术人员容易理解，本发明的上述一个或多个实施例提供的方法可通过计算机程序来实现。例如，当存有该计算机程序的计算机存储介质（例如u盘）与计算机相连时，运行该计算机程序即可执行本发明的一个或多个实施例的方法。
64.以上尽管只对其中一些本发明的实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。