一种图像信号处理方法、系统、计算机设备和存储介质与流程

本申请涉及通信技术领域，特别是涉及一种图像信号处理方法、系统、计算机设备和存储介质。

背景技术：

目前在图像信号采集和处理过程中，主流多目方案使用多个isp采集模块同步采集多目图像传感器数据并进行加工处理。但是，多个isp采集模块同步采集会出现架构功耗相对高、制造成本相对也较高。

另一方面，已有多目使用硬件方式发送同步信号的方案，即设置一路图像传感器工作为主模式，其他图像传感器工作为从模式，然后主控芯片控制输出同步信号给主传感器，主传感器又输出同步信号级联至从传感器。这就必须选取具有同步控制的传感器器件，并且控制端必须占用额外pin脚来做同步控制的功能，这种设计对于设备的工艺要求较高，且功耗同样不低。

技术实现要素：

基于此，有必要针对上述技术问题，提供一种图像信号处理方法、系统、计算机设备和存储介质。

第一方面，本发明实施例提供了一种图像信号处理方法，包括以下步骤：

同步多目图像传感器的传输信号，将所述多目图像传感器之间设置预定相位差；

根据所述预定相对差，对单个isp采集模块进行分时复用模式的设置，利用所述isp采集模块对所述多目图像传感器进行图像信号的切换采集；

根据信号采集时的环境亮度调节所述传输信号的帧率变换。

进一步地，所述同步多目图像传感器的传输信号，将所述多目图像传感器之间设置预定相位差；包括：

暂停isp采集模块的工作，关闭所述多目图像传感器的自动曝光机制，保存当前曝光时间，并暂停所述多目图像传感器的传输信号；

设置所述多目图像传感器的最小曝光时间，根据所述多目图像传感器的数量和所述isp采集模块切换采集的耗时设置预定相位差；

根据所述预定相位差恢复图像传感器的传输信号，并恢复多目当前曝光时间和自动曝光机制。

进一步地，所述根据所述预定相对差，对单个isp采集模块进行分时复用模式的设置，利用所述isp采集模块对所述多目图像传感器进行图像信号的切换采集；包括：

根据所述多目图像传感器对应的isp参数，下载isp参数；

根据所述预定相对差，将所述传输信号和所述isp参数相对应，完成单个isp采集模块对isp的切换；

利用所述isp采集模块对当前指定的图像传感器的传输信号进行采集。

进一步地，所述根据信号采集时的环境亮度调节所述传输信号的帧率；包括：

当信号采集时的环境亮度高时，将所述多目图像传感器的传输信号调节为高帧率相位输出；

当信号采集时的环境亮度低时，将所述多目图像传感器的传输信号调节为低帧率相位输出。

另一方面，本发明实施例还提供了一种图像信号处理系统，包括：

同步执行模块，用于同步多目图像传感器的传输信号，将所述多目图像传感器之间设置预定相位差；

切换采集模块，用于根据所述预定相对差，对单个isp采集模块进行分时复用模式的设置，利用所述isp采集模块对所述多目图像传感器进行图像信号的切换采集；

帧率调节模块，用于根据信号采集时的环境亮度调节所述传输信号的帧率变换。

进一步地，所述同步执行模块包括信号同步单元，所述信号同步单元用于：

暂停isp采集模块的工作，关闭所述多目图像传感器的自动曝光机制，保存当前曝光时间，并暂停所述多目图像传感器的传输信号；

设置所述多目图像传感器的最小曝光时间，根据所述多目图像传感器的数量和所述isp采集模块切换采集的耗时设置预定相位差；

根据所述预定相位差恢复图像传感器的传输信号，并恢复多目当前曝光时间和自动曝光机制。

进一步地，所述切换采集模块包括数据处理单元，所述数据处理单元用于：

根据所述多目图像传感器对应的isp参数，下载isp参数；

根据所述预定相对差，将所述传输信号和所述isp参数相对应，完成单个isp采集模块对isp的切换；

利用所述isp采集模块对当前指定的图像传感器的传输信号进行采集。

进一步地，所述帧率调节模块包括亮度自适应单元，所述亮度自适应单元用于：

当信号采集时的环境亮度高时，将所述多目图像传感器的传输信号调节为高帧率相位输出；

当信号采集时的环境亮度低时，将所述多目图像传感器的传输信号调节为低帧率相位输出。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

同步多目图像传感器的传输信号，将所述多目图像传感器之间设置预定相位差；

根据所述预定相对差，对单个isp采集模块进行分时复用模式的设置，利用所述isp采集模块对所述多目图像传感器进行图像信号的切换采集；

根据信号采集时的环境亮度调节所述传输信号的帧率变换。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

同步多目图像传感器的传输信号，将所述多目图像传感器之间设置预定相位差；

根据所述预定相对差，对单个isp采集模块进行分时复用模式的设置，利用所述isp采集模块对所述多目图像传感器进行图像信号的切换采集；

根据信号采集时的环境亮度调节所述传输信号的帧率变换。

上述图像信号处理方法、系统、计算机设备和存储介质，所述方法包括以下步骤：同步多目图像传感器的传输信号，将所述多目图像传感器之间设置预定相位差；根据所述预定相对差，对单个isp采集模块进行分时复用模式的设置，利用所述isp采集模块对所述多目图像传感器进行图像信号的切换采集；根据信号采集时的环境亮度调节所述传输信号的帧率变换。通过该方法，利用单个isp采集模块对应采集多目图像传感器，因为芯片架构相对简单，发热量就相对较低。此外，多目系统对图像帧率要求不高，且isp采集模块分时复用能满足要求。另一方面，多目图像传感器同步方法适用性更广，一般图像传感器都具有软状态和恢复输出数据的功能，无需大改既可以实现多目图像传感器采集系统。

附图说明

图1是本发明实施例提供的图像信号处理方法的流程示意图；

图2是本发明实施例提供的图像信号同步方法的流程示意图；

图3是本发明实施例提供的图像数据处理方法的流程示意图；

图4是本发明实施例提供的图像信号处理系统的结构框图；

图5为本发明实施例提供的计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在进行图像信号处理过程中，目前都是利用isp(图像信号处理)采集模块进行图像信号的采集，已有方案中无图像传感器控制信号，可以通过软件的方式来实现多目图像数据采集；对于无同步控制或者无主从模式的图像传感器，也可以用软件的方式将这类图像传感器组成多目系统。另外在pin脚有限的资源环境下，可以用软件控制的方式节省pin脚占用，释放pin脚做系统其它用途。

目前市面多目均是多isp采集模块对应采集多目图像传感器，这样会造成系统功耗较高，芯片发热量上升。当个isp采集模块对应采集多目图像传感器，因为芯片架构相对简单，发热量就相对较低。多目系统对图像帧率要求不算特别高，isp采集模块分时复用能满足要求。由于多目图像传感器同步方法适用性更广，一般图像传感器都具有软状态和恢复输出数据的功能。已有的芯片方案无需大改既可以实现多目图像传感器采集系统。通过本实施例多目图像传感器同步的软件方法，算法简单切比较稳定能满足市场需求。

因此，本实施例提供了一种图像信号处理方法，包括以下步骤：

步骤102，同步多目图像传感器的传输信号，将所述多目图像传感器之间设置预定相位差；

步骤104，根据所述预定相对差，对单个isp采集模块进行分时复用模式的设置，利用所述isp采集模块对所述多目图像传感器进行图像信号的切换采集；

步骤106，根据信号采集时的环境亮度调节所述传输信号的帧率变换。

其中，本实施例中所支持的图像传感器无需具有同步控制的功能，也无需占用额外的pin脚。传感器控制总线(一般为i2c总线)是系统必须使用的资源，通过共享这个资源就可以达到同步控制的目的。

具体地，因为是单个isp采集模块应用于采集多目图像传感器，那么isp采集模块需要设置为分时复用方式工作。系统要保证能采集到所有图像传感器输出的所有帧图像，不应该有丢帧采不到的情况。要达到不丢帧的目的则需要合理设计多目时序的相互关系，使得相互之间有适当的相位差。相位差的最小时间就是isp采集模块切换模块的切换时间。要求相位差必须大于等于isp采集模块切换的时间，这样就不会采不到下一个图像传感器的数据。通过该方法，利用单个isp采集模块对应采集多目图像传感器，因为芯片架构相对简单，发热量就相对较低。此外，多目系统对图像帧率要求不高，且isp采集模块分时复用能满足要求。另一方面，多目图像传感器同步方法适用性更广，一般图像传感器都具有软状态和恢复输出数据的功能，无需大改既可以实现多目图像传感器采集系统。

在一个实施例中，如图2所示，在进行图像信号处理过程中，图像信号同步的具体方法包括：

步骤202，暂停isp采集模块的工作，关闭所述多目图像传感器的自动曝光机制，保存当前曝光时间，并暂停所述多目图像传感器的传输信号；

步骤204，设置所述多目图像传感器的最小曝光时间，根据所述多目图像传感器的数量和所述isp采集模块切换采集的耗时设置预定相位差；

步骤206，根据所述预定相位差恢复图像传感器的传输信号，并恢复多目当前曝光时间和自动曝光机制。

具体地，图像信号同步方法可以分为三个主要步骤，分别是暂停信号采集、数据设置和恢复信号采集，详细介绍如下：

暂停信号采集步骤包括：暂停isp采集模块，多目同步过程中图像数据不大稳定所以控制暂停isp采集模块的工作。暂停多目自动曝光机制，系统的自动曝光机制会在亮度变化的过程中自动调整曝光时间大小，本逻辑需要在确定的曝光时间条件下控制，所以关闭系统的自动曝光机制。保存多目当前曝光时间，为了将来快速恢复到合适的曝光时间，保证图像亮度合，所以保留现场环境的曝光时间。暂停多目输出数据，根据图像传感器的设计特点，暂停图像传感器输出数据后方可控制图像传感器在预定的时间点重新开始输出数据。暂停图像传感器的具体操作是发送暂停的控制指令到图像传感器(一般通过i2c总线发送控制指令)。

数据设置步骤包括：设置多目为最小曝光时间，这是为了保证多目图像传感器具有相同的曝光时间，保证控制恢复输出数据的时间尽量短。计算相位关系，根据多目数量和isp采集模块切换采集的耗时决定相位关系。多目数量较多时，相位差就会较小；isp采集模块切换采集的耗时是固定的。相位差必须大于等于isp采集模块切换采集的时间。

暂停信号采集步骤包括：按照相位关系逐步恢复多目自动输出数据，根据上述计算得到相位关系，然后通过延时相位所指的时间后再控制图像传感器自动输出数据。恢复多目当前曝光时间，将上述步骤所保存的当前曝光时间进行恢复，使得图像传感器输出的数据具有合适的亮度。恢复多目自动曝光机制，图像传感器至此已经恢复正常状态所以恢复系统的自动曝光机制。恢复isp采集模块，使得isp采集模块恢复工作，按照分时复用采集多目图像数据。

在一个实施例中，如图3所示，通过isp采集模块对图像信号的进行切换采集，然后进行图像数据处理的过程中，包括：

步骤302，根据所述多目图像传感器对应的isp参数，下载isp参数；

步骤304，根据所述预定相对差，将所述传输信号和所述isp参数相对应，完成单个isp采集模块对isp的切换；

步骤306，利用所述isp采集模块对当前指定的图像传感器的传输信号进行采集。

具体地，多目图像传感器各自对应的isp参数不同，切换采集前必须确保下载对应的isp参数，通过控制使下载后的isp参数有效，即将采集的数据对应这份下载后的isp参数。最后通过控制采集模块使能采集当前指定的图像传感器数据并与当前isp参数对应。

在一个实施例中，所述根据信号采集时的环境亮度调节所述传输信号的帧率；包括：

步骤402，当信号采集时的环境亮度高时，将所述多目图像传感器的传输信号调节为高帧率相位输出；

步骤404，当信号采集时的环境亮度低时，将所述多目图像传感器的传输信号调节为低帧率相位输出。

其中，帧率变换是为了支持客户更好的图像体验。当环境亮度足够时提供较高帧率的图像数据，使得图像更流畅。当环境亮度不足时降低帧率可以设置更长的曝光时间，使得图像亮度更趋合适。具体来说，在图像传感器处于低帧率时的相位关系时，通过图像传感器输出数据的时间较小无数据输出的时间较大。在无数据输出的过程中其他图像传感器输出数据。这种模式下isp采集模块能够采集到所有图像传感器输出的数据。因为这种模式下图像传感器输出数据的周期较大，所以图像的曝光时间就比较大，适合在环境亮度较低的场合使用。在图像传感器处于高帧率的相位关系时，所有图像传感器同时输出数据，单个isp采集模块分时复用轮流采集到各个图像传感器的数据。这种模式下图像传感器输出数据的周期很短，所以图像的曝光时间比较小，适合在环境亮度较高的场合使用。

应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，提供了一种图像信号处理系统，包括：同步执行模块402、切换采集模块404、帧率调节模块406，其中：

同步执行模块402，用于同步多目图像传感器的传输信号，将所述多目图像传感器之间设置预定相位差；

切换采集模块404，用于根据所述预定相对差，对单个isp采集模块进行分时复用模式的设置，利用所述isp采集模块对所述多目图像传感器进行图像信号的切换采集；

帧率调节模块406，用于根据信号采集时的环境亮度调节所述传输信号的帧率变换。

在一个实施例中，如图4所示，所述同步执行模块402包括信号同步单元4022，所述信号同步单元4022用于：暂停isp采集模块的工作，关闭所述多目图像传感器的自动曝光机制，保存当前曝光时间，并暂停所述多目图像传感器的传输信号；设置所述多目图像传感器的最小曝光时间，根据所述多目图像传感器的数量和所述isp采集模块切换采集的耗时设置预定相位差；根据所述预定相位差恢复图像传感器的传输信号，并恢复多目当前曝光时间和自动曝光机制。

在一个实施例中，如图4所示，所述切换采集模块404包括数据处理单元4042，所述数据处理单元4042用于：根据所述多目图像传感器对应的isp参数，下载isp参数；根据所述预定相对差，将所述传输信号和所述isp参数相对应，完成单个isp采集模块对isp的切换；利用所述isp采集模块对当前指定的图像传感器的传输信号进行采集。

在一个实施例中，如图4所示，所述帧率调节模块406包括亮度自适应单元4062，所述亮度自适应单元4062用于：当信号采集时的环境亮度高时，将所述多目图像传感器的传输信号调节为高帧率相位输出；当信号采集时的环境亮度低时，将所述多目图像传感器的传输信号调节为低帧率相位输出。

关于图像信号处理系统的具体限定可以参见上文中对于图像信号处理方法的限定，在此不再赘述。上述图像信号处理系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图5示出了一个实施例中计算机设备的内部结构图。如图5所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现权限异常检测方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行权限异常检测方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：同步多目图像传感器的传输信号，将所述多目图像传感器之间设置预定相位差；根据所述预定相对差，对单个isp采集模块进行分时复用模式的设置，利用所述isp采集模块对所述多目图像传感器进行图像信号的切换采集；根据信号采集时的环境亮度调节所述传输信号的帧率变换。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：暂停isp采集模块的工作，关闭所述多目图像传感器的自动曝光机制，保存当前曝光时间，并暂停所述多目图像传感器的传输信号；设置所述多目图像传感器的最小曝光时间，根据所述多目图像传感器的数量和所述isp采集模块切换采集的耗时设置预定相位差；根据所述预定相位差恢复图像传感器的传输信号，并恢复多目当前曝光时间和自动曝光机制。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据所述多目图像传感器对应的isp参数，下载isp参数；根据所述预定相对差，将所述传输信号和所述isp参数相对应，完成单个isp采集模块对isp的切换；利用所述isp采集模块对当前指定的图像传感器的传输信号进行采集。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：当信号采集时的环境亮度高时，将所述多目图像传感器的传输信号调节为高帧率相位输出；当信号采集时的环境亮度低时，将所述多目图像传感器的传输信号调节为低帧率相位输出。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：同步多目图像传感器的传输信号，将所述多目图像传感器之间设置预定相位差；根据所述预定相对差，对单个isp采集模块进行分时复用模式的设置，利用所述isp采集模块对所述多目图像传感器进行图像信号的切换采集；根据信号采集时的环境亮度调节所述传输信号的帧率变换。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：暂停isp采集模块的工作，关闭所述多目图像传感器的自动曝光机制，保存当前曝光时间，并暂停所述多目图像传感器的传输信号；设置所述多目图像传感器的最小曝光时间，根据所述多目图像传感器的数量和所述isp采集模块切换采集的耗时设置预定相位差；根据所述预定相位差恢复图像传感器的传输信号，并恢复多目当前曝光时间和自动曝光机制。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据所述多目图像传感器对应的isp参数，下载isp参数；根据所述预定相对差，将所述传输信号和所述isp参数相对应，完成单个isp采集模块对isp的切换；利用所述isp采集模块对当前指定的图像传感器的传输信号进行采集。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：当信号采集时的环境亮度高时，将所述多目图像传感器的传输信号调节为高帧率相位输出；当信号采集时的环境亮度低时，将所述多目图像传感器的传输信号调节为低帧率相位输出。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。