一种异构传感器的图像信号处理方法和图像信号处理模块与流程

本发明涉及传感器接口自适应、图像信号处理和芯片架构设计的。本发明具体涉及一种异构传感器的图像信号处理方法和图像信号处理模块。

背景技术：

1、在当前的工业视觉系统中，大多数视觉系统仅涉及单一的可见光传感器，无法解决异构传感器的挑战。然而，越来越多的应用场景需要其他类型的传感器，比如红外或3d传感器，以便视觉系统可以面对各种亮度条件或提供深度信息。

2、异构传感器的光谱带、分辨率甚至帧速率可能有所不同。例如，在低光照或无光环境下，红外传感器能够提供可见光传感器无法获取的关键信息。而3d传感器则可以提供物体的深度信息，使视觉系统能够在更广泛的场景中发挥作用。现有的技术解决方案通常为每种传感器设计独立的isp(image signal processing)图像信号处理模块，该模块分别针对特定类型的传感器进行优化，并通过系统控制逻辑在不同模块之间切换。

3、上述方法不仅增加了系统的复杂性，还导致硬件资源的浪费，特别是在同时处理多种传感器数据时。在isp架构的研究中，大多数的研究关注如何处理不同类型传感器的数据，但很少涉及如何在硬件层面实现多传感器的自适应处理。例如，现代数字图像信号处理器的设计已经在模块化和可扩展性方面取得了一定进展，但在面对不同传感器输入时，依然需要依赖手动切换或预设路径来进行处理。

4、异构传感器的引入带来了新的挑战。这些传感器通常具有不同的光谱带、分辨率、帧速率以及数据格式，传统的图像处理系统难以在同一架构下处理来自不同传感器的数据。这种技术瓶颈主要体现在以下几个方面：

5、首先，异构传感器的接口兼容性：不同类型的传感器通常需要不同的硬件接口，这对芯片的架构设计提出了很高的要求。如果接入每个传感器都需要独立设计接口，不仅增加了硬件资源的消耗，还使得系统的灵活性和可扩展性大大降低。

6、其次，数据处理的多样性和复杂性：可见光、非可见光(如红外)、3d传感器的数据处理需求各不相同。当前的研究和应用主要集中在如何处理这些不同类型的传感器数据上，或者往往只针对单一传感器类型进行优化，无法有效处理多类型传感器的数据，几乎没有涉及到isp的自主选择模块设计。

7、换句话说，现有的系统通常无法根据传感器输入类型自动选择最合适的isp模块进行处理，而是依赖于手动切换或预先设定的路径。这种缺乏自适应能力的设计局限性在多传感器环境下显得尤为突出，这种导致难以实现实时的、自适应的数据处理。

8、再次，实时性与性能的要求：工业应用场景通常对数据处理的实时性和性能要求非常高，传统的多isp模块方案由于需要手动切换或并行处理不同的数据路径，往往在面对高复杂度的数据流时性能不佳，难以满足实际应用的需求。

技术实现思路

1、本发明的目的是提供一种异构传感器的图像信号处理方法和图像信号处理模块，本发明旨在解决多传感器视觉系统中存在的两个主要技术问题：异构传感器的接口兼容性问题和数据处理的多样性与复杂性问题。首先，不同类型的传感器通常需要独立的硬件接口设计，这增加了系统的复杂性和硬件资源的消耗。本发明通过引入多个mipi和lvds接口，并结合自适应接口调度逻辑，智能管理和动态分配接口资源，使得不同类型的传感器能够灵活接入同一系统，从而提高系统的灵活性和扩展性。

2、其次，现有isp架构通常只能针对单一类型传感器进行优化，无法自动选择最优的处理模块，导致在处理多类型传感器数据时缺乏自适应性。本发明从硬件的角度上配置多个isp模块，通过设计isp自主选择机制，使系统能够根据传感器的输入类型自动选择最适合的isp pipeline进行处理，确保数据的高效、实时处理。这种创新设计不仅提高了系统的处理效率，还满足了多传感器并发环境下的复杂工业应用需求。

3、本发明的第一个方面，提供了一种异构传感器的图像信号处理方法，其包括：

4、通过判断当前异构传感器的接口参数检测值，得到当前异构传感器的传感器类型信息。

5、根据传感器类型信息，得到对应的传感器配置参数。根据传感器配置参数驱动当前异构传感器，接收当前异构传感器的输出数据。

6、根据多个设定的待选处理路径，在处理输出数据的特征向量时的效率值，从多个设定的待选处理路径中确定当前异构传感器的处理路径。

7、通过当前异构传感器的处理路径，处理当前异构传感器的图像信号。

8、本发明异构传感器的图像信号处理方法的一种实施方式中，通过判断当前异构传感器的接口参数检测值，从多种设定的异构传感器接口类型中，得到当前异构传感器的传感器类型信息。多种设定的异构传感器接口类型包括：mipi移动行业处理器接口、lvds低电压差分信号接口。

9、本发明异构传感器的图像信号处理方法的另一种实施方式中，接口参数检测值包括：电流值、电压值和/或3d传感器的特定信号参数。

10、本发明异构传感器的图像信号处理方法的另一种实施方式中，传感器配置参数包括：时钟频率、数据速率和接口模式信息。

11、本发明异构传感器的图像信号处理方法的另一种实施方式中，接收当前异构传感器的输出数据包括：通过多上下文管理方式，进行路径选择接收当前异构传感器的输出数据。

12、本发明的第二个方面，提供了一种异构传感器的图像信号处理模块，其包括：多个类型的传感器接插口、多个类型的传感器接口接收单元、自适应接口调度逻辑处理单元和图像信号处理通道单元。多个类型的传感器接插口分别连接多个类型的传感器接口接收单元。

13、多个类型的传感器接口接收单元的数据输出端与自适应接口调度逻辑处理单元的输入端连接。自适应接口调度逻辑处理单元的输出端与图像信号处理通道单元的数据输入端连接。

14、多个类型的传感器接插口能够与多个类型的异构传感器的接口接插。

15、多个类型的传感器接口接收单元，配置为通过多个类型的传感器接插口，读取与之接插的当前异构传感器的传输图形数据。

16、自适应接口调度逻辑处理单元，配置为通过判断当前异构传感器的接口参数检测值，得到当前异构传感器的传感器类型信息。根据传感器类型信息，得到对应的传感器配置参数。根据传感器配置参数驱动当前异构传感器，接收当前异构传感器的输出数据。

17、图像信号处理通道单元，配置为根据多个设定的待选处理路径，在处理输出数据的特征向量时的效率值，从多个设定的待选处理路径中确定当前异构传感器的处理路径。通过当前异构传感器的处理路径，处理当前异构传感器的图像信号。

18、本发明异构传感器的图像信号处理模块的另一种实施方式中，多个类型的传感器接口接收单元中设置接口控制器，配置为控制异构传感器所接收的数据流。

19、自适应接口调度逻辑处理单元，还配置为通过判断当前异构传感器的接口参数检测值，从多种设定的异构传感器接口类型中，得到当前异构传感器的传感器类型信息。

20、多种设定的异构传感器接口类型包括：mipi移动行业处理器接口、lvds低电压差分信号接口。

21、本发明异构传感器的图像信号处理模块的另一种实施方式中，接口参数检测值包括：电流值、电压值和/或3d传感器的特定信号参数。传感器配置参数包括：时钟频率、数据速率和接口模式信息。

22、图像信号处理通道单元中配置，用于处理可见光图像数据的通道、用于处理非可见光图像的通道和用于处理非可见光图像的通道。

23、本发明异构传感器的图像信号处理模块的另一种实施方式中，还包括：上下文管理单元，其配置为连接图像信号处理通道单元的数据输入端。图像信号处理通道单元通过上下文管理单元，从多个类型的传感器接口接收单元接收当前异构传感器的输出数据。

24、异构传感器的图像信号处理模块，还包括：数据压缩单元和数据存储单元。数据压缩单元和数据存储单元配置于图像信号处理通道单元的数据输出端。压缩或存储处理后的当前异构传感器的图像信号。

25、本发明异构传感器的图像信号处理模块的另一种实施方式中，还包括：实时反馈与调优模块，其配置为与图像信号处理通道单元的输出端连接。实时反馈与调优模块配置为，判断当前异构传感器的图像信号是否延迟，若是，则返回到图像信号处理通道单元，图像信号处理通道单元根据多个设定的待选处理路径再次确定当前异构传感器的处理路径。

26、下文将以明确易懂的方式，结合附图对异构传感器的图像信号处理方法和模块的特性、技术特征、优点及其实现方式予以进一步说明。