用于提供用于从图像传感器读出的像素值的方法和装置与流程

本文的实施例涉及用于提供从图像传感器读出的像素值，特别是作为基于光三角测量的物体的3d成像的一部分的从物体反射的光的曝光得到的像素值的方法和装置。

背景技术：

1、用于工厂和物流自动化的工业视觉相机和系统可以基于三维(3d)机器视觉，其中拍摄场景和/或物体的3d图像。3d图像是指还包括“高度”或“深度”信息的图像，而不包括或至少不仅包括关于如常规图像中的仅二维(2d)像素的信息(例如强度和/或颜色)。即，图像的每个像素可以包括与像素的位置相关联的信息，并且该信息映射到已经被成像的东西(例如物体)的位置。然后可以应用处理以从3d图像提取关于物体的特性(即物体的3d特性)的信息，并且例如转换为各种3d图像格式。关于高度的这样的信息可以被称为范围(range)数据，其中范围数据因此可以对应于来自被成像的物体的高度测量的数据，或者换言之，来自物体的范围或距离测量的数据。可替换地或附加地，像素可以包括关于例如材料属性的信息，例如与成像区域中的光的散射或特定波长的光的反射相关的信息。

2、因此，像素值可以例如与像素的强度和/或与范围数据和/或与材料属性相关。

3、当例如通过具有被配置为感测和提供图像数据的传感器的相机一次一条线地扫描或提供图像的图像数据时，产生线扫描图像数据，一次一条线的像素。线扫描图像的特殊情况是通过所谓的“光片(sheet of light)”(例如激光线、3d三角测量)提供的图像数据。激光通常是优选的，但是也可以使用能够提供“光片”的其它光源，例如能够提供保持聚焦并且不扩散开太多的光的光源，或者换句话说，“结构化的”光，例如由激光器或发光二极管(led)提供的光。

4、3d机器视觉系统通常基于这种光片三角测量。在这种系统中，存在利用特定光图案照射物体的光源，诸如作为特定光图案的光片，例如导致物体上的光或激光线，并且沿着该线可以捕获对应于物体的轮廓的物体的3d特性。通过利用这样的线扫描物体，即执行涉及线和/或物体的移动的线扫描，可以捕获对应于多个轮廓的整个物体的3d特性。

5、使用光片用于三角测量的3d机器视觉系统或设备可以被称为基于光或光片三角测量(或者当使用激光时，简单地激光三角测量)的3d成像的系统或设备。

6、通常，为了基于光三角测量产生3d图像，来自待成像物体的反射光由相机的图像传感器捕获，并且在图像数据中检测强度峰值。峰值出现在对应于成像物体上具有入射光的地方的位置处，例如对应于从物体反射的激光线的位置处。检测到的峰值在图像中的位置将映射到物体上的导致峰值的光被反射的位置。

7、激光三角测量相机系统，即基于光三角测量的成像系统，将激光线投射到物体上以从目标物体的表面创建高度轮廓。通过相对于所涉及的相机和光源移动物体，可以通过图像捕获关于来自物体的不同部分的高度轮廓的信息，然后利用系统的相关几何性质的知识对该信息进行组合和使用，以产生物体的三维表示，即，提供3d图像数据。该技术可以被描述为当光(通常是激光线)被投射到物体上并被物体反射时，抓取光的图像，然后在图像中提取反射激光线的位置。这通常通过例如使用常规峰值寻找算法识别图像帧中的强度峰值的位置来实现。通常但不是必须地，成像系统被设置成使得与反射光相关的强度峰值应当按传感器的列出现并被预期，并且列内的位置映射到高度或深度。

8、峰值寻找算法通常在数字域中操作，并且目的是寻找峰值的光分布的中心位置并且以亚像素分辨率。这意味着，首先必须从图像传感器读出具有强度峰值的图像，该图像包括与由对应于图像传感器的像素的传感器元件感测的光相对应的模拟像素值，并且对其进行模数(a/d)转换。传统上，从图像传感器同时读出同一行中的各像素值，即并行读出同一行中的像素，此后并行地对其进行a/d转换，然后进行数字存储和/或处理。当已经读出一行的像素时，执行另一行(例如下一行)的像素的读出等。也就是说，存在对同一行中的像素的并行读出，且顺序地(即，串行地)读出并a/d转换这种像素行。

9、通常希望消除或减少延迟，从而促进或实现来自3d成像系统的更高吞吐量，例如基于光三角测量的3d成像系统可以多快地提供物体的3d图像，和/或能够支持或更好地支持高速或更高速的应用。

10、us 2021/0006738a1公开了一种解决方案，其具有通过使用单独的快速读出通道以低精度快速读出对应于来自图像传感器的整个图像的整个像素阵列而执行的第一读出步骤。读出的图像此后用于计算图像的roi的位置。然后roi的位置被反馈到图像传感器的图像像素阵列以标记在第二读出步骤中被读出作为另一图像的像素。第二读出步骤包括使用另一较慢的读出通道以完全的精度读出roi的像素，因此在该通道上需要读出较少的像素。

技术实现思路

1、鉴于上述内容，本发明的一个目的是提供对现有技术的一个或多个改进或替代，以例如减少在3d成像系统和/或图像传感器(特别是基于或用于基于激光三角测量的3d成像的3d成像系统和/或图像传感器)的操作中涉及的延迟。

2、根据本文实施例的第一方面，该目的通过一种由一个或多个设备(即，(一个或多个)设备)执行的用于提供用于从图像传感器的至少像素区域读出的像素值的方法来实现。所述设备获得指示阈值像素值和与像素数量对应的最大值处或周围的窗口wam宽度的信息。该设备曝光图像传感器的至少所述区域的像素，由此曝光的像素分别获得与曝光期间的感测光相对应的模拟像素值。该设备识别所述区域的相应图像传感器列中的一个或多个像素的相应像素组，所述相应像素组的模拟像素值在所述曝光期间在所述相应列中首先达到或超过所述阈值像素值。此外，该设备将所述识别的相应像素组与所述区域的所述相应图像传感器列中的相应wam的相应特定wam位置相关联，并且所述相应wam具有所述wam宽度，由此所述相应wam在相应列中识别与覆盖所识别的相应像素组和相邻像素的所述wam宽度对应的多个像素。此外，所述设备针对每个wam位置的并行读出并且基于所述曝光，提供与它们的相应wam中的同一wam位置相关联的像素的像素值。

3、根据本文实施例的第二方面，该目的通过用于提供用于从图像传感器的至少像素区域读出的像素值的一个或多个设备(即，设备)来实现。所述设备被配置为获得指示阈值像素值和与像素数量对应的wam宽度的信息。所述设备被配置为曝光图像传感器的至少所述区域的像素，由此曝光的像素分别获得与曝光期间的感测光相对应的模拟像素值。所述设备被配置为识别所述区域的相应图像传感器列中的一个或多个像素的相应像素组，所述相应像素组的模拟像素值在所述曝光期间在所述相应列中首先达到或超过所述阈值像素值。此外，所述设备被配置为将所述识别的相应像素组与所述区域的所述相应图像传感器列中的相应wam的相应特定wam位置相关联，并且该相应wam具有所述wam宽度，由此相应wam在相应列中识别与覆盖所识别的相应像素组和相邻像素的所述wam宽度对应的多个像素。此外，所述设备被配置为针对每个wam位置的并行读出并且基于所述曝光，提供与它们的相应wam中的同一wam位置相关联的像素的像素值。

4、根据本文实施例的第三方面，该目的通过计算机程序来实现，该计算机程序包括：指令，当由一个或多个设备执行时，所述指令使得这些设备执行根据第一方面的方法；和/或指令，所述指令在由硬件合成设备执行时使得硬件被合成和/或被配置为根据第二方面的一个或多个设备。

5、根据本文实施例的第四方面，该目的通过包含根据第三方面的计算机程序的载体来实现。

6、根据本文实施例的第五方面，该目的通过一种成像系统来实现，该成像系统包括根据第二方面的一个或多个设备以及被配置为利用特定图案的光照射物体的光源，并且其中光源和图像传感器在成像系统中相对于彼此布置，使得特定图案的光在被物体反射时在所述像素被曝光时至少部分地变成图像传感器上的入射光。结果，所述用于读出的像素值包括可转换为关于物体的三维特性的信息的信息，所述三维特性关于物体上反射光并导致所述入射光在图像传感器上的位置。

7、在本文的实施例中，相应wam中的像素位置及相对于相应wam的像素位置因此确定并行提供哪些像素以用于读出，而非常规情况下的实际图像传感器行位置。换句话说，这里读出是相对于相应wam中的位置而不是实际行位置。这样，不需要读出图像传感器或区域的所有行的像素，或者读出覆盖所有列的wam所需的所有行的像素。因此，与传统上如何处理这一点相比，可以减少为获得覆盖所有wam的相关像素值(即图像数据)而需要执行的读出的数量。因此，能够实现更快的读出和更快的性能。认识到，对于涉及图像传感器的应用，该方法的实现是特别感兴趣的，其中从光强度最大值周围的读出是感兴趣的。这是例如当图像传感器在光(例如激光)三角测量中用作图像传感器时的情况，诸如在基于光三角测量的3d成像中，或者换句话说，当例如图像传感器用作基于光三角测量的3d成像系统的相机的图像传感器时的情况。