图像生成方法、电子设备和计算机可读存储介质与流程

本技术实施例涉及机器视觉，特别涉及一种图像生成方法、电子设备和计算机可读存储介质。

背景技术：

1、目前，机器视觉技术领域中最具活力的技术分支当属深度感知技术，而散斑结构光视觉技术则是深度感知技术中的重要组成部分，散斑投射器tx可以将调制好的散斑结构光图案投射到目标场景上，而后经由红外镜头rx进行捕捉拍摄得到散斑图。

2、散斑投射器一般由垂直腔表面发射激光器(vertical cavity surface emittinglaser，简称：vcsel)、准直镜组和衍射光学元件(diffractive optical elements，简称：doe)组成，vcsel的表面上通过氧化形成若干个发射器，这些发射器发射出激光后，经过准直镜组准直再进入doe，由doe衍射形成m×n个衍射级次的散斑图案，由于不同衍射级次之间的衍射角度并非线性关系，因此衍射出的散斑图案会出现枕形畸变。

3、本技术的发明人发现，不同类型的doe的衍射性能不同，即使同一类型的不同doe之间的衍射性能也存在一定的差异，如果要对散斑投射器进行系统的改进、升级研究，使用科学、合理的真实散斑图(gt散斑图)至关重要，但业内通常只是选定一个标准doe来作为散斑投射器的doe，通过散斑投射器的投射和红外镜头的捕捉来生成gt散斑图，这样的gt散斑图不够科学、准确、合理。

技术实现思路

1、本技术实施例的目的在于提供一种图像生成方法、电子设备和计算机可读存储介质，可以高效、快速地生成科学、合理的gt散斑图，为散斑投射器的生产、改进提供指导反馈。

2、为解决上述技术问题，本技术的实施例提供了一种图像生成方法，包括以下步骤：基于vcsel与doe之间的位置关系、给定的目标场景、以及散斑投射器与红外镜头之间的位姿关系，建立vcsel坐标系与红外镜头坐标系之间的第一映射关系；基于所述目标场景，建立所述红外镜头坐标系与图像坐标系之间的第二映射关系；根据所述第一映射关系和所述第二映射关系，将所述vcsel上的各发射器映射为所述图像坐标系下的衍射散斑，并根据各所述衍射散斑生成gt散斑图。

3、本技术的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的图像生成方法。

4、本技术的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像生成方法。

5、本技术的实施例提供的图像生成方法、电子设备和计算机可读存储介质，先基于vcsel与doe之间的位置关系、给定的目标场景、以及散斑投射器与红外镜头之间的位姿关系，建立vcsel坐标系与红外镜头坐标系之间的第一映射关系，再基于给定的目标场景，建立红外镜头坐标系与图像坐标系之间的第二映射关系，最后根据第一映射关系和第二映射关系，将vcsel上的各发射器映射为图像坐标系下的衍射散斑，并根据各衍射散斑生成gt散斑图。考虑到任何doe都可能会因制作问题存在一定的缺陷，故基于选定的标准doe来获取gt图像不够科学、准确、合理，基于此，本技术的实施例不使用真实的doe进行衍射，而是结合vcsel与doe之间的位置关系、散斑投射器与红外镜头之间的位置关系、以及给定的目标场景，建立vcsel上的发射器与图像坐标系下的散斑图的对应关系，将vcsel上的发射器模拟衍射为图像坐标系下的衍射散斑，从而高效、快速地生成科学、合理的gt散斑图，为散斑投射器的生产、改进提供指导反馈。

6、另外，所述基于vcsel与doe之间的位置关系、给定的目标场景、以及散斑投射器与红外镜头之间的位姿关系，建立vcsel坐标系与红外镜头坐标系之间的第一映射关系，包括：根据所述vcsel与所述doe之间的位置关系，建立所述vcsel坐标系与doe坐标系之间的第三映射关系；根据所述vcsel的芯片尺寸、预设的焦平面距离、以及所述给定的目标场景，建立所述doe坐标系与散斑投射器坐标系之间的第四映射关系；根据所述散斑投射器与红外镜头之间的位姿关系，建立所述散斑投射器坐标系与所述红外镜头坐标系之间的第五映射关系；根据所述第三映射关系、所述第四映射关系和所述第五映射关系，建立所述第一映射关系。在实际衍射过程中，vcsel上的发射器先发射激光到doe上，doe将其衍射到目标场景上，在目标场景上的实际散斑点是在散斑投射器坐标系下的，而生成散斑图则需要红外镜头坐标系下的点，因此模拟衍射过程即将vcsel上的发射器逐步地映射到doe坐标系下、目标场景坐标系下(散斑投射器坐标系下)、红外镜头坐标系下，基于此建立第一映射关系，可以很好地提升gt散斑图的生成效率。

7、另外，所述根据所述vcsel与所述doe之间的位置关系，建立所述vcsel坐标系与doe坐标系之间的第三映射关系，包括：获取所述vcsel与所述doe之间的组装误差；其中，所述组装误差包括所述vcsel相对所述doe的旋转角度、以及所述vcsel相对所述doe的倾斜角度；根据所述组装误差，建立所述第三映射关系。散斑投射器中最关键的组件为vcsel和doe，但在散斑投射器组装时，vcsel与doe之间通常会存在一定的组装误差，因此在建立vcsel与doe之间的位置关系时考虑vcsel与doe之间的组装误差，可以很好地贴合散斑投射器内部的实际结构情况，生成的gt散斑图也更加科学、更加准确。

8、另外，所述根据所述vcsel的芯片尺寸、预设的焦平面距离、以及所述给定的目标场景，建立所述doe坐标系与散斑投射器坐标系之间的第四映射关系，包括：根据所述vcsel的芯片尺寸和所述预设的焦平面距离，确定所述vcsel的视场；根据所述vcsel的芯片尺寸、所述vcsel的视场、以及所述预设的焦平面距离，确定各衍射级次对应的出射单位向量；根据所述各衍射级次对应的出射单位向量和所述给定的目标场景，分别建立各衍射级次对应的所述doe坐标系与散斑投射器坐标系之间的第四映射关系。第四映射关系的建立即对doe所进行的工作的模拟，doe会将vcsel投射来的散斑结构光图案进行不同级次的衍射，也就需要分别建立各衍射级次对应的doe坐标系与散斑投射器坐标系之间的第四映射关系，从而进一步提升生成的gt散斑图的准确性。

9、另外，所述基于所述目标场景，建立所述红外镜头坐标系与图像坐标系之间的第二映射关系，包括：获取当前相机的内部参数，所述内部参数包括焦距和主点坐标；根据所述目标场景、所述焦距和所述主点坐标，建立所述红外镜头坐标系与图像坐标系之间的第二映射关系。第二映射关系即模拟红外镜头采集目标场景上的散斑结构光图案的过程，这一模拟依赖小孔成像原理，建立红外镜头坐标系与图像坐标系之间的映射关系来生成gt散斑图，相较于建立散斑投射器坐标系与图像坐标系之间的映射关系来生成散斑图，更加科学、准确。

10、另外，在所述建立所述vcsel坐标系与doe坐标系之间的第三映射关系之后，所述方法还包括：根据所述vcsel上的各发射器与所述doe之间的距离和所述焦平面距离，确定所述各发射器对应的扩大系数；根据所述各发射器对应的扩大系数和所述各发射器的半径，修正所述第三映射关系。使用扩大系数修正模拟衍射的高斯光斑的半径，可以很好地模拟失焦现象，从而使得生成的gt散斑图更加真实。

11、另外，所述根据所述第一映射关系和所述第二映射关系，将所述vcsel上的各发射器映射为所述图像坐标系下的衍射散斑，并根据各所述衍射散斑生成gt散斑图，包括：遍历所述vcsel上的各发射器，依次将当前发射器中的各点作为发射点，并根据所述第一映射关系、所述第二映射关系和所述发射点的坐标，确定所述发射点变换后的坐标；根据预设的取整规则和所述发射点变换后的坐标，得到取整后的坐标；根据所述发射点变换后的坐标和所述取整后的坐标，将所述发射点的亮度值分配给所述取整后的坐标上的点和与所述取整后的坐标上的点相邻的点；其中，所述取整后的坐标上的点和与所述取整后的坐标上的点相邻的点均为衍射散斑点；在各所述发射器遍历完成后，对所述衍射散斑点分配到的亮度值进行累加，确定所述衍射散斑点的最终亮度值，并根据各所述衍射散斑点的最终亮度值生成gt散斑图。在实际衍射过程中，枕形畸变除了会拉伸散斑外，还会带来亮度不均匀的问题，因此通过亮度修正、亮度值插值的方法重新分配亮度值，可以生成更加真实、准确的gt散斑图。