拼接屏的显示单元信息的获取方法及装置与流程

本申请涉及显示技术领域。更具体地，涉及一种拼接屏的显示单元信息的获取方法及装置。

背景技术：

目前，现有的拼接显示技术主要是采用矩阵式拼接，利用多个同型号(意味着尺寸相同)的矩形显示单元拼接为一个大尺寸显示的矩形拼接屏。现有的拼接显示技术中，各显示单元具有很高的安装定位精度，显示单元之间的拼缝尺寸受到严格控制，因此视频信号可以基于矩形拼接的等分模式实现分割。由于显示单元的视频输入相互独立，拼接屏的整体显示控制由拼接控制器来实现，拼接控制器最主要的功能为将输入的整体视频信号分割为各显示单元对应的区域视频信号。完成这个过程的主要依据是对各显示单元的识别与定位结果。现有的矩阵式拼接技术的定位、安装及信号控制都需要严格专业的设计，极大限制了用户的设计空间。

随着拼接显示技术被更广泛地应用到展示展览等领域，用户对拼接显示的灵活性产生了更高的要求，例如：需要布置非矩形的拼接屏；各显示单元不在具有对齐关系而是可以旋转；显示单元型号多样化，采用不同形状、不同尺寸的显示单元等等。这些场景大幅提高了显示单元的识别与定位的复杂度，从而提高了拼接屏配置的复杂度，难以通过现有的拼接显示技术实现。

技术实现要素：

本申请的目的在于提供一种拼接屏的显示单元信息的获取方法及装置，以解决现有技术存在的问题中的至少一个。

为达到上述目的，本申请采用下述技术方案：

本申请第一方面提供一种拼接屏的显示单元信息的获取方法，包括：

拼接屏的各显示单元分别显示校准图像，所述校准图像包括识别码和至少一个位于预设的位置的定位标记；

采集包含所述各显示单元显示的校准图像的拼接屏图像；

对所述拼接屏图像进行图像识别，以获取各显示单元显示的识别码及显示的定位标记在图像坐标系下的坐标，并根据所述各显示单元显示的定位标记在图像坐标系下的坐标确定各显示单元的空间信息。

在一种可能的实现方式中，所述校准图像包括位于不同预设位置的多个定位标记。

在一种可能的实现方式中，所述位于不同预设位置的多个定位标记包括至少一个与所述多个定位标记中其他定位标记形状不同的主定位标记。

在一种可能的实现方式中，所述多个定位标记均匀分布于显示单元的显示区域边缘位置。

在一种可能的实现方式中，在所述对所述拼接屏图像进行图像识别之前，该方法还包括：

对所述拼接屏图像进行畸变校正。

在一种可能的实现方式中，所述各显示单元的显示平面平行，采集所述拼接屏图像时的成像光轴垂直于所述显示平面。

在一种可能的实现方式中，所述根据所述各显示单元显示的定位标记在图像坐标系下的坐标确定各显示单元的空间信息包括：

对所述拼接屏图像进行透视变换校正，以根据各显示单元显示的定位标记在图像坐标系下的坐标确定各显示单元显示的定位标记在世界坐标系下的坐标；

根据所述各显示单元显示的定位标记在世界坐标系下的坐标确定各显示单元的空间信息。

在一种可能的实现方式中，所述对所述拼接屏图像进行透视变换校正，以根据各显示单元显示的定位标记在图像坐标系下的坐标确定各显示单元显示的定位标记在世界坐标系下的坐标包括：

选取一显示单元为基准显示单元，将所述基准显示单元显示的一定位标记设为世界坐标系原点且设所述基准显示单元的显示平面为世界坐标系的x轴与y轴构成的平面；

根据所述基准显示单元显示的定位标记的预设位置及所述基准显示单元的实际物理尺寸确定所述基准显示单元显示的定位标记在世界坐标系下的坐标，并根据所述基准显示单元显示的定位标记在图像坐标系下的坐标及在世界坐标系下的坐标，确定单应矩阵；

根据所述单应矩阵，将各显示单元显示的定位标记在图像坐标系下的坐标变换为在世界坐标系下的坐标。

在一种可能的实现方式中，所述显示单元的空间信息包括：旋转角度信息和在世界坐标系下的尺寸信息。

在一种可能的实现方式中，该方法还包括：将各显示单元的显示的识别码、显示的定位标记在世界坐标系下的坐标、旋转角度信息和在世界坐标系下的尺寸信息存储于数据表中。

本申请第二方面提供一种拼接屏的显示单元信息的获取装置，用于执行本申请第一方面提供的方法，该装置包括：

图像采集器，用于在拼接屏的各显示单元分别显示校准图像时，采集包含所述各显示单元显示的校准图像的拼接屏图像，其中，所述校准图像包括识别码和至少一个位于预设的位置的定位标记；

信息获取单元，用于对所述拼接屏图像进行图像识别，以获取各显示单元显示的识别码及显示的定位标记在图像坐标系下的坐标，并根据所述各显示单元显示的定位标记在图像坐标系下的坐标确定各显示单元的空间信息。

本申请的有益效果如下：

本申请所述技术方案可精确便捷地对拼接屏中各显示单元进行识别与定位，不仅适用于普通拼接屏，还适用于异形拼接屏及异形显示单元，可提升拼接屏配置的便利性，提升拼接屏中显示单元布置的灵活性。

附图说明

下面结合附图对本申请的具体实施方式作进一步详细的说明。

图1示出本申请实施例提供的拼接屏的显示单元信息的获取方法的流程示意图。

图2示出校准图像的示意图。

图3示出本申请实施例提供的拼接屏的显示单元信息的获取方法应用于普通拼接屏时采集的拼接屏图像的示意图。

图4示出本申请实施例提供的拼接屏的显示单元信息的获取方法应用于异形拼接屏时采集的拼接屏图像的示意图。

图5示出本申请实施例提供的拼接屏的显示单元信息的获取装置的结构示意图。

具体实施方式

为了更清楚地说明本申请，下面结合实施例和附图对本申请做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本申请的保护范围。

如图1所示，本申请一个实施例提供了一种拼接屏的显示单元信息的获取方法，包括如下步骤：

s10、拼接屏的各显示单元分别显示校准图像，所述校准图像包括识别码和至少一个位于预设的位置的定位标记。

在一些实施例中，所述校准图像包括位于不同预设位置的多个定位标记。定位标记越多，后续进行显示单元定位的准确性越能得到保障。

在一些实施例中，所述位于不同预设位置的多个定位标记包括至少一个与所述多个定位标记中其他定位标记形状不同的主定位标记。由此，可提升进行显示单元识别与定位的精确性和效率，避免显示单元较为靠近甚至出现部分重叠时后续识别定位出现误差。

在一些实施例中，所述多个定位标记均匀分布于显示单元的显示区域边缘位置。定位标记均匀分布于显示区域边缘位置有利于后续进行显示单元定位的准确性。

例如，显示单元为矩形显示单元，其显示的校准图像例如图2所示，包括位于矩形图像中间位置的条形码和位于矩形图像的四个角位置的四个定位标记。其中，矩形图像左上角位置的定位标记作为主定位标记，与其余三个定位标记的形状不同。设矩形显示单元的高位h，宽为w，以矩形显示单元的左上角顶点为原点，如图2所示，则，四个定位标记的预设位置为：左上角定位标记的坐标为(x0，y0)，左下角定位标记的坐标为(x3，y3)，右上角定位标记的坐标为(x1，y1)，右下角定位标记的坐标为(x2，y2)，其中，x0＝x3＝0.15w,x1＝x2＝0.85w，y0＝y1＝0.15h，y2＝y3＝0.85h。

再例如，矩形显示单元也可显示的校准图像也可仅包括一个定位标记，或比四个更多的定位标记。可理解的是，不论校准图像包括几个定位标记，每一定位标记都有一预设的位置，或者说，每一定位标记的显示位置都应该是已知的。

再例如，识别码也可为其他类型，例如二维码等，只要能唯一标识出显示单元即可。

对于各显示单元分别显示校准图像的流程，例如，在显示单元出厂时即根据显示单元的唯一序列号生成包含包括唯一条形码和四个定位标记的校准图像，并将校准图像数据固话存储在显示单元的板卡中。在需要拼接屏的各显示单元分别显示校准图像时，通过向各显示单元的控制接口分别发送控制信号，使得各显示单元全屏显示各自存储的校准图像。

本实施例中，显示单元可为矩形显示单元，多个矩形显示单元拼接形成的拼接屏可为如图3所示的矩形拼接屏，也可为如图4所示的异形拼接屏。显示单元也可以为非矩形显示单元，拼接屏也不限定为矩形拼接屏，拼接屏中的各显示单元可以是尺寸不一且形状各异的，显示单元的形状例如圆形、梯形等各种形状，以圆形为例，圆形显示单元显示的校准图像中的主定位标记的位置可预设在水平直径上靠近左端点的位置。可依据场景需求任意选择的不同形状、不同尺寸的显示单元组成拼接屏。

s20、采集包含所述各显示单元显示的校准图像的拼接屏图像。

在一个具体示例中，用于采集包含各显示单元显示的校准图像的拼接屏图像的图像采集器(例如ccd相机)应具有足够的视场角和分辨率，以确保采集时能覆盖所有显示单元显示的校准图像，且采集的拼接屏图像中各显示单元显示的校准图像足够清晰。例如，图像采集器采用小畸变定焦镜头，以防止镜头参数改变对后续的图像处理产生影响。图像采集器在进行图像采集之前需要标定以确定焦距、畸变系数等参数。

在一些实施例中，所述各显示单元的显示平面平行，采集所述拼接屏图像时的成像光轴垂直于所述显示平面。

尽管本实施例作为异形拼接屏的应用方案不再限制各显示单元的平移和旋转，但为了保证后续对显示单元识别与定位的精确性，优选的还是设置各显示单元的显示平面平行，这样，在成像光轴垂直于各显示单元的显示平面时采集拼接屏图像，可实现对于精确性的保障。

s30、对所述拼接屏图像进行图像识别，以获取各显示单元显示的识别码及显示的定位标记在图像坐标系下的坐标，并根据所述各显示单元显示的定位标记在图像坐标系下的坐标确定各显示单元的空间信息。

在一些实施例中，在所述对所述拼接屏图像进行图像识别之前，该方法还包括：

对所述拼接屏图像进行畸变校正。

接续前述示例，可根据在进行图像采集之前对图像采集器的标定结果，对拼接屏图像进行畸变校正，以消除图像采集器内参数导致的径向畸变、切向畸变等。

接续前述示例，对所述拼接屏图像进行图像识别，以获取各显示单元显示的识别码及显示的定位标记在图像坐标系下的坐标包括：

如图3和4所示，由于拼接屏图像中包括多个显示单元显示的条形码拼接模组显示的条形码，因此需要对多个条形码进行分别提取，例如：

使用预先训练得到的例如深度学习网络的条形码检测网络对拼接屏图像中的条形码特征进行检测，得到多个条形码区域；

裁剪出各条形码区域的子图像，分别输入条形码读取程序或条形码读取器，从而获取每一显示单元的序列号；

在各条形码区域的周边分别识别定位标记，获取每一条形码区域周围的四个定位标记在图像坐标系下的坐标p0，p1，p2，p3，并基于定位标记形状的异确定主定位点，由此，可确定四个定位标记分别是左上、左下、右上、右下四个方位中的哪一个，其中，图像坐标系的原点例如可设置为拼接屏图像的左上角；

记录各显示单元的序列号及显示的四个定标记在图像坐标系下的坐标，例如存储在数据表l1中。

在一些实施例中，所述根据所述各显示单元显示的定位标记在图像坐标系下的坐标确定各显示单元的空间信息包括：

对所述拼接屏图像进行透视变换校正，以根据各显示单元显示的定位标记在图像坐标系下的坐标确定各显示单元显示的定位标记在世界坐标系下的坐标；

根据所述各显示单元显示的定位标记在世界坐标系下的坐标确定各显示单元的空间信息。

在一些实施例中，所述对所述拼接屏图像进行透视变换校正，以根据各显示单元显示的定位标记在图像坐标系下的坐标确定各显示单元显示的定位标记在世界坐标系下的坐标包括：

选取一显示单元为基准显示单元，将所述基准显示单元显示的一定位标记设为世界坐标系原点且设所述基准显示单元的显示平面为世界坐标系的x轴与y轴构成的平面；

根据所述基准显示单元显示的定位标记的预设位置及所述基准显示单元的实际物理尺寸确定所述基准显示单元显示的定位标记在世界坐标系下的坐标，并根据所述基准显示单元显示的定位标记在图像坐标系下的坐标及在世界坐标系下的坐标，确定单应矩阵；

根据所述单应矩阵，将各显示单元显示的定位标记在图像坐标系下的坐标变换为在世界坐标系下的坐标。

在一些实施例中，所述显示单元的空间信息包括：旋转角度信息和在世界坐标系下的尺寸信息。

由于在进行图像采集时，成像光轴难以保证绝对垂直于各显示单元的显示平面，在采集时难以避免出现倾斜，因此，拼接屏图像中包含的各显示单元显示的校准图像可能会由图像采集器的外参数引起一定程度的透视变换，因此，直接利用显示单元显示的定位标记在图像坐标系下的坐标进行定位可能存在一定的偏差。此时，可以通过进行对透视变换的校正，保证对显示单元定位的精确性。

接续前述示例，

为了校正透视变换，选取显示单元c作为基准显示单元，例如选取所有显示单元中位于左上角的显示单元作为基准显示单元，将显示单元c的一个定位标记，例如左上角定位标记作为世界坐标系原点，以显示单元c的显示屏幕作为世界坐标系的x轴与y轴构成的平面(z＝0平面)。根据在校准图像中显示单元c显示的四个定位标记的预设位置及显示单元c的实际物理尺寸，确定显示单元c显示的四个定位标记在世界坐标下的坐标wc0，wc1，wc2，wc3。结合前述得到的显示单元c显示的四个定位标记在图像坐标系下的坐标pc0，pc1，pc2，pc3，求出透视变换的单应矩阵h。

例如：

单应性变换定义为从一个平面到另一个平面的投影映射,单应矩阵形式如下:

单应矩阵可以根据四对对应的坐标点求解得到，本示例中，显示单元c显示的四个定位标记在图像坐标系下的坐标pc0，pc1，pc2，pc3对应世界坐标系下的坐标wc0，wc1，wc2，wc3。

在图像坐标系下，设pc0＝(x0`,y0`)，pc1＝(x1`,y1`)，pc2＝(x2`,y2`)，pc3＝(x3`,y3`)；

在世界坐标系下：

由矩形显示单元的高为h，宽为w及四个定位标记的预设位置为：左上角定位标记的坐标为(x0，y0)，左下角定位标记的坐标为(x3，y3)，右上角定位标记的坐标为(x1，y1)，右下角定位标记的坐标为(x2，y2)，其中，x0＝x3＝0.15w，x1＝x2＝0.85w，y0＝y1＝0.15h，y2＝y3＝0.85h可知，wc0＝(0.15w,0.15h)，wc1＝(0.85w,0.15h)，wc2＝(0.85w,0.85h)，wc3＝(0.15w,0.85h)；

则，四对对应的坐标点对有如下对应关系：

根据上述对应关系，即可求解单应矩阵h。

确定单应矩阵h后，基于单应矩阵h将各显示单元显示的定位标记在图像坐标系下的坐标变换为在世界坐标系下的坐标。

例如：

在单应矩阵h已确定的情况下，拼接屏图像中的任意点(x`,y`)可转换为世界坐标系下坐标(wx,wy)：

确定各显示单元显示的四个定位标记在世界坐标系下的坐标后，即可据其计算得到显示单元的实际物理尺寸(例如矩形显示单元的高和宽)及绕世界坐标系z轴的旋转角度。其中，显示单元的实际物理尺寸和绕世界坐标系z轴的旋转角度可分别由四个定位标记在世界坐标系下的坐标的相对位置关系计算得到，可理解的是，若校准图像仅包括一个定位标记，也可根据其与位于预设位置的识别码之间的相对位置关系计算得到旋转角度信息及实际物理尺寸。

至此，已经得到了各显示单元的序列号、左上角定位标记在世界坐标系下的坐标、实际物理尺寸(在世界坐标系下的尺寸)及绕世界坐标系z轴的旋转角度，实现了对拼接屏中各显示单元的识别与定位，依据这些数据即可以完成拼控系统的自动化配置，可这些信息存储于数据表l1中，以便后续对拼接屏进行配置时使用。

如图5所示，本申请的另一个实施例提供了一种拼接屏的显示单元信息的获取装置，包括：

图像采集器100，用于在拼接屏的各显示单元分别显示校准图像时，采集包含所述各显示单元显示的校准图像的拼接屏图像，其中，所述校准图像包括识别码和至少一个位于预设的位置的定位标记；

信息获取单元300，用于对所述拼接屏图像进行图像识别，以获取各显示单元显示的识别码及显示的定位标记在图像坐标系下的坐标，并根据所述各显示单元显示的定位标记在图像坐标系下的坐标确定各显示单元的空间信息。

在一些实施例中，所述校准图像包括位于不同预设位置的多个定位标记。

在一些实施例中，所述位于不同预设位置的多个定位标记包括至少一个与所述多个定位标记中其他定位标记形状不同的主定位标记。

在一些实施例中，所述多个定位标记均匀分布于显示单元的显示区域边缘位置。

在一些实施例中，如图5所示，该装置还包括：畸变校正单元200，用于对所述图像采集器100采集的拼接屏图像进行畸变校正。

在一个具体示例中，畸变校正单元200和信息获取单元300可设置于拼接控制器中，图像采集器100与畸变校正单元200通过网络进行通信，该网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

在一些实施例中，所述各显示单元的显示平面平行，所述图像采集器100采集所述拼接屏图像时的成像光轴垂直于所述显示平面。

在一些实施例中，所述信息获取单元300，用于根据所述各显示单元显示的定位标记在图像坐标系下的坐标确定各显示单元的空间信息包括：

所述信息获取单元300，用于：

对所述拼接屏图像进行透视变换校正，以根据各显示单元显示的定位标记在图像坐标系下的坐标确定各显示单元显示的定位标记在世界坐标系下的坐标；

根据所述各显示单元显示的定位标记在世界坐标系下的坐标确定各显示单元的空间信息。

在一些实施例中，所述信息获取单元300，用于对所述拼接屏图像进行透视变换校正，以根据各显示单元显示的定位标记在图像坐标系下的坐标确定各显示单元显示的定位标记在世界坐标系下的坐标包括：

所述信息获取单元300，用于：

选取一显示单元为基准显示单元，将所述基准显示单元显示的一定位标记设为世界坐标系原点且设所述基准显示单元的显示平面为世界坐标系的x轴与y轴构成的平面；

根据所述基准显示单元显示的定位标记的预设位置及所述基准显示单元的实际物理尺寸确定所述基准显示单元显示的定位标记在世界坐标系下的坐标，并根据所述基准显示单元显示的定位标记在图像坐标系下的坐标及在世界坐标系下的坐标，确定单应矩阵；

根据所述单应矩阵，将各显示单元显示的定位标记在图像坐标系下的坐标变换为在世界坐标系下的坐标。

在一些实施例中，所述显示单元的空间信息包括：旋转角度信息和在世界坐标系下的尺寸信息。

在一些实施例中，如图5所示，该装置还包括存储单元400，用于以数据表的形式存储各显示单元的显示的识别码、显示的定位标记在世界坐标系下的坐标、旋转角度信息和在世界坐标系下的尺寸信息。

需要说明的是，本实施例提供的拼接屏的显示单元信息的获取装置的原理及工作流程与拼接屏的显示单元信息的获取方法相似，相关之处可以参照上述说明，在此不再赘述。

在本申请的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

还需要说明的是，在本申请的描述中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

显然，本申请的上述实施例仅仅是为清楚地说明本申请所作的举例，而并非是对本申请的实施方式的限定，对于本领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本申请的技术方案所引伸出的显而易见的变化或变动仍处于本申请的保护范围之列。