专利名称：多目相机的制作方法
技术领域：
本实用新型涉及机器人周边设备领域，特别涉及一种多目相机。
背景技术：
多目相机是指具有多个成像单元的相机。目前，很多多目相机都是采用多头独立的方式， 即为了达到实时的测量，采用多个成像单元独立工作，分别同时拍摄，然后分别通过数据接 口传送到PC，通过PC完成各个图像的拼接、合成等处理。图1为现有的多目相机系统，该 多曰相机系统有4个互相独立的成像单元，分别同时拍摄。然后将拍摄获得的图像数据分别 通过4个数据接口 ，这里是Cameralink (相机链路)接口 ，传送到PC去进行处理。在PC中， 相应地，要安装4个Camemlink采集卡，來接收多目相机系统传送来的图像数据。如果选用 其他的接口形式，比如模拟信号的BNC (Bayonet Nut Connector,刺刀螺母连接器)接口， 那么也需要四块模拟信号接收卡。如果是自定义接U的非标准成像单元则会更复杂。
在对现有技术进行分析后，发明人发现这种办法最大的缺点是，由于各个成像单元同 步性不好引起立体测量精确度不够，同时由于每个成像单元都需要使用一个与之相配的数据 接口，在PC中还要相应地安装同样数目的Cameralink采集卡或其它形式的采集卡，给整个 多目相机系统增加了很多成本，同时也极大的加重了 PC机的工作负担。此外，对应于不同 采集形式的图像数据需要安装不同的采集卡，多目相机的兼容性能不够好。
实用新型内容
为了提高测量精度，降低系统成本，本实用新型实施例提供了一种多目相机。所述技术
方案如下
一种多目相机，包括主成像单元、至少一个从成像单元和控制单元，所述控制单元包 括缓存芯片，
其中所述控制单元分别与所述主成像单元和所述从成像单元相连，所述主成像单元通过 所述控制单元与所有所述从成像单元同歩成像，所述控制单元接收所述主成像单元与所有所 述从成像单元的图像数据，通过所述缓存芯片缓存之后将所述图像数据合并。具体地，所述控制单元包括
主成像单元连接器、主成像单元数据解码芯片、数据编码芯片， 各从成像单元连接器、各从成像单元数据解码芯片、各从成像单元数据编码芯片， 以及数据缓存芯片、可编程逻辑阵列；其中，
所述主成像单元连接器与所述主成像单元相连，并通过所述主成像单元数据解码芯片与 所述可编程逻辑阵列相连，将所述主成像单元的图像信号、同歩信号和所述主成像单元的参 数发送到所述可编程逻辑阵列；所述可编程逻辑阵列通过所述主成像单元数据编码芯片与所 述主成像单元相连，通过所述主成像单元数据编码芯片将参数设置信号编码后发送给所述主 成像单元；
所述从成像单元连接器与所述从成像单元连接器相连，并通过所述从成像单元数据解码 芯片与所述可编程逻辑阵列相连，将所述从成像单元的图像信号和所述从成像单元的参数发 送到所述可编程逻辑阵列；所述可编程逻辑阵列通过所述从成像单元数据编码芯片与所述从 成像单元相连，通过所述从成像单元数据编码芯片将参数设置信号、所述同步信号编码后发 送给所述从成像单元；
所述数据缓存芯片与所述可编程逻辑阵列直接互连，用于对通过所述可编程逻辑阵列接 收的所述主从成像单元的每一帧图像数据进行缓存。
其中，所述主成像单元和所述从成像单元同为数字成像单元，或者同为模拟成像单元。 当所述主成像单元和所述从成像单元同为模拟成像单元时，所述多目相机还包括模数转换器， 用于将所述主成像单元和所述从成像单元的模拟图像信号转换为数字信号后，发送给所述控 制单元。
进一步讲，所述多目相机还包括与所述可编程逻辑阵列相连的PC数据接口 。 所述PC数据接口是网络信号转换器以及与之相连的网口。 所述网口是千兆网口。
通过在本实用新型实施例多目相机系统中设置控制单元，可以实现对各个成像单元的控 制以及参数设置，提高了各个成像单元的同步性和整体的测量精度，降低了系统成本，扩展 了应用范围。
图1是现有技术的多目相机系统的示意图2是本实用新型实施例多目相机系统的示意图；图3是本实用新型实施例主相机的系统示意图； 图4是本实用新型实施例从相机的系统示意图； 图5是本实用新型实施例控制单元的框图6是木实用新型实施例主相机图像传感器输出的同歩信号的时序图； 图7是本实用新型实施例从相机图像传感器接收外同歩信号的时序图； 图8足本实用新型实施例控制单元的FPGA采用4倍速传输的时序。
具体实施方式
为使本实用新型的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式 作进一步地详细描述。
图2示出了本实用新型实施例多目相机的系统结构，包括主成像单元1、至少一个从
成像单元2、控制单元3，其中控制单元3分别与主成像单元1和从成像单元2相连。
在本实施例中，以从成像单元2有三个为例进行叙述。这里的主成像单元1以及三个从 成像单元2，它们的内部结构都是相同的。唯一不同的是它们的"地位"不同，它们其中有 一个是"主"，其余的是"从"。所谓的"主-从"就是从成像单元需要跟主成像单元的步调保 持一致。主成像单元与从成像单元可以是数字相机，也可以是模拟相机。当主成像单元和从 成像单元同为模拟相机时，本实施例的多目相机还包括模数转换器，用于将主成像单元和从 成像单元的模拟图像信号转换为数字信号后，发送给控制单元。主从成像单元拥有不同的编 号，因为当需要给各个成像单元设置不同的参数的时候，需要按照编号来区分它们。以下成 像单元简称相机。主相机需要发出同步的信号给其它的三个从相机。如果主相机与从相机都 是数字相机，那么主相机发给其它的三个从相机的同步信号包括行同歩，帧同步和曝光同步 三个信号。主相机发出的这三个信号首先回馈给控制单元，控制单元经过一定的延迟，相移 等操作，再发给从相机。经过这种的同步方式后，可以保证从相机的歩调与主相机一致，进 而保证了4个相机数据源的同歩。如果主相机与从相机都是模拟相机，那么主相机只需要发 出一个同步信号给从相机。
为进一步保证控制单元传送给PC的多路图像保持同步，控制单元中增加了存储芯片， 缓存之后再传给PC。存储芯片确保同步的功能是这样实现的在图像数据的从成像单元传输 到控制单元的过程当中，可能会因为电磁干扰、走线长度不一等问题，造成多路图像之间的 不同步。在增加了存储芯片之后，各路图像先在存储芯片进行缓存，等多路图像都完全到达 之后，主控单元再一起传给PC，这样就保证了多路图像的传输同步。本实施例以主相机与从相机都是数字相机为例进行叙述。
各个相机是从不同的角度对同一个物体进行拍摄的，在同歩的情况下，可以保证PC得 到的图像是在同一时刻对同一个物体在不同的角度拍摄的。多目相机很重要的一个方面是要 实现立体成像。所谓立体成像，就是从不问的角度问时拍摄冋一个物体，这个物体可能是静 止的，也可能是运动的；如果是静止的物体，那么各个拍摄点的同歩要求就比较低，相反， 如果是运动的物体的话，对同歩的要求就很高了 。
主从相机在硬件构成上是一样的，如图3和图4所示，它们只有连到整个系统当中后， 才会有主从之分。这么做的好处是便于使用，四个相机可以随意互换，而不影响使用。下面 详细介绍主从相机的硬件结构。
图像传感器4:是成像系统的重要组成部分，与逻辑控制芯片5互连。在本实施例中， 图像传感器4的所有参数都是通过三态形式的I2C信号来设置的。在给图像传感器提供了电 源以及时钟信号后，图像传感器就会输出图像数据以及相关的同步控制信号。
数据编码芯片7:它分别与逻辑控制芯片5和连接器8相连，用来把图像传感器输出的 数据和行、场有效信号编码成差分形式的编码信号，然后传给连接器8。本实施例采用LVDS 编码芯片BU8254KVT，它输出6路信号X0± X4± ,XCLK± 。采用LVDS信号延长了信号 有效传输的距离，显著增强了信号抵抗共模干扰的能力，同时还可以减少传输过程的信号的 数量。
数据解码芯片6:分别与连接器8和逻辑控制芯片5相连，用来把从连接器8得到的低 电压差分(LVDS)形式的信号转换成低电压TTL ( LVTTL)形式的单端信号，并传输给逻 辑控制芯片5。为了数据传输过程中具有抗干扰性能，高频的时钟信号采用了 LVDS的差分 形式，而图像传感器实际使用的时候一般都需要单端的LVTTL形式，本实施例里使用了 BU8255KVT这个芯片来完成这个工作。
逻辑控制芯片5:这是一片复杂可编程逻辑器件(CPLD， Complex Programmable Logic Device)芯片，用来对数据信号、行场信号、行场反馈信号做逻辑处理，本实施例使用EPM3032。
连接器8:用来连接主成像单元与控制单元或者从成像单元与控制单元。本实施例使用 RJ45，它是一种标准的网口插座。每个连接器8采用两个RJ45来实现， 一个用来传输输入信 号，另一个用来传输输出信号。
虽然主从相机的硬件结构完全一致，可是在接到系统中之后，它们的部分信号流向是不 一样的。以行控制信号、场控制信号和曝光控制信号为例，在主相机中这三个信号是从图像 传感器输出的，而在从相机中，这三个信号是输入图像传感器的。这也是此设计的巧妙之处,充分复用了有限的连线资源。
如果主从成像单元是一些标准接口的数字相机，那么主从成像单元输出的数据将通过一
个转换盒转换成控制单元可接收的信号，之后通过连接器RJ45传给控制单元。
如果主从成像单元输出的是模拟信号，那么模拟信号将通过BNC插座及同轴电缆直接传
向控制单元。在控制单元中，采用独立的模数转换模块对输入的模拟信号数字化，然后送给
现场可编程逻辑门阵列统一处理。
图5示出了本实用新型实施例控制单元的框图。控制单元包括 主相机连接器8、主相机数据解码芯片9、主相机数据编码芯片IO， 各从相机连接器8、各从相机数据解码芯片9、各从相机数据编码芯片10， 可编程逻辑阵列ll，数据缓存芯片13;其中，
主相机连接器8与所述主相机相连，并通过主相机数据解码芯片9将同步信号、图像信 号，比如图像数据、行、场、曝光信号发送到可编程逻辑阵列11;可编程逻辑阵列11通过 主相机数据编码芯片10将参数设置信号编码后发送给主相机；
从相机连接器8与所述从相机相连，并通过从相机数据解码芯片9，将从相机的图像信 号，比如图像数据、行、场、曝光控制信号，和从相机的参数发送到从相机连接器8;通过 从相机数据解码芯片10，可编程逻辑阵列1将参数设置信号、上述同步信号编码后发送给从 相机；
数据存储芯片13与可编程逻辑阵列11互连，用于对通过可编程逻辑阵列11接收的主从 相机的每一帧图像数据进行缓存。
进一步讲，多目相机还包括与所述可编程逻辑阵列11相连的PC数据接口 12。 下面详细介绍控制单元的硬件结构。
连接器8:用来连接主从相机。其中，连接器-A连接的是主相机；连接器-B，C，D连接的 是从相机。该连接器8上面的信号与主从相机中描述的一样。本实施例使用的是标准网口连 接器RJ45。
数据解码芯片9:它分别与连接器8和FPGA 11相连。它的作用与相机中的数据编码芯 片7的作用是相反的，它把数据编码芯片7编码后的差分信号解码成单端的图像数据，然后 传送给FPGA 11 。本实施例使用BU8255KVT。
数据编码芯片10:它分别与连接器8和FPGA 11相连。它把FPGA 11输出的单端形式 的LVTTL转换成LVDS的差分形式，然后传送给连接器8。本实施例使用的是BU8254KVT。
可编程逻辑阵列(FPGA， Field—Programmable Gate Array) 11:它的输入端分别接有数据编码芯片9的输出端、数据缓存芯片13的输出端；它的输出端分别接有PC数据接口 12、 数据编码芯片10的输入端和数据缓存芯片13的输入端。FPGA是整个控制单元的核心，所 有的参数控制、同步以及图像的合并等等都是通过它来完成的。FPGA ll接收数据解码芯片 9传送的图像信号、同歩信号，其中，图像信号包括图像数据、行、场、曝光控制信号，图 像数据先送往数据缓存芯片缓存，等多路图像的一帧数据都完全接收之后，再把图像数据从 存储芯片中取出来，然后把主从相机的图像数据并成一幅图像，通过PC数据接口 12传给PC。 FPGA 11把时钟信号发送给数据编码芯片10，然后通过连接器传到成像单元，成像单元上的 数据解码芯片将时钟信号解码出来供给成像传感器使用。因为多路相机所使用的时钟是同一 个时钟源提供的，这样就在微观上确保了图像信号的同歩。
数据缓存芯片13:把通过可编程逻辑阵列11接收的主从相机的图像数据进行缓存。图 像数据是按照一帧一帧的格式来传输的，当多路图像数据在数据缓存芯片13中都存满一帧之 后，FPGA从数据缓存芯片13中读取这些帧，然后把这些图像数据并成一幅图像，传给PC。
PC数据接口12:它是多目相机系统与PC之间的数据接口。 PC数据接口优选的实施方 式是网络信号转换器以及与之相连的网口。网络信号转换器的作用是把图像数据转换成网络 信号传送出去。本实施例中，网络信号转换器采用iPortPT1000-VB，网口是千兆网口。 iPort PT1000-VB传输图像数据的时候采用的是UDP协议，该协议可以有效的利用带宽，增加有效 载荷，使带宽利用率达到最大。有效图像的传输速率可以达到960Mbps。因为主从相机获得 的图像数据量非常大，这样做的好处是能够提高传输速度，更好地适应多目相机的应用。
在本实施例中，控制单元3的主要作用是负责各个相机的控制和同歩，同时还把来自主 相机、从相机等4个相机的数据进行缓存，之后合并成一幅图像，通过PC数据接口12传输 给PC。
控制单元3负责设置4个相机的各种参数，包括曝光时间，增益等等。控制单元3在接 收到PC送来的控制命令之后，同时或者分时地设置各个相机。由于各个相机是从不同的角 度来对同一个物体成像的，实际所处的环境可能会有很大的差别，所以各个相机的参数设置 会有所不同。所以，控制单元会根据实际情况，决定是同时设置各个相机还是分时的设置。 所谓的同时设置，就是各个相机在同一时刻接收主控单元的参数设置动作；分时设置，就是 有先后次序的设置各个相机，参数可能会有所不同。
为了做到各个相机的同步，控制单元3在以下四方面起到了非常重要的作用 1.时钟信号的同步各个相机使用的时钟信号都是til控制单元发出的，也就是说各个相 机使用的时钟信号是同步的，有固定的相位关系的。这样做，可以在"微观"上保证各个相机的同步。
2. 触发信号的同歩相机工作在触发方式的时候，外部输入的用户触发信号经过控制单 元3去抖动处理后，同时发给各个相机，保证各个相机从同一时刻丌始曝光、成像。这可以 视作"宏观"上的同歩。
3. 相机分为主从模式。主相机中的图像传感器4会输出二个同歩信号帧控制信号 (FCTRL， Frame Control)、行控制信号(LCTRL， Line Control)和曝光控制信号(ECTRL,
Explosure Control)三个信号，这三个信号直接发送到控制单元3，通过控制单元3依次用来 同步从相机图像传感器4的帧、行和曝光，如图6所示。图7所示的是本实用新型实施例从 相机图像传感器4接收外同步信号的时序图。从图7可知，从相机的图像传感器4接收到控 制单元3发过来的同歩信号之后，产生出自己的行场有效信号的时序。从曝光控制信号的上 升沿到帧控制信号的上升沿之间是从相机的图像传感器4的曝光时间。曝光控制信号是由控 制单元3产生的，而从相机接受到的行控制信号，帧控制信号也是经过控制单元3处理后的 信号。
4. 控制单元中的数据缓存芯片确保了控制单元发给PC的多路图像同歩，并且避免了错 帧、丢帧的现象。
控制单元3在接收到各个相机的图像数据之后，先进行缓存，然后把它们拼接成一幅大 图，通过千兆网传输给PC。拼接的方式可以多种多样，只要保证保证控制单元的拼接方式和 PC的解拼方式一致即可。常用的拼接方法是，从左至右把四个图排开，这个最终的大图在水 平方向上的分辨率是单独一个图的4倍。PC在接收到拼接好的图像之后，把它分解成4个独 立的图像用于处理。
需要说明的一点是，本实用新型实施例还可以通过对FPGA的编程，实现各相机由同步 触发改为按照预定的时间间隔异步触发。
本实施例中，FPGA ll在合并图像的时候采用了提高点频和同吋传输两个像素的办法來 实现4倍速的传输。假设图像传感器4输出数据的点频是X，那么FPGA11在输出合并图像 的时钟频率就是2X。图像传感器4在输出数据的时候，是一个像素、 一个像素的按照顺序输 出的，也就是一个时钟周期只输出一个像素；FPGA 11在合并之后是同时传输两个像素。通 过这两个办法，就可以实现把4组图像合并成一个图像，时间与输入图像的时间一样。图8 所示的是FPGA 11采用4倍速传输的时序。
本实用新型主从成像单元既可以是标准接口的数字信号相机，也可以是自定义接口的数 字相机，或者标准模式的模拟信号相机。在采用不同相机的情况下，实际电路的设计有所不同，但最终主控单元传输给PC的接口形式及数据格式都是相同的。
本实用新型实施例的成像单元也可以是工业用摄像头。PC数据接口也可以是Cameralink 接口，这时PC端需要配套使用Cameralink釆集卡。
通过在本实用新型实施例多目相机系统中设置控制单元，接收主成像单元的同歩信号并 将其发送给各从成像单元，可以实现各个成像单元的控制和同歩，降低系统成本。同时控制 单元在接收到各个成像单元的图像数据之后，先进行缓存，当多路图像数据在数据缓存芯片 中都存满一帧之后，再从数据缓存芯片中读取，然后把这些图像数据并成一幅图像传给PC， 进一步提高了各成像中元图像数据的同步性，从而提高了测量精度。
以上所述仅为本实用新型的较佳实施例，并不用以限制本实用新型，凡在本实用新型的 精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实用新型的保护范闱 之内。
权利要求1.一种多目相机，其特征在于，包括主成像单元、至少一个从成像单元和控制单元，所述控制单元包括缓存芯片，其中所述控制单元分别与所述主成像单元和所述从成像单元相连，所述主成像单元通过所述控制单元与所有所述从成像单元同步成像，所述控制单元接收所述主成像单元与所有所述从成像单元的图像数据，通过所述缓存芯片缓存之后将所述图像数据合并。
2. 根据权利要求1所述的多目相机，其特征在于，所述控制单元包括 主成像单元连接器、主成像单元数据解码芯片、数据编码芯片，各从成像单元连接器、各从成像单元数据解码芯片、各从成像单元数据编码芯片， 以及数据缓存芯片、可编程逻辑阵列；其中，所述主成像单元连接器与所述主成像单元相连，并通过所述主成像单元数据解码芯片与 所述可编程逻辑阵列相连，将所述主成像单元的图像信号、同步信号和所述主成像单元的参 数发送到所述可编程逻辑阵列；所述可编程逻辑阵列通过所述主成像单元数据编码芯片与所 述主成像单元相连，通过所述主成像单元数据编码芯片将参数设置信号编码后发送给所述主 成像单元；所述从成像单元连接器与所述从成像单元连接器相连，并通过所述从成像单元数据解码 芯片与所述可编程逻辑阵列相连，将所述从成像单元的图像信号和所述从成像单元的参数发 送到所述可编程逻辑阵列；所述可编程逻辑阵列通过所述从成像单元数据编码芯片与所述从 成像单元相连，通过所述从成像单元数据编码芯片将参数设置信号、所述同步信号编码后发 送给所述从成像单元；所述数据缓存芯片与所述可编程逻辑阵列直接互连，用于对通过所述可编程逻辑阵列接 收的所述主从成像单元的每一帧图像数据进行缓存。
3. 根据权利要求1或2所述的多目相机，其特征在于，所述主成像单元和所述从成像单 元同为数字成像单元，或者同为模拟成像单元。
4. 根据权利要求3所述的多目相机，其特征在于，当所述主成像单元和所述从成像单元 同为模拟成像单元时，所述多目相机还包括模数转换器，用于将所述主成像单元和所述从成像单元的模拟图像信号转换为数字信号后，发送给所述控制单元。
5. 根据权利要求1或2所述的多目相机，其特征在于，所述多目相机还包括与所述可编 程逻辑阵列相连的PC数据接n 。
6. 根据权利要求5所述的多目相机，其特征在于，所述PC数据接口是网络信号转换器 以及与之相连的网口。
7. 根据权利要求6所述的多目相机，其特征在于，所述网口是千兆网口。
专利摘要本实用新型公开了一种多目相机，属于机器人周边设备领域。该多目相机包括主成像单元、至少一个从成像单元和控制单元，控制单元包括缓存芯片，其中控制单元分别与所述主成像单元和所述从成像单元相连，主成像单元通过控制单元与所有从成像单元同步成像，所述控制单元接收所述主成像单元与所有所述从成像单元的图像数据，通过所述缓存芯片缓存之后将所述图像数据合并。本实用新型可以实现各个成像单元的控制和同步，提高测量精度，降低系统成本。
文档编号H04N5/232GK201349262SQ20092010590
公开日2009年11月18日 申请日期2009年2月11日 优先权日2009年2月11日
发明者叶建军, 旭 张, 欧阳骏, 林 汪, 沈华东, 田臣礼, 高晓平 申请人:北京微视新纪元科技有限公司