一种基于FPGA的原始图像数据采集系统的制作方法

本发明属于智能驾驶数据采集领域，具体涉及一种基于fpga的原始图像数据采集系统。

背景技术：

1、随着智能驾驶技术的不断发展，多通道数据采集系统在自动驾驶系统中扮演着越来越重要的角色。其中，多通道数据采集系统又包括多通道视频图像的采集与处理，视频图像采集与处理技术是实现高效、精准数据采集的关键。视频图像采集与处理技术的发展主要分为两类：一是基于pc在相关特定的pcie采集板卡的基础上，通过软件对视频图像进行处理；二是利用相关的集成硬件如dsp、mcu、fpga等对视频图像进行采集处理。

2、在实现现有技术的过程中，发明人发现：

3、以往的数据采集一般都是依赖系统时钟各自独立授时，虽然单独设备的授时准确度可以较高（一般支持毫秒级），但是对于多通道采集系统而言，不仅单采集卡要求精度比较高，而且需要保证这个采集系统统一授时，否则多通道采集系统就存在时间同步精度低，无法满足智能驾驶对数据同步精度要求，导致各个传感器采集到的数据不一致，从而导致自动驾驶系统做出错误的决策，甚至危及车辆和乘客的安全。

4、因此，需要提供一种时间同步较高的多通道视频图像采集与处理系统，以解决现有技术中时间同步精度低导致的传感器采集到的数据不一致导致自动驾驶系统做出错误的决策的问题。

技术实现思路

1、本申请实施例提供一种基于fpga的原始图像数据采集系统用以解决现有技术中时间同步精度低导致的传感器采集到的数据不一致导致自动驾驶系统做出错误的决策的问题。

2、在本申请提供的一种基于fpga的原始图像数据采集系统，包括：

3、若干基于fpga的原始图像数据采集单元；

4、与所述若干原始图像数据采集单元相接的终端；

5、其中，所述若干原始图像数据采集单元，具体包括：

6、数据接收模块，用于至少获取两个摄像设备拍摄的原始图像组；

7、数据处理模块，用于对所述图像进行编码处理，生成处理后的最终图像组；

8、数据发送模块，用于发送所述最终图像组至终端；

9、其中，所述原始图像数据采集单元还包括：时间同步模块；

10、所述终端控制若干原始图像数据采集单元中时间同步模块实现时间同步。

11、进一步的，在本申请提供的一种优选实施方式中，所述控制若干原始图像数据采集单元中时间同步模块实现时间同步基于gptp协议实现，具体包括：

12、主时钟选择模块，用于选择所述若干原始图像数据采集单元其中之一为数据采集单元主时钟；

13、频率偏差计算模块，用于计算所述数据采集单元主时钟的频率与数据采集单元从时钟之间的频率偏差；

14、延迟时间测量模块，用于根据频率偏差测量所述数据采集单元主时钟与数据采集单元从时钟之间的延迟时间：

15、同步时间模块，根据所述频率偏差计算模块与所述延迟时间测量模块，同步所述数据采集单元主时钟与数据采集单元从时钟的时间；

16、其中，所述数据采集单元从时钟为主时钟选择模块从若干原始图像数据采集单元中选择数据采集单元主时钟的其余原始图像数据采集单元。

17、进一步的，在本申请提供的一种优选实施方式中，所述主时钟选择模块的根据若干基于fpga的原始图像数据采集单元的announce报文来选择；

18、所述announce报文中至少包括：最大延迟值、带宽值、抖动值。

19、进一步的，在本申请提供的一种优选实施方式中，计算所述数据采集单元主时钟的频率与数据采集单元从时钟之间的频率偏差，具体包括：

20、

21、其中，r表示频率偏差，t1表示数据采集单元主时钟发送第一条sync报文的时间戳，t3表示数据采集单元主时钟发送第二条sync报文的时间戳， t2表示数据采集单元从时钟接收第一条sync报文的时间戳，t4表示数据采集单元从时钟接收第二条sync报文的时间戳，t1、t3以数据采集单元主时钟为基准，t2、t4以数据采集单元从时钟的本地时钟为基准，所述数据采集单元主时钟在发送每一条sync报文时，还跟踪发送一条follow-up报文，以数据采集单元从时钟获取数据采集单元主时钟发送每一条sync报文的时间戳。

22、进一步的，在本申请提供的一种优选实施方式中，根据频率偏差测量所述数据采集单元主时钟与数据采集单元从时钟之间的延迟时间，具体包括：

23、

24、其中，表示延迟时间，t5表示数据采集单元从时钟发送pdelay_req报文至数据采集单元主时钟时间戳，t6表示数据采集单元主时钟接收pdelay_req报文的时间戳，t7表示数据采集单元主时钟发送pdelay_resp报文至数据采集单元从时钟的时间戳，t8表示数据采集单元从时钟接收pdelay_resp报文的时间戳，所述数据采集单元主时钟发送pdelay_resp报文至数据采集单元从时钟的时间戳时，同时将数据采集单元主时钟接收pdelay_req报文的时间戳t6发送至数据采集单元从时钟，所述数据采集单元主时钟发送pdelay_resp报文至数据采集单元从时钟的时间戳后，数据采集单元主时钟还发送pdelay_resp_followup报文至数据采集单元从时钟，所述数据采集单元主时钟发送pdelay_resp_followup报文至数据采集单元从时钟时，数据采集单元主时钟将数据采集单元主时钟发送pdelay_resp报文至数据采集单元从时钟的时间戳t7发送至数据采集单元从时钟。

25、进一步的，在本申请提供的一种优选实施方式中，根据所述频率偏差计算模块与所述延迟时间测量模块，同步所述数据采集单元主时钟与数据采集单元从时钟的时间，具体包括：

26、

27、其中，所述ta是数据采集单元主时钟上的本地时间戳，tb是数据采集单元从时钟，表示延迟时间，所述t1表示数据采集单元主时钟发送第一条sync报文的时间戳，所述t2表示数据采集单元从时钟接收第一条sync报文的时间戳。

28、进一步的，在本申请提供的一种优选实施方式中，所述数据发送模块用于发送所述最终图像组至终端，具体包括：

29、数据发送模块通过rdma通道发送所述最终图像组至终端；

30、其中，所述数据发送模块至少包括10g sfp光纤接口、1gbps以太网接口其中一种。

31、本申请实施例提供的技术方案，至少具有如下有益效果：通过本申请提供的基于fpga的原始图像数据采集系统，能够确保实时采集时间同步的多通道的原始图像数据。此外，使用rdma通道基于光纤接口作为图像高速输出接口，使得本发明所提出的视频图像采集系统具有进行实时多通道同步高速图像输出的能力。

技术特征：

1.一种基于fpga的原始图像数据采集系统，其特征在于，包括：

2.如权利要求1所述的基于fpga的原始图像数据采集系统，其特征在于，所述控制若干原始图像数据采集单元中时间同步模块实现时间同步基于gptp协议实现，具体包括：

3.如权利要求2所述的基于fpga的原始图像数据采集系统，其特征在于，所述主时钟选择模块根据若干基于fpga的原始图像数据采集单元的announce报文来选择；

4.如权利要求2所述的基于fpga的原始图像数据采集系统，其特征在于，计算所述数据采集单元主时钟的频率与数据采集单元从时钟之间的频率偏差，具体包括：

5.如权利要求4所述的基于fpga的原始图像数据采集系统，其特征在于，根据频率偏差测量所述数据采集单元主时钟与数据采集单元从时钟之间的延迟时间，具体包括：

6.如权利要求2所述的基于fpga的原始图像数据采集系统，其特征在于，根据所述频率偏差计算模块与所述延迟时间测量模块，同步所述数据采集单元主时钟与数据采集单元从时钟的时间，具体包括：

7.如权利要求1所述的基于fpga的原始图像数据采集系统，其特征在于，所述数据发送模块用于发送所述最终图像组至终端，具体包括：

技术总结
本申请公开了一种基于FPGA的原始图像数据采集系统。其中所述系统包括：若干基于FPGA的原始图像数据采集单元；与所述若干原始图像数据采集单元相接的终端；其中，所述若干原始图像数据采集单元，具体包括：数据接收模块，用于至少获取两个摄像设备拍摄的原始图像组；数据处理模块，用于对所述图像进行编码处理，生成处理后的最终图像组；数据发送模块，用于发送所述最终图像组至终端；其中，所述原始图像数据采集单元还包括：时间同步模块；所述终端控制若干原始图像数据采集单元中时间同步模块实现时间同步。通过该原始图像数据采集系统，能够确保实时采集时间同步的多通道的原始图像数据。

技术研发人员：季永峰
受保护的技术使用者：苏州齐思智行汽车系统有限公司
技术研发日：
技术公布日：2024/1/14