基于ARM系统的多孔径快速拼接成像控制系统

基于arm系统的多孔径快速拼接成像控制系统
技术领域
1.本发明属于arm处理器控制系统、成像控制技术领域，尤其涉及一种基于arm系统的多孔径快速拼接成像控制系统。


背景技术：

2.随着嵌入式技术的快速发展，嵌入式处理器的性能得到了大幅度的提高，嵌入式实时控制功能逐渐完善，基于嵌入式处理器的控制系统同时被广泛应用在无人车、无人机、无人船等各种工业领域，基于嵌入式处理器的控制系统在控制多路步进电机运动上也变得更加快速、稳定、可靠。同样，基于嵌入式处理器的控制系统也可以被应用于多孔径成像系统领域。
3.比如在9组旋转双棱镜成像系统当中，一个嵌入式处理器可以作为控制系统的主控单元，采用嵌入式实时操作系统，实时控制n路电机单独运动，同时可以根据九孔径相机成像系统扩大成像视场的功能需要，对嵌入式处理器进行相应程序的编写，以提高九孔径成像系统的成像时间和成像视场大小，增加成像系统的便捷性和可靠性。
4.对于多路步进电机的控制，有多种方式。大致可以将现有技术分为以下三类：（1）运动控制卡控制；plc控制；单片机控制。但一般只能控制数量较少的电机个数，且实时性难以保证，如果想要同时控制更多数量的步进电机，则需要增加控制器或者单片机的数量。（2）《模块化多轴步进电机运动控制系统》(专利号202022444689.x)中采用运动控制器(通常为mcu或dsp)加驱动器的方式，通过将各单元进行模块化设计并用快速电缆相连，这种方法原件多且电路复杂，不利于小型化，成本较高。（3）《基于stm32控制l6470h驱动器的多轴步进电机控制系统》(专利号201710932658.x)提出基于arm的控制方法，这种控制方法通常适用于三轴步进电机的控制，当需要对更多路步进电机控制时，需要多个arm核心，同样不利于集成。


技术实现要素：

5.针对现有技术的缺陷和不足，本发明的目的在于提供一种基于arm系统的多孔径快速拼接成像控制系统，旨在提高旋转双棱镜多孔径成像系统图像输出的快速性、实时性，其次，在多个棱镜旋转的同时保证多个旋转棱镜的同步性。
6.其提供的系统包括上位机、arm控制器、jtag/swd通信接口、usart串口通信模块、多路电源转换模块、n路步进电机驱动模块、n路步进电机、m孔径相机、实时操作系统、棱镜旋转同步模块、图像处理模块。上位机通过usart串口通讯模块发送控制信号给arm控制器；jtag/swd通信接口模块可用于将控制程序代码烧录到arm控制器；arm控制器作为控制系统的主控单元，可以接收和处理上位机所发送的控制信号，并发送脉冲控制信号至n路步进电机驱动模块；n路步进电机驱动模块发送电机驱动信号至n路步进电机，对n路步进电机进行运动控制，两路步进电机控制一组旋转双棱镜孔径，从而实现n路步进电机对m孔径相机的控制；图像处理模块使用图像拼接技术将多孔径相机采集到的图像信息进行集中处理，最
终进行图像输出。基于arm实时操作系统设计了一种实现棱镜旋转同步控制方法，该方法可有效提高图像拼接的速度，降低成像时间，并保障多个旋转棱镜的同步性。
7.本发明具体采用以下技术方案：一种基于arm系统的多孔径快速拼接成像控制系统，其特征在于，包括：上位机、arm控制器、jtag/swd通信接口、usart串口通信模块、多路电源转换模块、n路步进电机驱动模块、n路步进电机、m孔径相机、棱镜旋转同步模块和图像处理模块；所述上位机通过usart串口通讯模块向arm控制器发送控制信号；所述jtag/swd通信接口模块用于将控制程序代码烧录到arm控制器；所述arm控制器作为控制系统的主控单元，用于接收和处理上位机所发送的控制信号，并发送脉冲控制信号至n路步进电机驱动模块；所述n路步进电机驱动模块发送电机驱动信号至n路步进电机，对n路步进电机进行运动控制，其中，n路步进电机运动模块与m孔径相机相连，每两路步进电机对应控制一组旋转双棱镜孔径，以实现n路步进电机对m孔径相机的控制；所述多路电源转换模块与n路步进电机驱动模块相连，用于将24v开关电源输入转换成12v的电源输出，从而为n路电机驱动模块提供n路单独的12v电源，为n路步进电机驱动模块中的n路步进电机驱动芯片供电；所述棱镜旋转同步模块用于执行获取棱镜角度，计算电机旋转时间，确定电机速度、棱镜同步到位的过程；所述图像处理模块使用图像拼接技术将多孔径相机采集到的图像信息进行集中处理，并进行图像输出。
8.进一步地，所述arm控制器作为整套系统的主控单元，通过控制n路电机的旋转运动，进而对m孔径相机进行控制。
9.进一步地，所述arm控制器连接有实时操作系统（可以设置于上位机平台），包括任务建模、任务管理、任务调度三个部分：所述任务建模部分用于进行多任务创建，任务包括：系统初始化任务、串口通讯任务、棱镜位置获取任务、电机转动任务、电机速度确定任务、图像采集任务和图像信息处理任务；所述任务管理部分用于对实时操作系统中的多个任务设置为运行态、就绪态、阻塞态、挂起态四个状态从而进行任务调度，并对多个任务设置不同的优先级以确定任务的执行时序；所述任务调度部分用于：首先查找任务堆栈中优先级最高的任务，对于优先级不同的任务，在主程序循环的基础上，通过中断保证最高优先级的任务优先执行；其次对当前任务的堆栈进行初始化，进入等待接收指令状态；最后，当接收到指令后进行决策，进而开始执行相应的任务；在任务执行的过程中，如果有更高优先级的任务需要执行，中断当前任务，转而执行更高优先级的任务；不同的任务可在运行态、就绪态、阻塞态和挂起态四个不同任务状态之间的进行切换。
10.进一步地，所述棱镜旋转同步模块的工作过程包括以下步骤：步骤a1：上电初始化；步骤a2：所述arm控制器对棱镜位置获取任务进行调控：首先，设置棱镜位置获取
任务的优先级；其次，设置任务堆栈并进行初始化；最后，分别获取当前每个棱镜的角度值和所需要旋转到目标位置的角度值；步骤a3：所述arm控制器对电机速度确定任务进行调控：首先，设置电机速度确定任务的优先级；其次，设置任务堆栈并进行初始化；根据步骤a2中获取的当前和目标棱镜角度值，分别计算出每个步进电机需要旋转的角度，进而计算出每个步进电机旋转所需要的时间；最后，根据每个步进电机旋转所需时间，利用择优算法选择一个最优的时间t，并根据时间t，重新计算出每个步进电机的旋转速度；步骤a4：所述arm控制器对电机转动任务进行调控，首先设置电机转动任务的优先级；其次，设置任务堆栈并进行初始化；最后，接收到步骤a3 中重新计算的每个步进电机转速数据指令后，所有步进电机开始运行，最终实现所有的棱镜同步旋转到位。
11.进一步地，所述图像处理模块的工作过程包括以下步骤：步骤b1：利用m孔径相机采集一定序列的图像数据，且局部序列图象之间存在重叠区域；步骤b2：对图像进行预处理；步骤b3：采用基于surf算法的特征匹配方式进行图像配准，在不同的图像间找到对应关系，从而将图像变化到同一坐标系；步骤b4：图像匹配完成后得到两幅图像像素点的映射关系，根据点的关系获得图像变换关系，即计算图像空间变换模型参数；将两幅图像投影到同一平面后，依据重叠区域进行拼接，并对拼接处进行融合处理；步骤b5：重复步骤b4和步骤b5 ，对m幅图像进行图像拼接，最终输出m幅图像拼接到一起的全景图像。
12.进一步地，多路电源转换模块中的24v开关电源连接n个dc/dc转换装置，可以实现电压转换，将24v电压转换为12v电压，每一个dc/dc转换装置的输出电压分别单独连接对应的步进电机驱动芯片，即每个驱动芯片有单独的12v电源供电。这样将每个驱动芯片的供电分离开，有利于保护电机驱动执行的独立性，提高系统的稳定性和安全性。
13.相比于现有技术，本发明及其优选方案可有效提高图像拼接的速度，降低成像时间，并保障多个旋转棱镜的同步性。
附图说明
14.下面结合附图和具体实施方式对本发明进一步详细的说明：图1为本发明实施例整体结构示意图。
15.图2为本发明实施例棱镜旋转同步模块工作流程示意图。
具体实施方式
16.为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下。
17.应该指出，以下详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
18.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根
据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
19.请参照图1，本实施例提供的基于arm实时操作系统的多孔径快速拼接成像控制系统，包括上位机、arm控制器、jtag/swd通信接口模块、usart串口通信模块、多路电源转换模块、n路步进电机驱动模块、n路步进电机、m孔径相机、实时操作系统、棱镜旋转同步模块、图像处理模块。
20.其中，上位机通过usart串口通讯模块发送控制信号给arm控制器，jtag/swd通信接口模块可用于将软件控制程序代码烧录入arm控制器，arm控制器作为控制系统的主控单元，可以接收和处理上位机所发送的控制信号，并发送脉冲控制信号至n路步进电机驱动模块，n路步进电机驱动模块发送电机驱动信号至n路步进电机，对n路步进电机进行运动控制，两路步进电机控制一组旋转双棱镜孔径，从而实现n路步进电机对m孔径相机的控制，图像处理模块使用图像拼接技术将多孔径相机采集到的图像信息进行集中处理，最终进行图像输出。
21.在本实施例中，主控单元采用的芯片为cortex-m内核，arm架构的stm32系列芯片，相关的芯片都属于本技术的权利范围。主控制芯片的功能：用于运行freertos实时操作系统，利用freertos实时操作系统的队列、二值信号量、内存管理等机制；任务优先级，任务的运行态、就绪态、阻塞态、挂起态四种状态等任务属性；高优先级抢占低优先级、同等优先级基于时间片轮转的任务调度方式，以实现系统初始化任务、串口通讯任务、棱镜位置获取任务、电机转动任务、电机速度确定任务、图像采集任务和图像信息处理任务等多任务的创建、管理、优先级的分配。通过freertos嵌入式实时操作系统的使用，实现了n路步进电机控制m孔径相机，有效提高了图像拼接的速度，降低成像时间，并保障了多个旋转棱镜的同步性。
22.在本实施例中，实时操作系统包括任务建模、任务管理、任务调度三个部分；该实时操作系统可以搭建在上位机平台上。
23.任务建模部分：实时操作系统进行多任务创建，主要任务包括：系统初始化任务、串口通讯任务、棱镜位置获取任务、电机转动任务、电机速度确定任务、图像采集任务和图像信息处理任务等。
24.任务管理部分: 首先对实时操作系统中的多个任务设置为运行态、就绪态、阻塞态、挂起态四个状态从而进行任务调度，其次对多个任务设置不同的优先级从而实现不同优先级任务之间有序进行。
25.任务调度部分：首先查找任务堆栈中优先级最高的任务，对于优先级不同的任务，在主程序循环的基础上，通过中断保证最高优先级的任务优先执行；其次，对当前任务的堆栈进行初始化，进入等待接收指令状态；最后，当接收到指令后进行决策，进而开始执行相应的任务。在任务执行的过程中，如果有更高优先级的任务需要执行，会中断当前任务，转而执行更高优先级的任务，从而保证了实时操作系统的实时性；不同的任务可在运行态、就绪态、阻塞态和挂起态四个不同任务状态之间的进行切换，从而实现实时操作系统的任务切换调度。
26.如图2所示，在本实施例中，棱镜旋转同步模块的控制方法主要在实时操作系统中
的棱镜位置获取任务、电机速度确定任务、电机转动任务中得以实现，包括获取棱镜角度、计算电机旋转时间、确定电机速度、棱镜同步到位等部分；包括以下几个步骤：步骤a1：系统上电之后，主控单元对硬件和软件系统进行初始化任务。
27.步骤a2：主控单元对棱镜位置获取任务进行调控，首先，设置棱镜位置获取任务的优先级；其次，设置任务堆栈并进行初始化；最后，分别获取当前每个棱镜的角度值和所需要旋转到目标位置的角度值。
28.步骤a3：主控单元对电机速度确定任务进行调控，首先，设置电机速度确定任务的优先级；其次，设置任务堆栈并进行初始化；进一步，根据步骤a2中获取的当前和目标棱镜角度值，分别计算出每个步进电机需要旋转的角度，进而计算出每个步进电机旋转所需要的时间；最后，根据每个步进电机旋转所需时间，利用择优算法选择一个最优的时间t，并根据时间t，重新计算出每个步进电机的旋转速度。
29.步骤a4： 主控单元对电机转动任务进行调控，首先设置电机转动任务的优先级；其次，设置任务堆栈并进行初始化；最后，接收到步骤a3 中重新计算的每个步进电机转速数据指令后，所有步进电机开始运行，最终实现所有的棱镜同步旋转到位。
30.在本实施例中，多路电源转换模块，采用的是n个24v转12v的dc/dc电源转换器，每一个dc/dc转换装置的输出电压分别单独连接对应的步进电机驱动芯片，即每个驱动芯片有单独的12v电源供电。这样将每个驱动芯片的供电分离开，有利于保护电机驱动执行的独立性，提高系统的稳定性和安全性。
31.在本实施例中，图像处理模块采用图像拼接图像信息处理技术，包括以下几个步骤：步骤b1：用m孔径相机模块采集一定序列的图像数据，在采集图像数据时应保证局部序列图象之间存在一定大小的相同区域。
32.步骤b2：对图像进行预处理操作，提高图像质量。对于图像中的各类噪声可以使用各种滤波方式进行优化；对于图像模糊失真，可以采用小波分解处理进行图像恢复和增强。
33.步骤b3：采用基于surf算法的特征匹配方式进行图像配准，目的是在不同的图像间找到对应关系，从而将图像变化到同一坐标系。主要包括特征点精确定位，特征点主方向确定，描述特征点以及特征点匹配四个过程。
34.步骤b4：图像匹配完成后得到了两幅图像像素点的映射关系，根据点的关系可以推出图像变换关系，即计算图像空间变换模型参数。将两幅图像投影到同一平面后，依据重叠区域进行拼接，并对拼接处进行融合处理。该步骤主要分为图像空间变换模型建立和重叠区域融合。
35.步骤b5：重复上述步骤b4和步骤b5 ，从而实现对m幅图像进行图像拼接，最终输出m幅图像拼接到一起的全景图像。
36.优选的，在本实施例中，主控单元采用的是arm处理器，dc/dc转换器采用24v转12v，控制棱镜运动的电机为42系列步进电机，实时操作系统采用的是freertos嵌入式实时操作系统，串口通讯采用485总线通讯。
37.以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所
作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
38.本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于arm系统的多孔径快速拼接成像控制系统，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。