一种基于TinyML技术的视觉导航装置的制作方法

一种基于tinyml技术的视觉导航装置
技术领域
1.本发明涉及计算机视觉领域，具体涉及一种基于tinyml技术的视觉导航装置。


背景技术：

2.计算机硬件的发展推动着计算机图像处理能力和计算机相关技术的不断升级，现有的视觉传感器具有信号探测范围宽、目标信息完整、获得环境信息快等优势，同时视觉系统具有自主性、无源性，在一些无线电信号不能到达的地方也可以正常工作，具有非常好的导航效果。视觉导航系统在移动通信网络、电力系统、轨道交通、金融系统、智慧城市、航天、国防体系等领域有着很广泛的应用。同时随着机器学习的发展，tinyml 成为一个新兴的发展学科，它能够在资源受限的微控制器上实现低资源消耗、低功耗的机器学习算法。
3.在传统的视觉导航通用装置中，大部分采用的是基于高性能的计算机框架。因此，造成视觉导航系统的体积比较庞大同时功耗也很高，同时在传统视觉导航系统采用的是cpu处理器，面对数据量非常大的双目视觉图像，cpu的处理速度明显跟不上现时使用。


技术实现要素：

4.本发明为了克服以上技术的不足，提供了一种具有误差小、抗干扰性强和实时性强的基于tinyml技术的视觉导航装置。
5.本发明克服其技术问题所采用的技术方案是：一种基于tinyml技术的视觉导航装置，包括数据采集单元及视觉导航单元，所述数据采集单元包括：双目相机，其安装于智能终端的两侧，用于进行实时图像数据采集；imu，安装于智能终端中，用于实时测出使用者的转弯角度和航向指示；所述视觉导航单元包括：通信模块，用于将双目相机及imu采集的信息与视觉导航单元进行信息交互；soc，用于将双目相机及imu采集的信息处理成环境地图和位置信息；存储器单元，用于对soc所处理的数据进行缓存。
6.优选的，上述soc由fpga芯片及arm芯片构成。
7.优选的，上述通信模块为wifi无线通信模块。
8.进一步的，上述fpga芯片从通信模块处接收数据采集单元采集回来的信号，信号经过一个一步时钟双端口fifo进行数据缓存和跨时钟域的信号同步，将处理后的数据经过图像降噪及滤波增强后利用边缘检测图像识别算法进行识别。
9.进一步的，上述arm芯片通过高速amba总线协议接收fpga芯片识别后的图像，将图像进行tinyml识别与建图算法，得到未知环境的地图和使用者的位置信息。
10.优选的，上述存储器单元为ddr4存储器单元。
11.进一步的，还包括显示器，其用于显示未知环境的地图和使用者的位置信息。
12.本发明的有益效果是：基于微型机器学习（tinyml）的视觉导航装置及方法，硬件
上采用soc（fpga+arm架构）处理器，在处理视觉系统中庞大的图像数据时具有一定的优势，将tinyml部署至arm嵌入式应用平台，在arm平台对fpga一次处理过的数据进行二次处理。该系统能对未知环境进行实时的视觉图像采集、图像处理和后续的编程与路径规划等导航工作。该装置可以在任何环境下工作，具有误差小、抗干扰性强和实时性强的优点。
附图说明
13.图1为本发明的结构图；图2为本发明的信息处理流程图。
具体实施方式
14.下面结合附图1、附图2对本发明做进一步说明。
15.一种基于tinyml技术的视觉导航装置，包括数据采集单元及视觉导航单元，所述数据采集单元包括：双目相机，其安装于智能终端的两侧，用于进行实时图像数据采集；imu，安装于智能终端中，用于实时测出使用者的转弯角度和航向指示；所述视觉导航单元包括：通信模块，用于将双目相机及imu采集的信息与视觉导航单元进行信息交互；soc，用于将双目相机及imu采集的信息处理成环境地图和位置信息；存储器单元，用于对soc所处理的数据进行缓存。
16.基于微型机器学习（tinyml）的视觉导航装置及方法，硬件上采用soc（fpga+arm架构）处理器，在处理视觉系统中庞大的图像数据时具有一定的优势，将tinyml部署至arm嵌入式应用平台，在arm平台对fpga一次处理过的数据进行二次处理。该系统能对未知环境进行实时的视觉图像采集、图像处理和后续的编程与路径规划等导航工作。该装置可以在任何环境下工作，具有误差小、抗干扰性强和实时性强的优点。
17.imu通常由三部分组成，陀螺仪、加速度计以及磁力计。陀螺仪就是内部有一个陀螺，它的轴由于陀螺效应始终与初始方向平行，这样就可以通过与初始方向的偏差计算出实际方向。加速计是用来检测无人机受到的加速度的大小和方向的，磁力计是测试磁场强度和方向的。地球磁场是弱磁场，强度大概为0.5到0.6高斯，强度从赤道向两极逐渐增加。imu主要用来测量使用者的偏转方向和转动角速度，将这些信息转换为数字信号，再将该信号传输给通信模块。
18.优选的，soc由fpga芯片及arm芯片构成。通信模块为wifi无线通信模块。存储器单元为ddr4存储器单元，该ddr4存储器单元具有高速的数据读写能力，可以满足该设计的要求。
19.进一步的，fpga芯片从通信模块处接收数据采集单元采集回来的信号，信号经过一个一步时钟双端口fifo进行数据缓存和跨时钟域的信号同步，将处理后的数据经过图像降噪及滤波增强后利用边缘检测图像识别算法进行识别。arm芯片通过高速amba总线协议接收fpga芯片识别后的图像，将图像进行tinyml识别与建图算法，得到未知环境的地图和使用者的位置信息。本发明采用的是soc（fpga+arm架构）处理器，运行tinyml软件栈。面对非常多的图像数据，本发明采用fpga中“面积换速度”的方法进行处理，即利用fpga中大量的逻辑门阵列进行视觉图像的底层（组合图像滤波）和中层（图像增强、图像分割和图像识别）处理。在fpga中的逻辑门阵列都是并行运行，因此，对于图像基本信息的处理速度远远
优于cpu的速度。在本发明中，需要实现人机交互以及各类机器学习算法的实现，因此，采用arm实现地图的构建、路径规划和人机交互等功能。传统上，机器学习模型总是部署在资源丰富的环境中，是将数据从本地设备发送到云端处理。目前对这一方式在隐私、延迟、存储和能源效率等方面存在疑虑。由于tinyml模型可以嵌入到微控制器中，所以它们不是资源密集型的。这种方法是将人工智能注入到视觉导航设备的最有效和最具成本效益的方法。
20.进一步的，还包括显示器，其用于显示未知环境的地图和使用者的位置信息。
21.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。


技术特征：
1.一种基于tinyml技术的视觉导航装置，其特征在于，包括数据采集单元及视觉导航单元，所述数据采集单元包括：双目相机，其安装于智能终端的两侧，用于进行实时图像数据采集；imu，安装于智能终端中，用于实时测出使用者的转弯角度和航向指示；所述视觉导航单元包括：通信模块，用于将双目相机及imu采集的信息与视觉导航单元进行信息交互；soc，用于将双目相机及imu采集的信息处理成环境地图和位置信息；存储器单元，用于对soc所处理的数据进行缓存。2.根据权利要求1所述的基于tinyml技术的视觉导航装置，其特征在于：所述soc由fpga芯片及arm芯片构成。3.根据权利要求1所述的基于tinyml技术的视觉导航装置，其特征在于：所述通信模块为wifi无线通信模块。4.根据权利要求2所述的基于tinyml技术的视觉导航装置，其特征在于：所述fpga芯片从通信模块处接收数据采集单元采集回来的信号，信号经过一个一步时钟双端口fifo进行数据缓存和跨时钟域的信号同步，将处理后的数据经过图像降噪及滤波增强后利用边缘检测图像识别算法进行识别。5.根据权利要求4所述的基于tinyml技术的视觉导航装置，其特征在于：所述arm芯片通过高速amba总线协议接收fpga芯片识别后的图像，将图像进行tinyml识别与建图算法，得到未知环境的地图和使用者的位置信息。6.根据权利要求1所述的基于tinyml技术的视觉导航装置，其特征在于：所述存储器单元为ddr4存储器单元。7.根据权利要求5所述的基于tinyml技术的视觉导航装置，其特征在于：还包括显示器，其用于显示未知环境的地图和使用者的位置信息。

技术总结
一种基于TinyML技术的视觉导航装置，基于微型机器学习（TinyML）的视觉导航装置及方法，硬件上采用SOC（FPGA+ARM架构）处理器，在处理视觉系统中庞大的图像数据时具有一定的优势，将TinyML部署至ARM嵌入式应用平台，在ARM平台对FPGA一次处理过的数据进行二次处理。该系统能对未知环境进行实时的视觉图像采集、图像处理和后续的编程与路径规划等导航工作。该装置可以在任何环境下工作，具有误差小、抗干扰性强和实时性强的优点。强和实时性强的优点。强和实时性强的优点。


技术研发人员：胡佳 李锐 王洪添 朱翔宇
受保护的技术使用者：山东浪潮科学研究院有限公司
技术研发日：2022.05.11
技术公布日：2022/8/8