一种基于卷积神经网络的可见光相机通信方法与流程

本发明涉及可见光通信，具体是涉及一种基于卷积神经网络的可见光相机通信方法。

背景技术：

1、光学摄像机通信（occ）根据曝光模式可分为两类：全局曝光和卷帘曝光，在全局曝光中，cmos相机中的所有像素同时被捕获，与全局曝光不同，卷帘曝光中的cmos图像传感器并不是同时获取所有光信号，每个图像帧都是根据捕获的像素逐行生成的。与全局曝光相比虽然采用卷帘曝光可以得到更高的速率，但由于cmos相机帧率较低，提高occ的数据率仍然是一个挑战。现有occ技术大多采用直接视距链路进行数据传输，由于led发光分布不均匀，会导致光晕效应，引起信号像素值的波动，此外，在直接视距链路中传输信号很容易受到阻挡，限制了occ系统的可用性和移动性。因此，需要提供一种基于卷积神经网络的可见光相机通信方法，旨在解决或者缓解上述问题。

技术实现思路

1、针对现有技术存在的不足，本发明的目的在于提供一种基于卷积神经网络的可见光相机通信方法，以解决或者缓解上述背景技术中存在的问题。

2、本发明是这样实现的，一种基于卷积神经网络的可见光相机通信方法，所述方法包括以下步骤：

3、在发射端：由matlab生成伪随机二进制序列；通过微型控制器单元将所述伪随机二进制序列映射为pwm符号，调制后的pwm符号通过rgb-led三个颜色通道发送到自由空间，微型控制器单元的三个i/o端口通过输出的高低电平控制led的亮灭；

4、在接收端：在cmos相机中通过bayer滤色阵列的硬件组件将红绿蓝三个颜色通道分离出来，采用卷积神经网络作为分类器将相同颜色通道中不同占空比的pwm符号分离出来，通过基于卷积神经网络的手机应用程序实现对发射端信号的实时解调。

5、作为本发明进一步的方案：所述发射端包括直流电源、微型控制器单元、驱动控制器和led；所述接收端包括智能手机摄像头以及基于卷积神经网络的应用程序，所述发射端与接收端采用非视距链路进行信号的传输。

6、作为本发明进一步的方案：所述微型控制器单元为stm32 mcu。

7、作为本发明进一步的方案：通过色分复用的调制方式将发射端数据映射为pwm符号，伪随机二进制序列首先分别映射成红、绿以及蓝三色的颜色符号，其中相同颜色通道符号再映射为具有不同占空比的pwm符号。

8、作为本发明进一步的方案：当led开启时，对应曝光行会产生一条亮条纹；当led关闭时，对应曝光行会产生一条暗条纹，使得在cmos相机拍摄的图像上显现具有不同颜色且不同宽度的明暗条纹。

9、作为本发明进一步的方案：所述bayer滤色阵列由一个排列着红、绿以及蓝三个颜色滤波器的矩阵组成，每个像素只覆盖了其中的一个颜色滤波器，bayer滤色阵列能够捕获特定颜色通道的信息。

10、作为本发明进一步的方案：通过接收端的智能手机摄像头捕获视频流，将所述视频流逐帧转换成图像，选取图像中心列像素值为列矩阵，根据pwm符号分辨率将选取的列矩阵以等间隔划分为若干子列矩阵，输入卷积神经网络中进行训练，通过训练，卷积神经网络学习不同占空比pwm符号之间的像素的差异，从而将相同颜色通道中具有不同宽度的pwm符号分离出来。

11、与现有技术相比，本发明的有益效果是：

12、本发明适用于非视距链路下可见光相机通信，克服了直接视距链路数据传输链路易受遮挡的问题，提升occ系统的可用性；发射端采用色分复用的调制格式，提升occ系统的传输能力；接收端使用基于卷积神经网络的应用程序解调信号，能够实现对传输信号的实时解调，降低了系统的复杂度，提高了occ系统的可靠性。

技术特征：

1.一种基于卷积神经网络的可见光相机通信方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的基于卷积神经网络的可见光相机通信方法，其特征在于，所述发射端包括直流电源、微型控制器单元、驱动控制器和led；所述接收端包括智能手机摄像头以及基于卷积神经网络的应用程序，所述发射端与接收端采用非视距链路进行信号的传输。

3.根据权利要求1所述的基于卷积神经网络的可见光相机通信方法，其特征在于，所述微型控制器单元为stm32 mcu。

4.根据权利要求1所述的基于卷积神经网络的可见光相机通信方法，其特征在于，通过色分复用的调制方式将发射端数据映射为pwm符号，伪随机二进制序列首先分别映射成红、绿以及蓝三色的颜色符号，其中相同颜色通道符号再映射为具有不同占空比的pwm符号。

5.根据权利要求1所述的基于卷积神经网络的可见光相机通信方法，其特征在于，当led开启时，对应曝光行会产生一条亮条纹；当led关闭时，对应曝光行会产生一条暗条纹，使得在cmos相机拍摄的图像上显现具有不同颜色且不同宽度的明暗条纹。

6.根据权利要求1所述的基于卷积神经网络的可见光相机通信方法，其特征在于，所述bayer滤色阵列由一个排列着红、绿以及蓝三个颜色滤波器的矩阵组成，每个像素只覆盖了其中的一个颜色滤波器，bayer滤色阵列能够捕获特定颜色通道的信息。

7.根据权利要求2所述的基于卷积神经网络的可见光相机通信方法，其特征在于，通过接收端的智能手机摄像头捕获视频流，将所述视频流逐帧转换成图像，选取图像中心列像素值为列矩阵，根据pwm符号分辨率将选取的列矩阵以等间隔划分为若干子列矩阵，输入卷积神经网络中进行训练，通过训练，卷积神经网络学习不同占空比pwm符号之间的像素的差异，从而将相同颜色通道中具有不同宽度的pwm符号分离出来。

技术总结
本发明适用于可见光通信技术领域，提供了一种基于卷积神经网络的可见光相机通信方法，在发射端：由Matlab生成伪随机二进制序列；通过微型控制器单元将所述伪随机二进制序列映射为PWM符号，调制后的PWM符号通过RGB‑LED三个颜色通道发送到自由空间；在接收端：在CMOS相机中通过Bayer滤色阵列的硬件组件将红绿蓝三个颜色通道分离出来，采用卷积神经网络作为分类器将相同颜色通道中不同占空比的PWM符号分离出来，通过基于卷积神经网络的手机应用程序实现对发射端信号的实时解调。接收端使用基于卷积神经网络的应用程序解调信号，能够实现对传输信号的实时解调，降低了系统的复杂度，提高了OCC系统的可靠性。

技术研发人员：林邦姜,万翔宇,骆加彬,江宁聪,黄天明
受保护的技术使用者：泉州装备制造研究所
技术研发日：
技术公布日：2024/1/15