基于CNN的导盲辅助拐杖

基于cnn的导盲辅助拐杖
技术领域
1.本发明涉及神经网络控制系统及计算机视觉技术领域，具体为一种基于cnn的导盲辅助拐杖。


背景技术：

2.在日常生活中，盲人基本都是通过普通的盲杖来辅助行走的，传统盲人的拐杖仅仅是一根普通长棍，它只有在接触到才会发觉障碍物，使得盲人在行走中充满了安全隐患。以往的导盲犬可以在一定程度上给予帮助，但是导盲犬不能进行精确物体的提示或路径中具体的避障提示，而且训练的成本很高，普适性不是很好，不适合大范围的推广使用。而且，当盲人需要寻找一个物品时，导盲犬也并不能将盲人带到相应位置时，需要盲人自己摸索着走到每个地方后进行寻找而，而在此过程中，虽然盲人为了自己拿取物品方便，通常会在使用完物品后会放回原处，但是一旦物品没有放回原物，那么盲人可能就需要摸索过多个地方才能找到物品，一方面降低了物品的寻找效率，另一方面，在寻找过程中，随着盲人经过地方变多，在行走过程中盲人会遇到的障碍物也变多，存在的安全隐患也会变多。


技术实现要素：

3.本发明意在提供一种具有自动寻物功能的基于cnn的导盲辅助拐杖。
4.本发明提供基础方案是：基于cnn的导盲辅助拐杖，包括拐杖本体，拐杖本体上设置有辅助系统，辅助系统包括存储模块，存储有物品信息的图片库，物品信息包括物品名称和物品图像；
5.图像采集模块，用于获取环境视频信息；
6.输入模块，用于获取寻找信息；
7.处理模块，用于对获取到的环境视频信息进行处理并得到图像帧；对获取到的寻找信息进行处理得到寻找目标；
8.识别模块，加载有基于cnn模型的识别模型，用于根据寻找目标以及预设的图片库对处理得到的图像帧进行识别，并对图像帧内识别出的与寻找目标对应的实际目标进行标记；
9.定位模块，用于对标记的实际目标进行定位得到目标位置并定位当前位置，并根据当前位置和目标位置进行路径规划得到行走路径；
10.语音模块，用于播放行走路径。
11.基础方案的原理及有益效果是：本方案中，在拐杖上设置辅助系统后，在需要寻找某一目标时，由输入模块获取寻找信息，处理模块对寻找信息进行处理后，从寻找信息中得到要寻找的寻找目标。然后由图像采集模块采集周围的环境视频信息后，处理模块对环境视频信息进行处理，得到的图像帧即为周围环境的图像；然后由加载有基于cnn模型的识别模型的识别模块根据预设的图片库对图像帧进行识别，在图像帧内标记出来的实际目标则是需要寻找的目标。然后定位模块再对实际目标进行定位后，根据当前位置和目标位置进
行路径规划，得到的行走路径也就是盲人从当前位置走到实际目标所在位置的行走路径，再由语音模块播放行走路径后，盲人即可根据播放的行走路径到达实际目标所在位置，完成对寻找目标的寻找过程。与现有技术中的拐杖相比，本方案中还设置识别模块和定位模块的配合，实现对物品的自动寻找，提高了物品的寻找效率。
12.优选方案一：作为基础方案的优选，物品信息包括障碍物信息；识别模块还用于对图像帧中的障碍物信息进行识别，在识别到图像帧中的障碍物信息后，定位模块对识别出的障碍物进行定位得到障碍物位置，并根据当前位置和障碍物位置生成避障路径，语音模块播放避障路径。有益效果：考虑到在行进路径中的障碍物会对盲人的前进造成阻碍，因此本方案中还利用识别模块对图像帧内的障碍物信息进行识别，并在识别出图像帧内有障碍物信息后，定位模块对识别出的障碍物进行定位并根据障碍物规划出避障路径，从而引导盲人避开障碍物顺到达实际目标处。
13.优选方案二：作为基础方案的优选，物品信息包括盲道信息，识别模块还根据盲道信息对图像帧内是否有盲道进行识别，在从图像帧内识别到盲道时，定位模块生成前往盲道位置的前进路径，语音模块播放前进路径。有益效果：盲道作为专门帮助盲人行走的道路设施，盲道内通常不会出现障碍物防止盲人行走，能够引导盲人顺利行走，因此本方案中，设置物品信息还包括盲道信息，在发现盲道时及时将盲人引导到盲道上，从而帮助盲人顺利行走。
14.优选方案三：作为优选方案二的优选，识别模块在识别到图像帧内有盲道时，对盲道进行标记生成盲道区域，还识别盲道区域在图像帧内的位置，当识别到盲道区域偏离图像帧的中心区域时，语音模块发送警示信息。有益效果：考虑到盲人在沿盲道行走时，可能会发生偏离盲道的情况，因此本方案中，在识别到图像帧内有盲道时，还对盲道区域进行标记，若盲人在盲道上行走，则盲道区域应该是位于图像帧的中心区域，所以本方案中还对盲道区域在图像帧内的位置进行识别，在识别到盲道区域偏离图像帧的中心区域时，表示盲人即将偏离盲道行走，此时语音模块发送警示信息，以对盲人进行提醒，避免盲人偏离盲道行走。
15.优选方案四：作为基础方案的优选，物品信息还包括信号灯信息，信号灯信息包括信号灯图像和信号灯状态，识别模块还用于根据信号灯图像识别图像帧内是否有信号灯，在识别到有信号灯时，还对信号灯状态进行识别，并在识别到信号灯为行人通行状态时，语音模块发送通行提示信息。有益效果：考虑到对于盲人来说，在需要过马路时，通常都是靠同样需要过马路的行人帮忙或靠信号灯的语音提示，然而现在能够进行语音提示的信号灯极为少见，因此，本方案中还利用识别模块对图像帧内是否有信号灯进行识别，在识别到有信号灯时，还会对信号灯的状态进行识别，在识别出信号灯状态为行人通行状态时，即表示此时盲人能够过马路，于是提示模块发送通行提示信息，以提示盲人及时通过马路。
16.优选方案五：作为优选方案四的优选，在识别模块识别出信号灯状态为行人通行状态时，还用于识别信号灯显示的行人通行倒计时；存储模块预存有时间阈值；还包括比较模块，用于比较识别出的行人通行倒计时和预存的时间阈值，在识别出行人通行倒计时小于时间阈值时，语音模块发送通行警示信息。有益效果：本方案中，还设置识别模块对信号灯的行人通行倒计时进行识别，并与时间阈值进行比较，在比较出行人通行倒计时小于时间阈值时，表示信号灯即将转变状态，还在马路中的行人需要加快速度才能顺利通过马路，
此时语音模块发送通行警示信息，以提醒盲人加快行走速度，保证盲人能够顺利通过马路。
附图说明
17.图1为本发明基于cnn的导盲辅助拐杖实施例一的模块框图；
18.图2为本发明实施例一中图片集的训练学习的流程示意图；
19.图3为本发明实施例一中对实际目标定位的测量原理示意图；
20.图4为本发明实施例一中对实际目标进行识别后的前后对比示意图。
具体实施方式
21.下面通过具体实施方式进一步详细说明：
22.实施例一
23.基本如附图1所示：基于cnn的导盲辅助拐杖，包括拐杖本体，拐杖本体上设置有辅助系统，辅助系统位于拐杖本体的中间或中下部位置，本实施例中位于中下部位置。
24.辅助系统包括存储模块，存储有物品信息的图片库，物品信息包括物品名称和物品图像；物品信息包括常见物品信息、障碍物信息和盲道信息，本实施例中，以常见物品信息为例，常见物品信息包括物品图片和物品名称；本实施例中存储模块采用128g的sd卡。
25.图像采集模块，用于获取环境视频信息；本实施例中图像采集模块为摄像头，图像采集莫阿奎安装在拐杖本体的上端；
26.输入模块，用于获取寻找信息；本实施例中，为了方便盲人语音输入，输入模块包括麦克风和语音识别单元，由麦克风拾取盲人的语音后，语音识别单元对拾取到的语音进行识别得到寻找信息；
27.处理模块，用于对获取到的环境视频信息进行处理并得到图像帧，为了降低视频帧的延时以及减少处理模块的负担，在提醒图像帧的过程中，本实施例中，将视频帧信息的分辨率进行适当的缩放，如采用分辨率为30*300进行缩放；然后根据寻找信息多图像帧进行处理得到寻找目标；
28.识别模块，加载有基于cnn模型的识别模型，用于根据寻找目标以及预设的图片库对处理得到的图像帧进行识别，并对图像帧内识别出的与寻找目标对应的实际目标进行标记，本实施例中，在对实际目标进行标记时，采用对实际目标生成边界框的方式；还用于对图像帧中的障碍物信息进行识别；还根据盲道信息对图像帧内是否有盲道进行识别。
29.本实施例中，如图2所示，基于cnn模型的识别模型如下述方法进行训练得到：经过cnn(卷积神经网络)的训练学习，用作训练的图片集选自pascal voc图片集作为输入图片库，此数据集的优点是它包括有日常生活中常用的20个目录：室外出行可能遇到的如：人类；动物(鸟、猫、牛、狗、马、羊)；交通工具(自行车、公共汽车、小轿车、摩托车)；常见物体(电线杆、报刊亭、路面大型路牌)等；室内个人日常物体如(遥控板、瓶子、椅子、餐桌、盆栽植物、沙发、电视)等，基本可以满足日常需求。其学习训练过程如下：输入图片集，使用haar级联检测法进行目标检测，并用高斯滤波去除干扰，确认对象目标(基于本系统处理器的处理能力及容量考虑，本实施例中仅设计生活中最常见的n(n>100)个目标对象)，并和已经编好的n个序列进行联合编码，得到的编码和已经训练好的标签进行匹配，生成n个方框，并保存训练好的权值文件training_data.weights。
30.定位模块，用于对标记的实际目标进行定位得到目标位置并定位当前位置，并根据当前位置和目标位置进行路径规划得到行走路径；在识别到图像帧中的障碍物信息后，定位模块对识别出的障碍物进行定位得到障碍物位置，并根据当前位置和障碍物位置生成；在从图像帧内识别到盲道时，定位模块生成前往盲道位置的前进路径；本实施例中，以实时目标为例，在对实际目标定位时，只要是对实际目标距拐杖本体的距离和方位。如图3所示，假设o1＝(u0,v0)是光轴与相平面焦点的摄像头坐标、假设相平面上与x轴和y轴相对应的像素的尺寸为dx和dy.(u,v)为摄像头在坐标轴上的坐标，则目标与摄像头平面的距离d计算如下：
31.d＝h/tan(arctan((y
‑
y0)/f)+α)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
32.u＝u0+x/dx；v＝v0+y/dy
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
33.假设x0＝y0＝0，从(1)(2)可以得到：
34.d＝h/tan(arctan(v
‑
v0)/a
y
+α)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
35.a
y
＝f/dy
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
36.其中，f,α,h分别表示摄像头的焦距、摄像头倾斜角度以及光学中心高度。
37.其次是角度测量：
[0038][0039]
上式中，f
c
,ω分别表示摄像头的广角和摄像头成像的宽度；表示目标到图像平面中心线的像素距离以及相平面在水平方向上的倾斜度。通过上式，可以得到目标与摄像头相平面垂直方向上的相对偏转角度β。通过上述的角度和距离测量，可以计算实际目标的物理距离当前拐杖本体的距离和方位，即，实际目标的目标位置。然后再根据目标位置和当前位置进行路径规划得到行走路径。
[0040]
语音模块，用于播放行走路径、避障路径、前进路径和警示信息；本实施例中，语音模块采用喇叭。
[0041]
识别模块在识别到图像帧内有盲道时，对盲道进行标记生成盲道区域，还识别盲道区域在图像帧内的位置，当识别到盲道区域偏离图像帧的中心区域时，语音模块发送警示信息；本实施例中，在识别盲道区域在图像内的位置时，具体的，根据生成的盲道区域识别出盲道区域的中心点，并识别盲道区域的中心点是否处在图像帧的中心区域，图像帧的中心区域为以图像帧的中心点为圆心，r为半径的圆形区域，当识别到盲道区域的中心点处于图像帧的中心区域以外时，判定盲道区域偏离图像帧的中心区域。
[0042]
具体实施过程如下：在使用时，在凭借拐杖本体行走时，将拐杖本体正面朝向前面，即图像采集模块朝向前方，图像采集模块则获取到盲人前方的环境视频信息。处理模块对获取到的环境视频信息进行处理，得到分辨率为300*300的图像帧。
[0043]
在输入模块获取到寻找信息时，表明此时盲人需要寻找某一物品，如需要寻找水杯；在处理模块对获取到的环境视频信息进行处理得到图像帧后，然后由识别模块根据图片库对图像帧进行识别，如摄像头拍摄到的视频里面有水杯，则识别模块能够从图像帧内识别出水杯，并对其进行标记，生成实际目标的边界框，如图4所示。
[0044]
然后定位模块对标记出来的实际目标的距离和方位进行测量，利用上述(1)～(5)式计算得出实际目标距离拐杖本体的距离和方位，从而得到实际目标的目标位置，然后定
位模块根据拐杖本体的当前位置和实际目标的目标位置进行线路的规划得到行走路径，然后语音模块播放行走路径，从而引导盲人到达实际目标的位置，从而完成物品寻找的过程。
[0045]
在盲人行走的过程中，识别模块还根据图片库对图像帧内的物品进行识别；在识别到图像帧内有障碍物时，同样对障碍物进行定位得到障碍物位置后，生成避障路径，引导盲人避开障碍物行走；当识别到图像帧内有盲道时，对盲道进行定位后生成前往盲道的前进路径，并通过语音模块引导盲人前往盲道行走。
[0046]
当盲人在盲道中行走时，识别模块识别到图像帧内有盲道，对盲道进行标记生成盲道区域。然后对图像帧内的盲道区域在图像帧内的位置进行识别，当识别到盲道区域偏离图像帧的中心区域时，此时语音模块播放警示信息，提示盲人及时返回到盲道上。
[0047]
实施例二
[0048]
与实施例一不同之处在于，本实施例中，物品信息还包括信号灯信息，信号灯信息包括信号灯图像和信号灯状态；
[0049]
识别模块还用于根据信号灯信息识别图像帧内是否有信号灯，在识别到有信号灯时，还对信号灯状态进行识别，本实施例中，信号灯状态包括车辆通行状态和行人通行状态，其中车辆通行状态为红灯点亮，行人通行状态为绿灯点亮；在识别到信号灯为行人通行状态时，语音模块发送通行提示信息，还识别信号灯显示的行人通行倒计时。
[0050]
存储模块预存有时间阈值；还包括比较模块，用于比较识别出的行人通行倒计时和预存的时间阈值，在识别出行人通行倒计时小于时间阈值时，设定时间阈值为t0，识别出的行人通行倒计时为t1，则在t1＜t0是，语音模块发送通行警示信息，如“绿灯即将结束，请快速通过路口”。
[0051]
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。