一种基于深度学习的盲人智能避障方法及系统

本发明涉及计算机深度学习技术领域，尤其涉及一种基于深度学习的盲人智能避障方法及系统。

背景技术：

据世界卫生组织统计大约全世界盲人有4千万到4.5千万，低视力是盲人的3倍，中国目前约有1700多万盲人，是全世界盲人最多的国家，并且每年新增45万失明人数，这意味着几乎每天每分钟会出现一例新的盲人。如果任由这个速度发展而不采取更加积极有效的措施，盲人就会成为一个严重的社会问题。盲人失去光明，身心往往承受着巨大的痛苦，他们需要社会和国家给予更多的关心和帮助。当今世界科技发展迅速，新的技术手段层出不穷，比如，导盲仪所用的红外线与超声波只能检测出物体的距离，然而，对眼前的物体仍是未知，此外，在一些不发达城市，中型导盲犬在坐公交、坐地铁、打车等方面存在诸多安全隐患，这些技术和方法仍难以被大众接纳。

目前，人工智能也慢慢地渗入大众生活，由机器来服务大众，而机器的智能系统核心就是通过载入深度学习模型进行不断的训练学习和改进以达到更人性化效果，深度学习模型在计算机视觉方面展示出来的效果也是越来越受大众认可，比如，物体检测、分类和识别，人脸识别等等。因此，如何将深度学习模型运用到导盲领域实时精准地识别周围出现的目标并告知盲人是亟待解决的关键问题。

技术实现要素：

本发明的目的在于提供一种基于深度学习的盲人智能避障方法及系统，用以解决实时精准地识别周围出现的目标并告知盲人的问题；

为了实现上述目的，本发明采用的技术方案为：

一种基于深度学习的盲人智能避障方法，包括步骤：

通过预设相机采集预设范围内的图片；

根据预设训练模型识别出所采集图片中存在的物体并获得物体的位置信息；

根据预设测距算法对所采集图片中的物体目标进行双目距离测定；

将物体位置信息以及测定的物体目标距离通过语音进行播报，并根据物体位置信息以及测定的物体目标距离判断盲人避开障碍物的方向，并提醒盲人避开相应的障碍物。

进一步的，通过预设相机采集预设范围内的图片的具体步骤包括：

通过预设相机获取预设范围内的视频；

将所述视频进行取帧，得到预设范围内的图片。

进一步的，建立所述预设模型的具体步骤包括：

通过预设方式获取物体图片，并建立对应的数据集；

通过预设方式获取图片中物体的预设参数；

将所述图片通过预设网络模型进行训练，并不断优化网络参数，得到预设训练模型。

进一步的，所述物体的预设参数为物体的位置、物体的名称以及物体的类型。

进一步的，根据预设测距算法对所采集图片中的物体目标进行距离测定的具体步骤包括：

将预设相机进行标定；

将采集的图片进行分割，得到左右两张图片；

根据相机标定所获得的数据对每张图片进行坐标映射化；

将两张映射过的图片进行灰度化；

根据预设函数将灰度化的两张图片形成一幅视差深度图；

将深度图进行重构，得到映射图；

根据物体的位置信息通过所述映射图计算出物体与预设相机之间的距离。

本发明的目的还在于提供一种基于深度学习的盲人智能避障系统，包括：

图像采集模块，用于通过预设相机采集预设范围内的图片；

物体检测模块，用于根据预设训练模型识别出所采集图片中存在的物体并获得物体的位置信息；

双目测距模块，用于根据预设测距算法对所采集图片中的物体目标进行双目距离测定；

语音转换模块，用于将物体位置信息以及测定的物体目标距离通过语音进行播报，并根据物体位置信息以及测定的物体目标距离判断盲人避开障碍物的方向，并提醒盲人避开相应的障碍物。

进一步的，图像采集模块包括：

视频采集单元，用于通过预设相机获取预设范围内的视频；

取帧单元，用于将所述视频进行取帧，得到每个帧的图片。

进一步的，双目测距模块包括：

标定单元，用于将预设相机进行标定；

分割单元，用于将采集的图片进行分割，得到左右两张图片；

坐标映射单元，用于根据相机标定所获得的数据对每张图片进行坐标映射化；

灰度处理单元，用于将两张映射过的图片进行灰度化；

深度图构建单元，根据预设函数将灰度化的两张图片形成一幅视差深度图；

重构单元，用于将视差深度图进行重构，得到映射图；

测量计算单元，用于根据物体的位置信息通过所述映射图计算出物体与预设相机之间的距离。

本发明与现有技术相比，至少包含以下有益效果：

(1)通过人工智能先进技术，结合深度学习，对于传统的物理避障系统来说，将会使得盲人避障设备变得更智能、更便捷；

(2)本发明将会在已有的对抗网络(gan)上根据盲人所特有的特性进行改进，然后根据环境的变化进行自主学习，达到更加人性化的效果，使得该避障系统根据不同的盲人日常行为来变得更加智能；

(3)本发明能够在行走时检测到并识别出前方出现的多个物体，并分别播报多物体与其位置距离的变化，可用于视力障碍人群在室内外找路线和室内找物体等等，帮助更多的盲人打开认识真实世界的另一扇门。

附图说明

图1是本发明实施例一的总体流程图；

图2是本发明实施例一中步骤s1的流程图；

图3是本发明实施例一中构建预设模型的步骤流程图；

图4是本发明实施例一中步骤s3的流程图；

图5是本发明实施例二的架构示意图。

具体实施方式

以下是本发明的具体实施例，并结合附图对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

实施例一

如图1所示，本发明一种基于深度学习的盲人智能避障方法，包括步骤：

s1、通过预设相机采集预设范围内的图片；

s2、根据预设训练模型识别出所采集图片中存在的物体并获得物体的位置信息；

s3、根据预设测距算法对所采集图片中的物体目标进行双目距离测定；

s4、将物体位置信息以及测定的物体目标距离通过语音进行播报，并根据物体位置信息以及测定的物体目标距离判断盲人避开障碍物的方向，并提醒盲人避开相应的障碍物。

在遇到障碍物前，本发明能够帮助视力障碍的人进行行走路线的决策，即通过播报该人与障碍之间的距离帮助视力障碍的人避开相应的障碍物，在遇到障碍物后，本发明能够根据物体位置信息以及测定的物体目标距离判断人能够避开障碍物的方向，并提醒视力障碍的人该如何行走能够避开相应的障碍物。

其中，如图2所示，步骤s1的具体包括：

s11、通过预设相机获取预设范围内的视频；

通过左右两个相机对盲人周边范围内的景象进行视频图像获取，能够进一步的提高物体识别能力以及位置信息的准确度。

s12、将所述视频进行取帧，得到预设范围内的图片。

如图3所示，建立所述预设模型的具体步骤包括：

s21、通过预设方式获取物体图片，并建立对应的数据集；

本发明通过实景拍照或者从网上获取图片的方式来获取物体图片，作为模型训练所需的训练样本并建立对应的数据集。

s22、通过预设方式获取图片中物体的预设参数；

其中，所述物体的预设参数为物体的位置、物体的名称以及物体的类型。

通过人工标注的方式，将每张图片中存在的物体画上方框，并写上物体名称，为模型训练提供参数，提高模型的识别能力，使得模型在识别时能够识别的物体的类型以及位置信息。

s23、将所述图片通过预设网络模型进行训练，并不断优化网络参数，得到预设训练模型。

本发明所选用的网络模型为yolov3模型，主要负责对获取的图片进行物体检测，即拿到物体在照片上的位置与模型预测出的所属类别，通过数据集中的训练样本对网络模型进行训练，并不断优化网络参数，使得最终生成的训练模型能够准确识别出图像中的物体并预测出物体的类型。

进一步的，如图4所示，步骤s3包括：

s31、将预设相机进行标定。

本发明使用opencv分别截取左右相机的所拍摄的图像，在这期间需要手持标定板，不停调整角度，来获取相机的标定数据，此数据与比例尺的功能类似，能够将图像上的距离数据和物体实际与相机之间的距离对应起来得到相机的内外参数。

s32、将采集的图片进行分割，得到左右两张图片。

s33、根据相机标定所获得的数据对每张图片进行坐标映射化。

s34、将两张映射过的图片进行灰度化。

s35、根据预设函数将灰度化的两张图片形成一幅视差深度图；

本发明通过使用深度图函数，对灰度化的左右相机图片进行处理形成一幅视差深度图。

s36、将深度图进行重构，得到映射图。

s37、根据物体的位置信息通过所述映射图计算出物体与预设相机之间的距离。

将之前得到的物体位置信息取出，并以此计算每个物体的中心点，对中心点的横坐标进行检测，过滤点偏离图像中心的点。

并且在预测出的距离中对明显不符合实际情况的距离进行筛选，最终得到物体目标与相机之间的距离。

本方法通过人工智能先进技术，结合深度学习，对于传统的物理避障系统来说，将会使得盲人避障设备变得更智能、更便捷。

实施例二

如图5所示，本发明一种基于深度学习的盲人智能避障系统，包括图像采集模块、物体检测模块、双目测距模块和语音转换模块。

图像采集模块用于通过预设相机采集预设范围内的图片，其中图像采集模块包括：

视频采集单元，用于通过预设相机获取预设范围内的视频；

取帧单元，用于将所述视频进行取帧，得到每个帧的图片。

物体检测模块，用于根据预设训练模型识别出所采集图片中存在的物体并获得物体的位置信息；

双目测距模块，用于根据预设测距算法对所采集图片中的物体目标进行双目距离测定；

语音转换模块，用于将物体位置信息以及测定的物体目标距离通过语音进行播报，并根据物体位置信息以及测定的物体目标距离判断盲人避开障碍物的方向，并提醒盲人避开相应的障碍物。

其中，双目测距模块包括：

标定单元，用于将预设相机获取的图片进行标定；

分割单元，用于将标定后的图片进行分割，得到左右两张图片；

坐标映射单元，用于根据标定所获得的数据对每张图片进行坐标映射化；

灰度处理单元，用于将两张映射过的图片进行灰度化；

深度图构建单元，根据预设函数将灰度化的两张图片形成一幅视差深度图；

重构单元，用于将视差深度图进行重构，得到映射图；

测量计算单元，用于根据物体的位置信息通过所述映射图计算出物体与预设相机之间的距离。

本发明能够在行走时检测到并识别出前方出现的多个物体，并分别播报多物体与其位置距离的变化，可用于视力障碍人群在室内/外找路线和室内找物体等等，帮助更多视力障碍人群打开认识真实世界的另一扇门。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。