通过在眼窝周围提供由智能电话图像获取驱动的触觉反馈建立对周围环境感知的系统和方法
【专利摘要】本发明公开一种通过在眼窝周围提供由智能电话图像获取驱动的触觉反馈建立对周围环境感知的系统和方法。具体地，本发明涉及一种为视觉障碍者导航的系统和方法。本发明的所述系统通过提供能够提供触觉反馈的可穿戴设备来辅助视觉障碍者。图像获取设备，如智能电话的相机被用于获取实时图像，安装于智能电话上的数字图像分析模块对所述实时图像进行进一步分析。处理过的图像随后被模拟成数字视觉矩阵，其进一步传送至所述可穿戴设备。触觉反馈提供工具安装在所述可穿戴设备上，可穿戴设备根据所述视觉矩阵的拦截和解读情况启动。本发明还公开一种通过处理所述数字图像识别路径中障碍的方法。
【专利说明】
通过在眼窝周围提供由智能电话图像获取驱动的触觉反馈 建立对周围环境感知的系统和方法
技术领域
[0001] 本发明所设及领域为使视觉障碍者能够在例如智能电话等图像获取设备的帮助 下导航的视觉障碍者辅助解决方案。
[0002] 本说明书中的术语定义
[0003] 本说明书中"用户"一词表示但不限于需要辅助导航周围环境的视觉障碍者。
[0004] 本说明书中"可穿戴系统"一词表示但不限于将作为整个系统的一部分被所述"用 户"佩戴的定制设备。
[0005] 本说明书中"智能电话"一词表示但不限于至少具有操作系统、处理功能、相机和 蓝牙的手持移动设备。
[0006] 本说明书中"触觉反馈"一词表示通过对用户施加力、震动或运动来利用触觉优势 的反馈技术。
[0007] 本说明书中"蓝牙通信"一词表示用于所述智能电话和所述可穿戴系统之间无线 通信的Bluetoo比'K'.无线技术。
[0008] W上定义是对本领域一般定义的补充。
【背景技术】
[0009] 世界上有许多患有视觉障碍的人。视觉障碍者日常工作中面临的一个主要挑战就 是如何导航通过周围那些他们不知道的障碍。
[0010] 虽然目前市场上已经有试图解决运一问题的可用方案，但正如下文所述，它们都 存在运样或那样的不足，没有一个具体的方案能够有效解决运一问题。
[0011] 让盲人看见是一项艰巨的任务，但换个角度，让他们能感觉到周围的环境则是可 行的。
[0012] 传统方式之一是利用拐杖或经过训练的狗的帮助。其它一些针对视觉障碍者的现 有导航系统则依赖于昂贵的对周围环境的物理强化或是昂贵的传感设备，因此很少得到应 用。正在研究的实时系统暴露出典型的问题是：体积庞大、接合身体部位、使用特别设计的 昂贵的传感器，W及用于准确导航目的的对用户的有限输入。其它一些系统则依赖于强化 各式各样的传感器，例如超声传感器，由于此类传感器感应范围各不相同，加上其它声波的 干扰，运种传感器很容易出错。此外，触觉反馈被应用于与"自然"人的视觉不相关的其他 领域。
[0013] 因此，需要有一种通过提供触觉反馈来建立对周围环境的感知的系统和方法克服 现有技术的缺陷。
【发明内容】
[0014] 本发明的部分目的是致力于改善现有技术中存在的一个或多个问题，或至少提供 一种如下所述的有益选择：
[0015] 本发明的一个目的是提供一种通过提供与物体位置和周围环境中的运动相对应 的策略性反馈，建立对周围物体的感知，从而为视觉障碍者提供导航帮助的系统和方法。
[0016] 本发明的另一个目的是通过常见的智能电话获取物体图像，建立一种利用实时图 像数据计算位置和方向的计算方法。
[0017] 本发明还有一个目的，就是通过利用高吞吐量的无线通信通道，如3G、4G和LTE， 实现云端图像处理并生成总信号。
[0018] 通过本发明中提出的实施例将显而易见，所述方法将用于通过设及多种因素的事 件序列对获取图像执行端到端感知体验。
[0019] 结合附图阅读本说明书，本发明的其他目的和优势会更加明显。运些附图并非意 在限制本发明的范围。
[0020] 一方面，本发明提供一种通过在视觉障碍用户眼窝周围提供触觉反馈建立对周围 环境的感知的系统。所述系统包括图像获取设备，其用于获取实时图像。所述图像获取设 备适应对应于障碍物位置、方向及其组合的视觉矩阵。所述系统进一步包括至少一个图像 处理模块，其安装于所述图像获取设备和云服务器中的任意一个上，所述云服务器用于处 理获取图像并将所述获取图像映射成视觉矩阵。所述系统还包括至少一个可穿戴眼镜，供 所述视觉障碍用户佩戴。所述可穿戴眼镜适用于无线接收来自所述图像获取设备的所述视 觉矩阵。所述系统还包括多个微电机，其位于所述可穿戴眼镜上，其中，所述多个微电机根 据所述视觉矩阵的拦截和解读情况启动，并向所述视觉障碍用户提供触觉反馈。
[0021] 另一方面，本发明提供一种向视觉障碍用户提供触觉反馈的方法。所述方法包括 使用图像获取设备获取图像。所述方法进一步包括：在所述图像获取设备中处理所述获取 图像，使用碰撞检测模块检测碰撞点并将其划分到碰撞高概率、中等概率和低概率区内。所 述方法还包括根据所述碰撞检测模块的分类生成视觉矩阵。此外，所述方法还包括将所述 视觉矩阵发送至所述视觉障碍用户佩戴的可穿戴眼镜，并根据所述视觉矩阵的拦截和解读 情况启动位于所述可穿戴眼镜上的多个微电机，向所述视觉障碍用户提供触觉反馈。
[0022] 特别地，其中所述图像获取设备为智能电话。
【附图说明】
[0023] 本发明提供运样一种系统和方法，其通过例如智能电话相机的图像获取设备获取 图像，向视觉障碍者提供触觉反馈，从而建立对周围物体的感知，下面将借助于附图对所述 系统和方法进行详细阐述，附图中：
[0024] 图1和2示出根据本发明的一方面，通过为视觉障碍者提供触觉反馈建立对周围 环境的感知的系统的架构；
[00巧]图3示出根据本发明的可佩带系统的架构；
[00%] 图4a示出根据本发明的另一方面，通过为视觉障碍者提供触觉反馈建立对周围 环境的感知的方法流程图； 阳027] 图4b示出图1所示系统的图形展示；W及
[0028] 图5示出图1所示系统的云端架构。
【具体实施方式】
[0029] 现在将结合附图对本发明的优选实施例进行详细描述。所述优选实施例不限制本 发明的范围和界限。W下描述仅当作示例和说明。
[0030] 结合下文中的非限制性实施例，对本发明的实施例及其各种技术特征和优点进行 详细解释。为避免本发明的实施例中出现不必要的模糊，已省略对公知部件和处理技术的 描述。本发明所用示例的目的仅在于方便理解本发明所述实施例的实施方式，并进一步使 本领域技术人员能够实施本发明所述的实施例。因此，所述示例同样不应该被理解为限制 本发明所述实施例的范围。
[0031] 所述系统和方法用于利用无线技术为视觉障碍者提供触觉反馈从而建立对周围 环境的感知，进而解放用户的双手。所述系统和方法在视觉障碍者眼窝周围提供策略性反 馈，从而W多方向的方式提供一种替代视觉的更全面、自然的感觉。所述系统的所述可穿戴 系统本身很紧凑，可W像普通眼镜一样佩戴，因此十分轻巧、容易携带、快捷便利。所述系统 使用诸如智能电话相机的图像获取设备作为输入设备，从而彻底避免了使用昂贵、附加的 实时视觉辅助设备。进一步说，所述智能电话还是一种通信工具和使用GPS、Wi-Fi及听觉 和语音反馈的附加导航输入设备，因此可W为用户提供强化体验。截止到目前为止，市场上 还没有出现利用智能手机的相机作为"虚拟眼"处理实时图像，使用可穿戴系统进行无线通 信的产品。所述可穿戴系统又在眼睛周围提供关于障碍详细方向和位置的触觉反馈。
[0032] 本发明构想一种为视觉障碍者导航的系统和方法。本发明的所述系统包括但不限 于识别路径上的障碍和提供直观、引导性的反馈来帮助视觉障碍者导航绕过所述障碍。所 述系统通过使用数字图像分析算法为视觉障碍者提供直观的触觉反馈W辅助视觉障碍者， 所述数字图像分析算法处理由智能电话的相机获取的实时图像。
[0033] 参见图1所示，系统100用于为视觉障碍者提供触觉反馈从而建立对周围环境的 感知。所述系统100包括图像获取设备101、至少一个图像处理模块（未标出）、至少一个 可穿戴眼镜103供视觉障碍用户佩戴、W及多个微电机104。
[0034] 在优选实施例中，所述图像获取设备101为智能电话。所述图像获取设备101获 取实时图像。所述图像获取设备101构造为具有对应于障碍物位置、方向及其组合的视觉 矩阵。
[0035] 所述图像处理模块安装于所述图像获取设备101和云服务器105中的任意一个 上，所述云服务器用于处理获取图像并将所述获取图像映射成视觉矩阵。
[0036] 所述至少一个可穿戴眼镜103供视觉障碍用户佩戴，并适用于无线接收来自所述 图像获取设备的所述视觉矩阵。在一个实施例中，所述无线方式为蓝牙通信102。
[0037] 所述多个微电机104安装于所述可穿戴眼镜103上，所述多个微电机104根据所 述视觉矩阵的拦截和解读情况启动，并向所述视觉障碍用户提供触觉反馈。所述可穿戴眼 镜103包括策略性定位的微电机104,所述微电机104根据来自图像获取设备101例如智能 电话的信号内容激活。
[003引如图2所示，所述图像获取设备101，例如智能电话，位于用户的胸部高度。所述智 能电话获取用户前方的实时图像106,对所述实时图像进行处理并将其转换成信号。随后， 运些信号通过无线，如蓝牙通信102传输给由所述用户作为"护目镜"佩戴的所述可穿戴系 统/可穿戴眼镜103。图2还展示了、例如利用卫星108的用于附加导航信息的GI^输入 107和语音反馈等附加功能。图2还展示了允许用户进行接打电话等正常手机操作的蓝牙 耳机。
[0039] 参见图3,其示出根据本发明的可穿戴系统的架构。所述可穿戴系统103包括蓝牙 模块102、微控制器109 W及一系列微电机104,它们安装在像眼镜一样佩戴在眼睛周围的 "护目镜状"壳体上。
[0040] 图4a示出根据本发明的另一方面的通过为视觉障碍者提供触觉反馈建立对周围 环境的感知的方法200的流程图。
[0041] 所述方法200包括使用图像获取设备例如智能电话获取图像。在运里，所述智能 电话相机是获取实时录影图像运一概念的核屯、因素。
[0042] 所述方法进一步包括在所述图像获取设备中处理所述获取图像，使用碰撞检测模 块检测碰撞点并将其划分到碰撞高概率、中等概率和低概率区内。所述方法利用碰撞检测 模块识别潜在的碰撞点，所述碰撞检测模块估计运动并确定每个框架碰撞的风险，其中每 个框架设及对本地扩张 （local expansion)和横向运动的计算。随后，所述碰撞检测模块 计算运些区域用于碰撞高概率、中等概率和低概率。在此分析基础上，生成信号矩阵并将其 通过蓝牙无线传输给所述可穿戴系统。
[0043] 所述可穿戴系统103拦截所述信号矩阵，并根据恰当定位于所述用户眼睛周围的 微电机被激活的值来解读所述信号矩阵，从而在准确区域为所述用户提供如所述物体位置 和方向的触觉反馈。 W44] 图5示出所述系统100的另一机制，其利用4G/LTE通道和云端系统。在此系统中， 为了更快地处理，图像处理转由云服务器107通过网络110,即，3G/4G/LTE通信进行。接着， 云服务器又将结论性的信号发回到所述智能电话101 ;所述智能电话101又把信号发送到 所述可穿戴系统103。 W45] 技术优势
[0046] 本发明构想的所述系统的技术优势包括实现了：
[0047] 1. 一种用于视觉障碍者的导航系统，其利用智能手机相机作为"虚拟眼"并与可穿 戴系统无线连接。
[0048] 2. -种可穿戴系统，其在用户眼睛周围为用户提供策略性反馈（触觉反馈），从而 使其直观、适用。
[0049] 在本说明书中，"包括"一词及其变形应理解为隐含包括说明的要素、整体或步骤， 或一组要素、整体或步骤，但并不排除任何其他要素、整体或步骤，或一组要素、整体或步 骤。
[0050] 短语"至少"或"至少一个"表示使用一个或多个要素或成分或数量，本发明的示 例中可能会使用此短语W达到一个或多个理想目标或结果。
[0051] 上文对具体实施例的描述已充分披露了本发明实施例的一般性，因此通过应用当 前知识，其他人可容易地对运些具体实施例进行修改和/或使适应于各种应用而不脱离一 般概念，因此，此类适应及修改应该并且旨在被理解为包含在所披露实施例的等同物的含 义和范围内。应当理解的是，本发明中所使用的措辞和术语的目的都是为了描述而不是限 审IJ。因此，虽然通过优选的实施例来描述本发明中的实施例，但是本领域技术人员会认同可 W在本发明所描述的实施例的主旨和范围内对本发明的实施例进行修改应用。
【主权项】
1. 一种通过在视觉障碍用户眼窝周围生成触觉反馈建立对周围环境的感知的系统，所 述系统包括： 图像获取设备，其用于获取实时图像，所述图像获取设备具有对应于障碍物位置、方向 及其组合的视觉矩阵； 至少一个图像处理模块，其安装于所述图像获取设备和云服务器中的任意一个上，所 述云服务器用于处理获取的图像并将所述获取图像映射成视觉矩阵； 至少一个可穿戴眼镜，供视觉障碍用户佩戴，所述可穿戴眼镜适用于无线接收来自所 述图像获取设备的所述视觉矩阵；以及 多个微电机，其位于所述可穿戴眼镜上，其中，所述多个微电机根据所述视觉矩阵的拦 截和解读情况启动，并向所述视觉障碍用户提供触觉反馈。2. 根据权利要求1所述的系统，其中，所述图像获取设备为智能电话。3. 根据权利要求1所述的系统，其中，图像获取设备通过4G/LTE通道与所述云服务器 通信。4. 根据权利要求1所述的系统，其中，所述图像处理模块为碰撞检测模块，其用于检测 碰撞点并将其划分到碰撞高概率、中等概率和低概率区内。5. 根据权利要求1所述的系统，其中，所述视觉矩阵为包括具有对应于兴趣区域的特 定值的单元格和具有〇值的其它单元格的矩阵。6. 根据权利要求1所述的系统，其中，所述图像获取设备至少具有以下功能之一：单独 或组合使用GPS、Wi-Fi及听觉和语音反馈为所述用户提供附加导航输入。7. 根据权利要求1所述的系统，其中，所述可穿戴眼镜适用于通过蓝牙通信模式接收 来自所述图像获取设备的视觉矩阵。8. -种为视觉障碍用户提供触觉反馈的方法，所述方法包括以下步骤： 利用图像获取设备获取至少一个图像； 在所述图像获取设备中处理所述获取图像，使用碰撞检测模块检测碰撞点并将其划分 到碰撞高概率、中等概率和低概率区内； 根据所述碰撞检测模块的分类生成视觉矩阵； 将所述视觉矩阵发送至所述视觉障碍用户佩戴的可穿戴眼镜上；以及 根据所述视觉矩阵的拦截和解读情况启动位于所述可穿戴眼镜上的多个微电机，向所 述视觉障碍用户提供触觉反馈。9. 根据权利要求8所述的方法，其中，所述图像获取设备为智能电话。10. 根据权利要求8所述的方法，其中，所述碰撞检测模块安装于所述图像获取设备和 云服务器中的任意一个上。11. 根据权利要求8所述的方法，其中，所述可穿戴眼镜适用于通过蓝牙通信模式接收 来自所述图像获取设备的视觉矩阵。
【文档编号】G06F3/01GK106066687SQ201510400271
【公开日】2016年11月2日
【申请日】2015年7月9日 公开号201510400271.0, CN 106066687 A, CN 106066687A, CN 201510400271, CN-A-106066687, CN106066687 A, CN106066687A, CN201510400271, CN201510400271.0
【发明人】K·A·博哈特
【申请人】特斯马恒达有限公司