一种适用于先天性盲人学习识图的智能触点显示方法及装置与流程

本发明涉及盲人触觉显示领域，将视觉图像转化为触觉图像并在二维点阵显示，以使得图像可以被盲人特别是先天性盲人更容易地学习与理解。

背景技术：

信息是人们获取知识、相互交流的基础，然而对于盲人等视觉残障人士来说，由于他们视觉受损，只能通过其他感知能力特别是触听觉来获取外界信息。在面对文字信息时，他们可以通过被动式的语音朗读或者主动式的阅读盲文来理解信息。而面对图像信息时，他们无法直接的获取图像内容，特别是先天性盲人，他们对事物的认知通常是通过他人描述进行记忆与理解的，当其中包含很多抽象描述时，对他们的记忆和理解会造成极大的障碍。这一问题在学术研究上一直没有得到很好地解决。

随着信息时代的发展与进步，传统的文字信息将逐渐减少，更多的是互联网多媒体信息。而互联网普遍采用图形界面(graphicsuserinterface,gui)进行交互，包括插图、视频等，这又极大提升了盲人等视觉残障人士理解图形图像的需要。目前，ieeeonhaptics、metec.ag等多个学术和产业界机构在触觉图像显示器领域都进行了相关研究，比如handytech公司的gwp、kgs的dotsview系列、metec.ag的hyperbrailledisplay7200等。以上所述的触觉或触点显示器一般适用于辅助盲人进行阅读浏览等操作，其中最大点阵大小是120×60，难以完整清晰地显示视觉图像信息。如此，导致盲人特别是先天性盲人无法像明眼人一样浏览图片，难以感知事物结构形态。故只能凭借自己的记忆与想象构思，特别当遇到复杂图像时，容易混淆，这对于他们学习与认知存在局限性。

由于先天性盲人的特殊性，他们从未有过物理世界的视觉概念，从他们记事开始就基本上是通过他人的描述和阅读盲文了解世界。因此，针对先天性盲人自主学习、认知物理世界的触觉图像显示系统对他们的生活、工作具有重要意义。让他们从小能够了解、学习身边的事物形态，能够融入明眼人的生活世界，对他们的世界观建立也同样具有积极意义。

技术实现要素：

针对先天性盲人识图问题，本发明提出一种适用于先天性盲人学习识图的智能触点显示方法及装置，通过分层次、多对象的三维形态显示，让先天性盲人能够从小就能了解、认识周围的物理世界，提供三维的触觉图形提高盲人“看图”的准确度，并提供对象备选库，让盲人用户进一步了解学习不同形态的同类对象物体，从而在一定程度上提高他们的认知水平。

本发明解决其技术问题所采用的技术方案是：

一种适用于先天性盲人学习识图的智能触点显示方法，包括以下步骤：

步骤1：启动显示器，设置模式参数初始值m＝0，m∈(0，1，2)；

步骤2：判断模式参数m：若m值为0，则为默认全局场景模式，执行步骤3；若m值为1，则为近景单对象模式，执行步骤6；若m值为2，则为语音交互模式，执行步骤8；

步骤3：当前相机为普通摄像头状态，获取一帧图像数据，对图像进行预处理，并采用基于maskr-cnn模型的实例分割算法对图像进行分割识别，得到不同的实例物体a、b、c等以及它们的像素坐标映射表；

步骤4：将步骤3检测所得的实例对像进行降分辨率操作，得到目标分辨率图像，并对该该图像进行边缘检测，获取各对象准确的边缘轮廓信息，进行二值化处理；

步骤5：根据二值化结果，控制相应的触点升降，分区域在全局轮廓触觉图形显示界面显示；检测盲人用户触摸浏览位置，根据坐标映射到对象表，获取当前所浏览的a对象信息；判断盲人浏览操作：若检测到双击动作，语音提示当前浏览对象，并执行步骤9；否则重复检测浏览操作；

步骤6：当前相机为tof摄像头，获取一帧图像数据，根据彩色图像检测识别目标对象a，并获取目标对象a的深度信息图，将该深度图进行降分辨率操作，得到目标分辨率图像；根据深度信息，计算触觉图像中对应触点的上升值h；

步骤7：根据步骤6所得高度h，控制触点模块中各触点上升高度，在三维触觉图像显示区域进行显示；执行步骤9；

步骤8：按下语音键，盲人用户通过语音输入想要查看的物体对象a，语音模块根据输入信息识别对象名称；

步骤9：根据步骤5或者步骤6或者步骤8所得的a对象信息，匹配素材库查找同类对象a1、a2、a3……并在盲文提示区域显示提示信息，根据盲人用户浏览操作进行不同对象的三维形态显示；

步骤10：判断是否接收到结束信号：若是，则执行下一步；否则，重新执行步骤2；

步骤11：结束显示，关闭显示器。

进一步，所述步骤4的过程包括以下步骤：

步骤4.1：首先确定第一预定缩小比p1，与设定的阈值σ比较，若p1＜σ，执行下一步；若p1≥σ，执行步骤4.5；0＜p1，σ＜1；

步骤4.2：根据阈值σ利用双线性差值法对图像进行缩小处理；

步骤4.3：将缩小后的图像的分辨率与设定阈值σ相乘，判断乘积是否大于等于目标分辨率：若大于或等于，则继续执行步骤4.2；若小于目标分辨率，执行下一步；

步骤4.4：根据上一步缩小结果，确定第二预定缩小比p2，并根据该缩小比利用双线性插值法对步骤4.3结果图像进行缩小处理，得到目标分辨率的图像；0＜p2＜1；

步骤4.5：根据第一预定缩小比p1，利用双线性插值法对图像进行缩小处理，得到目标分辨率的图像；

步骤4.6：结合多尺度几何分析方法，对所得目标分辨率图像进行分析，采用基于contourlet变换的模极大值边缘检测方法对图像进行边缘检测，获取各对象准确且连续的边缘轮廓信息；进行二值化处理，输出二值轮廓信息图。

再进一步，所述步骤5中，检测盲人用户触摸浏览位置是通过压力传感技术，所采用的方案是：在每个触点单元连接压力传感芯片，根据用户触摸产生的按压转化成电信号进行检测，判断用户当前浏览位置以及浏览操作，包括以下步骤：

步骤5.1：根据每个触点单元(6点，呈3行2列)连接的压力传感芯片，检测手指触摸的位置；

步骤5.2：根据触摸位置坐标确定当前图像所在位置，查询映射表找相应的对象信息；

步骤5.3：判断浏览手势：若在设定时间间隔t内检测到连续两次触摸同一触点单元(有且仅有一处存在压力值)，则执行下一步；否则判断为正常浏览状态，重复执行步骤5.3；

步骤5.4：检测到双击动作后，通过语音播报所浏览的对象信息，然后执行步骤9。

更进一步，所述步骤6中，获取触觉图像中对应各触点上升高度值，包括以下步骤：

步骤6.1：根据目标分辨率深度图中，可以得到每个像素点到相机平面的距离z；求得d＝zmax-zmin表示最大深度差，d＝zmax-z表示当前深度差；其中zmax和zmin分别是最大深度和最小深度；

步骤6.2：根据公式可以计算得到各像素点对应的可控触点上升高度比例m，分为11个级别m0～m10进行控制：当m＜0.05时，设定级别为m0＝0；当m∈[0.05，0.15)时，设定级别为m1＝0.1；当m∈[0.15，0.25)时，设定级别为m2＝0.2；以此类推；

步骤6.3：设定可控触点上升最高高度为h，则对应每个触点上升高度h＝m×h，其中m∈[m0，m10]。

所述步骤9中，素材库是专门针对先天性盲人所收集的现实生活中普遍存在的不同形态的物体对象数据，包括它们的文本描述以及语音信息。这一设计能够让正处于学习识物时期的先天性盲人更加广泛认识事物，更好地了解自己周围物理世界的存在。

一种采用所述的适用于先天性盲人学习识图的智能触点显示方法的触点显示装置，包括触点显示器本体和一个带有tof功能的摄像头，所述触点显示器内设有控制器和两个触点显示屏，分别是全局轮廓触觉显示和单对象三维触觉图像显示；所述显示器正面上还包括四个按键：上下翻页按键、拍摄和语音按键；所述显示屏下方设置有两个盲文显示区域，分别是当前内容提示信息显示区域和可供显示的同类对象信息提示区域；所述显示器侧边还设有一个模式选择按钮。

进一步，所述控制器包括：

图像处理单元，用于对摄像头采集的图像进行去噪、轮廓提取、分割识别和降分辨率等操作；

存储单元，用于素材库数据的存储以及缓存当前图像数据，包括用于显示的原图信息和经过分割识别后的各对象信息；

压力传感单元：用于检测用户触摸，反馈触摸位置；并且判断浏览操作；

语音交互单元：用于播放图像描述信息以及采集处理用户语音输入信息；

触点控制单元，用于控制各个触点高度，显示轮廓信息；

通信单元，用于与触点控制模块进行通信，传输各触点升降状态以及上升高度。

本发明的有益效果主要表现在：通过不同模式的选择，满足不同情况下盲人学习识物的需求。全局场景模式下，采用基于maskr-cnn模型算法对摄像头采集的图像进行分割识别，并通过一种优化的降分辨率算法对图像进行缩小处理，能够有效地减弱图像边缘处的锯齿效应，得到较为清晰的目标分辨率图像，然后结合多尺度几何分析方法和基于contourlet变换的模极大值边缘检测方法获取图像轮廓信息，并通过二维点阵进行显示；近景单对象模式下，通过tof摄像头获取图像信息，首先检测识别目标对象，然后对深度图进行同样的降分辨率操作，得到目标分辨率深度图信息，通过计算得到触觉图像中对应可控触点的上升高度，在单对象触觉图像显示区域以三维形态进行显示。同时，根据当前显示的对象信息，匹配素材库数据，得到同类对象的不同形态数据，以供盲人进行浏览学习。第三种模式为语音交互模式，用户可以按下语音键通过语音告诉机器想要学习了解的对象。盲人用户还可通过浏览操作如双击触点单元，获取触摸对象的语音描述信息以及盲人提示信息。通过所述便捷的操作，以及三维形态的展示多状态对象物体，能够有效帮助先天性盲人认识和理解周围世界，促进盲人更好的融入明眼人世界。

附图说明

图1为本发明中智能触点显示装置的结构图，其中1为带有tof功能的摄像头，2是全局轮廓触觉图像显示屏，3是单对象三维触觉图像显示屏，4是当前显示对象信息盲文描述提取区域，5是素材库中可供显示的同类对象提示信息，6模式选择开关。

图2为本发明中智能触点显示方法的两个模式基本框图。

图3为本发明中智能触点显示方法的整体流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图3，一种适应于先天性盲人的智能触点显示方法，所述方法包括以下步骤：

步骤1：启动显示器，设置模式参数初始值m＝0，m∈(0，1，2)；

本发明中，共设有三种基本模式：全局场景模式(m＝0)、近景单对象模式(m＝1)和语音交互模式(m＝2)。其中默认模式为全局场景模式，可根据图1中模式开关6切换全局或近景模式，还可以通过语音按键选择语音交互模式；

步骤2：判断模式参数m：若m值为0，则为默认全局场景模式，执行步骤3；若m值为1，则为近景单对象模式，执行步骤6；若m值为2，则为语音交互模式，执行步骤8；

步骤3：当前相机为普通摄像头状态，获取一帧图像数据，对图像进行预处理，并采用基于maskr-cnn模型的实例分割算法对图像进行分割识别，得到不同的实例物体a、b、c等以及它们的像素坐标映射表；

本发明中，采用深度学习算法对图像进行分割识别，并对分割的坐标信息和识别的结果建立映射表，形成对应关系，提高后续处理效率。

步骤4：将步骤3检测所得的实例对像进行降分辨率操作，得到目标分辨率图像，并对该该图像进行边缘检测，获取各对象准确的边缘轮廓信息，进行二值化处理；

所述步骤4包括以下步骤：

步骤4.1：首先确定第一预定缩小比p1，与设定的阈值σ比较，若p1＜σ，执行下一步；若p1≥σ，执行步骤4.5；0＜p1，σ＜1；

步骤4.2：根据阈值σ利用双线性差值法对图像进行缩小处理；

步骤4.3：将缩小后的图像的分辨率与设定阈值σ相乘，判断乘积是否大于等于目标分辨率：若大于或等于，则继续执行步骤4.2；若小于目标分辨率，执行下一步；

步骤4.4：根据上一步缩小结果，确定第二预定缩小比p2，并根据该缩小比利用双线性插值法对步骤4.3结果图像进行缩小处理，得到目标分辨率的图像；0＜p2＜1；

步骤4.5：根据第一预定缩小比p1，利用双线性插值法对图像进行缩小处理，得到目标分辨率的图像；

步骤4.6：结合多尺度几何分析方法，对所得目标分辨率图像进行分析，采用基于contourlet变换的模极大值边缘检测方法对图像进行边缘检测，获取各对象准确且连续的边缘轮廓信息；进行二值化处理，输出二值轮廓信息图；

本发明涉及一种优化的降分辨率算法，在较大分辨率缩小到小分辨率图像中，通过循环多次的双线性插值算法进行缩小变换，提高图像中像素利用率，能够有效降低图像边缘的锯齿效应。

本发明中，预定缩小比为图像目标分辨率与原始分辨率的比值，阈值σ根据双线性插值算法的原理可设定为1/4；其中目标分辨率根据触点屏幕触点数量进行确定。

本发明中所采用的基于contourlet变换的模极大值边缘检测方法是专门针对盲人视触觉图像转换提出的算法，结合了多尺度多几何分析，能够检测到任意方向上的连续边缘信息，提高盲人触觉感知的准确性。

步骤5：根据二值化结果，控制相应的触点升降，分区域在全局轮廓触觉图形显示界面显示；检测盲人用户触摸浏览位置，根据坐标映射到对象表，获取当前所浏览的a对象信息；判断盲人浏览操作：若检测到双击动作，语音提示当前浏览对象，并执行步骤9；否则重复检测浏览操作；

所述步骤5中，检测盲人用户触摸浏览位置是通过压力传感技术，所采用的方案是，在每个触点单元连接压力传感芯片，根据用户触摸产生的按压转化成电信号进行检测，判断用户当前浏览位置以及浏览操作，具体包括以下步骤：

步骤5.1：根据每个触点单元(6点，呈3行2列)连接的压力传感芯片，检测手指触摸的位置；

步骤5.2：根据触摸位置坐标确定当前图像所在位置，根据图像缩小比例，计算所在对应原图位置坐标，查询映射表找到相应的对象信息；

步骤5.3：判断浏览手势：若在设定时间间隔t内检测到连续两次触摸同一触点单元(有且仅有一处存在压力值)，则执行下一步；否则判断为正常浏览状态，重复执行步骤5.3；

步骤5.4：检测到双击动作后，通过语音播报所浏览的对象信息，然后执行步骤9；

本发明中，检测双击动作是根据常规的按键操作进行判断，在一定时间t内，检测到某一处有两次按压则判定为双击动作，t根据使用习惯进行设定。所述语音播报信息，是根据之前识别结果的标签内容；

步骤6：当前相机为tof摄像头，获取一帧图像数据，根据彩色图像检测识别目标对象a，并获取目标对象a的深度信息图，将该深度图进行降分辨率操作，得到目标分辨率图像；根据深度信息，计算触觉图像中对应触点的上升值h；

所述步骤6中，获取触觉图像中对应各触点上升高度值包括以下步骤：

步骤6.1：根据目标分辨率深度图中，可以得到每个像素点到相机平面的距离z；求得d＝zmax-zmin表示最大深度差，d＝zmax-z表示当前深度差；其中zmax和zmin分别是最大深度和最小深度；

步骤6.2：根据公式可以计算得到各像素点对应的可控触点上升高度比例m，分为11个级别m0～m10进行控制：当m＜0.05时，设定级别为m0＝0；当m∈[0.05，0.15)时，设定级别为m1＝0.1；当m∈[0.15，0.25)时，设定级别为m2＝0.2；以此类推；

步骤6.3：设定可控触点上升最高高度为h，则对应每个触点上升高度h＝m×h，其中m∈[m0，m10]；

本发明中，利用tof摄像头能够直接获取图像深度信息，同时还要利用彩色原图进行目标检测，获取所拍摄对象信息；

步骤7：根据步骤6所得高度h，控制触点模块中各触点上升高度，在三维触觉图像显示区域进行显示；执行步骤9；

步骤8：按下语音键，盲人用户通过语音输入想要查看的物体对象a，语音模块根据输入信息识别对象名称；

步骤9：根据步骤5或者步骤6或者步骤8所得的a对象信息，匹配素材库查找同类对象a1、a2、a3……并在盲文提示区域显示提示信息，根据盲人用户浏览操作进行不同对象的三维形态显示；

所述步骤9中，素材库是专门针对先天性盲人所收集的现实生活中普遍存在的不同形态的物体对象数据，包括它们的文本描述以及语音信息等。这一设计能够让正处于学习识物时期的先天性盲人更加广泛认识事物，更好地了解自己周围物理世界的存在。

步骤10：判断是否接收到结束信号：若是，则执行下一步；否则，重新执行步骤2；

步骤11：结束显示，关闭显示器。

一种采用所述的适用于先天性盲人学习识图的智能触点显示方法的触点显示装置，包括触点显示器本体和一个带有tof功能的摄像头1，所述触点显示器内设有控制器和两个触点显示屏，分别是全局轮廓触觉显示屏2和单对象三维触觉图像显示屏3；所述显示器正面上还包括四个按键：上下翻页按键、拍摄和语音按键；所述显示屏下方设置有两个盲文显示区域，分别是当前内容提示信息显示区域4和可供显示的同类对象信息提示区域5；所述显示器侧边还设有一个模式选择按钮6。

本发明中，采用带有tof功能的摄像头，可以适应不同场景，当用户想拍摄全局图像进行多对象学习时，考虑tof摄像头的有效距离短，故只采用普通摄像头功能，通过基本的轮廓触觉图像展示供用户选择学习；当用户想对具体某个物体进行深入学习，可启用tof摄像头功能，只针对图像中单个对象进行三维触觉图像显示，并提供素材库供用户学习。

本发明中，还设置了一种最直接的学习方式，语音交互模式。用户通过按住语音键，语音输入想要学习的目标物体，显示设备通过语音模块识别输入内容，检索素材库，若存在该类对象，则在显示区域显示盲文提示信息，若无则反馈给用户。

所述控制器包括：

图像处理单元，用于对摄像头采集的图像进行去噪、轮廓提取、分割识别和降分辨率等操作；

存储单元，用于素材库数据的存储以及缓存当前图像数据，包括用于显示的原图信息和经过分割识别后的各对象信息；

压力传感单元：用于检测用户触摸，反馈触摸位置；并且判断浏览操作；

语音交互单元：用于播放图像描述信息以及采集处理用户语音输入信息；

触点控制单元，用于控制各个触点高度，显示轮廓信息；

通信单元，用于与触点控制模块进行通信，传输各触点升降状态以及上升高度。

本实施例通过一个带有tof功能的相机，通过不同模式的选择，针对不同场景获取图像数据，满足不同情况下盲人学习识物的需求。全局场景模式下，采用基于maskr-cnn模型算法对摄像头采集的图像进行分割识别，并通过一种优化的降分辨率算法对图像进行缩小处理，能够有效地减弱图像边缘处的锯齿效应，得到较为清晰的目标分辨率图像，然后结合多尺度几何分析方法和基于contourlet变换的模极大值边缘检测方法获取图像轮廓信息，并通过二维点阵进行显示；近景单对象模式下，通过tof摄像头获取图像信息，首先检测识别目标对象，然后对深度图进行同样的降分辨率操作，得到目标分辨率深度图信息，通过计算得到触觉图像中对应可控触点的上升高度，在单对象触觉图像显示区域以三维形态进行显示。同时，根据当前显示的对象信息，匹配素材库数据，得到同类对象的不同形态数据，以供盲人进行浏览学习。第三种模式为语音交互模式，用户可以按下语音键通过语音告诉机器想要学习了解的对象。盲人用户还可通过浏览操作如双击触点单元，获取触摸对象的语音描述信息以及盲人提示信息。通过上述便捷的操作，以及三维形态的展示多状态对象物体，能够有效帮助先天性盲人认识和理解周围世界，促进盲人更好的融入明眼人世界。