一种听觉代替视觉的导盲方法

本发明涉及电子信息领域，涉及到一种新型的导盲方法，基于听觉代替视觉，利用图像转化声音(音乐)技术将前方拍摄的景物转化成为声音(音乐)信号，由盲人听取转化后的声音(音乐)进行障碍物判决，为盲人提供便捷、低成本的导盲服务。

背景技术：

1、盲人由于先天性疾病或后天意外事故而失去视力，从此他们只能依赖触觉和听觉来感知世界。对于盲人来说，大量的图像信息对他们来说是无用的。尤其是户外行走，盲人往往难以适应，需要不断地依靠他人帮助或使用辅助工具。

2、因此，一些科技工作者开始在电子辅助行走领域进行研究。这一研究分为两部分：一部分关注定位和导航，通过卫星信号等技术来确定自身位置和目的地并提供导航服务。然而，这些设备无法处理突发情况。另一部分研究专注于处理紧急情况。尽管这些设备可以处理一些意想不到的情况，但它们往往价格昂贵，无法普及到所有盲人。值得注意的是，导盲犬也是为盲人服务的。但由于数量有限，并且需要经过层层筛选和预约才能获得，所以申请难度很大。总之，目前采用的电子辅助导盲的方法成本高，操作复杂，不适合盲人。

3、尽管盲人失去了视觉感知能力，但他们的听觉相对更加敏锐。本发明提出了通过听觉代替视觉的信息转化的新思想，即将前方的图像转化为声音(音乐)，由盲人听取转化声音来判断，以帮助盲人判断正前方的情况。这样做，不仅能够发挥盲人的听觉潜力，还能降低实现成本，易于推广。

4、本发明提出了一种图像转声音(音乐)的新方法，将前方的景象转化为声音(音乐)信号，盲人可以通过听觉来听取转化的声音判断前方是否存在障碍物。实验结果表明，这种方法实现简单，并且具有广泛的应用推广价值。

5、此外，我们还设计了一种新的低成本的听觉代替视觉导盲验证装置。这种导盲装置的设计简单实用，可以提供基本的导航功能，使得盲人能够更好地在日常生活中移动和感知周围环境。这种低成本装置的研发有助于满足低收入盲人的需求，并提供他们更多独立和自主的生活机会。

6、通过这些创新的方法和设计，我们希望能够为盲人提供价廉、有效的辅助技术，帮助他们在日常生活中克服视觉上的障碍，并提高他们的生活质量。这些成果具有重要的社会意义和实际应用价值。

技术实现思路

1、为了解决上述技术问题，本研究提出了一种创新的图像转化声音(音乐)方法，通过将前方的图像转化为声音信号，盲人可以依靠听觉来判断前方情况，从而解决户外出行时前方出现障碍物可能带来的潜在危险。同时还设计了一种专门针对低收入盲人群体的低成本导盲验证装置。所述方法如下：

2、一种图像转化声音方法，这里的声音信号是音乐的midi格式，midi格式是电子乐器数字接口文件格式，目前广泛应用在电子乐器中。具体思路：

3、①将图像的rgb颜色空间通过公式转化成hsv颜色空间，转化公式如下：

4、cmax＝max(r',g',b')

5、cmin＝min(r',g',b')

6、△＝cmax-cmin

7、

8、

9、

10、v＝cmax

11、其中：h、s、v对应图像的色调、饱和度和亮度值；r'、g'、b'是归一化后的rgb值，cmax和cmin分别表示归一化后r、g、b的最大值和最小值，h'、△作为中间量；h'表示h分量的预先计算量。δ：表示归一化后r、g、b三个颜色通道中最大值与最小值之差。

12、②图像信息到音乐信息的midi格式参数的转化

13、将h、s、v三个图像特征映射到音乐的midi文件的三个参数：delta-time值、音高和音量中，进而将像素点转换成了midi文件中的音符；h取值范围为0～360，s取值范围为0～1，v的取值范围为0～1；音高、音量值的取值范围均为0～127，delta-time参数可以是任意正数值，这里我们采用一个字节的存储量即0～127，来表示delta-time参数取值范围。

14、图像三个分量信息向声音(音乐)三个参数信息进行映射，根据不同的映射方法，最终得到6种不同的映射声音，分别为：

15、1)h值映射到midi文件的delta-time值，s值映射到midi文件的音高，v值映射到midi文件的音量；

16、2)h值映射到midi文件的delta-time值，s值映射到midi文件的音量，v值映射到midi文件的音高；

17、3)h值映射到midi文件的音高，s值映射到midi文件的delta-time值，v值映射到midi文件的音量；

18、4)h值映射到midi文件的音高，s值映射到midi文件的音量，v值映射到midi文件的delta-time值；

19、5)h值映射到midi文件的音量，s值映射到midi文件的音高，v值映射到midi文件的delta-time值；

20、6)h值映射到midi文件的音量，s值映射到midi文件的delta-time值，v值映射到midi文件的音高；

21、具体映射方法为：将h、s、v值与音量、音高、delta-time参数进行匹配映射；其中p，t，d分别代表转化的音乐的音高、音量和delta-time值。

22、1)h、s、v与转化的音乐的delta-time、音高、音量值进行映射：

23、d＝(127/360)╳h，p＝127╳s，t＝127╳v；

24、2)h、s、v与转化的音乐的delta-time、音量、音高值进行映射：

25、d＝(127/360)╳h，t＝127╳s，p＝127╳v；

26、3)h、s、v与转化的音乐的音高、delta-time、音量值进行映射：

27、p＝(127/360)╳h，d＝127╳s，t＝127╳v；

28、4)h、s、v与转化的音乐的音高、音量、delta-time值进行映射：

29、p＝(127/360)╳h，t＝127╳s，d＝127╳v；

30、5)h、s、v与转化的音乐的音量、音高、delta-time值进行映射：

31、t＝(127/360)╳h，p＝127╳s，d＝127╳v；

32、6)h、s、v与转化的音乐的音量、delta-time、音高值进行映射：

33、t＝(127/360)╳h，d＝127╳s，p＝127╳v；

34、③图像到声音的转化

35、将图像像素点值转化成的midi文件音符进行合并，通过将相同的音高和音量的音符合并，以减少midi文件的长度并增强其可用性。在音符的音高和音量相同时，选择保留时间较长的音符，而覆盖时间较短的音符，这样做可以避免音符过于密集，减少冗余音符。将得到的音符数据生成midi格式事件代码，再加上midi格式化的文件头和音轨头生成midi文件。

36、2.转化的关键参数为：

37、图像信息中是h、s、v颜色分量，midi格式音乐文件中是delta-time值、音高和音量值。

38、3.设计了一种低成本的听觉代替视觉的导盲验证装置，具体工作流程如下：

39、①首先给导盲验证装置通电，其次通过镜头采集距离正前方3米远的图像，每1次/5秒进行采集并送到导盲验证装置的图像转音乐软件模块进行转化；

40、②图像转音乐模块将采集图像转化为一段midi格式的音乐文件输出；

41、③将生成的音乐片段通过耳机播放，人耳根据听转化音乐来判断前方有无障碍物；

42、④当导盲验证装置完成相应的任务后，关闭电源。

43、该验证装置通过摄像头捕捉距离前方约3米的景物，并将采集的图像用于图像到音乐的转换。转换后的声音片段通过耳机传送到人耳中，通过听取这些声音片段来判断正前方是否存在障碍物。