提示信息生成方法、装置、设备及存储介质与流程

1.本发明属于视觉识别技术领域，尤其涉及一种提示信息生成方法、装 置、设备及存储介质。


背景技术：

2.视力障碍者是指视力功能出现障碍的人。
3.目前，为了避免视力障碍者出行过程中出现危险，需要专人陪伴视力 障碍者出行。为了使得视力障碍者出行节省人力资源，还可以采用针对弱 势群体设计的辅助出行系统来辅助视力障碍者出行。
4.但是，辅助出行系统不仅成本高，而且体积较大，不方便出行时携带。


技术实现要素：

5.本发明实施例提供一种提示信息生成方法、装置、设备及存储介质， 能够解决辅助出行系统不仅成本高，而且体积较大，不方便出行时携带的 问题。
6.第一方面，提供了一种提示信息生成方法，该方法包括：
7.获取目标人物所在区域的目标区域图像；
8.使用预设的物体检测模型检测目标区域图像中的目标物体，确定目标 物体的位置信息和类型信息；
9.对目标物体进行测距，确定目标物体与目标人物的距离信息；
10.根据位置信息、类型信息和距离信息，生成提示信息；提示信息用于 提示目标人物避开目标物体。
11.在一种可能的实现方式中，使用预先建立的物体检测模型检测目标区 域图像中的目标物体，确定目标物体的位置信息和类型信息，包括：
12.将目标区域图像分别输入至物体检测模型中，确定目标区域图像中目 标物体的多个第一目标框；多个第一目标框之间的尺寸和长宽比均不同；
13.确定多个第一目标框的分值和位置偏移量；
14.根据多个第一目标框的分值和位置偏移量，确定多个第二目标框；多 个第一目标框包括多个第二目标框；
15.使用非极大值抑制算法从多个第二目标框中确定目标物体的位置信息 和类型信息。
16.在一种可能的实现方式中，该方法还包括：
17.保存目标区域图像，目标区域图像中目标物体的位置信息和类型信息 到图像数据库中；
18.当图像数据库中的目标区域图像的数量大于预设数量阈值时，基于保 存的目标区域图像目标物体的位置信息和类型信息，对物体检测模型训练， 得到新的物体检测模型；
19.使用新的物体检测模型检测目标区域图像中的目标物体，确定目标物 体的位置信息和类型信息；
20.对目标物体进行测距，确定目标物体与目标人物的距离信息；
21.根据位置信息、类型信息和距离信息，生成提示信息；提示信息用于 提示目标人物避开目标物体。
22.在一种可能的实现方式中，该方法还包括：
23.删除图像数据库中保存的目标区域图像以及目标区域图像中目标物体 的位置信息和类型信息。
24.在一种可能的实现方式中，该方法还包括：
25.获取样本训练集；样本训练集包括多个训练样本，每个训练样本包括 样本区域图像和每一个样本区域图像的标签信息；
26.对每个训练样本，分别执行下述步骤一到步骤三：
27.步骤一：将样本区域图像输入至目标识别(single shot detector，ssd) 算法检测模型中，得到样本区域图像中样本物体的类型信息和位置信息；
28.步骤二：根据样本区域图像中样本物体的类型信息、位置信息和样本 区域图像的标签信息，确定ssd算法检测模型的损失函数值；
29.步骤三：根据损失函数值训练ssd算法检测模型，得到物体检测模型。
30.在一种可能的实现方式中，根据损失函数值训练ssd算法检测模型， 得到物体检测模型，包括：
31.当ssd算法检测模型的损失函数值不满足预设训练停止条件时，调整 ssd算法检测模型的参数，并利用训练样本集训练调整后的ssd算法检测 模型，直至满足预设训练停止条件，得到物体检测模型。
32.在一种可能的实现方式中，该方法还包括：ssd算法检测模型的损失 函数包括逻辑回归损失函数和最小平方损失函数。
33.第二方面，提供了一种提示信息生成装置，该装置包括：
34.获取模块，用于获取目标人物所在区域的目标区域图像；
35.第一确定模块，用于使用预设的物体检测模型检测目标区域图像中的 目标物体，确定目标物体的位置信息和类型信息；
36.第二确定模块，用于对目标物体进行测距，确定目标物体与目标人物 的距离信息；
37.生成模块，用于根据位置信息、类型信息和距离信息，生成提示信息； 提示信息用于提示目标人物避开目标物体。
38.第三方面，提供了一种电子设备，该设备包括：处理器以及存储有计 算机程序指令的存储器；处理器执行计算机程序指令时实现如第一方面或 者第一方面的任一可能实现方式中的方法。
39.第四方面，提供了一种计算机存储介质，该计算机存储介质上存储有 计算机程序指令，计算机程序指令被处理器执行时实现如第一方面或者第 一方面的任一可能实现方式中的方法。
40.基于提供的提示信息生成方法、装置、设备及存储介质，通过获取目 标人物所在
区域的目标区域图像；使用预设的物体检测模型检测目标区域 图像中的目标物体，确定目标物体的位置信息和类型信息；对目标物体进 行测距，确定目标物体与目标人物的距离信息；根据位置信息、类型信息 和距离信息，生成提示信息；提示信息用于提示目标人物避开目标物体， 能够使得视力障碍者出行无需携带体积大的出行工具，降低了出行成本， 提高避障的准确性和全面性，更好的保证了视力障碍人群的安全出行。
附图说明
41.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例 中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不 付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.图1是本发明实施例提供的一种提示信息生成方法的流程示意图；
43.图2是本发明实施例提供的一种提示信息生成装置的结构示意图；
44.图3是本发明实施例提供的电子设备的结构示意图。
具体实施方式
45.下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本 发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例， 对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配 置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说， 本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实 施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
46.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用 来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者 暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语
ꢀ“
包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而 使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而 且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物 品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”ꢀ
限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在 另外的相同要素。
47.目前，为了避免视力障碍者出行过程中出现危险，需要专人陪伴视力 障碍者出行，通过在公共环境下多建设无障碍设施，如盲道，色彩鲜艳的 指示灯、扶栏等明显标志帮助实力障碍者识别路况。为了使得视力障碍者 出行节省人力资源，还可以采用针对弱势群体设计的辅助出行系统来辅助 视力障碍者出行。但是，人工辅助依赖于专人陪伴，并没有从根本上解决 视力障碍者出行问题，而且浪费人力资源。另外公共设施常被占用、破坏 及其设计不合理等因素，目前国内城市大规模的设施建设对视力障碍者并 未产生很大帮助，而外部设施的建设也并未从根源上解决其出行问题。而 辅助出行设备几乎没有，而针对弱视群体设计的辅助出行系统，如公交车 弱视群体导航器、弱视群体手机、弱视群体手电、短距离超声波避障仪、 弱视群体导航装置、导航仪等，其功能较单一或价格昂贵且成本高或体积 大不便于出行。
48.因此，本发明实施例提供了一种提示信息生成方法、装置、设备及存 储介质，能够
使得视力障碍者出行无需携带任何工具，降低了出行成本， 提高避障的准确性和全面性，更好的保证了视力障碍人群的安全出行。
49.为了方便理解本发明实施例，首先对本发明实施例提供的提示信息生 成方法进行详细阐述。
50.图1是本发明实施例提供的一种提示信息生成方法的流程示意图。
51.如图1所示，本发明实施例提供的提示信息生成方法包括：
52.s101：获取目标人物所在区域的目标区域图像。
53.目标人物是指在外出行的视力障碍者。目标人物所在的区域可以是目 标人物当前所在位置的一定范围内的区域。在这里，为了能够提示目标人 物进行避障，需要获取目标人物所在区域的目标区域图像。目标区域图像 可以是采用设置在交通信号灯出的摄像头来采集目标区域图像。
54.在一些实施例中，目标区域图像可以包括一个目标人物，还可以是包 括多个目标人物。目标区域图像可以是图像采集设备能够采集到的图像对 应的区域。
55.s102：使用预设的物体检测模型检测目标区域图像中的目标物体，确 定目标物体的位置信息和类型信息。
56.物体检测模型是预先训练得到的。在一些实施例中，物体检测模型可 以通过下述方式训练得到：
57.具体的，获取样本训练集；样本训练集包括多个训练样本，每个训练 样本包括样本区域图像和每一个样本区域图像的标签信息。
58.标签信息包括样本区域图像中的视力障碍者周围的样本物体的位置信 息和类型信息。物体的类型信息可以是人物，车辆，交通标志物等。例如， 样本区域图像中人物a附近有车辆和人物，那么该样本图像的标签信息为 人物a周围物体的类型信息：车辆和人物，以及车辆的位置信息和人物的 位置信息。
59.训练物体检测模型过程中，可以是预先采集样本训练集来进行模型训 练。也可以是在提示信息生成过程中，将获取的目标区域图像，以及检测 到的目标区域图像中的物体的位置信息和类型信息保存在数据库中，然后 将数据库中保存的目标区域图像和目标区域图像的标签信息作为训练样本 集进行模型训练。
60.其中，初次训练物体检测模型时，样本训练集是预先采集的。
61.样本训练集中包括多个训练样本。针对每一个训练样本，分别执行下 述步骤一到步骤三：
62.步骤一：将样本区域图像输入至ssd算法检测模型中，得到样本区域 图像中样本物体的类型信息和位置信息。
63.vgg16的基础网络中前5层网络作为ssd算法模型的网络结构。 vgg16的基础网络中低6层网络和第7层网络为ssd算法模型的卷积层。 ssd算法模型还包括3个卷积层和一个池化层。ssd算法检测模型的损失 函数包括逻辑回归损失函数和最小平方损失函数。
64.将样本区域图像输入至ssd算法模型中，可以提取样本区域图像中样 本物体的类型信息和位置信息。
65.步骤二：根据样本区域图像中样本物体的类型信息、位置信息和样本 区域图像的标签信息，确定ssd算法检测模型的损失函数值。
66.标签信息中包括样本物体的类型信息和位置信息。根据ssd算法模型 确定得到的样本物体的类型信息和位置信息与标签信息中样本物体的类型 信息和位置信息，能够确定ssd算法检测模型的损失函数值。
67.步骤三：根据损失函数值训练ssd算法检测模型，得到物体检测模型。
68.确定一个训练样本对应的损失函数值后，基于该损失函数值训练ssd 算法检测模型，得到物体检测模型。
69.具体的，当ssd算法检测模型的损失函数值不满足预设训练停止条件 时，调整ssd算法检测模型的参数，并利用训练样本集训练调整后的ssd 算法检测模型，直至满足预设训练停止条件，得到物体检测模型。
70.可以预先设置模型的训练停止条件。例如，损失函数值小于一定数值 后，则模型训练结束。如果损失函数值不满足预设训练停止条件，则需要 调整ssd算法检测模型的参数。在选取训练样本集中其他训练样本继续训 练调整参数后的ssd算法检测模型。如此循环，直至计算得到的损失函数 值满足预设的训练停止条件，得到物体检测模型。
71.其中，物体检测模型的损失函数包括逻辑回归损失函数和最小平方损 失函数。
72.将目标区域图像输入至训练好的物体检测模型中，确定目标区域图像 中目标物体的位置信息和类型信息。
73.其中，位置信息可以是该目标物体相对于目标人物的位置信息。例如， 目标物体的位置信息为正前方位置，就表示目标物体在目标人物的正前方。
74.具体的，使用训练好的物体检测模型检测目标区域图像中的目标物体， 确定目标物体的位置信息和类型信息，具体包括：
75.将目标区域图像分别输入至物体检测模型中，确定目标区域图像中目 标物体的多个第一目标框；多个第一目标框之间的尺寸和长宽比均不同。
76.确定多个第一目标框的分值和位置偏移量；
77.根据多个第一目标框的分值和位置偏移量，确定多个第二目标框；多 个第一目标框包括多个第二目标框；
78.使用非极大值抑制算法从多个第二目标框中确定目标物体的位置信息 和类型信息。
79.跟踪目标人物开始时，将被跟踪目标人物所在区域的图像输入至物体 检测模型中，检测出目标人物周围的目标物体的类型信息和位置信息。物 体检测模型进行目标物体检测时，首先产生多个不同尺度、不同长宽比的 第一目标框，第一目标框是指目标区域图像中可能是目标物体的框。再将 多个不同的卷积滤波器应用于各个卷积层上，从而得出每个第一目标框分 值和位置偏移量。根据分值和位置偏移量可以确定一系列第二目标框。例 如可以将第一目标框中分值和位置偏移量均满足预设条件的第一目标框作 为第二目标框。多个第二目标框是多个第一目标框的一部分。在这里，目 标区域图像中可以有一个目标物体，也可以有多个目标物体。一个目标物 体可以有一个第二目标框，也可以有多个第二目标框。为了确定目标物体 最终的位置信息和类型信息，可以通过非极大值抑制算法来确定终的检测 结果，得到目标物体的位置信息和类型信息。
80.在一些实施例中，为了能够进一步提高物体检测模型进行物体检测的 精度，还可以不断的更新物体检测模型。
性和全面性，更好的保证了视力障碍人群的安全出行。
96.图2是本发明实施例提供的一种提示信息生成装置的结构示意图。
97.如图2所示，本发明实施例提供的一种提示信息生成装置，可以包括： 获取模块201，第一确定模块202，第二确定模块203，生成模块204。
98.获取模块201，用于获取目标人物所在区域的目标区域图像；
99.第一确定模块202，用于使用预设的物体检测模型检测目标区域图像 中的目标物体，确定目标物体的位置信息和类型信息；
100.第二确定模块203，用于对目标物体进行测距，确定目标物体与目标 人物的距离信息；
101.生成模块204，用于根据位置信息、类型信息和距离信息，生成提示 信息；提示信息用于提示目标人物避开目标物体。
102.可选的，在本发明一些实施例中，第一确定模块202，具体用于：
103.将目标区域图像分别输入至物体检测模型中，确定目标区域图像中目 标物体的多个第一目标框；多个第一目标框之间的尺寸和长宽比均不同；
104.确定多个第一目标框的分值和位置偏移量；
105.根据多个第一目标框的分值和位置偏移量，确定多个第二目标框；多 个第一目标框包括多个第二目标框；
106.使用非极大值抑制算法从多个第二目标框中确定目标物体的位置信息 和类型信息。
107.可选的，在本发明一些实施例中，该装置还包括：
108.保存模块，用于保存目标区域图像，目标区域图像中目标物体的位置 信息和类型信息到图像数据库中；
109.训练模块，用于当图像数据库中的目标区域图像的数量大于预设数量 阈值时，基于保存的目标区域图像目标物体的位置信息和类型信息，对物 体检测模型训练，得到新的物体检测模型；
110.第一确定模块202，用于使用新的物体检测模型检测目标区域图像中 的目标物体，确定目标物体的位置信息和类型信息；
111.第二确定模块203，用于对目标物体进行测距，确定目标物体与目标 人物的距离信息；
112.生成模块204，用于根据位置信息、类型信息和距离信息，生成提示 信息；提示信息用于提示目标人物避开目标物体。
113.可选的，在本发明一些实施例中，该装置还包括：
114.删除模块，用于删除图像数据库中保存的目标区域图像以及目标区域 图像中目标物体的位置信息和类型信息。
115.可选的，在本发明一些实施例中，该装置还包括：
116.获取模块201，用于获取样本训练集；样本训练集包括多个训练样本， 每个训练样本包括样本区域图像和每一个样本区域图像的标签信息；
117.训练模块，用于对每个训练样本，分别执行下述步骤一到步骤三：
118.步骤一：将样本区域图像输入至目标识别(single shot detector，ssd) 算法检
测模型中，得到样本区域图像中样本物体的类型信息和位置信息；
119.步骤二：根据样本区域图像中样本物体的类型信息、位置信息和样本 区域图像的标签信息，确定ssd算法检测模型的损失函数值；
120.步骤三：根据损失函数值训练ssd算法检测模型，得到物体检测模型。
121.可选的，在本发明一些实施例中，训练模块，具体用于：
122.当ssd算法检测模型的损失函数值不满足预设训练停止条件时，调整 ssd算法检测模型的参数，并利用训练样本集训练调整后的ssd算法检测 模型，直至满足预设训练停止条件，得到物体检测模型。
123.可选的，在本发明一些实施例中，ssd算法检测模型的损失函数包括 逻辑回归损失函数和最小平方损失函数。
124.本发明实施例提供的提示信息生成方法，通过获取模块，用于获取目 标人物所在区域的目标区域图像；第一确定模块，用于使用预设的物体检 测模型检测目标区域图像中的目标物体，确定目标物体的位置信息和类型 信息；第二确定模块，用于对目标物体进行测距，确定目标物体与目标人 物的距离信息；生成模块，用于根据位置信息、类型信息和距离信息，生 成提示信息；提示信息用于提示目标人物避开目标物体，能够使得视力障 碍者出行无需携带体积大的出行工具，降低了出行成本，提高避障的准确 性和全面性，更好的保证了视力障碍人群的安全出行。
125.本发明实施例提供的提示信息生成装置执行图1所示的方法中的各个 步骤，并能够达到使得视力障碍者出行无需携带体积大的出行工具，降低 了出行成本，提高避障的准确性和全面性，更好的保证了视力障碍人群的 安全出行的技术效果，为简洁描述，再此不在详细赘述。
126.图3示出了本发明实施例提供的一种电子设备的硬件结构示意图。
127.在电子设备可以包括处理器301以及存储有计算机程序指令的存储器 302。
128.具体地，上述处理器301可以包括中央处理器(cpu)，或者特定集 成电路(application specific integrated circuit，asic)，或者可以被配置 成实施本发明实施例的一个或多个集成电路。
129.存储器302可以包括用于数据或指令的大容量存储器。举例来说而非 限制，存储器302可包括硬盘驱动器(hard disk drive，hdd)、软盘驱 动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus， usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储 器302可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储 器302可在综合网关容灾设备的内部或外部。在特定实施例中，存储器302 是非易失性固态存储器。在特定实施例中，存储器302包括只读存储器 (rom)。在合适的情况下，该rom可以是掩模编程的rom、可编程 rom(prom)、可擦除prom(eprom)、电可擦除prom (eeprom)、电可改写rom(earom)或闪存或者两个或更多个以上 这些的组合。
130.处理器301通过读取并执行存储器302中存储的计算机程序指令，以 实现图1所示实施例中的任意一种提示信息生成方法。
131.在一个示例中，电子设备还可包括通信接口303和总线310。其中， 如图3所示，处理器301、存储器302、通信接口303通过总线310连接并 完成相互间的通信。
132.通信接口303，主要用于实现本发明实施例中各模块、装置、单元和/ 或设备之间
的通信。
133.总线310包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。 举例来说而非限制，总线可包括加速图形端口(agp)或其他图形总线、 增强工业标准架构(eisa)总线、前端总线(fsb)、超传输(ht)互连、 工业标准架构(isa)总线、无限带宽互连、低引脚数(lpc)总线、存 储器总线、微信道架构(mca)总线、外围组件互连(pci)总线、pci
-ꢀ
express(pci-x)总线、串行高级技术附件(sata)总线、视频电子标准 协会局部(vlb)总线或其他合适的总线或者两个或更多个以上这些的组 合。在合适的情况下，总线310可包括一个或多个总线。尽管本发明实施 例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
134.该电子设备可以执行本发明实施例中的提示信息生成方法，从而实现 结合图1描述的提示信息生成方法。
135.另外，结合上述实施例中的提示信息生成方法，本发明实施例可提供 一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令； 该计算机程序指令被处理器执行时实现上述实施例中的任意一种提示信息 生成方法。
136.需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配 置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实 施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过 程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发 明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
137.以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或 者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成 电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时， 本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段 可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质 或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的 任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、 闪存、可擦除rom(erom)、软盘、cd-rom、光盘、硬盘、光纤介质、 射频(rf)链路，等等。代码段可以经由诸如因特网、内联网等的计算机 网络被下载。
138.还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤 或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序， 也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例 中的顺序，或者若干步骤同时执行。
139.以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清 楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具 体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应 理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员 在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修 改或替换都应涵盖在本发明的保护范围之内。