一种基于投影引导的物流机器人人机交互方法及系统与流程

1.本技术属于机器人技术领域，具体涉及一种基于投影引导的物流机器人人机交互方法及系统。


背景技术：

2.现有技术中物流机器人经常帮助人们收快递、取快递，给日常生活带来了极大的方便，并降低了物流企业运营的成本，然而随着机器人工作的日渐深入，工作的难度不断增加，例如收快递的时候需要识别物品是否是违禁物品，或者收取快递的时候需要给快递进行消毒处理，或者机器人需要乘坐电梯收取快递，这些都需要机器人与用户进行有效地人机交互。
3.现有技术中人机交互方法一般采用在机器人上安装触摸屏，使用触摸屏进行人机交互过程，但是该方法并不适用于物流机器人，因为物流机器人需要运动，每天需要长时间在普通路面上运动，触摸屏非常容易碎，再次更换触摸屏造价非常高，故触摸屏人机交互模式并不是一种实际可行的方法；另外，常用的人机交互方法还可以采用人机语音对话的模式，然而，对于物流机器人实际应用过程中却仍然不适用，因为物流机器人经常与用户对话的地点有非常大的噪声干扰，例如市场，公路等，这种噪声干扰使得机器人无法识别用户的语音，故在实际应用中，人机语音对话仍然不是一种可行的方法。
4.针对现有技术中，缺少物流机器人人机交互可行方案的问题，尚未提出有效解决方案。


技术实现要素：

5.针对以上技术问题，本技术提出一种基于投影引导的物流机器人人机交互方法及系统，采用投影技术引导用户，与机器人进行对话交流。
6.第一方面，本技术提出一种基于投影引导的物流机器人人机交互方法，采用一次或多次如下人机交互过程完成物流机器人日常工作，包括如下步骤：
7.步骤s1：接收调度服务器传递过来的工作指令，所述工作指令包括工作内容与反馈信息；
8.步骤s2：根据所述工作内容，使用摄像头对投影区域进行数据采集；
9.步骤s3：根据所述工作内容，判断投影区域大小；
10.步骤s4：若投影区域满足工作内容指定的区域大小，则反馈信息为投影区域满足指定大小，转到步骤s6；
11.步骤s5：若投影区域不满足工作内容指定的区域大小，则反馈信息为投影区域不满足指定大小，转到步骤s12；
12.步骤s6：根据所述工作内容，判断投影区域的材质，得到预测的投影区域材质；
13.步骤s7：根据所述预测的投影区域材质，在对照表种查找对应投影模式，按照对应投影模式，将工作内容投影到投影区域中；
14.步骤s8：根据投影区域中的工作内容，将待识别物品或者标识放入投影区域中；
15.步骤s9：识别投影区域中的物品或者标识；
16.步骤s10：若物品或标识符合预定义物品或标识，则反馈信息为符合预定义物品或标识，并且保存投影区域中物品或标识的图片，转到步骤s12；
17.步骤s11：若物品或标识不符合预定义物品或物品标识，则反馈信息为不符合预定义物品或标识，并且保存投影区域中物品的图片，转到步骤s12；
18.步骤s12：将反馈信息发送道所述调度服务器，完成本次人机交互过程。
19.在步骤s10与步骤s12之间或者步骤s11与步骤s12之间，还包括：
20.根据所述工作内容，判断工作区域大小；
21.若机器人工作区域不满足工作内容指定大小，则工作区域不满足提示投影到投影区域中，摄像头实时反馈投影区域图像，直到工作区域满足工作内容指定大小，则根据所述工作内容完成指定工作，反馈信息为指定工作已经完成；
22.若机器人工作区域满足工作内容指定大小，则根据所述工作内容完成指定工作，反馈信息为指定工作已经完成。
23.所述工作内容包括：投影文字、区域大小；所述区域大小包括：投影区域大小或/和工作区域大小。
24.所述对照表包括各种材质以及对应材质适合投影的模式，所述投影的模式包括投影亮度的设定以及投影文字颜色的设定。
25.所述判断投影区域的材质，得到预测的投影区域材质，包括如下步骤：
26.将投影区域图像进行数据增强，得到多个数据增强后的投影区域图像；
27.将所述多个数据增强后的投影区域图像输入到预先训练完成的材质识别模型中，得到多个投影区域图像对应各个材质的概率；
28.按照材质类别，将所述多个投影区域图像对应各个材质的概率进行求和，得到每种材质的对应概率和；
29.计算概率和的最大值，所述最大值对应的材质为预测的投影区域材质。
30.所述将投影区域图像进行数据增强，得到多个数据增强后的投影区域图像，包括如下步骤：
31.对所述投影区域图像进行随机旋转；
32.对旋转后的图像分别添加随机亮度偏移及随机对比度偏移，得到偏移后图像；
33.对所述偏移后图像进行随机翻转，从而得到单个所述数据增强图像；
34.重复上述步骤直到预设次数，从而得到多个数据增强后的投影区域图像。
35.所述预先训练完成的材质识别模型，包括如下步骤：
36.采集具有材质标签的训练图像；
37.采用深度神经元网络对所述具有材质标签的训练图像进行训练，得到预先训练完成的材质识别模型。
38.所述识别投影区域中的物品或者标识，包括：
39.获取投影区域中物品的图像；
40.将所述物品的图像输入训练完成的深度卷积神经网络模型；
41.利用所述深度卷积神经网络模型对所述图像进行识别获得待识别物体的种类、重
量和数量。
42.所述训练完成的深度卷积神经网络模型，其训练过程如下：
43.获取具有物品种类、重量和数据标签的物品训练图像；
44.采用深度卷积神经网络模型对所述具有物品种类、重量和数据标签的物品训练图像进行训练，得到训练完成的深度卷积神经网络模型。
45.第二方面，本技术提出一种基于投影引导的物流机器人人机交互系统，包括：
46.指令收发模块、摄像头、图像处理模块、投影模块；
47.在物流机器人周围安装摄像头以及投影模块，在物流机器人内部安装指令收发模块以及图像处理模块；
48.所述指令收发模块、摄像头、图像处理模块、投影模块依次顺序相连接；
49.所述指令收发模块用于接收调度服务器传递过来的工作指令，并将反馈信息发送到所述调度服务器，所述工作指令包括工作内容与反馈信息；
50.所述摄像头用于对投影区域进行数据采集，并将采集到的图像发送到图像处理模块；
51.所述图像处理模块用于根据所述工作内容，判断投影区域大小；若投影区域满足工作内容指定的区域大小，则反馈信息为投影区域满足指定大小，若投影区域不满足工作内容指定的区域大小，则反馈信息为投影区域不满足指定大小；根据所述工作内容，判断投影区域的材质，得到预测的投影区域材质；识别投影区域中的物品或者标识；若物品或标识符合预定义物品或标识，则反馈信息为符合预定义物品或标识，并且保存投影区域中物品或标识的图片；若物品或标识不符合预定义物品或物品标识，则反馈信息为不符合预定义物品或标识，并且保存投影区域中物品的图片；
52.所述投影模块用于根据所述预测的投影区域材质，在对照表种查找对应投影模式，按照对应投影模式，将工作内容投影到投影区域中。
53.有益技术效果：
54.本技术提出一种基于投影引导的物流机器人人机交互方法及系统，采用投影技术引导用户，与机器人进行对话交流，其克服了投影可能存在的因投影区域的材质不同，用户可能看不清楚投影文字的问题，实现了物流机器人因人机交互顺畅而顺利完成物流机器人的日常工作。
附图说明
55.图1为本技术实施例的基于投影引导的物流机器人人机交互方法流程图；
56.图2为本技术实施例的指定工作区域流程图；
57.图3为本技术实施例的得到预测的投影区域材质流程图；
58.图4为本技术实施例的得到多个数据增强后的投影区域图像流程；
59.图5为本技术实施例的材质识别模型训练过程流程图；
60.图6为本技术实施例的识别投影区域中的物品或者标识过程流程图；
61.图7为本技术实施例的深度卷积神经网络模型训练过程流程图；
62.图8为本技术实施例的基于投影引导的物流机器人人机交互系统原理框图；
63.图9为本技术实施例的识别的物品是违禁物品示意图；
64.图10为本技术实施例的消毒过程示意图；
65.图11为本技术实施例的机器人投影墙壁示意图；
66.其中，1-上装，2-底座。
具体实施方式：
67.下面结合附图对本技术作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本技术的保护范围。
68.第一方面，本技术提出一种基于投影引导的物流机器人人机交互方法，采用一次或多次如下人机交互过程完成物流机器人日常工作，如图1所示，包括如下步骤：
69.步骤s1：接收调度服务器传递过来的工作指令，所述工作指令包括工作内容与反馈信息；
70.步骤s2：根据所述工作内容，使用摄像头对投影区域进行数据采集；
71.步骤s3：根据所述工作内容，判断投影区域大小；
72.步骤s4：若投影区域满足工作内容指定的区域大小，则反馈信息为投影区域满足指定大小，转到步骤s6；
73.步骤s5：若投影区域不满足工作内容指定的区域大小，则反馈信息为投影区域不满足指定大小，转到步骤s12；
74.步骤s6：根据所述工作内容，判断投影区域的材质，得到预测的投影区域材质；
75.步骤s7：根据所述预测的投影区域材质，在对照表种查找对应投影模式，按照对应投影模式，将工作内容投影到投影区域中；
76.步骤s8：根据投影区域中的工作内容，将待识别物品或者标识放入投影区域中；
77.步骤s9：识别投影区域中的物品或者标识；
78.步骤s10：若物品或标识符合预定义物品或标识，则反馈信息为符合预定义物品或标识，并且保存投影区域中物品或标识的图片，转到步骤s12；
79.步骤s11：若物品或标识不符合预定义物品或物品标识，则反馈信息为不符合预定义物品或标识，并且保存投影区域中物品的图片，转到步骤s12；
80.步骤s12：将反馈信息发送道所述调度服务器，完成本次人机交互过程。
81.在步骤s10与步骤s12之间或者步骤s11与步骤s12之间，如图2所示，还包括：
82.步骤s100：根据所述工作内容，判断工作区域大小；
83.步骤s101：若机器人工作区域不满足工作内容指定大小，则工作区域不满足提示投影到投影区域中，摄像头实时反馈投影区域图像，直到工作区域满足工作内容指定大小，则根据所述工作内容完成指定工作，反馈信息为指定工作已经完成；
84.步骤s102：若机器人工作区域满足工作内容指定大小，则根据所述工作内容完成指定工作，反馈信息为指定工作已经完成。
85.所述工作内容包括：投影文字、区域大小；所述区域大小包括：投影区域大小或/和工作区域大小。
86.所述对照表包括各种材质以及对应材质适合投影的模式，所述投影的模式包括投影亮度的设定以及投影文字颜色的设定。
87.所述判断投影区域的材质，得到预测的投影区域材质，如图3所示，包括如下步骤：
88.步骤s6.1：将投影区域图像进行数据增强，得到多个数据增强后的投影区域图像；
89.步骤s6.2：将所述多个数据增强后的投影区域图像输入到预先训练完成的材质识别模型中，得到多个投影区域图像对应各个材质的概率；
90.步骤s6.3：按照材质类别，将所述多个投影区域图像对应各个材质的概率进行求和，得到每种材质的对应概率和；
91.步骤s6.4：计算概率和的最大值，所述最大值对应的材质为预测的投影区域材质。
92.本技术数据增强，是关键的一步，因为获取图像比较少，若直接将图像输入模型进行运算，将会得到比较大的误判率。而后面采用哪种算法建立材质识别模型可以任意选择了。
93.所述将投影区域图像进行数据增强，得到多个数据增强后的投影区域图像，如图4所示，包括如下步骤：
94.步骤s6.1.1：对所述投影区域图像进行随机旋转；
95.步骤s6.1.2：对旋转后的图像分别添加随机亮度偏移及随机对比度偏移，得到偏移后图像；
96.步骤s6.1.3：对所述偏移后图像进行随机翻转，从而得到单个所述数据增强图像；
97.步骤s6.1.4：重复上述步骤直到预设次数，从而得到多个数据增强后的投影区域图像。
98.所述预先训练完成的材质识别模型，如图5所示，包括如下步骤：
99.步骤s6.2.1：采集具有材质标签的训练图像；
100.步骤s6.2.2：采用深度神经元网络对所述具有材质标签的训练图像进行训练，得到预先训练完成的材质识别模型。
101.所述识别投影区域中的物品或者标识，如图6所示，包括：
102.步骤s9.1：获取投影区域中物品的图像；
103.步骤s9.2：将所述物品的图像输入训练完成的深度卷积神经网络模型；
104.步骤s9.3：利用所述深度卷积神经网络模型对所述图像进行识别获得待识别物体的种类、重量和数量。
105.所述训练完成的深度卷积神经网络模型，如图7所示，其训练过程如下：
106.步骤s9.2.1：获取具有物品种类、重量和数据标签的物品训练图像；
107.步骤s9.2.2：采用深度卷积神经网络模型对所述具有物品种类、重量和数据标签的物品训练图像进行训练，得到训练完成的深度卷积神经网络模型。
108.对于物品种类，重量活数据标签的识别，是现有技术中比较成熟的技术方案，本技术不再赘述。
109.第二方面，本技术提出一种基于投影引导的物流机器人人机交互系统，，如图8所示，包括：
110.指令收发模块、摄像头、图像处理模块、投影模块；
111.在物流机器人周围安装摄像头以及投影模块，在物流机器人内部安装指令收发模块以及图像处理模块。
112.所述指令收发模块、摄像头、图像处理模块、投影模块依次顺序相连接，所述指令收发模块分别与所述图像处理模块和投影模块相连接；
113.所述指令收发模块用于接收调度服务器传递过来的工作指令，并将反馈信息发送到所述调度服务器，所述工作指令包括工作内容与反馈信息；
114.所述摄像头用于对投影区域进行数据采集，并将采集到的图像发送到图像处理模块；
115.所述图像处理模块用于根据所述工作内容，判断投影区域大小；若投影区域满足工作内容指定的区域大小，则反馈信息为投影区域满足指定大小，若投影区域不满足工作内容指定的区域大小，则反馈信息为投影区域不满足指定大小；根据所述工作内容，判断投影区域的材质，得到预测的投影区域材质；识别投影区域中的物品或者标识；若物品或标识符合预定义物品或标识，则反馈信息为符合预定义物品或标识，并且保存投影区域中物品或标识的图片；若物品或标识不符合预定义物品或物品标识，则反馈信息为不符合预定义物品或标识，并且保存投影区域中物品的图片；
116.所述投影模块用于根据所述预测的投影区域材质，在对照表种查找对应投影模式，按照对应投影模式，将工作内容投影到投影区域中。
117.本技术的实施例中机器人均具有运动模块，使得其可以正常运动，如图9、图10、图11所示，机器人分为上装1以及底座1，其中上装1用来装快递，底座2用来运动，其投影模块被安装在底座2周围。
118.实施例1机器人送快递：
119.用户采用物流机器人来接收快递，对于这一过程，其重点为确认用户接收的快递为用户当时接到信息的快递，如果拿错快递，则会造成混乱，故用户接到快递信息需要一个验证码，或是二维码，用于识别该快递就是用户需要收取的快递。
120.机器人接收调度服务器传递过来的工作指令，所述工作指令包括工作内容与反馈信息；本实施例工作内容为去指定地点送指定快递，同时用户收到需要取快递的信息，并附加取快递的唯一指定二维码。机器人送快递完成工作的反馈信息应该是指定二维码已经被机器人的摄像头扫描到了。
121.则机器人根据工作内容，移动到指定地点，并且开启投影区，将即将到达的地点投影到地面上。
122.此时，使用摄像头对投影区域进行数据采集，判断投影区域大小；
123.若投影区域满足工作内容指定的区域大小，则反馈信息为投影区域满足指定大小，转到下一步；若投影区域不满足工作内容指定的区域大小，则反馈信息为投影区域不满足指定大小，反馈信息传递到调度服务器后，调度服务器会给机器人指令，令其移动位置，不断调整位置，找到一个人少的地方，即能够满足投影区域大小的位置，然后进行投影区域材质的检测；
124.判断投影区域的材质，得到预测的投影区域材质；根据所述预测的投影区域材质，在对照表种查找对应投影模式，按照对应投影模式，将工作内容投影到投影区域中；此时一般为柏油马路的地面，或者大理石地砖，则机器人根据对照表，用光照强度为800，投影文字为红色的文字，将取快递的地址投影到投影区域内，待机器人已经到达指定地点，则投影内容为：请将您的快递识别码放入投影区域内。
125.用户将二维码放入投影区域中；机器人识别投影区域中的二维码；若匹配，则反馈信息为符合预定义物品或标识，并且保存投影区域中物品或标识的图片，完成此次发送快
递的工作；
126.若二维码不匹配，则反馈信息为不符合预定义物品或标识，并且保存投影区域中物品的图片，机器人将反馈信息发送给调度服务器，由调度服务器决定下一步应该如何操作。一般调度服务器会发送信息让用户再次出示二维码，若三次不匹配，则提醒机器人完成工作，回到调度室。
127.实施例2机器人取快递及消毒过程：
128.如图9、图10所示，该过程的重点是如何通过投影引导物流机器人争取进行人机交互，使得用户可以将快递放心地交给机器人并且对快递进行消毒。
129.机器人接收调度服务器传递过来的工作指令，所述工作指令包括工作内容与反馈信息；工作内容为到指定地点取快递，并且识别快递为非违禁快递类型，并且对快递进行消毒。
130.机器人使用摄像头对投影区域进行数据采集；判断投影区域大小；若投影区域满足工作内容指定的区域大小，则反馈信息为投影区域满足指定大小，转到下一步；若投影区域不满足工作内容指定的区域大小，则反馈信息为投影区域不满足指定大小，机器人则移动到满足投影区域的地方；
131.判断投影区域的材质，得到预测的投影区域材质；根据所述预测的投影区域材质，在对照表种查找对应投影模式，按照对应投影模式，将工作内容投影到投影区域中；本实施例投影的文字为“请将待发快递放入该投影区域”。
132.用户将快递放入投影区域中；
133.机器人识别投影区域中的物品或者标识；若物品或标识符合预定义物品，则反馈信息为符合预定义物品，这说明该快递为非违禁物品，并且保存投影区域中物品或标识的图片；若物品或标识不符合预定义物品，则反馈信息为不符合预定义物品，这说明该快递为违禁物品，并且保存投影区域中物品的图片；
134.如果快递为非违禁物品，则机器人将对快递进行消毒处理，因消毒需要较大空间，此时需要提醒用户“请远离快递所在区域1米以外，即将为快递进行消毒”。因上装1四周均可以进行投影，当快递在上装1的一侧进而影响该侧投影时，可以启动另一侧进行投影。
135.同时机器人判断工作区域大小；
136.若机器人工作区域不满足工作内容指定大小，则工作区域不满足提示投影到投影区域中，不断提醒用户“请远离快递所在区域1米以外，即将为快递进行消毒”，并采用摄像头实时反馈投影区域图像，直到工作区域满足工作内容指定大小，则根据所述工作内容完成消毒工作，反馈信息为消毒工作已经完成；
137.将反馈信息发送道所述调度服务器，完成本次人机交互过程。
138.实施例3机器人乘电梯：
139.如图10所示，本实施例重点为机器人如何在乘坐电梯时利用投影进行人机交互，以及在电梯中将其即将达到的楼层投影到电梯的墙壁上。
140.机器人接收调度服务器传递过来的工作指令，所述工作指令包括工作内容与反馈信息；工作内容为到10层1001室送快递，此时机器人已经在电梯外，电梯需要安装智能通讯模块，以便能够与机器人进行通讯，机器人通过智能通讯模块告知电梯，机器人需要到达10层，当电梯来到机器人面前时，机器人使用摄像头对投影区域进行数据采集；判断投影区域
大小；若投影区域满足能够让自己可以上去电梯，则反馈信息为投影区域满足指定大小，执行乘坐电梯到10层的运动操作；若投影区域不满足工作内容指定的区域大小，则反馈信息为投影区域不满足指定大小到调度服务器；此时调度服务器会根据具体情况，指定机器人用投影文字告知电梯内人员避让，让机器人进去，或者调度服务器会让机器人等待下一趟电梯，直到可以满足乘坐电梯的空间条件。
141.当机器人能够乘坐电梯后，判断投影区域的材质，得到预测的投影区域材质；根据所述预测的投影区域材质，在对照表种查找对应投影模式，按照对应投影模式，将机器人即将到达10层的信息投影到投影区域中。当机器人到达10层后，其他工作内容与实施例1类似，即用户将待识别物品或者标识放入投影区域中；机器人识别投影区域中的物品或者标识；若物品或标识符合预定义物品，则反馈信息为符合预定义物品，并且保存投影区域中物品或标识的图片，将反馈信息发送道所述调度服务器，完成本次人机交互过程。
142.本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。