智能轮椅、控制方法、电子设备及存储介质

1.本技术实施例涉及但不限于轮椅领域，尤其涉及智能轮椅、控制方法、电子设备及存储介质。


背景技术：

2.目前的智能轮椅存在功能单一、操作性差的缺点。例如，智能轮椅能够实现智能移动、语音控制、手势控制的功能，但是依然难以满足对病人的服务要求。


技术实现要素：

3.以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
4.本技术实施例提供了智能轮椅、控制方法、电子设备及存储介质。
5.本技术的第一方面的实施例，一种控制方法，应用于智能轮椅，所述智能轮椅包括摄像设备、行走机构和机械臂；所述控制方法包括：
6.通过所述摄像设备获取环境信息，根据所述环境信息构建地图，所述地图包括充电点位置；
7.接收包括目的地信息的第一指令，根据所述地图和所述目的地信息得到第一规划路径，根据所述第一规划路径得到控制所述行走机构运动的第一行走机构控制信号；
8.接收包含目标物信息的第二指令，根据所述摄像设备拍摄的实时图像确定与所述目标物信息对应的目标物的第一位置信息，根据所述地图和所述第一位置信息得到第二规划路径，根据所述第二规划路径得到控制所述行走机构运动的第二行走机构控制信号，根据所述第一位置信息得到控制所述机械臂抓取目标物的第一机械臂控制信号；
9.接收充电指令，根据所述充电指令从所述地图获取所述充电点位置，根据所述地图和所述充电点位置得到第三规划路径，根据所述第三规划路径得到控制所述行走机构运动的第三行走机构控制信号，根据所述充电指令得到对应充电操作的充电控制信号。
10.本技术的第一方面的某些实施例，所述摄像设备有多个；所述根据所述摄像设备拍摄的实时图像确定与所述目标物信息对应的目标物的第一位置信息，包括：
11.根据所述目标物信息对所述摄像设备拍摄的实时图像进行图像识别，得到与所述目标物信息对应的目标物；
12.获取多张第一目标物图像，所述多张第一目标物图像是多个所述摄像设备从不同角度对所述目标物进行拍摄所得到的图像；
13.对所述多张第一目标物图像进行拼接，得到拼接图像；
14.根据所述拼接图像得到与所述目标物信息对应的目标物的第一位置信息。
15.本技术的第一方面的某些实施例，所述机械臂的末端设有末端摄像头；所述根据所述第一位置信息得到控制所述机械臂抓取目标物的第一机械臂控制信号，包括：
16.获取第二目标物图像，所述第二目标物图像是由所述末端摄像头对所述目标物拍
摄所得到的图像；
17.根据所述第二目标物图像对所述第一位置信息调整，得到第二位置信息；
18.根据所述第二位置信息得到所述第一机械臂控制信号。
19.本技术的第一方面的某些实施例，所述根据所述第二位置信息得到所述第一机械臂控制信号，包括：
20.获取所述智能轮椅的当前坐标，根据所述当前坐标建立当前坐标系；
21.对区域保护坐标进行坐标转换，得到在当前坐标系下的当前区域保护坐标，所述区域保护坐标为所述机器臂在运动过程中不能到达的区域的坐标；
22.根据所述当前区域保护坐标对所述第二位置信息调整，得到第三位置信息；
23.根据所述第三位置信息得到所述第一机械臂控制信号。
24.本技术的第一方面的某些实施例，所述机械臂的末端设有抓夹，所述抓夹设有压力传感器；所述控制方法包括：
25.通过所述压力传感器获取所述抓夹抓取目标物的压力数据；
26.根据所述压力数据对所述抓夹的当前输出功率进行调节，得到调节输出功率。
27.本技术的第一方面的某些实施例，所述充电点位置包括与无线充电发射器对应的第一充电点位置；所述接收充电指令，根据所述充电指令从所述地图获取所述充电点位置，根据所述地图和所述充电点位置得到第三规划路径，包括：
28.当所述智能轮椅的当前电量小于预设的电量阈值，接收充电指令；
29.根据所述充电指令从所述地图获取所述第一充电点位置；
30.根据所述地图和所述第一充电点位置得到第三规划路径。
31.本技术的第一方面的某些实施例，所述充电控制信号包括无线充电控制信号；所述根据所述充电指令得到对应充电操作的充电控制信号，包括：
32.根据所述充电指令获取所述智能轮椅的无线充电接收器的接收器位置；
33.根据所述第一充电点位置和所述接收器位置得到充电控制信号，以使所述无线充电发射器与所述无线充电接收器匹配充电。
34.本技术的第二方面的实施例，一种智能轮椅，包括摄像设备、行走机构和机械臂；所述智能轮椅按照如上所述的控制方法进行控制。
35.本技术的第三方面的实施例，一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的控制方法。
36.本技术的第四方面的实施例，一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上所述的控制方法。
37.上述方案至少具有以下的有益效果：使得智能轮椅能够实现自动导航和自动行走至目标位置，通过机械臂能帮助使用者自由灵活地抓取目标物，能够实现自动充电，该智能轮椅具有智能化和自动化的功能，集移动、服务、交互和监护等多功能于一体，提升了使用者的使用便利性。
附图说明
38.附图用来提供对本技术技术方案的进一步理解，并且构成说明书的一部分，与本
申请的实施例一起用于解释本技术的技术方案，并不构成对本技术技术方案的限制。
39.图1是本技术的实施例所提供的智能轮椅的结构图；
40.图2是本技术的实施例所提供的智能轮椅的另一方面的结构图；
41.图3是本技术的实施例所提供的智能轮椅的控制方法的步骤图。
具体实施方式
42.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
43.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
44.下面结合附图，对本技术实施例作进一步阐述。
45.参照图1和图2，本技术的实施例，提供了一种智能轮椅。
46.智能轮椅包括摄像设备、行走机构200和机械臂400。
47.智能轮椅的一个扶手设置有轮椅控制器101，便于用户操作。另一个扶手设置有显示屏102，便于用户查看信息。内置人机交互系统，分为三部分，分别为设备状态监测、通讯监测以及导航路线及定位显示，并配有语音助手。
48.智能轮椅的行走机构200包括四个轮子，前面两个轮子为万向轮，万向轮为从动轮。位于两个前轮之间有可以收起的脚踏板。后面两个轮子为差速驱动轮，差速驱动轮为主动轮，主动轮与驱动电机连接。
49.摄像设备有多个，包括三个鱼眼摄像头301和激光扫描仪302。激光扫描仪302设置在智能轮椅的后侧，通过激光扫描仪302进行地图的构建。三个鱼眼摄像头301分别设置在智能轮椅的前侧和左右两侧，通过三个鱼眼摄像头301对目标物进行粗定位。
50.机械臂400为七自由度的机械臂400，机械臂400的末端设有末端摄像头，通过末端摄像头对目标物进行细定位。另外，机械臂400的末端设有抓夹401，抓夹401设有压力传感器。
51.参照图3，控制方法包括但不限于以下步骤：
52.步骤s100，通过摄像设备获取环境信息，根据环境信息构建地图，地图包括充电点位置；
53.步骤s200，接收包括目的地信息的第一指令，根据地图和目的地信息得到第一规划路径，根据第一规划路径得到控制行走机构200运动的第一行走机构200控制信号；
54.步骤s300，接收包含目标物信息的第二指令，根据摄像设备拍摄的实时图像确定与目标物信息对应的目标物的第一位置信息，根据地图和第一位置信息得到第二规划路径，根据第二规划路径得到控制行走机构200运动的第二行走机构200控制信号，根据第一位置信息得到控制机械臂400抓取目标物的第一机械臂400控制信号；
55.步骤s400，接收充电指令，根据充电指令从地图获取充电点位置，根据地图和充电点位置得到第三规划路径，根据第三规划路径得到控制行走机构200运动的第三行走机构
200控制信号，根据充电指令得到对应充电操作的充电控制信号。
56.对于步骤s100，通过激光扫描仪302获取环境信息，利用地图构建算法根据环境信息构建地图。例如，地图构建算法可以是占据栅格地图构建算法、gmapping算法等。
57.对于步骤s200，接收用户通过轮椅控制器101输入第一指令，或者通过麦克风输入语音形式的第一指令，第一指令包含目的地信息。根据目的地信息和智能轮椅的当前位置信息，构建第一规划路径，根据第一规划路径得到第一行走机构200控制信号，根据第一行走机构200控制信号控制行走机构200运动至目的地信息对应的目的地。
58.另外，用户也可以通过轮椅控制器101输入对行走机构200的实时控制信号，对行走机构200进行直接控制。
59.对于步骤s310，接收第二指令，第二指令用于指导机械臂400抓取目标物。第二指令包含目标物信息，例如第二指令为拿苹果，目标物信息为苹果。
60.根据摄像设备拍摄的实时图像确定与目标物信息对应的目标物的第一位置信息，包括但不限于以下步骤：
61.根据目标物信息对摄像设备拍摄的实时图像进行图像识别，得到与目标物信息对应的目标物；
62.获取多张第一目标物图像，多张第一目标物图像是多个摄像设备从不同角度对目标物进行拍摄所得到的图像；
63.对多张第一目标物图像进行拼接，得到拼接图像；
64.根据拼接图像得到与目标物信息对应的目标物的第一位置信息。
65.智能轮椅在接收到指令之后，对指令进行文本分析，判断指令的类型为第二指令，对第二指令进行文本识别，提取目标物信息。通过摄像设备对周围环境进行拍摄得到实时图像，对图像进行图像识别，识别得到与目标物信息的目标物。对目标物进行跟踪，通过三个鱼目摄像头从不同角度对目标物进行拍摄，得到多张第一目标物图像。对多张第一目标物图像进行拼接，得到拼接图像。根据拼接图像得到与目标物信息对应的目标物的第一位置信息。
66.第一位置信息包括目标物在地图的坐标，根据目标物在地图的坐标按照地图得到第二规划路径，根据第二规划路径得到控制第二行走机构200控制信号，根据第二行走机构200控制信号控制行走机构200运动至目标物所在位置。
67.根据第一位置信息得到控制机械臂400抓取目标物的第一机械臂400控制信号，包括但不限于以下步骤：
68.获取第二目标物图像，第二目标物图像是由末端摄像头对目标物拍摄所得到的图像；
69.根据第二目标物图像对第一位置信息调整，得到第二位置信息；
70.根据第二位置信息得到第一机械臂400控制信号。
71.在智能轮椅行走至目标物所在位置之后，通过机械臂400末端的末端摄像头对目标物拍摄得到第二目标物图像。目标物的第一位置信息包括目标物的三维坐标；根据第二目标物图像对目标物的三维坐标进行调整得到第二位置信息，实现对目标物更精准的定位效果。根据第二位置信息得到第一机械臂400控制信号，根据第一机械臂400控制信号控制机械臂400抓取目标物，使得机械臂400能够更准确地抓取目标物。
72.可以理解的是，在机械臂400运动要抓取目标物的过程中，均可以通过末端摄像头获取目标物的第二目标物图像，以对目标物的坐标进行精准定位。
73.进一步地，根据第二位置信息得到第一机械臂400控制信号，包括但不限于以下步骤：
74.获取智能轮椅的当前坐标，根据当前坐标建立当前坐标系；
75.对区域保护坐标进行坐标转换，得到在当前坐标系下的当前区域保护坐标，区域保护坐标为机器臂在运动过程中不能到达的区域的坐标；
76.根据当前区域保护坐标对第二位置信息调整，得到第三位置信息；
77.根据第三位置信息得到第一机械臂400控制信号。
78.一个方面，区域保护坐标是预设的，区域保护坐标存储在智能轮椅的存储器中，区域保护坐标为人体坐在智能轮椅上的常规活动范围所对应的坐标。
79.另一个方面，区域保护坐标为障碍物的三维坐标。通过环境信息能够得到障碍物的三维坐标。
80.通过上述控制，使得机械臂400在抓取目标物的过程中能够避免触碰到障碍物或者智能轮椅上的人体。
81.在通过机械臂400抓取目标物的时候，机械臂400通过末端的抓夹401抓取目标物。
82.控制方法包括但不限于以下步骤：
83.通过压力传感器获取抓夹401抓取目标物的压力数据；
84.根据压力数据对抓夹401的当前输出功率进行调节，得到调节输出功率。
85.通过压力传感器实现对抓夹401抓取目标物的闭环控制，使抓夹401能采用合适的力度抓取目标物，能有效地避免抓夹401用力太大夹坏目标物或者用力过小无法夹住目标物。
86.对于步骤s400，充电点位置包括与无线充电发射器对应的第一充电点位置；接收充电指令，根据充电指令从地图获取充电点位置，根据地图和充电点位置得到第三规划路径，包括但不限于以下步骤：
87.当智能轮椅的当前电量小于预设的电量阈值，接收充电指令；
88.根据充电指令从地图获取第一充电点位置；
89.根据地图和第一充电点位置得到第三规划路径。
90.其中，一方面，充电指令可以是控制器在电量检测器检测到智能轮椅的当前电量小于预设的电量阈值时生成的。另一方面，充电指令也可以是智能轮椅的使用者通过输入设备输入的。
91.另外，还可以对智能轮椅设置充电时段。
92.根据充电指令得到对应充电操作的充电控制信号，包括但不限于以下步骤：
93.根据充电指令获取智能轮椅的无线充电接收器的接收器位置；
94.根据第一充电点位置和接收器位置得到充电控制信号，以使无线充电发射器与无线充电接收器匹配充电。
95.根据无线充电发射器的第一充电点位置和无线充电接收器的接收器位置得到充电控制信号，根据充电控制信号调整智能轮椅的位置，使得无线充电发射器与无线充电接收器位置对应，然后根据充电控制信号使无线充电接收器与无线充电发射器之间实现无线
充电。
96.本技术的实施例，一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的控制方法。
97.总体而言，对于电子设备的硬件结构，处理器可以采用通用的cpu(centralprocessingunit，中央处理器)、微处理器、应用专用集成电路(applicationspecificintegratedcircuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本技术实施例所提供的技术方案。
98.存储器可以采用只读存储器(readonlymemory，rom)、静态存储设备、动态存储设备或者随机存取存储器(randomaccessmemory，ram)等形式实现。存储器可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器中，并由处理器来调用执行本技术实施例的控制方法。
99.输入/输出接口用于实现信息输入及输出。
100.通信接口用于实现本设备与其他设备的通信交互，可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
101.总线在设备的各个组件(例如处理器、存储器、输入/输出接口和通信接口)之间传输信息。处理器、存储器、输入/输出接口和通信接口通过总线实现彼此之间在设备内部的通信连接。
102.本技术的实施例，一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上所述的控制方法。
103.应当认识到，本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
104.此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
105.进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、智能手机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还
包括计算机本身。
106.计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
107.尽管已经示出和描述了本技术的实施方式，本领域的普通技术人员可以理解：在不脱离本技术的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本技术的范围由权利要求及其等同物限定。
108.以上是对本技术的较佳实施进行了具体说明，但本技术并不限于实施例，熟悉本领域的技术人员在不违背本技术精神的前提下可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。