智能购物车自主导航系统及其实现方法与流程

本发明涉及智能购物车，具体为智能购物车自主导航系统及其实现方法。

背景技术：

1、随着零售业的数字化转型，智能购物设备的研发成为热点；传统购物车缺乏智能化功能，无法满足现代消费者对高效、便捷、安全购物的需求；现有的一些智能购物车在导航、避障和人机交互方面存在局限，其一，通常只采用单一或少数传感器，无法准确感知复杂动态环境，容易导致避障不及时或路径规划不合理；其二，现有技术很少考虑用户的购物行为预测，无法主动适应用户需求，提供个性化服务；其三，传统路径规划算法在动态、多变的购物环境中效率低下，无法实时调整，影响购物效率；其四，交互方式单一，缺乏对用户情感和意图的理解，难以提供人性化的服务；因此设计智能购物车自主导航系统及其实现方法是很有必要的。

技术实现思路

1、本发明的目的在于提供智能购物车自主导航系统及其实现方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：智能购物车自主导航系统，包括传感器组件，所述传感器组件由数据采集模块、摄像头模块、激光雷达模块、超声波模块、红外模块和采集输出模块组成，数据采集模块控制连接有摄像头模块，摄像头模块控制连接有采集输出模块，采集输出模块控制连接在激光雷达模块上，激光雷达模块控制连接在数据采集模块上，数据采集模块控制连接有超声波模块，超声波模块控制连接有采集输出模块，采集输出模块控制连接在红外模块上，红外模块控制连接在数据采集模块上，采集输出模块控制连接在数据处理模块上，数据处理模块控制连接有行为预测组件中的预测接收模块。

3、作为本发明的进一步技术方案，所述行为预测组件由预测接收模块、预测处理模块和预测输出模块组成，预测接收模块控制连接有预测处理模块，预测处理模块控制连接有预测输出模块，预测输出模块控制连接有路径规划组件中的路径接收模块，路径接收模块控制连接在数据处理模块上。

4、作为本发明的进一步技术方案，所述路径规划组件由路径接收模块、路径计算模块和路径输出模块组成，路径接收模块控制连接有路径计算模块，路径计算模块控制连接有路径输出模块，路径输出模块控制连接有驱动控制模块，驱动控制模块控制连接有自主跟随模块，自主跟随模块控制连接在预测输出模块上，自主跟随模块控制连接有用户引导模块，用户引导模块控制连接在人机交互组件中的交互输出模块上，所述人机交互组件由触摸屏模块、麦克风模块、扬声器模块、交互处理模块、语音识别模块、手势识别模块、情感识别模块和交互输出模块组成，触摸屏模块控制连接有交互处理模块，交互处理模块控制连接在麦克风模块上，交互处理模块控制连接在扬声器模块上，交互输出模块控制连接在交互处理模块上，交互处理模块控制连接在语音识别模块上，交互处理模块控制连接在手势识别模块上，交互处理模块控制连接在情感识别模块上，交互处理模块控制连接有用户识别组件中的识别输出模块。

5、作为本发明的进一步技术方案，所述用户识别组件由面部识别模块、身份对比模块、历史分析模块、个性推荐模块和识别输出模块组成，面部识别模块控制连接有身份对比模块，身份对比模块控制连接有历史分析模块，历史分析模块控制连接有个性推荐模块，个性推荐模块控制连接有识别输出模块。

6、智能购物车自主导航的实现方法，包括以下步骤：步骤一，多模态环境感知与数据融合；步骤二，用户行为预测；步骤三，路径规划与驱动控制；步骤四，自主跟随；步骤五，人机交互与用户识别；

7、其中上述步骤一中，使用多个传感器采集环境数据，进行数据融合；

8、其中上述步骤二中，对用户的下一步行为进行预测；

9、其中上述步骤三中，对目的地进行路径规划，对购物车进行驱动控制；

10、其中上述步骤四中，控制购物车跟随用户；

11、其中上述步骤五中，用户与购物车进行交互，并对用户进行身份识别。

12、作为本发明的进一步技术方案，所述步骤一中，通过数据采集模块控制数据采集的启停，通过摄像头模块采集rgb图像，分辨率1920×1080帧率30帧/秒，用于获取视觉信息，通过激光雷达模块采集360度点云数据，扫描频率10hz，用于获取环境的三维空间信息，通过超声波模块和红外模块检测近距离障碍物，采样频率50hz，用于补充视觉和激光雷达的盲区；随后通过采集输出模块将采集的所有数据全部传输至数据处理模块中，在数据处理模块中，利用时间戳对不同传感器的数据进行时间同步，使用外参标定将各传感器的数据转换到统一的坐标系下；使用sift算法从rgb图像中提取特征点{fi}，具有尺度不变性和旋转不变性；从点云数据中提取局部平面特征和曲率信息，形成特征合集{pj}；根据传感器数据的置信度wi，对各传感器的数据进行加权，权重的计算公式为：

13、

14、其中，为第i个传感器数据的方差；

15、采用扩展卡尔曼滤波(ekf)进行数据融合，状态向量x包含位置和速度信息，观测向量z包含各传感器的测量值；预测步骤为：

16、xkk-1＝fk-1xk-1k-1+bk-1uk-1

17、

18、更新步骤为：

19、

20、xk|k＝xk|k-1+kk(zk-hkxk|k-1)

21、pk|k＝(i-kkhk)pk|k-1

22、其中，fk为状态转移矩阵，hk为观测矩阵，qk为过程噪声协方差矩阵，rk为观测噪声协方差矩阵；

23、融合后的数据用于构建环境地图，采用栅格地图或拓扑地图的方式表示，环境模型用于后续的路径规划和避障。

24、作为本发明的进一步技术方案，所述步骤二中，通过预测接收模块接收数据处理模块处理后的数据，并传输至预测处理模块中，在预测处理模块中，模型的网络结构采用双层lstm网络，输入序列为用户历史行为数据{x1,x2,...,xt}，每个xi包含位置、速度、停留时间等特征，在lstm的输出层加入注意力机制，计算每个时间步的权重αi，以捕捉关键行为特征：

25、ei＝vttanh(whhi+wss)

26、

27、其中，hi为第i个时间步的隐藏状态，s为上下文向量，v，wh，ws为可学习参数；

28、采用交叉熵损失函数l：

29、

30、其中，yk为真实标签，为模型预测的概率；

31、在模型的训练过程进行优化和正则化，使用adam优化器，学习率η＝0.001，加入l2正则化项，系数为λ＝0.0001，迭代次数为50轮，批次大小为64；进行预测时，收集当前时刻用户行为的xt，对数据进行归一化处理，减去均值并除以标准差，将预处理后的数据输入模型，计算输出即用户下一步行为的概率分布，通过预测输出模块将预测结果进行输出。

32、作为本发明的进一步技术方案，所述步骤三中，通过路径接收模块接收预测输出模块和数据处理模块输出的数据信息，并传输至路径计算模块中，在路径计算模块中，利用数据处理模块提供的实时环境地图，包括障碍物位置{oi}和动态物体的运动状态，进行环境建模；采用改进的动态a-star算法，启发函数h(n)考虑动态障碍物的预测位置，进行初始路径规划；通过状态空间s包含购物车的位置(x,y)、速度v、方向θ、周围环境信息等，动作空间a包含购物车可执行的动作，如加速、减速、左转、右转、停止等，使用奖励函数r(s,a)：

33、r(s,a)＝w1.rgoal+w2.rcollision+w3.refficiency

34、其中，rgoal：达到目标的奖励(+100分)，rcollision：发生碰撞的惩罚(-100分)，refficiency：路径效率奖励，路径越短越高，w1，w2，w3为权重参数；

35、策略网络采用深度q网络(dqn)，网络结构为三层全连接网络，隐藏层单元数分别为128和64，激活函数为relu，使用容量为20000的经验回放池进行随机采样小批次训练，折扣因子γ＝0.95，探索策略：ε-greedy，ε从1线性下降到0.1，将结果通过路径输出模块输出至驱动控制模块中，在驱动控制模块中设置有运动模型，采用差速驱动，运动模型为：

36、

37、其中，v为线速度，w为角速度；

38、对模糊控制器进行设计，输入变量：距离误差ed＝ddesired-dactual，角度误差eθ＝θdesired-θactual；输出变量：线速度调整量δv，角速度调整量δw；模糊规则为：如果ed大且eθ大，则δv小，δw大；如果ed小且eθ小，则δv大，δw小；将输入变量映射到模糊集合，计算每条规则的适用度，合成各规则的输出，使用重心法计算精确的控制输出；控制流程则为实时获取购物车当前位置和姿态，计算误差，输入模糊控制器，得到δv和δw，调整电机转速和方向。

39、作为本发明的进一步技术方案，所述步骤四中，在自主跟随模块中布设有yolov5s目标检测模型，通过5000张标注了用户的图片，包含不同姿态和环境，作为训练数据，训练参数设置为：学习率η＝0.001，批次大小为16，迭代次数为100轮；目标跟踪过程中，采用deepsort算法，使用resnet50提取用户的外观特征向量f，使用卡尔曼滤波器预测目标的下一位置；跟随策略中的安全距离保持在1米左右，设定阈值dsafe＝1米，根据目标位置(xtarget,ytarget)和购物车位置(xcart,ycart)计算误差，调整速度和方向。

40、作为本发明的进一步技术方案，所述步骤五中，在语音识别模块中布设有基于transformer的自动语音识别(asr)模型，模型的训练数据包含普通话和英语的语音数据集，总时长1000小时，识别流程中先对语音信号进行处理，提取梅尔频率倒谱系数(mfcc)，使用beamsearch算法解码输出文本；在交互处理模块中使用bert进行语义理解，使用分类模型将输入文本映射到预定义的意图集合{i1,i2,...,in}，在槽位填充过程提取出商品名称、数量等关键参数；通过情感识别模块提取语音的音调、能量、节奏等特征，使用情感分类模型判断情绪，结合捕捉的面部表情，使用cnn模型进行分类；在触摸屏模块中设置有商品搜索、推荐、购物清单等功能界面，与语音识别模块和手势识别模块进行配合使用，支持语音、触摸和手势操作；在面部识别模块中布设有arcface模型，使用改进的softmax损失函数，增强分类边界，训练数控采用100万张人脸图片，涵盖不同年龄和性别；在身份对比模块中使用mtcnn定位人脸位置，将人脸图像输入arcface模型，得到特征向量f，计算与数据库中存储的特征向量的余弦相似度，阈值判断是否为已注册用户：

41、

42、使用历史分析模块和个性推荐模块进行个性化推荐，算法采用混合推荐系统，结合协同过滤和内容推荐，其中基于用户的协同过滤用于计算用户之间的相似度，推荐相似用户喜欢的商品，相似度计算：

43、

44、其中，ru,i为用户u对商品i的评分，为用户u的平均评分；

45、基于商品的属性和用户的爱好进行匹配，并使用aes对敏感数据进行加密存储，通过用户授权在使用前获得用户的明确同意。

46、与现有技术相比，本发明的有益效果是：该智能购物车自主导航系统及其实现方法，通过数据采集模块控制数据采集的启停，通过摄像头模块采集rgb图像，分辨率1920×1080帧率30帧/秒，用于获取视觉信息，通过激光雷达模块采集360度点云数据，扫描频率10hz，用于获取环境的三维空间信息，通过超声波模块和红外模块检测近距离障碍物，采样频率50hz，用于补充视觉和激光雷达的盲区；采用多个传感器，可以准确感知复杂动态环境，不易导致避障不及时或路径规划不合理；在身份对比模块中使用mtcnn定位人脸位置，将人脸图像输入arcface模型，得到特征向量f，计算与数据库中存储的特征向量的余弦相似度，阈值判断是否为已注册用户，使用历史分析模块和个性推荐模块进行个性化推荐，算法采用混合推荐系统，结合协同过滤和内容推荐，其中基于用户的协同过滤用于计算用户之间的相似度，推荐相似用户喜欢的商品，基于商品的属性和用户的爱好进行匹配，主动适应用户需求，提供了个性化服务；通过路径接收模块接收预测输出模块和数据处理模块输出的数据信息，并传输至路径计算模块中，在路径计算模块中，利用数据处理模块提供的实时环境地图，包括障碍物位置{oi}和动态物体的运动状态，进行环境建模；采用改进的动态a-star算法，启发函数h(n)考虑动态障碍物的预测位置，进行初始路径规划；通过状态空间s包含购物车的位置(x,y)、速度v、方向θ、周围环境信息等，动作空间a包含购物车可执行的动作，如加速、减速、左转、右转、停止等，使用奖励函数r(s,a)，策略网络采用深度q网络(dqn)，网络结构为三层全连接网络，隐藏层单元数分别为128和64，激活函数为relu，使用容量为20000的经验回放池进行随机采样小批次训练，折扣因子γ＝0.95，探索策略：ε-greedy，ε从1线性下降到0.1，将结果通过路径输出模块输出至驱动控制模块中，该路径规划算法在动态、多变的购物环境中效率较高，可以实时调整，保障购物效率；在语音识别模块中布设有基于transformer的自动语音识别(asr)模型，模型的训练数据包含普通话和英语的语音数据集，总时长1000小时，识别流程中先对语音信号进行处理，提取梅尔频率倒谱系数(mfcc)，使用beamsearch算法解码输出文本；在交互处理模块中使用bert进行语义理解，使用分类模型将输入文本映射到预定义的意图集合{i1,i2,...,in}，在槽位填充过程提取出商品名称、数量等关键参数；通过情感识别模块提取语音的音调、能量、节奏等特征，使用情感分类模型判断情绪，结合捕捉的面部表情，使用cnn模型进行分类；在触摸屏模块中设置有商品搜索、推荐、购物清单等功能界面，与语音识别模块和手势识别模块进行配合使用，支持语音、触摸和手势操作，包含多种交互方式，可以对用户的情感和意图进行理解，用以提供人性化的服务。