对象识别系统、方法、电子设备及存储介质与流程

本技术涉及数据处理，尤其涉及一种对象识别系统、方法、电子设备及存储介质。

背景技术：

1、随着科学技术的进步和人工智能的发展，智能算法也越来越多的应用到日常生活中，特别是对于家用酒柜而言，作为使用较高的日常家电之一，其智能化发展是至关重要的，而智能化的关键问题，就在于对日常生活提供便利，比如对酒柜中酒的识别及自动库存管理。

2、现有酒柜的功能和结构较简单，对酒柜中的酒进行识别时，识别结果不准确，且该酒柜无法对酒柜中存储的酒的库存进行管理。

技术实现思路

1、本技术提供一种对象识别系统、方法、电子设备及存储介质，用以解决对酒柜中的酒进行识别时，识别结果不准确，且无法对酒柜中存储的酒的库存进行管理的问题。

2、第一方面，本技术提供一种对象识别系统，该系统包括酒柜和库存管理设备，该酒柜包括摄像头、重力传感器、麦克风、处理器和通信单元。

3、摄像头，用于采集存储在酒柜中的对象的图像数据。

4、重力传感器，用于采集该对象的重量数据。

5、麦克风，用于采集语音数据。

6、处理器，用于分别提取图像数据、重量数据和语音数据的特征向量，并将图像数据的特征向量、重量数据的特征向量和语音数据的特征向量进行多模态数据融合，基于融合后的数据识别该对象在库存管理设备中的名称，以及，基于重量数据得到该对象的数量。

7、通信单元，用于向库存管理设备发送该对象的名称和该对象的数量。

8、库存管理设备，用于根据该对象的名称和该对象的数量自动更新该对象的库存。

9、可选的，处理器，具体用于将融合后的数据输入预先训练的模型，得到该对象在库存管理设备中的名称。

10、其中，模型训练时采用的样本中包括：该对象的图像数据样本、该对象的重量数据样本和该对象的语音数据样本。

11、可选的，通信单元，还用于接收来自库存管理设备的该对象的应有库存值。

12、处理器，还用于基于重量数据判断该对象的数量是否达到应有库存值。

13、通信单元，还用于在该对象的数量未达到应有库存值时，向库存管理设备发送补货通知信息。

14、可选的，该酒柜还包括显示屏。

15、显示屏，用于在该对象的数量未达到应有库存值时，显示补货提示信息。

16、可选的，处理器，具体用于在将图像数据的特征向量、重量数据的特征向量和语音数据的特征向量进行多模态数据融合时，满足公式(1)、(2)、(3)和(4)：

17、

18、

19、

20、

21、其中，hx表示图像数据的特征向量，hy表示重量数据的特征向量，hz表示语音数据的特征向量，h1表示图像数据的特征向量和重量数据的特征向量的外积，h2表示图像数据的特征向量和语音数据的特征向量的外积，h3表示重量数据的特征向量和语音数据的特征向量的外积，hm表示融合后的数据。

22、可选的，该酒柜还包括温度传感器和温度调节设备。

23、温度传感器，用于采集酒柜中的温度。

24、处理器，还用于判断酒柜中的温度是否符合该对象的储存温度，在酒柜中的温度不符合该对象的储存温度时，控制温度调节设备调节酒柜中的温度，直到酒柜中的温度符合该对象的储存温度。

25、第二方面，本技术提供一种对象识别方法，应用于对象识别系统，该对象识别系统包括酒柜和库存管理设备，该酒柜包括摄像头、重力传感器、麦克风、处理器和通信单元，包括：

26、通过摄像头采集存储在酒柜中的对象的图像数据，通过重力传感器采集该对象的重量数据，以及通过麦克风采集语音数据。

27、通过处理器分别提取图像数据、重量数据和语音数据的特征向量，并通过处理器将图像数据的特征向量、重量数据的特征向量和语音数据的特征向量进行多模态数据融合，基于融合后的数据，通过处理器识别该对象在库存管理设备中的名称，以及，基于重量数据，通过处理器得到该对象的数量。

28、控制通信单元向库存管理设备发送该对象的名称和对象的数量。

29、基于该对象的名称和该对象的数量，通过库存管理设备自动更新该对象的库存。

30、可选的，基于融合后的数据，通过处理器识别该对象在库存管理设备中的名称，包括：通过处理器将融合后的数据输入预先训练的模型，得到该对象在库存管理设备中的名称。

31、其中，模型训练时采用的样本中包括：该对象的图像数据样本、该对象的重量数据样本和该对象的语音数据样本。

32、可选的，控制通信单元接收来自库存管理设备的该对象的应有库存值。

33、基于重量数据，通过处理器判断该对象的数量是否达到应有库存值。

34、在该对象的数量未达到应有库存值时，通过通信单元向库存管理设备发送补货通知信息。

35、可选的，该酒柜还包括显示屏。

36、在该对象的数量未达到应有库存值时，通过显示屏显示补货提示信息。

37、可选的，通过处理器在对将图像数据的特征向量、重量数据的特征向量和语音数据的特征向量进行多模态数据融合时，满足公式(1)、(2)、(3)和(4)：

38、

39、

40、

41、

42、其中，hx表示图像数据的特征向量，hy表示重量数据的特征向量，hz表示语音数据的特征向量，h1表示图像数据的特征向量和重量数据的特征向量的外积，h2表示图像数据的特征向量和语音数据的特征向量的外积，h3表示重量数据的特征向量和语音数据的特征向量的外积，hm表示融合后的数据。

43、可选的，该酒柜还包括温度传感器和温度调节设备。

44、通过温度传感器采集酒柜中的温度。

45、通过处理器判断酒柜中的温度是否符合该对象的储存温度，在酒柜中的温度不符合该对象的储存温度时，通过处理器控制温度调节设备调节酒柜中的温度，直到酒柜中的温度符合该对象的储存温度。

46、第三方面，本技术提供一种电子设备，包括：存储器和处理器；

47、存储器，用于存储计算机程序。

48、处理器，用于读取存储器存储的计算机程序，并根据存储器中的计算机程序执行上述第二方面的对象识别方法。

49、第四方面，本技术提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被处理器执行时用于实现如上述第二方面的对象识别方法。

50、第五方面，本技术实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时，实现上述第二方面的对象识别方法。

51、本技术提供的对象识别系统、方法、电子设备及存储介质，该系统包括酒柜和库存管理设备，该酒柜包括摄像头、重力传感器、麦克风、处理器和通信单元；摄像头，用于采集存储在酒柜中的对象的图像数据；重力传感器，用于采集该对象的重量数据；麦克风，用于采集语音数据；处理器，用于分别提取图像数据、重量数据和语音数据的特征向量，并将图像数据的特征向量、重量数据的特征向量和语音数据的特征向量进行多模态数据融合，基于融合后的数据识别该对象在库存管理设备中的名称，以及，基于重量数据得到该对象的数量；通信单元，用于向库存管理设备发送该对象的名称和该对象的数量；库存管理设备，用于根据该对象的名称和该对象的数量自动更新该对象的库存。在该系统中，该酒柜可以基于采集的图像数据、重量数据和语音数据等多种数据精准地识别该对象在库存管理设备中的名称，并通过向库存管理设备发送该对象的名称和该对象的数量，实现该对象的库存管理。