一种冰箱及其食材定位方法与流程

1.本发明涉及冰箱技术领域，尤其涉及一种冰箱及其食材定位方法。


背景技术：

2.智能家居是it技术、网络技术、控制技术向传统家电产业渗透发展的必然结果。智能冰箱作为智能家居的代表，已然成为各大企业竞相开发的突破性产品。智能冰箱是在食物储备的基础上，带给用户更加人性化的使用感。随着冰箱智能化程度越来越高，越来越多的冰箱选择应用射频识别rfid技术对冰箱内的食物进行识别，把rfid(radio frequency identification，无线射频识别)标签放到冰箱中的食材上，通过读写器采集每个标签收到的数据，然后在经由相应的分类算法对数据进行处理预测出每份食材在冰箱中的位置分区，实现食材的智能化管理。但是，现有基于rfid标签识别食物存放位置的技术仅能识别到食物存放在哪一储藏室，并不能进一步识别出食物在该储藏室的分布位置，当储藏室的存储空间较大时，即使告知用户食物存放在哪一个储藏室，仍然无法快速找到这一食材。


技术实现要素：

3.本发明实施例的目的是提供一种冰箱及其食材定位方法，能提高食材定位的精确度，使得用户可快速得知该食材的存放位置。
4.为实现上述目的，本发明实施例提供了一种冰箱，包括：
5.箱体，其作为冰箱的支撑结构，内部设有若干个储藏室；
6.读写器，设于所述箱体内，包括一个读写器主机和若干个天线，所述读写器通过所述天线发射或接收射频信号给rfid标签，以使所述rfid标签计算信号强度并通过所述天线返回给所述读写器主机；
7.控制器被配置为：
8.获取服务器端发送的模型更新参数，并根据所述模型更新参数更新冰箱中预存的定位模型；
9.在更新后的定位模型使用预设的时间段后，获取更新后的定位模型的准确率；其中，所述准确率由每次使用完更新后的定位模型后获取用户输入的反馈信息计算的得到；
10.当所述准确率大于预设的准确率阈值时，保留更新后的定位模型；
11.在满足预设的定位条件时，将所述读写器主机接收到的属于同一食材信息对应的所述rfid标签的信号强度输入到所述更新后的定位模型中；
12.获取所述更新后的定位模型输出的定位信息作为当前食材的定位信息，并在显示器显示所述定位信息。
13.作为上述方案的改进，所述定位模型包括zero-padding层、卷积层、最大池化层、全连接层和softmax分类器。
14.作为上述方案的改进，所述模型更新参数的获取方法包括：
15.获取训练数据，并对所述训练数据进行预处理；其中，所述训练数据包括来源于多
个冰箱的待训练rfid标签的信号强度，所述待训练rfid标签按照预设的分布规则分布在所述储藏室中；
16.搭建初始定位模型；
17.将所述训练数据输入到所述初始定位模型中进行训练，训练完成后获取所述初始定位模型的参数作为所述模型更新参数。
18.作为上述方案的改进，所述对所述训练数据进行预处理，包括：
19.对所述训练数据进行归一化处理；
20.对进行完归一化处理后的所述训练数据进行增维处理，以将所述训练数据转化为三维数据；
21.将三维形式的所述训练数据进行独热编码。
22.为实现上述目的，本发明实施例还提供了一种冰箱的食材定位方法，包括：
23.获取服务器端发送的模型更新参数，并根据所述模型更新参数更新冰箱中预存的定位模型；
24.在更新后的定位模型使用预设的时间段后，获取更新后的定位模型的准确率；其中，所述准确率由每次使用完更新后的定位模型后获取用户输入的反馈信息计算的得到；
25.当所述准确率大于预设的准确率阈值时，保留更新后的定位模型；
26.在满足预设的定位条件时，将冰箱中读写器接收到的属于同一食材信息对应的所述rfid标签的信号强度输入到所述更新后的定位模型中；
27.获取所述更新后的定位模型输出的定位信息作为当前食材的定位信息，并在显示器显示所述定位信息。
28.作为上述方案的改进，所述定位模型包括zero-padding层、卷积层、最大池化层、全连接层和softmax分类器。
29.作为上述方案的改进，所述模型更新参数的获取方法包括：
30.获取训练数据，并对所述训练数据进行预处理；其中，所述训练数据包括来源于多个冰箱的待训练rfid标签的信号强度，所述待训练rfid标签按照预设的分布规则分布在所述储藏室中；
31.搭建初始定位模型；
32.将所述训练数据输入到所述初始定位模型中进行训练，训练完成后获取所述初始定位模型的参数作为所述模型更新参数。
33.作为上述方案的改进，所述对所述训练数据进行预处理，包括：
34.对所述训练数据进行归一化处理；
35.对进行完归一化处理后的所述训练数据进行增维处理，以将所述训练数据转化为三维数据；
36.将三维形式的所述训练数据进行独热编码。
37.相比于现有技术，本发明实施例公开的冰箱及其食材定位方法，通过在冰箱中存储定位模型对属于同一食材信息对应的所述rfid标签的信号强度进行识别，从而识别出当前食材在储藏室中的分布位置，并在显示器中显示其定位信息，方便用户能快速获知这一食材的存放位置。另外，在更新完定位模型后并使用一段时间后，通过判断其准确率来确定是否要保留这一更新后的定位模型，从而使得冰箱中存储的定位模型的准确率保持在较高
水平，进而提到定位精确度。本发明实施例提供的冰箱能提高食材定位的精确度，使得用户可快速得知该食材的存放位置。
附图说明
38.图1是本发明实施例提供的一种冰箱的结构示意图；
39.图2是本发明实施例提供的天线在冰箱中的分布示意图；
40.图3是本发明实施例提供的定位模型的框架示意图；
41.图4是本发明实施例提供的一种冰箱的食材定位方法的流程图。
具体实施方式
42.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.参见图1，图1是本发明实施例提供的一种冰箱的结构示意图，所述冰箱包括：
44.箱体10，其作为冰箱的支撑结构，内部设有若干个储藏室；
45.读写器20，设于所述箱体内，包括一个读写器主机和若干个天线，所述读写器通过所述天线发射或接收射频信号给rfid标签，以使所述rfid标签计算信号强度并通过所述天线返回给所述读写器主机；
46.控制器30被配置为：
47.获取服务器端发送的模型更新参数，并根据所述模型更新参数更新冰箱中预存的定位模型；
48.在更新后的定位模型使用预设的时间段后，获取更新后的定位模型的准确率；其中，所述准确率由每次使用完更新后的定位模型后获取用户输入的反馈信息计算的得到；
49.当所述准确率大于预设的准确率阈值时，保留更新后的定位模型；
50.在满足预设的定位条件时，将所述读写器主机接收到的属于同一食材信息对应的所述rfid标签的信号强度输入到所述更新后的定位模型中；
51.获取所述更新后的定位模型输出的定位信息作为当前食材的定位信息，并在显示器显示所述定位信息。
52.具体地，在本发明实施例中，服务器端预先与多个冰箱建立关联关系，接收多个冰箱的训练数据进行定位模型训练，因此服务器端在每一次更新定位模型的参数后，都需要将该模型更新参数发送给各个冰箱，以使各个冰箱根据所述模型更新参数更新冰箱中预存的定位模型。可以理解的，与服务器端建立关联关系的冰箱都为同一类型的冰箱，这样训练出来的定位模型可以适用同一类型的冰箱。服务器收集多个冰箱的训练数据的目的是可以快速获取到大量训练数据，其基于多个冰箱获取的训练数据，在冰箱数量足够多时，可以忽略掉一些误差数据，从而保持定位模型训练的精度。
53.在冰箱根据所述模型更新参数更新预存的定位模型后，需要对更新后的定位模型进行准确率测试，即在更新后的定位模型使用预设的时间段后，比如7天，获取在这7天内使用更新后的定位模型在定位时的准确率，当所述准确率大于预设的准确率阈值时，保留更
新后的定位模型，当所述准确率小于或等于所述准确率阈值时，删除更新后的定位模型，并采用上一定位模型。
54.示例性的，在对更新后的定位模型进行准确率测试的7天内，每次用户触发一次定位操作后，在显示器给出定位信息后一并给出反馈窗口，该反馈窗口提供工用户选择的有关定位是否准确的选项，然后再根据接收到的反馈信息确定更新后定位模型的准确率。
55.参见图2，在本发明实施例中，所述冰箱被划分为三个分区，每个分区均分布有天线，值得说明的是，冰箱分区的划分方式可以根据其储藏室的分布方式来划分，在此不做具体限定。所述定位条件包括以下中的至少一种：获取到用户发送的某一食材的定位指令；在间隔预设的定位周期后自行触发，比如所述定位周期为2天。
56.示例性的，在本发明实施例中，在冰箱内部布置八根天线，使用射频识别技术来采集每个rfid标签测得的信号强度。用户再将食材和rfid标签绑定放入储藏室后，八根天线同时发出信号，这样每个rfid标签都会测得八份数据，分别是1到8号天线在该标签位置处对应的信号强度及其食材信息，食材信息用于后续区分信号强度。rfid标签接收到天线发送的信号后将测得的信号强度送出，冰箱顶部的读写器主机依序接收解读数据，然后将不同所述天线接收到的属于同一食材信息对应的所述rfid标签的信号强度输入到预先训练好的定位模型中，从而获取所述定位模型输出的定位信息作为当前食材的定位信息，并在显示器中显示所述当前食材的定位信息。
57.进一步地，在本发明实施例中，所述显示器可以显示冰箱储藏室的三维模型，并在该三维模型中标记出当前食材的定位信息，用户可根据该标记得知当前食材所处位置。
58.可选地，所述模型更新参数的获取方法包括：
59.获取训练数据，并对所述训练数据进行预处理；其中，所述训练数据包括来源于多个冰箱的待训练rfid标签的信号强度，所述待训练rfid标签按照预设的分布规则分布在所述储藏室中；
60.搭建初始定位模型；
61.将所述训练数据输入到所述初始定位模型中进行训练，训练完成后获取所述初始定位模型的参数作为所述模型更新参数。
62.具体地，所述分布规则为：将所述待训练rfid标签按照预设的间隔等间隔分布。在训练过程中，需要对储藏室的分布空间进行等间距划分，划分成多个区域，在每一区域中均放置有一个待训练rfid标签。可以理解的，划分的区域越多，待训练rfid标签之间的间隔越小，定位越精准。
63.在将所述训练数据输入到初始定位模型之前，需要对所述训练数据进行预处理，首先，对所述训练数据进行归一化处理，将所述训练数据映射到0至1区间内，提升神经网络模型的收敛速度，缩短训练所需要的时间；然后，对进行完归一化处理后的所述训练数据进行增维处理，以将所述训练数据转化为三维数据，将数据扩充三个维度，将三维形式的所述训练数据进行独热编码；最后，将所述训练数据输入到所述初始定位模型中进行训练，训练完成后获取所述初始定位模型的参数作为所述模型更新参数。
64.可选地，所述定位模型(初始定位模型)包括zero-padding层、卷积层、最大池化层、全连接层和softmax分类器。轻量级卷积神经网络是所述定位模型的重要组成模块之一，它可以进行自主学习，并且能够提取出位置数据中最有效的特征进行表示。其基本网络
结构如图3所示，主要包括zero-padding层、卷积层、最大池化层、全连接层。模型由两个卷积层和池化层进行堆叠，后接一个全连接层，最终使用softmax分类器进行分类。
65.示例性的，扩展为三维的数据进行zero-padding(补零)操作，更加全面的利用数据来获取神经网络的特征提取值。
66.卷积层主要是由convolution、batch-normalization、leaky relu构成，通过卷积来捕获位置数据的特征映射，然后通过非线性函数激活特征映射，卷积核由初始化权重和偏置组成，卷积运算由卷积核以滑动窗口的形式实现。卷积的运算公式如公式(1)所示：
67.mi＝f(wx
i:i+w-1
+b)
ꢀꢀꢀ
公式(1)；
68.其中，mi是卷积运算后的特征映射，x
i:i+w-1
为卷积核对应滑动窗口内的数据。
69.当网络层的输入分布相近，并且分布在较小的范围内时(如0附近)，更有利于函数的迭代优化。为了保证输入的分布相近，通过batch-normalization进行数据的映射，如公式(2)所示：
[0070][0071]
其中，μr、来自统计的所有数据x的均值和方差，ε是为了防止除0的错误而设置的较小数，本发明将ε设置为将随机分布的位置数据转化成按照正态分布的数据，使输入网络的数据分布较近，更有利于网络的迭代优化。
[0072]
本发明采用了leaky relu函数，克服了梯度弥漫的现象，其公式(3)如下：
[0073][0074]
其中，设定参数p为了保证在负区域时的梯度不为0，设定p为0.04。
[0075]
最大池化层将局部相关的一组元素进行采样或信息聚合，得到新的元素值。最大池化层主要是从局部相关元素中选取最大的一个元素值。
[0076]
全连接层将提取出的特征输入到全连接网络，再让全连接层计算分类评估值softmax分类器将三个输出值映射到[0,1]区间内，从而进行多分类。值得说明的是，本发明实施例所述softmax分类器可采用现有技术中常用的softmax分类器，工作原理相同，本发明在此不再赘述。
[0077]
示例性的，经过数据处理后，训练数据输入8*1*1大小的特征矩阵，在输入矩阵的边缘使用zero-padding层进行零值填充，以增大输入特征矩阵的高度和宽度将其变为10*3*1的矩阵。经过第一次卷积操作之后，将输入矩阵大小变为9*2*32的特征矩阵，经过第一次最大池化之后，将输入矩阵的高度和宽度将其变为4*1*32的矩阵；再进行第二次卷积操作之后，将输入矩阵大小变为4*1*10的特征矩阵，经过第二次最大池化之后，数据矩阵的大小仍为4*1*10的特征矩阵；经过第一次全连接将其数据转为40*1的二维矩阵，再经过第二次全连接将数据转为3*1的二维矩阵，最后通过分类器进行分类，得到定位信息。
[0078]
相比于现有技术，本发明实施例公开的冰箱，通过在冰箱中存储定位模型对属于同一食材信息对应的所述rfid标签的信号强度进行识别，从而识别出当前食材在储藏室中的分布位置，并在显示器中显示其定位信息，方便用户能快速获知这一食材的存放位置。另外，在更新完定位模型后并使用一段时间后，通过判断其准确率来确定是否要保留这一更
新后的定位模型，从而使得冰箱中存储的定位模型的准确率保持在较高水平，进而提到定位精确度。本发明实施例提供的冰箱能提高食材定位的精确度，使得用户可快速得知该食材的存放位置。
[0079]
参见图4，图4是本发明实施例提供的一种冰箱的食材定位方法的流程图，所述冰箱的食材定位方法包括：
[0080]
s1、获取服务器端发送的模型更新参数，并根据所述模型更新参数更新冰箱中预存的定位模型；
[0081]
s2、在更新后的定位模型使用预设的时间段后，获取更新后的定位模型的准确率；其中，所述准确率由每次使用完更新后的定位模型后获取用户输入的反馈信息计算的得到；
[0082]
s3、当所述准确率大于预设的准确率阈值时，保留更新后的定位模型；
[0083]
s4、在满足预设的定位条件时，将冰箱中读写器接收到的属于同一食材信息对应的所述rfid标签的信号强度输入到所述更新后的定位模型中；
[0084]
s5、获取所述更新后的定位模型输出的定位信息作为当前食材的定位信息，并在显示器显示所述定位信息。
[0085]
具体地，在本发明实施例中，服务器端预先与多个冰箱建立关联关系，接收多个冰箱的训练数据进行定位模型训练，因此服务器端在每一次更新定位模型的参数后，都需要将该模型更新参数发送给各个冰箱，以使各个冰箱根据所述模型更新参数更新冰箱中预存的定位模型。可以理解的，与服务器端建立关联关系的冰箱都为同一类型的冰箱，这样训练出来的定位模型可以适用同一类型的冰箱。服务器收集多个冰箱的训练数据的目的是可以快速获取到大量训练数据，其基于多个冰箱获取的训练数据，在冰箱数量足够多时，可以忽略掉一些误差数据，从而保持定位模型训练的精度。
[0086]
在冰箱根据所述模型更新参数更新预存的定位模型后，需要对更新后的定位模型进行准确率测试，即在更新后的定位模型使用预设的时间段后，比如7天，获取在这7天内使用更新后的定位模型在定位时的准确率，当所述准确率大于预设的准确率阈值时，保留更新后的定位模型，当所述准确率小于或等于所述准确率阈值时，删除更新后的定位模型，并采用上一定位模型。
[0087]
示例性的，在对更新后的定位模型进行准确率测试的7天内，每次用户触发一次定位操作后，在显示器给出定位信息后一并给出反馈窗口，该反馈窗口提供工用户选择的有关定位是否准确的选项，然后再根据接收到的反馈信息确定更新后定位模型的准确率。
[0088]
在本发明实施例中，所述冰箱被划分为三个分区，每个分区均分布有天线，值得说明的是，冰箱分区的划分方式可以根据其储藏室的分布方式来划分，在此不做具体限定。所述定位条件包括以下中的至少一种：获取到用户发送的某一食材的定位指令；在间隔预设的定位周期后自行触发，比如所述定位周期为2天。
[0089]
示例性的，在本发明实施例中，在冰箱内部布置八根天线，使用射频识别技术来采集每个rfid标签测得的信号强度。用户再将食材和rfid标签绑定放入储藏室后，八根天线同时发出信号，这样每个rfid标签都会测得八份数据，分别是1到8号天线在该标签位置处对应的信号强度及其食材信息，食材信息用于后续区分信号强度。rfid标签接收到天线发送的信号后将测得的信号强度送出，冰箱顶部的读写器主机依序接收解读数据，然后将不
同所述天线接收到的属于同一食材信息对应的所述rfid标签的信号强度输入到预先训练好的定位模型中，从而获取所述定位模型输出的定位信息作为当前食材的定位信息，并在显示器中显示所述当前食材的定位信息。
[0090]
进一步地，在本发明实施例中，所述显示器可以显示冰箱储藏室的三维模型，并在该三维模型中标记出当前食材的定位信息，用户可根据该标记得知当前食材所处位置。
[0091]
可选地，所述模型更新参数的获取方法包括：
[0092]
获取训练数据，并对所述训练数据进行预处理；其中，所述训练数据包括来源于多个冰箱的待训练rfid标签的信号强度，所述待训练rfid标签按照预设的分布规则分布在所述储藏室中；
[0093]
搭建初始定位模型；
[0094]
将所述训练数据输入到所述初始定位模型中进行训练，训练完成后获取所述初始定位模型的参数作为所述模型更新参数。
[0095]
具体地，所述分布规则为：将所述待训练rfid标签按照预设的间隔等间隔分布。在训练过程中，需要对储藏室的分布空间进行等间距划分，划分成多个区域，在每一区域中均放置有一个待训练rfid标签。可以理解的，划分的区域越多，待训练rfid标签之间的间隔越小，定位越精准。
[0096]
在将所述训练数据输入到初始定位模型之前，需要对所述训练数据进行预处理，首先，对所述训练数据进行归一化处理，将所述训练数据映射到0至1区间内，提升神经网络模型的收敛速度，缩短训练所需要的时间；然后，对进行完归一化处理后的所述训练数据进行增维处理，以将所述训练数据转化为三维数据，将数据扩充三个维度，将三维形式的所述训练数据进行独热编码；最后，将所述训练数据输入到所述初始定位模型中进行训练，训练完成后获取所述初始定位模型的参数作为所述模型更新参数。
[0097]
可选地，所述定位模型(初始定位模型)包括zero-padding层、卷积层、最大池化层、全连接层和softmax分类器。轻量级卷积神经网络是所述定位模型的重要组成模块之一，它可以进行自主学习，并且能够提取出位置数据中最有效的特征进行表示。所述定位模型基本网络结构如图3所示，主要包括zero-padding层、卷积层、最大池化层、全连接层。模型由两个卷积层和池化层进行堆叠，后接一个全连接层，最终使用softmax分类器进行分类。
[0098]
示例性的，经过数据处理后，训练数据输入8*1*1大小的特征矩阵，在输入矩阵的边缘使用zero-padding层进行零值填充，以增大输入特征矩阵的高度和宽度将其变为10*3*1的矩阵。经过第一次卷积操作之后，将输入矩阵大小变为9*2*32的特征矩阵，经过第一次最大池化之后，将输入矩阵的高度和宽度将其变为4*1*32的矩阵；再进行第二次卷积操作之后，将输入矩阵大小变为4*1*10的特征矩阵，经过第二次最大池化之后，数据矩阵的大小仍为4*1*10的特征矩阵；经过第一次全连接将其数据转为40*1的二维矩阵，再经过第二次全连接将数据转为3*1的二维矩阵，最后通过分类器进行分类，得到定位信息。
[0099]
相比于现有技术，本发明实施例公开的冰箱的食材定位方法，通过在冰箱中存储定位模型对属于同一食材信息对应的所述rfid标签的信号强度进行识别，从而识别出当前食材在储藏室中的分布位置，并在显示器中显示其定位信息，方便用户能快速获知这一食材的存放位置。另外，在更新完定位模型后并使用一段时间后，通过判断其准确率来确定是
否要保留这一更新后的定位模型，从而使得冰箱中存储的定位模型的准确率保持在较高水平，进而提到定位精确度。本发明实施例提供的冰箱能提高食材定位的精确度，使得用户可快速得知该食材的存放位置。
[0100]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。