一种基于场景感知的物品检测方法和装置与流程

1.本发明涉及随身物品智能检测方法和装置，尤其涉及基于场景感知并利用rfid技术和智能算法实现的随身物品完备性检测方法和装置。


背景技术：

2.日常生活中经常会遇到出门上班忘带重要物品的麻烦，比如忘记带手机、工卡、钱包等；或者在出门旅行过程中总担心遗漏/遗失什么物品，尤其是身份证件、手机、钱包等重要物品。如果利用现代科技提供一种根据不同生活场景自动提醒用户是否遗漏重要物品的方法和装置，就能够给用户生活带来极大便利，应该会广受市场欢迎。
3.目前市场上已经有一些寻找物品的相关产品，它们大多采用蓝牙技术制作成物品追踪标签，通常以小挂件形式附着在被管理物品上；在需要寻找某物品时，使用特制的蓝牙寻物器或在智能手机上运行寻物app并调用手机蓝牙功能，尝试连接目标物品上的蓝牙挂件；一旦连接成功则触发挂件发出声光信号提示用户目标所在位置。
4.上述产品能够在日常寻找物品中给人们带来帮助，但是仍有不足之处：首先，此类产品无法解决上述生活场景中因遗忘未随身携带物品的问题；其次，该类产品在使用时也有明显缺陷：蓝牙挂件需要使用电池，即便是使用小型纽扣电池，也使得物品追踪标签具有显眼的厚度和体积；由于电池续航时间总是有限的，如何确保每个物品追踪标签在电池耗尽之前及时更换电池，在实际应用中很难找到完美方案；同时，蓝牙挂件成本相对较高。
5.中国专利200610087689.1提出一种用于家庭物品搜寻管理装置和方法。该方案将rfid有源或无源标签附着在物品上，在寻物装置中预先录入rfid标签和物品的绑定关系，在寻物时使用rfid读取器发送特定射频信号，根据标签返回信号确定目标方位和距离。中国专利200910230704.7提出一种基于rfid的物品搜寻方法。该方法基本工作原理和上述200610087689.1专利类似，区别在于组合使用固定式rfid读取器和移动式读取器，前者部署在不同区域，用于追踪记录物品的位置变动，如a房间变动到b房间；后者在需要寻物时可以根据前者的记录信息从首选区域入手快速搜寻目标物品。中国专利201711172087.0提出一种智能室内寻物收纳系统。该系统包括手机壳状rfid读写器和运行在手机中的app，并基于autocad三维模型图展示目标位置。这些专利都提出了利用rfid技术寻找特定物品的技术方案，但是没有解决日常生活场景中检测随身携带物品完备性的问题。
6.美国专利us6674364提出一种寻物装置和系统，物品追踪标签使用电池供电，在接收到发射机发送的射频信号后，解调分析其中的地址码，如和自己的地址码匹配则触发蜂鸣器发出提示音。美国专利us7301453给出一种定位系统和方法。该专利使用有源标签和寻物器实现寻找目标物品的功能。有源标签主动发出独特脉冲信号，寻物器接收并解析目标信号并以音频信号反馈目标的移动、接近或远离信息。上述美国专利使用了电池供电的有源标签，在具体应用时具有上述蓝牙标签相同的缺陷。同样，他们也没有解决随身物品完备性自动检查、提醒的问题。
7.本发明针对市场目前产品的欠缺，提出一种基于场景感知的物品检测方法和装
置，能够自动感知应用场景，完成随身物品完备性检查并通过多种方式及时向用户反馈结果。


技术实现要素：

8.本发明提出一种基于场景感知的物品检测方法，包括以下步骤：
9.1)检测装置由预定义条件触发自动感知周边环境特征信号，通过自学习建立场景感知模型；
10.2)检测装置感知周边环境特征信号，由场景感知模型自动识别出用户行为状态；
11.3)由特定的用户行为状态识别结果触发检测装置进行物品检测；
12.4)检测装置将检测结果与该场景下的必备物品清单比对，向用户发出反馈信息。
13.上述检测装置包括检测器和主控单元，二者通过通信接口连接；其中检测器包括电子标签读写单元、通信单元和电源模块，电子标签读写单元接收来自主控单元的操作指令，发射电子标签读写信号并接收后者的反向散射信号，进而从中解析出电子标签身份识别id并上报给主控单元；通信单元通过通信接口实现与主控单元的连接；电源模块包括可充电电池及电源管理电路，提供检测器工作电源。
14.优选的，检测器还进一步包括以声音、光或数字显示方式输出的状态显示单元；所述主控单元是运行在具有智能操作系统的智能终端上的app。
15.优选的，检测装置还包括无线感知单元，能够感知所述周边环境特征信号。
16.上述预定义触发条件包括时间触发、位置触发、与其他app的联动触发，或者以上几种方式的混合触发。
17.上述周边环境特征信号包括当前数据业务连接的无线网络id及其幅度变化特征、其他无线信号发射源id及其幅度变化特征，其中无线信号包括wifi信号、蓝牙信号、uwb信号、广域移动通信网络信号的一种或多种组合。
18.上述检测装置通过自学习建立场景感知模型包括以下步骤：感知周边环境特征信号并将结果输入场景感知模块作为训练样本；场景感知模块通过累积多个样本的训练，建立起稳定的场景感知模型，能够通过感知周边环境特征信号识别出用户行为状态。
19.上述训练样本是包括多组无线信号的集合，每组无线信号都包括了信号类型、信号源id和检测时间段内的幅度变化特征；所述用户行为状态包括用户处于某场所和用户离开某场所；所述某场所包括家和办公室。
20.根据权利要求7所述的基于场景感知的物品检测方法，其特征在于，所述场景感知模块对训练样本的处理包括以下步骤：对样本中的每组信号做平滑滤波；标记信号陡变起始时间t2和截至时间t3；根据各组信号的权重加权平均计算样本中信号集合的陡变起始时间t20和截至时间t30；进一步标记信号感知起始时间为t10，t30后延kδt时间为t40；截取t10-t20之间的样本信号作为进一步训练用户处于某场所的场景识别样本，截取t20-t30之间的样本信号作为进一步训练用户离开某场所的场景识别样本；采用人工智能技术，利用上述步骤获得的场景识别样本进行训练，将一个时间窗δt内观察到的环境特征信号映射为用户的行为状态，建立起稳定的场景感知模型。
21.上述信号陡变起始时间t2和截止时间t3由以下方法确定：
22.1)通过一个滑动时间窗δt分析每组信号，比较当前时间窗内信号强度均值v1与
之前n个时间窗内信号幅度均值vn，当二者之差的绝对值|v1-vn|超过阈值v0，则标记此时为信号陡变开始时间t2,否则按照先进先出原则用v1替换之前n个时间窗中最早一个计算新的均值vn，时间窗向后滑动δt继续寻找t2；
23.2)时间窗继续向后滑动，判断窗口内的信号幅度均值是否在连续m个时间窗中单调上升或下降，如是则标记第m个时间窗结束时间为信号陡变截至时间t3，即t3＝t2+mδt；否则清除t2,返回步骤1)；
24.上述信号权重按以下原则分配：该信号在样本集中出现概率越高、在自动检测起始阶段或结束阶段的平均信号强度越高则权重越高。
25.上述场景识别样本训练包括：用滑动时间窗δt分割每个训练样本，形成训练子样本集合；提取每个训练子样本中的信号变化特征构成输入模糊子空间，包括每个信号的强度均值和方差；输出子空间则为用户行为状态；二者之间采用人工神经网络或聚类分析算法构建输入模糊子空间和输出子空间之间的映射关系。
26.上述物品上贴有或挂扣或内嵌了电子标签，所述电子标签具有唯一的身份识别id；所述主控单元中保存有物品和电子标签的绑定关系；所述物品检测通过检测并读取电子标签身份id实现。
27.上述检测装置通过自学习建立场景感知模型的过程中还同时确定所述必备物品清单，具体步骤如下：周期性读取周边电子标签信息；合并信号陡变起始时间t20和截至时间t30之间的多次电子标签读取结果，根据电子标签id和物品的绑定关系确定对应物品；输出物品信息并提醒用户确认随身物品是否完备；接收用户剔除或添加物品的操作，形成必备物品清单。
28.本发明还提出一种基于场景感知的物品检测装置，由预定义条件触发自动感知周边环境特征信号，通过自学习建立场景感知模型；感知周边环境特征信号，由场景感知模型自动识别出用户行为状态；由特定的用户行为状态识别结果触发进行物品检测；将检测结果与该场景下的必备物品清单比对，向用户发出反馈信息。
29.上述检测装置包括检测器和主控单元，二者通过通信接口连接；其中检测器包括电子标签读写单元、通信单元和电源模块，电子标签读写单元接收来自主控单元的操作指令，发射电子标签读写信号并接收后者的反向散射信号，进而从中解析出电子标签身份识别id并上报给主控单元；通信单元通过通信接口实现与主控单元的连接；电源模块包括可充电电池及电源管理电路，提供检测器工作电源。
30.优选的，检测器还进一步包括以声音、光或数字显示方式输出的状态显示单元；所述主控单元是运行在具有智能操作系统的智能终端上的app。
31.优选的，检测装置还包括无线感知单元，能够感知所述周边环境特征信号。
32.上述预定义触发条件包括时间触发、位置触发、与其他app的联动触发，或者以上几种方式的混合触发。
33.上述周边环境特征信号包括当前数据业务连接的无线网络id及其幅度变化特征、其他无线信号发射源id及其幅度变化特征，其中无线信号包括wifi信号、蓝牙信号、uwb信号、广域移动通信网络信号的一种或多种组合。
34.上述检测装置通过自学习建立场景感知模型包括以下步骤：感知周边环境特征信号并将结果输入场景感知模块作为训练样本；场景感知模块通过累积多个样本的训练，建
立起稳定的场景感知模型，能够通过感知周边环境特征信号识别出用户行为状态。
35.上述训练样本是包括多组无线信号的集合，每组无线信号都包括了信号类型、信号源id和检测时间段内的幅度变化特征；所述用户行为状态包括用户处于某场所和用户离开某场所；所述某场所包括家和办公室。
36.根据权利要求7所述的基于场景感知的物品检测方法，其特征在于，所述场景感知模块对训练样本的处理包括以下步骤：对样本中的每组信号做平滑滤波；标记信号陡变起始时间t2和截至时间t3；根据各组信号的权重加权平均计算样本中信号集合的陡变起始时间t20和截至时间t30；进一步标记信号感知起始时间为t10，t30后延kδt时间为t40；截取t10-t20之间的样本信号作为进一步训练用户处于某场所的场景识别样本，截取t20-t30之间的样本信号作为进一步训练用户离开某场所的场景识别样本；采用人工智能技术，利用上述步骤获得的场景识别样本进行训练，将一个时间窗δt内观察到的环境特征信号映射为用户的行为状态，建立起稳定的场景感知模型。
37.上述信号陡变起始时间t2和截止时间t3由以下方法确定：
38.1)通过一个滑动时间窗δt分析每组信号，比较当前时间窗内信号强度均值v1与之前n个时间窗内信号幅度均值vn，当二者之差的绝对值|v1-vn|超过阈值v0，则标记此时为信号陡变开始时间t2,否则按照先进先出原则用v1替换之前n个时间窗中最早一个计算新的均值vn，时间窗向后滑动δt继续寻找t2；
39.2)时间窗继续向后滑动，判断窗口内的信号幅度均值是否在连续m个时间窗中单调上升或下降，如是则标记第m个时间窗结束时间为信号陡变截至时间t3，即t3＝t2+mδt；否则清除t2,返回步骤1)；
40.上述信号权重按以下原则分配：该信号在样本集中出现概率越高、在自动检测起始阶段或结束阶段的平均信号强度越高则权重越高。
41.上述场景识别样本训练包括：用滑动时间窗δt分割每个训练样本，形成训练子样本集合；提取每个训练子样本中的信号变化特征构成输入模糊子空间，包括每个信号的强度均值和方差；输出子空间则为用户行为状态；二者之间采用人工神经网络或聚类分析算法构建输入模糊子空间和输出子空间之间的映射关系。
42.上述物品上贴有或挂扣或内嵌了电子标签，所述电子标签具有唯一的身份识别id；所述主控单元中保存有物品和电子标签的绑定关系；所述物品检测通过检测并读取电子标签身份id实现。
43.上述检测装置通过自学习建立场景感知模型的过程中还同时确定所述必备物品清单，具体步骤如下：周期性读取周边电子标签信息；合并信号陡变起始时间t20和截至时间t30之间的多次电子标签读取结果，根据电子标签id和物品的绑定关系确定对应物品；输出物品信息并提醒用户确认随身物品是否完备；接收用户剔除或添加物品的操作，形成必备物品清单。
44.本发明还提出一种智能箱包，其中包含上述物品检测装置。
45.本发明综合利用射频电子标签识别技术、无线感知和人工智能技术实现应用场景的自动感知和物品完备性检测。应用本发明可以在上学、上班、旅行等生活场景下自动检测并提醒用户是否遗漏重要物品，为用户带来极大便利。本发明还能和书包、旅行箱等集成在一起成为智能型箱包产品。
46.结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。
附图说明
47.为了清晰地说明本发明的技术方案和实施例，下面简要介绍说明书所涉及的附图。需要说明的是，所述附图主要目的是用来说明本发明装置各组成部分相互连接的关系、结构特征和由此带来的优势，并非按照装置的实际尺寸等比例缩放绘制。显然，所述附图仅涉及有限的实施例，不能理解为对本发明的限制，本领域技术人员根据这些附图很容易通过形式上的变化获得新的实施例。
48.图1是本发明一个实施例的系统框图；
49.图2是本发明实施例中检测器的功能框图；
50.图3是本发明实施例中电子标签初始化操作流程图；
51.图4是本发明实施例中检测场景预定义流程图；
52.图5是本发明实施例中场景感知算法对训练样本的处理流程图；
53.图6是本发明实施例中一组无线信号变化特征及标记时间示意图。
具体实施方式
54.下面结合附图详细说明本发明的具体实施方式。
55.本发明提出一种物品检测系统，如图1所示，包括免电池电子标签、检测器和运行在智能终端中的应用软件(检测app)。其中免电池电子标签采用粘贴、挂扣或嵌入方式附着在被检测物品上，每个标签具有唯一的身份识别id。检测器通过无线网络和检测app连接，接收后者的控制指令，发送电子标签读写信号，读取有效范围内的电子标签身份id，并将检测结果反馈给检测app；所述读取结果包括目标标签的id、方位、距离信息。app提供用户交互界面，完成电子标签id和实际物品的绑定，物品属性赋值，触发特定场景物品检查；接收检测器检测结果，根据智能算法学习并感知特定的应用场景，根据场景自动触发物品检查；向用户反馈检测结果。所述物品属性包括物品类别、重要性等级、归属人等信息。
56.免电池电子标签内部封装了微处理器和射频天线，微处理器负责对电子标签读写信号进行解析和逻辑处理，其内部存储器保存了标签唯一的身份识别id；射频天线接收电子标签读写信号，耦合出其中的电磁能量作为微处理器工作电源。进一步的，电子标签还包括环境能量采集单元，负责采集电子标签周边的光能、振动能、热能、电磁能，通过储能电路向微处理器提供工作电源。
57.检测器的功能框图如图2所示，包括电子标签读写单元、无线通信单元和电源模块。电子标签读写单元接收来自检测app的操作指令，发射电子标签读写信号并接收后者的反向散射信号，进而从中解析出电子标签身份识别id并上报给检测app。无线通信单元采用无线通信技术实现与检测app的无线连接，所述无线通信技术包括wifi、蓝牙、uwb、zigbee等短距离无线技术中的至少一种，或广域移动通信技术如4g/5g以及他们的演进技术。电源模块包括可充电电池及电源管理电路，提供检测器工作电源。检测器还进一步包括以声音、光或数字显示方式输出的状态显示单元。
58.检测app运行在具有android或ios或者其他智能操作系统的智能终端上，通过无
线通信单元连接标签检测器，向后者发送操控指令并接收其上报的检测结果。所述智能终端具有无线感知单元，能够在检测app控制下检测周边环境特征信号。检测app提供用户操作界面，可供用户完成标签信息初始化、检测场景预定义、场景感知自学习和自动检测操作；同时通过结果展示界面向用户反馈操作结果，以及用户操作开关或按钮。
59.所述标签信息初始化操作如图3所示，包括以下步骤：
60.1)用户将贴有或挂扣或内嵌电子标签的物品a的信息录入检测app，所诉物品信息包括物品名称、物主、分类、有效期等；
61.2)检测app向检测器发送标签初始化指令；
62.3)检测器调低发射功率，接近物品a，读取其中电子标签的身份识别id，并将读取结果上报给检测app；
63.4)检测app保存上报结果，并将此电子标签的身份识别id与物品a绑定。
64.上述物品设置有效期属性是为了方便对药品、食品等物品进行智能管理。
65.所述检测场景预定义操作如图4所示，包括以下步骤：
66.1)用户新增检测场景，录入检测场景名称；
67.2)添加该场景下的自动检测物品名单，用户可以从检测app操作界面提供的物品分类列表、图标中选取添加；或者由用户通过操作界面上的功能按钮触发检测app下发添加检测物品指令，检测器接收指令后调节发射功率，依次接近并读取待添加物品的电子标签身份识别id并上报给检测app，后者根据电子标签身份识别id和物品的绑定关系，添加该场景下自动检测物品名单；
68.3)用户定义该场景下的自动检测触发条件，如时间触发、位置触发、与其他app的联动触发，或者以上几种方式的混合触发。
69.需要说明的是，上述第二步骤添加的检测物品名单可以只包括该场景下部分需要自动检测的物品，而非全部需要检测的物品，系统将在之后的自学习阶段通过智能算法完善待检测物品的完整名单。
70.对于日常生活中最常见的上下班场景，本发明的实施例可以帮助用户自动检查必备物品是否随身携带。如上所述，检测app预先定义了上下班检测场景，添加了工卡作为此场景下必检物品之一，定义自动检测触发条件是时间和位置变化混合触发，其中检测时间段为每个工作日上午8:00-9:00和下午17:30-18:30，位置变化是指检测app感知到了用户离开家或离开办公室的行为。检测app将通过自学习建立场景感知模型并完善此场景下的必检物品名单，最终实现场景自动感知、自动触发检测和提醒的功能。在自学习阶段，检测app通过以下步骤建立场景感知模型：
71.通过联网查询判断是否为工作日，如是则进行下面步骤，否则延迟24小时后重复此步骤；
72.在预定义的检测时间段自动启动场景感知学习：感知周边环境特征信号并将结果输入场景感知模块作为训练样本；通过累积多个工作日采集的样本训练，场景感知模块建立起稳定的场景感知模型，之后即可以通过感知周边环境特征信号识别出“在家”、“在办公室”、“离开家上班”、“离开办公室下班”等用户行为状态。
73.上述周边环境特征信号包括当前数据业务连接的无线网络id及其幅度变化特征、其他无线信号发射源id及其幅度变化特征，其中无线信号包括wifi信号、蓝牙信号、uwb信
号、广域移动通信网络信号的一种或多种组合。上述训练样本是包括多组无线信号的集合，每组无线信号都包括了信号类型、信号源id和检测时间段内的幅度变化特征。
74.所述场景感知模块对训练样本的处理流程如图5所示：
75.1)将每组检测到的无线信号强度沿时间轴变化值做平滑滤波，获得其在样本观察期间的变化曲线；
76.2)通过一个滑动时间窗δt继续分析每组信号，比较当前时间窗内信号强度均值v1与之前n个时间窗内信号幅度均值vn，当二者之差的绝对值|v1-vn|超过阈值v0，则标记此时为信号陡变开始时间t2,否则按照先进先出原则用v1替换之前n个时间窗中最早一个计算新的均值vn，时间窗向后滑动δt继续寻找t2；
77.3)时间窗继续向后滑动，判断窗口内的信号幅度均值是否在连续m个时间窗中单调上升或下降，如是则标记第m个时间窗结束时间为信号陡变截至时间t3，即t3＝t2+mδt；否则清除t2,返回步骤2)；
78.4)将成功标记出t2和t3的各组信号记为{si}，对应的标记时间为{t2i,t3i}；按照重要性高低为{si}中各信号分配权重，原则是该信号在样本集中出现概率越高、在自动检测起始阶段或结束阶段的平均信号强度越高则重要性越高；然后将{t2i,t3i}根据各自权重加权平均得到该样本的信号陡变起始时间t20、信号陡变截至时间t30；标记自动检测起始时间为t10，t30后延kδt时间为t40；
79.5)根据检测时间，截取t10-t20之间的样本信号作为进一步训练“在家”或“在办公室”场景识别的样本；截取t20-t30之间的样本信号作为进一步训练“离开家上班”或“离开办公室下班”场景识别的样本；
80.6)场景感知模块进一步采用人工智能技术，利用步骤5)获得的场景识别样本进行训练，将一个时间窗δt内观察到的环境特征信号映射为用户的行为状态：
81.a)用滑动时间窗δt分割每个训练样本，形成训练子样本集合；
82.b)提取每个训练子样本中的信号变化特征构成输入模糊子空间，包括每个信号的强度均值和方差；输出子空间则为“在家”、“在办公室”、“离开家上班”、“离开办公室下班”等用户行为状态；
83.c)所述人工智能技术可以是人工神经网络或聚类分析算法。
84.图6给出的是某组无线信号变化特征及标记时间示意图。
85.值得特别指出的是，在上述检测时间段内，如果有某个无线信号在中途出现或消失，这在实际家居或工作环境中经常会遇到，对于这种情况上述算法仍然适用，在处理时只需将新出现的信号在出现之前的强度值赋0即可。
86.在场景感知学习阶段，检测app还同时自动检测并完善此场景下的必检物品名单。具体地，在预定义的检测时间段周期性下发检测指令，通知检测器读取周边电子标签并接收检测结果；合并信号陡变起始时间t20和截至时间t30之间的多次电子标签读取结果，根据电子标签id和物品的绑定关系确定对应物品，通过用户界面输出物品信息并以声音、震动等方式提醒用户确认随身物品是否完备；用户可通过操作界面剔除或添加物品。经过用户确认的随身物品名单将加入必检名单，作为之后的随身物品完备性检测标准。
87.完成学习阶段后，检测app和检测器将在预定义的检测时间段内自动完成每天上下班场景感知，并在感知到“离开家上班”或“离开办公室下班”时自动检测随身物品，与必
检名单对比并发出结果通知，特别是在随身物品有缺失时会在检测app和检测器同时发出警示信息提醒用户检查确认。
88.检测器和检测app在预定义的检测时间段内还周期性检查双方之间的无线连接，如果连接信号强度低于阈值或连接断开，则双方同时发出提示信息；如果在检测app感知到“离开家上班”或“离开办公室下班”时发现和检测器的连接信号太弱或连接断开，则检测app发出警示信息。如此可确保用户在上下班时随身携带检测器和运行检测app的智能手机。
89.在其他应用场景中，上述实施例中的必检物品清单也可以是周期性动态变化的，例如中小学生上学时的物品检查，每天必带的是笔袋、电子学生卡、水杯等，变化的是和每日课表关联的书本。在这种应用场景中，检测app在学习阶段可以采用同样的方法感知“在家”和“出门上学”的用户行为状态；而必带物品清单则是和星期几关联的5份子清单。完成学习阶段后，检测app根据当天日期在预定义的检测时间段自动感知用户行为状态并触发物品检测，和对应的子清单比对后将结果通知用户。
90.上述实施例中的检测器和检测app也可以合为一体，成为基于智能操作系统可以加载应用程序的移动智能检测装置，检测app在此装置中作为主控单元通过有线或无线通信接口连接检测器。该装置可以自动感知应用场景，并基于场景启动随身物品完备性检查，将检查结果通知用户。
91.本发明综合利用射频电子标签识别技术、无线感知和人工智能技术实现应用场景的自动感知和物品完备性检测。本发明系统可以通过自学习建立场景感知模型、采集样本并完成模型训练，能够自动感知、完善和调整不同场景下的必检物品清单，根据不同应用场景检查比对不同的物品清单并提醒用户。为用户生活带来极大便利。
92.本发明的描述是为了示例而给出的，并不是无遗漏的或者将本发明限于所公开的形式。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。例如，将本发明实施例中的检测器或移动智能检测装置和书包、旅行箱集成在一起，成为智能书包或智能旅行箱，采用相同的构思即可实现书包物品和旅行物品的自动检查和提醒。凡是属于本发明的基本构思、构建原则和精神框架内，通过简单的变形、修改、等同替换、改进而实现的新实施例，都应纳入本发明保护范围。本发明的范围由所附权利要求书确定。