基于人脸识别和RFID的旅客手提行李追踪检查方法与系统与流程

基于人脸识别和rfid的旅客手提行李追踪检查方法与系统
技术领域
1.本发明涉及民用运输机场人身和行李安全检查技术领域，具体涉及一种基于人脸识别和rfid的旅客手提行李追踪检查方法与系统。


背景技术：

2.随着我国经济的快速发展，机场客流不断增加，中国已经基本实现从航空运输大国向航空运输强国的跨越。消费者日益增加的需求促使机场进行智慧化改造。在人身和行李安全检查方面，机场不断提高数字化服务水平，通过人工智能实现高效率、高品质的服务。
3.民航局文件《mh/t7003
‑
2017民用运输机场安全保卫设施》13.5.1章节明确指出：人身和行李安全检查信息系统应能完整采集、处理、存储旅客、机组和工作人员的安全检查信息，实现对其基本信息、人身、手提行李、托运行李安全检查图像、开包检查信息、安全检查现场视频和音频资料等信息，以及登机口确认信息的采集、存储、运输和检索等处理功能。
4.2017年的民航局文件新增了对手提行李安全检查图像、开包检查信息采集、存储和检索的明确说明，在此之前，人身和行李安全检查信息系统大多仅对需要开包检查的手提行李进行处理，未对所有人员的手提行李进行采集记录。在对开包检查的手提行李进行处理时，开包员并不知道行李图像对应哪位旅客，通常通过喊话找寻旅客，并现场扫描旅客登机牌或者身份证录入旅客信息，进行开包检查并记录。此种方式增加了工作人员的工作量，在开检图像较多时，容易出现误操作，在事后进行旅客手提行李反查时，无法查询未开包的行李图像。
5.中国专利(申请号cn202010480883.6)公开了一种基于x光机图像机场旅客安检智能辅助方法，包括：通过监控摄像头识别旅客和对应的行李筐；将采用nvidia深度学习服务器来完成的深度学习训练模型导入ai主机中，获取x光机图像并将获取的x光机图像大小归一化，进行危险品的识别和定位，并在其位置绘制出危险品标识框，通过显示器显示或者声光报警器提醒安检人员，同时危险品数据自动上传至综合管理计算机；本发明能够在进行机场旅客或行李安检时，采用并行处理的手段，来辅助安检员快速高效的识别出违禁品，减少机场安检人员的劳动强度和工作效率，有效提高危险品的识别率。
6.在机场内旅客行李通常分为托运行李和手提随身行李，上述专利要求将监控摄像头安装在x光机前端，在行李放置入x光机前获取旅客照片、行李和行李框图像进行保存，并结合人脸识别技术对其身份和行李框进行识别验证，实现一一对应。该系统能够完成旅客身份信息和托运行李的绑定，但对于手提随身行李的流程可能并不适用，安检通道内在旅客高峰期通常会有多名旅客进入通道同时放置行李，并且行李是放置在x光机前的一段传输通道上，传送进入x光机。该专利需要旅客在x光机前排队依次放置行李，来完成旅客照片和行李图像的采集和对应。
7.中国专利(申请号cn202010383091.7)公开了一种机场旅客安检系统及机场旅客
安检方法。该系统可以包括：人脸识别验证子系统、随身行李集中判图检查子系统、旅客随身行李自动传输子系统、安检机和旅客信息管理子系统。本发明通过人脸识别验证子系统和随身行李集中判图检查子系统能够在大规模提升安检效率的同时提升安检准确性，降低安检人员的配比，降低安检人员劳动强度，降低设备平占比，降费增效实现绿色节能，并为航空安检提供大数据支撑。该系统中旅客随身行李自动传输子系统识别旅客行李框的rfid和二维码，并将识别的rfid码和二维码信息与人脸识别验证子系统识别的旅客人脸信息、旅客身份信息进行绑定，整个流程需要三次人脸比对，我方通过流程优化，将人脸比对次数减少到两次，采用通道内开包而不是集中判图检查，减少了旅客的移动范围。
8.综上所述，现有技术中对安检通道内人身检查和手提行李检查数据没有很好的关联，需要一种自动将旅客信息和手提行李信息关联存储的优化方案。


技术实现要素：

9.本发明提供一种基于人脸识别和rfid的旅客手提行李追踪检查方法与系统，旨在解决的技术问题之一是：现有旅客手提行李安全检查过程中存在的旅客信息和手提行李信息没有较好关联的技术问题。
10.考虑到现有技术的上述问题，根据本发明的一个方面，为解决上述的技术问题，本发明采用以下技术方案：
11.一种基于人脸识别和rfid的机场旅客手提行李追踪检查方法，其包括：
12.步骤s1：安检验证旅客信息，采集并注册人脸照片到数据库；
13.步骤s2：在手提行李放到行李框的情况下，rfid射频读码器读取行李框的rfid标签，读取成功后启用人脸识别；
14.步骤s3：拍摄旅客现场照片与旅客过安检验证时注册的人脸照片数据库进行比对，获取最匹配的旅客信息并与所述rfid标签关联；
15.步骤s4：在手提行李进入x光机前，读取所述rfid标签，并对进入x光机的手提行李进行判图，将所述rfid标签和x光机图片进行关联，从而实现旅客信息与手提行李的x光机图片和判图结果关联；
16.步骤s5：对手提行李判图后，如果行李图像正常，行李传送到安全行李通道，如果行李图像异常，则将行李传送到可疑行李通道进行安全检查。
17.为了更好地实现本发明，进一步的技术方案是：
18.进一步地，所述步骤s1中，所述注册人脸照片到数据库时通过安检通道号进行隔离，相应的所述步骤s3中，所述拍摄旅客现场照片与对应的安检通道号的人脸识别数据库进行比对。
19.进一步地，所述步骤s5中，对于图像正常的行李在出x光机时，根据rfid编号获取对应的旅客标识，通过旅客标识将旅客人脸照片从人脸识别数据库中注销。
20.本发明还可以是：
21.一种基于人脸识别和rfid的机场旅客手提行李追踪检查系统，其包括：
22.安检验证子系统，用于采集旅客现场人脸照片和验证旅客信息，并将人脸照片和旅客信息注册到人脸识别子系统的人脸识别数据库中；
23.人脸识别子系统，用于旅客现场人脸图像的采集与识别；
24.rfid电子标签子系统，所述rfid电子标签子系统包括：
25.设置于行李框上的rfid标签；
26.设置于旅客放框工位处的fid射频读码器，用于当旅客取行李框放到该工位时读取所述rfid标签；
27.设置于x光机进入侧的rfid射频读码器，用于在行李框进入x光机之前读取所述rfid标签并向x光机系统发送通知信息；
28.设置于x光机出口侧的rfid射频读码器，用于在行李框出x光机时读取rfid标签，并向人脸识别子系统发送通知信息；
29.设置于手提开包工作台处的rfid射频读码器，用于当开检行李运到开包工作台时读取行李框的rfid标签，并通知手提行李开包子系统；
30.手提行李开包子系统，用于根据旅客手提行李图像异常情况，发出开包指令，和接收x光机系统发送的x光照片、判图结论和rfid编号，以及从手提开包工作台处的rfid射频读码器获取rfid号码，调用关联的x光照片和旅客信息，标记可疑物品的位置和处理结果，并将开包结果及可疑图片和旅客信息存储，供查询检索使用。
31.进一步地，还包括：
32.综合管理子系统，用于旅客开包数据的后台查询管理。
33.进一步地，所述安检验证子系统还包括：
34.通过验证旅客航班状态、行李状态、身份信息的合法性进行放行或拦截，在每放行一个旅客时，安检验证子系统对外发送一个放行消息。
35.进一步地，所述放行消息通过mq发送。
36.进一步地，所述人脸识别数据库负责按通道号维护各通道的人脸特征数据，包括注册人脸和注销人脸。
37.进一步地，所述注销人脸的措施包括按预定时间和人数进行注销。
38.进一步地，所述人脸识别子系统，对某一通道的旅客在该通道号对应的人脸识别库中进行1比n人脸识别。
39.与现有技术相比，本发明的有益效果之一是：
40.本发明的基于人脸识别和rfid的机场旅客手提行李追踪检查系统与方法，其在不改变现有安检流程的基础下，实现旅客信息和手提行李安全检查图像的自动对应，在行李开包时通过手提行李安检图像自动关联查找对应的旅客信息，减少安检人员的工作量，提高安检过程的效率和流畅度，达到手提行李安检过程追踪、匹配的目的，同时便于安检人员快速倒查。
附图说明
41.为了更清楚的说明本技术文件实施例或现有技术中的技术方案，下面将对实施例或现有技术的描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅是对本技术文件中一些实施例的参考，对于本领域技术人员来讲，在不付出创造性劳动的情况下，还可以根据这些附图得到其它的附图。
42.图1为根据本发明一个实施例的基于人脸识别和rfid的机场旅客手提行李追踪检查方法的流程示意图。
43.图2为根据本发明一个实施例的基于人脸识别和rfid的机场旅客手提行李追踪检查的通道示意图。
44.图3为根据本发明另一个实施例的基于人脸识别和rfid的机场旅客手提行李追踪检查的通道示意图。
45.其中，附图中的附图标记所对应的名称为：
46.1－行李工作台，2－x光机前侧，3－x光机后侧，4－可疑行李通道，5－安全行李通道。
具体实施方式
47.下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。
48.一种基于人脸识别和rfid的机场旅客手提行李追踪检查方法，其通过人脸识别和rfid将安检通道内旅客手提行李安检图像数据自动与旅客信息实现对应，方便开包时旅客查找和事后回查。具体地，包括以下步骤：
49.步骤s1：安检验证旅客信息，采集并注册人脸照片到数据库；
50.步骤s2：在手提行李放到行李框的情况下，rfid射频读码器读取行李框的rfid标签，读取成功后启用人脸识别；
51.步骤s3：拍摄旅客现场照片与旅客过安检验证时注册的人脸照片数据库进行比对，获取最匹配的旅客信息并与所述rfid标签关联；
52.步骤s4：在手提行李进入x光机前，读取所述rfid标签，并对进入x光机的手提行李进行判图，将所述rfid标签和x光机图片进行关联，从而实现旅客信息与手提行李的x光机图片和判图结果关联；
53.步骤s5：对手提行李判图后，如果行李图像正常，行李传送到安全行李通道，如果行李图像异常，则将行李传送到可疑行李通道进行安全检查。
54.为了实现上述方法，一种基于人脸识别和rfid的机场旅客手提行李追踪检查系统，其主要可包括：
55.安检验证子系统：
56.用于采集旅客现场照片，可按照一定的规则验证旅客航班状态、行李状态、身份信息的合法性，从而进行放行或拦截。如果验证旅客安检正常，则记录旅客放行状态、安检时间、安检通道、安检人员等信息，将采集的人脸照片和旅客信息按照安检通道注册到人脸识别子系统的人脸识别数据库中，并放行旅客，进入安检通道内；如果旅客安检异常，记录旅客拦截状态、安检时间、安检通道、安检人员等信息，并拦截旅客。
57.对于放行的旅客，安检验证子系统可在每放行一个旅客时，对外发送一个放行消息。放行消息包括旅客标识、安检通道号和旅客现场照片。旅客标识可采用由旅客航班号、航班日期、始发站和登机号组成的唯一标识，旅客标识要求能够唯一确认一个旅客，在本系统中，能够根据旅客标识查找旅客姓名、身份证件号码等敏感信息，但同时在外部其它系统中没有泄漏旅客敏感身份信息。消息可以通过mq如rabbitmq或者activemq发送，这样可以无需修改代码即可将消息发送给多个系统，包括外部系统，从而实现系统的解耦。安检通道号用于在注册人脸识别服务时进行隔离，即从通道a过的旅客只能注册到通道a分区对应的人脸识别数据库，通道a的旅客在进行1比n人脸识别时只需在通道a分区对应的人脸识别数
据库中进行比对。此种实现，杜绝了通道a旅客在1比n人脸识别时，识别到其它通道旅客的可能，同时由于无需查找所有通道的旅客，仅需查找比对当前通道旅客，可大幅减少计算工程量，提高效率。旅客现场照片用于注册到人脸识别子系统中，人脸识别子系统提取照片中的人脸特征并保存，用于通道内行李工作台处的人脸比对。安检要求旅客现场照片清晰无遮挡，因此安检验证子系统需集成人脸检测sdk，通过人脸检测算法获取清晰可靠、无遮挡的人脸照片。
58.人脸识别子系统：
59.用于旅客现场人脸的检测和人脸图像的采集，例如按照1比n的方式进行人脸识别；以及负责维护人脸识别数据库，可按照一定的超时时间将注册的人脸从数据库注销，该超时时间一般可优选20分钟，除此之外也还可以是其他时间。
60.人脸识别服务厂商可选择虹软科技或者百度科技等公司提供的成熟解决方案。人脸检测应能够检测人脸遮挡、是否正面人脸，并在合理的时间范围(通常3
‑
7秒)内返回评价最高的一张人脸照片。在一张照片包含多个人脸时，由于安检时要求排队，通常选择尺寸最大的一个，即位置最靠前的一个。人脸检测通常以离线sdk的方式集成到客户端中，在旅客侧通常按照10英寸左右的竖屏，屏幕上集成摄像头，屏幕画面应反馈摄像头实时图像和人脸检测的相关提示，用于提示旅客拍照。当人脸识别子系统接收到旅客过安检消息时，从旅客过检照片中提取人脸特征，并将旅客标识和人脸特征按照旅客通道号注册到人脸识别数据库中。当旅客进入安检通道后，取行李框放到行李工作台上(如图2和图3所示)，行李工作台上的rfid射频读卡器读取到行李框上的rfid编号，并通过rs2312串口通知前端设备，在通道中前端设备可选择研华工控机，每个行李工作台前安装一个人脸识别屏幕，此时前端设备驱动人脸识别屏幕获取当前工作台前的人脸照片，并在该通道注册的人脸识别数据库中进行1对n人脸比对，选取比对得分最高的一个，此时实现了将旅客标识(即旅客信息)和行李框的rfid编号进行匹配。人脸识别数据库负责按通道号维护各通道的人脸特征数据，包括注册人脸和注销人脸。当旅客通过安检验证时，安检验证子系统会发送过安检消息到mq，人脸识别子系统从mq的队列中接收过安检消息获取旅客过检照片进行人脸注册。人脸注销发生在出x光机处，在此处rfid射频器读取rfid编号，根据rfid编号获取对应的旅客标识，通过旅客标识将旅客人脸照片从人脸识别数据库中注销。注销后，该rfid电子标签对应的行李框可重复使用，即可再次在行李工作台出循环使用。人脸注销同时还有多种补偿措施，如补偿方案一，在注册人脸时，安排适当的过期时间，如20分钟后从人脸识别数据库中注销，即考虑在20分钟内可以保证完成旅客人身安检过程。补偿方案二，考虑通道内的旅客人数，当注册人脸时对通道人数加1，注销人脸时对通道人数减1，当通道内旅客人数超过15人时，对最初注册的旅客进行注销，即正常通道内旅客人数不可能超过15人。
61.rfid电子标签子系统：
62.用于读取行李框上的rfid标签；本实施例将每个行李框设置一个rfid电子标签，每个rfid电子标签上设置一个唯一标识，例如可设置唯一的5位数字编号等。
63.本实施例可将rfid电子标签在通道不同的位置设置为不同的作用。具体地，可将rfid射频读码器安装在通道四个位置，通过在不同位置读取rfid电子标签，以实现不同功能，具体地：
64.1)将rfid射频读码器设置在旅客放框工位处，当旅客取行李框放到工位时，读取
rfid标签，从而获取行李框编号。以及可在放框工位前放置一个人脸识别摄像头，当该工位的rfid射频读码器读取到rfid编号后，通知人脸识别子系统进行通道内旅客人脸图像采集，并与该通道安检验证子系统注册的人脸识别数据库进行1比n人脸识别，获取旅客信息，此时完成rfid编号和旅客信息的匹配。具体地，可按照通道的长度和旅客的人流量安装1
‑
4个工作台，每个工作台配置一个rfid射频读码器和一个带有摄像头的屏幕，1个工控机可以管理1个或者多个工作台，每个工作台可独立工作。rfid读码器读取rfid编号通过rs2312串口传递给工控机，工控机控制摄像头使用人脸检测算法获取旅客在工作台前的照片，工控机使用1比n人脸识别算法将获取的照片在该通道对应的人脸识别数据库中进行比对，获取得分满足要求，并且得分最高的一个旅客，将旅客标识与rfid编号匹配。
65.2)在进入x光机之前设置一个rfid射频读码器，在行李框进入x光机之前读取rfid编号并通知外部的x光机系统，此时x光机扫描行李框的x光照片并将x光照片和rfid编号进行匹配。x光机系统将x光照片、判读结果和rfid编号以通知的形式发出，从而可根据rfid编号可将x光照片、判读结果和旅客信息进行匹配。具体地，当行李框通过时，获取到rfid编号将其通过rs2312串口传递给外部系统x光机系统，x光机系统扫描行李x光照片，进行判图后，将判图结果、通道号、x光机照片和rfid编号通过mq传回，然后根据事件发生的通道号和rfid编号将x光机照片和旅客信息进行匹配，供系统查询使用。
66.3)在出x光机处设置一个rfid射频读码器，当行李框出x光机时读取rfid编号，通知人脸识别子系统，人脸识别子系统可将该rfid编号对应的旅客人脸从人脸识别数据库注销。本实施例中，可先注销正常的行李包对应的人脸识别数据库，即不需要开包的手提行李，对于需要开包的手提行李可等到开包再做处理，其注销的方式可以是手提行李出x光机时进行注销，或者在本通道超时的时间，再或者进入本通道的数量等。
67.4)在手提开包工作台设置一个rfid射频读码器，当开检行李运到开包工作台时，用于读取行李框rfid编号，并通知手提行李开包子系统，手提行李开包子系统根据rfid编号，将匹配的x光照片和旅客信息展示给开包员，以用于开包处理。具体地，根据判图员的判图结果，如果行李需要开包，通道会将行李传送到可疑行李通道，开包员将行李框放到开包台上，开包台上的rfid射频读码器读取行李框rfid编号通过rs2312串口传送给开包台上的工作电脑，开包台手提行李开包系统会展示从x光机系统接收的该通道的待开检行李x光机照片的列表，此时手提行李开包系统根据rfid编号从待开检行李列表中选取对应的x光机照片，并将旅客姓名、身份证件号码、航班号、航班日期、始发站、登机号等信息展示给开包员，此时开包员可以直接根据旅客姓名要求旅客现场开包，并在手提行李开包系统中记录违禁物品，而不需要像原来不知道行李是哪个旅客的，需要通过现场喊话查找旅客，并扫描旅客登机牌或者旅客身份证件在系统中录入旅客信息，手动在待开检x光机照片列表中选择对应图像进行匹配来实现开包追踪查询。
68.上述rfid电子标签可选用富士通rfid超高频防水洗标签，但并不局限于此。可在同一行李框的两侧贴上相同编号的rfid电子标签，即行李框可不区分正反方向进行读取。rfid射频读码器可通过rs2312串口连接工控机，当行李框经过射频读码器时，工控机即可从串口获取行李框上的5位数字编号。
69.手提行李开包子系统：
70.旅客验证完毕后，对进入安检通道进行人身和手提行李的安检；当x光机判图员发
现旅客手提行李图像异常时，发出开包指令，x光机系统将该x光照片、判图结论和rfid编号发送到手提行李开包子系统。开包检察员将行李框放到rfid射频读码器前，系统自动进行rfid读码，获取rfid号码，将其关联的x光照片和旅客信息自动调出。此时开包员可直接找到旅客进行开包，标记可疑物品的位置和处理结果，并将开包结果及可疑图片和旅客信息一并存储。具体地，如图3所示，如果行李正常，行李传送到安全行李通道，旅客取行李后，可进入该通道内。如果行李异常，需要开包检查，行李传送到可疑行李通道内。手提行李开包子系统会展示待开包行李x光机图片列表，当用户从开包列表中选择一个x光机图片时，会自动带出其关联的包含旅客姓名、身份证件号码、航班号、航班日期、始发站、登机号等旅客信息。当待开包行李传送到开包台时，开包台上的rfid读码器读取行李框上的rfid编号，自动从待开包行李x光机图片列表中选中其对应的x光机图片，并带出关联的旅客信息。此时开包员可直接进行开包，标记可疑物品的名称、位置和处理结果，并将开包处理结果、处理后的可疑图片和旅客信息进行保存，供查询检索使用。
71.综合管理子系统：主要用于后台查询管理，如查询旅客安检记录、查询旅客手提行李开包记录、管理各通道和设备的对应关系、编码管理rfid标签等。
72.综上而言，通过本发明实现了旅客手提行李和旅客信息的自动匹配，使安检的过程更加流畅，提高了开包员的工作体验和工作效率，减少了工作人员的工作量，增加了安检通道的运行流畅度和效率，有效的提升了安保能力。在此之前，手提行李开检时需手动扫描登机牌或者身份证关联旅客信息，存在操作耗时易出错的现象，对开检员和旅客的体验有一定影响。同时在旅客手提行李反查时，对于未开检的行李需要根据旅客过安检的时间点和现场视频记录进行查找匹配。而本发明在不改变安检流程的基础上，通过人脸识别和rfid实现了包括开检和未开检的所有的旅客信息和手提行李x光图片的自动匹配，达到了旅客行李安检过程中追踪匹配的目的，方便安检人员现场快速开包和以后的查询检索。
73.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同相似部分相互参见即可。
74.在本说明书中所谈到的“一个实施例”、“另一个实施例”、“实施例”、等，指的是结合该实施例描述的具体特征、结构或者特点包括在本技术概括性描述的至少一个实施例中。在说明书中多个地方出现同种表述不是一定指的是同一个实施例。进一步来说，结合任一实施例描述一个具体特征、结构或者特点时，所要主张的是结合其他实施例来实现这种特征、结构或者特点也落在本发明的范围内。
75.尽管这里参照本发明的多个解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本技术公开的原则范围和精神之内。更具体地说，在本技术公开、附图和权利要求的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变型和改进外，对于本领域技术人员来说，其他的用途也将是明显的。