一种城市流入人员多维挖掘的方法和系统与流程

1.本发明涉及的是大数据分析领域，特别涉及一种城市流入人员多维挖掘的方法和系统。


背景技术：

3.当前流动人口管理工作存在基础信息采集完整度不足、数据服务实战的支撑不够、信息化标准和评价体系待完善等问题。传统常规的流动人口管理，已无法满足多场景需求。需要通过一定的研判逻辑建立多种维度挖掘流入人员的预警模型，以加强对人员属性、特征的分析，推动流动人口的动态管理。


技术实现要素：

4.鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种城市流入人员多维挖掘的方法和系统。
5.为了解决上述技术问题，本技术实施例公开了如下技术方案：
6.一种城市流入人员多维挖掘的方法，包括：
7.s100.按预设周期增量抽取城市流入人员挖掘所需的各类数据；
8.s200.将各类数据分别与户籍、居住证数据比对，并根据比对结果判断为疑似流入人员和居住证到期人员；
9.s300.将疑似流入人员或居住证到期人员与核酸检测数据进行比对，并根据积分规则逐项求和，超过积分阈值则产生流入人员预警。
10.进一步地，s100中，城市流入人员挖掘所需的各类数据，至少包括：社保和工地考勤数据、网吧上网人员数据、人脸抓拍数据、涉事人员数据、居住证系统数据、核酸检测数据。
11.进一步地，s200中，判断为疑似流入人员的方法包括：将社保和工地考勤数据合并后去重，与户籍数据和居住证系统数据比对，当非本市户籍人员和跨区县务工的本市户籍人员，并且居住证不在有效期内，则判断为务工疑似流入人员；
12.进一步地，s200中，判断为疑似流入人员的方法还包括：将网吧上网人员数据与户籍数据和居住证系统数据比对，当非本市户籍人员且居住证不在有效期内，则判断为网吧疑似流入人员；
13.进一步地，s200中，判断为疑似流入人员的方法还包括：将人脸抓拍数据与户籍数据和居住证系统数据比对，当非本市户籍人员且居住证不在有效期内，则研判为抓拍疑似流入人员；
14.进一步地，s200中，判断为疑似流入人员的方法还包括：涉事人员数据与户籍数据和居住证系统数据比对，非本市户籍人员且居住证不在有效期内则研判为涉事疑似流入人员。
15.进一步地，s200中，判断为居住证到期人员的方法为：将居住证系统数据中取临近
有效期或超过有效期未更新的人员与户籍数据比对，将比对结果作为非本市户籍的人员。
16.进一步地，s300中，积分规则中可以根据不同类型的疑似流入人员和核酸记录设置不同的分值，有多次核酸记录则增加积分，无核酸记录则减少积分，产生预警的积分阈值也可根据实际情况动态调整。
17.进一步地，一种城市流入人员多维挖掘的系统，其特征在于，包括：城市流入人员数据挖掘单元、城市流入人员分析单元、城市流入人员预警单元，其中：
18.城市流入人员数据挖掘单元，用于按预设周期增量抽取城市流入人员挖掘所需的各类数据；
19.城市流入人员分析单元，用于将各类数据分别与户籍、居住证数据比对，并根据比对结果判断为疑似流入人员和居住证到期人员
20.城市流入人员预警单元，将疑似流入人员或居住证到期人员与核酸检测数据进行比对，并根据积分规则逐项求和，超过积分阈值则产生流入人员预警。
21.本发明实施例提供的上述技术方案的有益效果至少包括：
22.本发明公开的一种城市流入人员多维挖掘的方法，包括：按预设周期增量抽取城市流入人员挖掘所需的各类数据；各类数据分别与户籍、居住证数据比对，并根据比对结果判断为疑似流入人员和居住证到期人员；将疑似流入人员或居住证到期人员与核酸检测数据进行比对，并根据积分规则逐项求和，超过积分阈值则产生流入人员预警。本发明结合大数据技术，对各类相关数据进行整合，解决以往治安管理中存在的流入人员研判规则单一且不易微调，研判结果误差较大等问题，便于多维度、高效、精准挖掘流入人员，对社会治安防控体系建设提供技术保障。
23.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
24.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
25.图1为本发明实施例1中，一种城市流入人员多维挖掘的方法的流程图；
26.图2为本发明实施例1中，种城市流入人员多维挖掘的方法的示意图。
具体实施方式
27.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
28.为了解决现有技术中存在的问题，本发明实施例提供一种城市流入人员多维挖掘的方法和系统。
29.实施例1
30.一种城市流入人员多维挖掘的方法，如图1，包括：
31.s100.按预设周期增量抽取城市流入人员挖掘所需的各类数据；本实施例s100中，城市流入人员挖掘所需的各类数据，至少包括：社保和工地考勤数据、网吧上网人员数据、
人脸抓拍数据、涉事人员数据、居住证系统数据、核酸检测数据。
32.具体的，对接社保和工地考勤数据、网吧上网人员数据、人脸抓拍数据、涉警人员数据、居住证系统数据、核酸检测数据，并于每天0点到2点之间陆续启动定时任务将上述数据增量抽取到hive存储。
33.s200.将各类数据分别与户籍、居住证数据比对，并根据比对结果判断为疑似流入人员和居住证到期人员；
34.在本实施例的s200中，判断为疑似流入人员的方法包括：将社保和工地考勤数据合并后去重，与户籍数据和居住证系统数据比对，当非本市户籍人员和跨区县务工的本市户籍人员，并且居住证不在有效期内，则判断为务工疑似流入人员；判断为疑似流入人员的方法还包括：将网吧上网人员数据与户籍数据和居住证系统数据比对，当非本市户籍人员且居住证不在有效期内，则判断为网吧疑似流入人员；判断为疑似流入人员的方法还包括：将人脸抓拍数据与户籍数据和居住证系统数据比对，当非本市户籍人员且居住证不在有效期内，则研判为抓拍疑似流入人员。判断为疑似流入人员的方法还包括：涉事人员数据与户籍数据和居住证系统数据比对，非本市户籍人员且居住证不在有效期内则研判为涉事疑似流入人员。判断为居住证到期人员的方法为：将居住证系统数据中取临近有效期或超过有效期未更新的人员与户籍数据比对，将比对结果作为非本市户籍的人员。
35.具体的，如图2，每一类数据通过不同的逻辑构建数据分析模型输出疑似流入人员或居住证到期人员，并于每天3点到5点之间陆续启动定时任务将上述各模型分析结果存入hive。各类数据的具体建模逻辑如下：
36.1社保数据排除离退休和死亡人员，工地考勤数据排除近一个月无考勤记录的人员，两数据合并后根据身份证号码去重。与户籍数据和居住证系统数据比对，非本市户籍人员和跨区县务工的本市户籍人员，并且居住证不在有效期内则研判为务工疑似流入人员。
37.2网吧上网人员数据取近一个月有多于5天上网的人员与户籍数据和居住证系统数据比对，非本市户籍人员且居住证不在有效期内则研判为网吧疑似流入人员。
38.3人脸抓拍数据取近10天有多于5天被抓拍的人员与户籍数据和居住证系统数据比对，非本市户籍人员且居住证不在有效期内则研判为抓拍疑似流入人员。
39.4涉警人员数据取近一个月有涉警记录的人员与户籍数据和居住证系统数据比对，非本市户籍人员且居住证不在有效期内则研判为涉警疑似流入人员。
40.5居住证系统数据取更新时间距当前时间大于11个月的人员与户籍数据比对，非本市户籍人员则研判为居住证到期人员。
41.s300.将疑似流入人员或居住证到期人员与核酸检测数据进行比对，并根据积分规则逐项求和，超过积分阈值则产生流入人员预警。
42.在本实施例的s300中，积分规则中可以根据不同类型的疑似流入人员和核酸记录设置不同的分值，有多次核酸记录则增加积分，无核酸记录则减少积分，产生预警的积分阈值也可根据实际情况动态调整。
43.具体的，设置每个规则项的分值和最终产生预警的阈值，示例如下：
44.规则项分值研判为务工疑似流入人员80研判为网吧疑似流入人员70
研判为抓拍疑似流入人员50研判为涉警疑似流入人员90研判为居住证到期人员60近一个月有5次以上核酸检测记录10近一个月无核酸检测记录-10产生流入人员预警的阈值60
45.每天6点启动定时任务，将各类疑似流入人员和居住证到期人员取并集，每个人的原始积分赋值为0，分别比对核酸检测数据，并根据上一步设置的积分规则逐项求和，最后将每个人的积分存入hive。
46.在kafka服务组件中新建预警topic，于每天7点启动定时任务将积分超过阈值的人员信息发布到kafka消息队列，应用系统订阅并消费预警topic。
47.本实施例还公开了一种城市流入人员多维挖掘的系统，包括：城市流入人员数据挖掘单元、城市流入人员分析单元、城市流入人员预警单元，其中：
48.城市流入人员数据挖掘单元，用于按预设周期增量抽取城市流入人员挖掘所需的各类数据；
49.城市流入人员分析单元，用于将各类数据分别与户籍、居住证数据比对，并根据比对结果判断为疑似流入人员和居住证到期人员
50.城市流入人员预警单元，将疑似流入人员或居住证到期人员与核酸检测数据进行比对，并根据积分规则逐项求和，超过积分阈值则产生流入人员预警。
51.本实施例公开的一种城市流入人员多维挖掘的方法，包括：按预设周期增量抽取城市流入人员挖掘所需的各类数据；各类数据分别与户籍、居住证数据比对，并根据比对结果判断为疑似流入人员和居住证到期人员；将疑似流入人员或居住证到期人员与核酸检测数据进行比对，并根据积分规则逐项求和，超过积分阈值则产生流入人员预警。本发明结合大数据技术，对各类相关数据进行整合，解决以往治安管理中存在的流入人员研判规则单一且不易微调，研判结果误差较大等问题，便于多维度、高效、精准挖掘流入人员，对社会治安防控体系建设提供技术保障。
52.应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
53.在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
54.本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个
系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。
55.结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、移动磁盘、cd-rom或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。该asic可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。
56.对于软件实现，本技术中描述的技术可用执行本技术所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。
57.上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。