一种敏感信息的封禁方法及系统与流程

1.本发明属于智能识别技术领域，尤其涉及一种敏感信息的封禁方法及系统。


背景技术：

2.随着互联网的快速发展，越来越多的人使用社交软件进行社交，丰富了人们的日常生活，还提高了人们进行日常沟通的效率。然而，在实践中发现，人们在社交软件中交流的内容通常不受社交软件的控制，因此，用户在使用社交软件的过程中可能会遇到质量较差的内容，从而导致社交软件中的内容质量较差。


技术实现要素：

3.本发明针对现有技术中存在的问题，提供一种敏感信息的封禁方法及系统，解决了社交软件中的内容质量较差的问题。
4.本申请第一方面公开一种敏感信息的封禁方法，所述方法包括：
5.获取对话信息；
6.对所述对话信息进行敏感信息检测，得到所述对话信息对应的检测结果；
7.当所述检测结果指示所述对话信息中包含敏感信息时，获取所述敏感信息对应的用户信息；
8.将所述用户信息对应的用户账号进行封禁。
9.作为一种可选的实施方式，在本发明实施例第一方面中，所述对所述对话信息进行敏感信息检测，得到所述对话信息对应的检测结果，包括：
10.将所述对话信息与预设的敏感词库中包含的敏感词进行对比，得到对比结果；
11.当所述对比结果指示所述对话信息与所述敏感词库中的任一敏感词匹配时，将所述任一敏感词确定为敏感信息，并生成与所述对话信息对应的包含所述敏感信息的检测结果。
12.作为一种可选的实施方式，在本发明实施例第一方面中，所述将所述对话信息与预设的敏感词库中包含的敏感词进行对比，得到对比结果之后，所述方法还包括：
13.当所述对比结果指示所述对话信息与所述敏感词库中的任一敏感词均不匹配时，对所述对话信息进行语义识别，得到所述对话信息对应的至少一个语义信息；
14.当检测到所述语义信息为敏感语义信息时，将所述敏感语义信息确定为敏感信息，并生成与所述对话信息对应的包含所述敏感信息的检测结果。
15.作为一种可选的实施方式，在本发明实施例第一方面中，所述获取所述敏感信息对应的用户信息之后，所述方法还包括：
16.检测所述敏感信息对应的敏感等级；
17.当所述敏感等级大于等于预设敏感等级时，获取与所述敏感等级对应的封禁模式；
18.所述将所述用户信息对应的用户账号进行封禁，包括：
19.基于所述封禁模式将所述用户信息对应的用户账号进行封禁。
20.作为一种可选的实施方式，在本发明实施例第一方面中，所述检测所述敏感信息对应的敏感等级之后，所述方法还包括：
21.当所述敏感等级小于所述预设敏感等级时，获取与所述敏感信息对应的响应模式，并生成与所述敏感信息对应的警告信息，以及执行与所述响应模式对应的操作，以及向与所述用户信息对应的终端设备发送所述警告信息，以使所述终端设备输出所述警告信息。
22.本申请第二方面公开一种敏感信息的封禁系统，包括：
23.第一获取单元，用于获取对话信息；
24.第一检测单元，用于对所述对话信息进行敏感信息检测，得到所述对话信息对应的检测结果；
25.第二获取单元，用于当所述检测结果指示所述对话信息中包含敏感信息时，获取所述敏感信息对应的用户信息；
26.封禁单元，用于将所述用户信息对应的用户账号进行封禁。
27.作为一种可选的实施方式，在本发明实施例第二方面中，所述第一检测单元包括：
28.对比子单元，用于将所述对话信息与预设的敏感词库中包含的敏感词进行对比，得到对比结果；
29.生成子单元，用于当所述对比结果指示所述对话信息与所述敏感词库中的任一敏感词匹配时，将所述任一敏感词确定为敏感信息，并生成与所述对话信息对应的包含所述敏感信息的检测结果。
30.作为一种可选的实施方式，在本发明实施例第二方面中，所述系统还包括：
31.识别单元，用于在所述对比子单元将所述对话信息与预设的敏感词库中包含的敏感词进行对比，得到对比结果之后，以及当所述对比结果指示所述对话信息与所述敏感词库中的任一敏感词均不匹配时，对所述对话信息进行语义识别，得到所述对话信息对应的至少一个语义信息；
32.确定单元，用于当检测到所述语义信息为敏感语义信息时，将所述敏感语义信息确定为敏感信息，并生成与所述对话信息对应的包含所述敏感信息的检测结果。
33.作为一种可选的实施方式，在本发明实施例第二方面中，所述系统还包括：
34.第二检测单元，用于在所述第二获取单元获取所述敏感信息对应的用户信息之后，检测所述敏感信息对应的敏感等级；
35.第三获取单元，用于当所述敏感等级大于等于预设敏感等级时，获取与所述敏感等级对应的封禁模式；
36.所述封禁单元将所述用户信息对应的用户账号进行封禁的方式具体为：基于所述封禁模式将所述用户信息对应的用户账号进行封禁。
37.作为一种可选的实施方式，在本发明实施例第二方面中，所述系统还包括：
38.发送单元，用于在所述第二检测单元检测所述敏感信息对应的敏感等级之后，以及当所述敏感等级小于所述预设敏感等级时，获取与所述敏感信息对应的响应模式，并生成与所述敏感信息对应的警告信息，以及执行与所述响应模式对应的操作，以及向与所述用户信息对应的终端设备发送所述警告信息，以使所述终端设备输出所述警告信息。
39.本发明实施例第三方面公开一种服务器，包括：
40.存储有可执行程序代码的存储器；
41.与所述存储器耦合的处理器；
42.所述处理器调用所述存储器中存储的所述可执行程序代码，执行第一方面的任意一种方法的部分或全部步骤。
43.本发明实施例第四方面公开一种计算机可读存储介质，所述计算机可读存储介质存储了程序代码，其中，所述程序代码包括用于执行第一方面的任意一种方法的部分或全部步骤的指令。
44.本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
45.本发明实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
46.与现有技术相比，本发明实施例具有以下有益效果：
47.本发明实施例中，获取对话信息；对对话信息进行敏感信息检测，得到对话信息对应的检测结果；当检测结果指示对话信息中包含敏感信息时，获取敏感信息对应的用户信息；将用户信息对应的用户账号进行封禁。可见，实施本发明实施例，能够检测到用户在使用社交软件进行对话过程中是否出现敏感信息，如果出现敏感信息，可以直接将输出敏感信息的用户进行封禁，从而提升了社交软件中的内容质量。
附图说明
48.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
49.图1是本发明实施例公开的一种敏感信息的封禁方法的流程示意图；
50.图2是本发明实施例公开的一种敏感信息的封禁系统的结构示意图；
51.图3是本发明实施例公开的一种服务器的结构示意图。
具体实施方式
52.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
54.本发明实施例公开一种敏感信息的封禁方法及系统，能够提升社交软件中的内容
质量。以下分别进行详细说明。
55.请参阅图1，图1是本发明实施例公开的一种敏感信息的封禁方法的流程示意图。如图1所示，该敏感信息的封禁方法可以包括以下步骤：
56.101、获取对话信息；
57.102、对对话信息进行敏感信息检测，得到对话信息对应的检测结果；
58.103、当检测结果指示对话信息中包含敏感信息时，获取敏感信息对应的用户信息；
59.104、将用户信息对应的用户账号进行封禁。
60.作为一种可选的实施方式，对对话信息进行敏感信息检测，得到对话信息对应的检测结果，包括：
61.将对话信息与预设的敏感词库中包含的敏感词进行对比，得到对比结果；
62.当对比结果指示对话信息与敏感词库中的任一敏感词匹配时，将任一敏感词确定为敏感信息，并生成与对话信息对应的包含敏感信息的检测结果。
63.可见，实施这种实施方式，可以更加准确的从对话信息中识别出敏感词。
64.作为一种可选的实施方式，将对话信息与预设的敏感词库中包含的敏感词进行对比，得到对比结果之后，方法还包括：
65.当对比结果指示对话信息与敏感词库中的任一敏感词均不匹配时，对对话信息进行语义识别，得到对话信息对应的至少一个语义信息；
66.当检测到语义信息为敏感语义信息时，将敏感语义信息确定为敏感信息，并生成与对话信息对应的包含敏感信息的检测结果。
67.可见，实施这种实施方式，可以根据语义判断是否出现敏感信息，提高了敏感信息识别的准确性。
68.作为一种可选的实施方式，获取敏感信息对应的用户信息之后，方法还包括：
69.检测敏感信息对应的敏感等级；
70.当敏感等级大于等于预设敏感等级时，获取与敏感等级对应的封禁模式；
71.将用户信息对应的用户账号进行封禁，包括：
72.基于封禁模式将用户信息对应的用户账号进行封禁。
73.可见，实施这种实施方式，可以根据敏感等级对用户账号执行不同的封禁模式，提高了封禁的多样性。
74.作为一种可选的实施方式，检测敏感信息对应的敏感等级之后，方法还包括：
75.当敏感等级小于预设敏感等级时，获取与敏感信息对应的响应模式，并生成与敏感信息对应的警告信息，以及执行与响应模式对应的操作，以及向与用户信息对应的终端设备发送警告信息，以使终端设备输出警告信息。
76.可见，实施这种实施方式，可以向输出敏感信息的用户输出警告信息，以使用户避免再次输出敏感信息。
77.请参阅图2，图2是本发明实施例公开的一种敏感信息的封禁系统的结构示意图。如图2所示，该敏感信息的封禁系统可以包括：
78.第一获取单元201，用于获取对话信息；
79.第一检测单元202，用于对第一获取单元201获取的对话信息进行敏感信息检测，
得到对话信息对应的检测结果；
80.第二获取单元203，用于当第一检测单元202得到的检测结果指示对话信息中包含敏感信息时，获取敏感信息对应的用户信息；
81.封禁单元204，用于将第二获取单元203获取的用户信息对应的用户账号进行封禁。
82.作为一种可选的实施方式，第一检测单元包括：
83.对比子单元，用于将对话信息与预设的敏感词库中包含的敏感词进行对比，得到对比结果；
84.生成子单元，用于当对比结果指示对话信息与敏感词库中的任一敏感词匹配时，将任一敏感词确定为敏感信息，并生成与对话信息对应的包含敏感信息的检测结果。
85.作为一种可选的实施方式，系统还包括：
86.识别单元，用于在对比子单元将对话信息与预设的敏感词库中包含的敏感词进行对比，得到对比结果之后，以及当对比结果指示对话信息与敏感词库中的任一敏感词均不匹配时，对对话信息进行语义识别，得到对话信息对应的至少一个语义信息；
87.确定单元，用于当检测到语义信息为敏感语义信息时，将敏感语义信息确定为敏感信息，并生成与对话信息对应的包含敏感信息的检测结果。
88.作为一种可选的实施方式，系统还包括：
89.第二检测单元，用于在第二获取单元获取敏感信息对应的用户信息之后，检测敏感信息对应的敏感等级；
90.第三获取单元，用于当敏感等级大于等于预设敏感等级时，获取与敏感等级对应的封禁模式；
91.封禁单元将用户信息对应的用户账号进行封禁的方式具体为：基于封禁模式将用户信息对应的用户账号进行封禁。
92.作为一种可选的实施方式，系统还包括：
93.发送单元，用于在第二检测单元检测敏感信息对应的敏感等级之后，以及当敏感等级小于预设敏感等级时，获取与敏感信息对应的响应模式，并生成与敏感信息对应的警告信息，以及执行与响应模式对应的操作，以及向与用户信息对应的终端设备发送警告信息，以使终端设备输出警告信息。
94.请参阅图3，图3是本发明实施例公开的一种服务器的结构示意图。如图3所示，该服务器可以包括：
95.存储有可执行程序代码的存储器301；
96.与存储器301耦合的处理器302；
97.其中，处理器302调用存储器301中存储的可执行程序代码，执行以上各方法实施例中的方法的部分或全部步骤。
98.本发明实施例还公开一种计算机可读存储介质，其中，计算机可读存储介质存储了程序代码，其中，程序代码包括用于执行以上各方法实施例中的方法的部分或全部步骤的指令。
99.本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
100.本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
101.应理解，说明书通篇中提到的“本发明实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在本发明实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。
102.在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
103.另外，本文中术语“系统”和“网络”在本文中常可互换使用。应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
104.在本发明所提供的实施例中，应理解，“与a对应的b”表示b与a相关联，根据a可以确定b。但还应理解，根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其他信息确定b。
105.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(read
‑
only memory，rom)、随机存储器(random access memory，ram)、可编程只读存储器(programmable read
‑
only memory，prom)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、一次可编程只读存储器(one
‑
time programmable read
‑
only memory，otprom)、电子抹除式可复写只读存储器(electrically
‑
erasable programmable read
‑
only memory，eeprom)、只读光盘(compact disc read
‑
only memory，cd
‑
rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
106.上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
107.另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
108.上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
109.以上对本发明实施例公开的一种敏感信息的封禁方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。