一种文本数据确定方法和装置与流程

1.本发明涉及计算机技术领域，尤其涉及一种文本数据确定方法和装置。


背景技术：

2.与传统媒体相比，新媒介影响力更大，凝聚力更强，传播更便捷，已成为不同利益群体表达诉求的重要平台与载体。对企业或个人而言，如何实时有效的从新媒介中提取与自身需求相关的文本数据越发重要。
3.在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
4.现有方法确定的文本数据相似度较高，提取效率低，时效性较差。


技术实现要素：

5.有鉴于此，本发明实施例提供一种文本数据确定方法和装置，能够降低提取的文本数据的相似度，提高提取效率和时效性。
6.为实现上述目的，根据本发明实施例的第一方面，提供了一种文本数据确定方法，包括：
7.获取文本数据；
8.根据关键词条对文本数据进行过滤得到备选文本数据；
9.根据存储设备中的历史文本数据对备选文本数据进行相似性去重，以确定目标文本数据；
10.为每个目标文本数据分配一个存储序号，根据存储序号和目标文本数据的类型确定目标文本对应的标识码，将目标文本数据置入存储设备。
11.进一步地，在根据关键词条对文本数据进行过滤得到备选文本数据的步骤之前，文本数据确定方法还包括：根据文本数据的类型和标题进行相同文本数据去重。
12.进一步地，根据文本数据的类型和标题进行相同文本数据去重的步骤包括：根据取值算法对同一类型的文本数据的标题进行取值得到同一类型的文本数据对应的键值，根据键值进行相同文本数据的去重。
13.进一步地，根据存储设备中的历史文本数据对备选文本数据进行相似性去重，以确定目标文本数据的步骤包括：根据分词算法对备选文本数据进行分词处理后获取备选文本数据对应的特征向量，根据备选文本数据对应的特征向量和历史文本数据对应的特征向量进行相似度计算，根据相似度计算结果确定目标文本数据。
14.进一步地，根据备选文本数据对应的特征向量和历史文本数据对应的特征向量进行相似度计算的步骤包括：配置单次计算数量，根据备选文本数据对应的特征向量和单次计算数量的历史文本数据对应的特征向量进行相似度计算。
15.进一步地，在将目标文本数据置入存储设备的步骤之后，文本数据确定方法还包括：向订阅部门发送更新通知，以使得订阅部门接收更新通知后，根据标识码和关键词条指示的文本数据类型从存储设备中提取相应的目标文本数据，其中，关键词条由订阅部门进
行设定。
16.根据本发明实施例的第二方面，提供了一种文本数据确定装置，包括：
17.文本数据获取模块，用于获取文本数据；
18.过滤模块，用于根据关键词条对文本数据进行过滤得到备选文本数据；
19.目标文本数据确定模块，用于根据存储设备中的历史文本数据对备选文本数据进行相似性去重，以确定目标文本数据；
20.存储模块，用于为每个目标文本数据分配一个存储序号，根据存储序号和目标文本数据的类型确定目标文本对应的标识码，将目标文本数据置入存储设备。
21.进一步地，文本数据确定装置还包括去重模块，在根据关键词条对文本数据进行过滤得到备选文本数据的步骤之前，去重模块用于：根据文本数据的类型和标题进行相同文本数据去重。
22.根据本发明实施例的第三方面，提供了一种电子设备，包括：
23.一个或多个处理器；
24.存储装置，用于存储一个或多个程序，
25.当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述任一种文本数据确定方法。
26.根据本发明实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述任一种文本数据确定方法。
27.上述发明中的一个实施例具有如下优点或有益效果：因为采用获取文本数据；根据关键词条对文本数据进行过滤得到备选文本数据；根据存储设备中的历史文本数据对备选文本数据进行相似性去重，以确定目标文本数据；为每个目标文本数据分配一个存储序号，根据存储序号和目标文本数据的类型确定目标文本对应的标识码，将目标文本数据置入存储设备的技术手段，所以克服了现有方法确定的文本数据存在的相似度较高，提取效率低，时效性较差的技术问题，进而达到降低文本数据的相似度，提高文本数据的提取效率和时效性，以及提升文本数据后续提取的便捷性的技术效果。
28.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
29.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
30.图1是根据本发明第一实施例提供的文本数据确定方法的主要流程的示意图；
31.图2a是根据本发明第二实施例提供的文本数据确定方法的主要流程的示意图；
32.图2b是图2a所示方法中根据关键词条对文本数据进行过滤的示例；
33.图2c是图2a所示方法中计算相似度的示例；
34.图3是根据本发明实施例提供的文本数据确定装置的主要模块的示意图；
35.图4是本发明实施例可以应用于其中的示例性系统架构图；
36.图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
37.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
38.图1是根据本发明第一实施例提供的文本数据确定方法的主要流程的示意图；如图1所示，本发明实施例提供的文本数据确定方法主要包括：
39.步骤s101，获取文本数据。
40.具体地，根据本发明实施例，可以从企业/公司内各部门或与企业/公司有合作的平台或企业等渠道获取文本数据。由上述渠道提供文本数据，有效避免了通过随机抽取导致的大量无效文本数据，也避免了文本提取方法重复造轮子，提高了后续文本提取效率。
41.步骤s102，根据关键词条对文本数据进行过滤得到备选文本数据。
42.根据企业或企业内各部门设定的关键词条对文本数据进行过滤，针对性强，增强了后续的文本数据确定效果。关键词条的设定可为多个，例如，可以为企业名称、企业品牌等。
43.根据本发明实施例，在根据关键词条对文本数据进行过滤得到备选文本数据的步骤之前，文本数据确定方法还包括：根据文本数据的类型和标题进行相同文本数据去重。
44.其中，文本数据的类型包括文本数据发布的渠道类型(指各平台或企业等)或文本类型根据属性划分的类型(如文学、历史等)。由于同一文本数据在同一平台或企业可能会发表多次，导致从同一渠道(指上述平台或企业等)获取的文本数据中存在大量相同标题的文本数据，通过上述设置，使得从同一渠道的多个相同标题的文本数据中只获取一个，减少了相同文本数据的数量，从而提高了后续进行相似度计算的计算量，提高文本数据提取效率。
45.进一步地，根据本发明实施例，根据文本数据的类型和标题进行相同文本数据去重的步骤包括：根据取值算法对同一类型的文本数据的标题进行取值得到同一类型的文本数据对应的键值，根据键值进行相同文本数据的去重。
46.具体地，由于各文本数据的类型是唯一的，对同一类型的文本数据的标题进行取值操作(如采用信息-摘要算法md5(message-digest algorithm 5)、哈希算法(hash)等)，将相同键值的文本数据进行去重操作，仅保留其中一个。
47.步骤s103，根据存储设备中的历史文本数据对备选文本数据进行相似性去重，以确定目标文本数据。
48.根据本发明实施例，根据存储设备中的历史文本数据对备选文本数据进行相似性去重，以确定目标文本数据的步骤包括：根据分词算法对备选文本数据进行分词处理后获取备选文本数据的特征向量，根据备选文本数据对应的特征向量和历史文本数据对应的特征向量进行相似度计算，根据相似度计算结果确定目标文本数据。
49.通过上述设置，通过分词算法对备选文本数据进行分词处理后得到多个特征词条，进而根据该多个特征词条确定备选文本数据对应的特征向量，再通过备选文本数据对应的特征向量与存储设备中历史文本数据的特征向量进行相似度计算，去除达到或超过相似度阈值的文本数据，显著降低了提取的文本数据的相似度，提升了提取效果。
50.具体地，根据本发明实施例，根据备选文本数据对应的特征向量和历史文本数据对应的特征向量进行相似度计算的步骤包括：配置单次计算数量，根据备选文本数据对应的特征向量和单次计算数量的历史文本数据对应的特征向量进行相似度计算。
51.通过上述设置，通过配置每次进行相似度计算的计算数量，能够动态协调提取效率和相似度计算设备的性能，使得提取业务和性能均能够得到保证。
52.步骤s104，为每个目标文本数据分配一个存储序号，根据存储序号和目标文本数据的类型确定目标文本对应的标识码，将目标文本数据置入存储设备。
53.通过上述设置，为每个目标文本数据分配存储序号，进而确定标识码，即利于提取存储设备中的文本数据与备选文本数据进行相似度计算；又利于后续根据关键词条指示的文本数据类型，从标识码中指示的文本数据类型中提取相应的文本数据发送至与关键词条对应的订阅部门，提高了各订阅部门的文本数据提取效率。同时，先通过相似度计算去除备选文本数据中相似度较高的文本数据，再将得到的目标文本数据存储至存储设备中。避免了现有方法中先将获取的文本数据存储至存储设备中，然后定时进行提取，导致的时效性较差的问题。
54.根据本发明实施例，在将目标文本数据置入存储设备的步骤之后，文本数据确定方法还包括：向订阅部门发送更新通知，以使得订阅部门接收更新通知后，根据标识码和关键词条指示的文本数据类型从存储设备中提取相应的目标文本数据，其中，关键词条由订阅部门进行设定。
55.具体地，根据本发明实施例的一具体实施方式，更新通知可以采用业务通知、邮件报告、短信通知等方式。通过向订阅部门发送更新通知，便于订阅部门根据自身的实际情况进行文本数据的提取，满足了文本数据的时效性。标识码指示了目标文本数据的类型，使得目标文本数据能够根据类型分布在存储设备中的不同片区/块区，便于订阅部门根据其设定的关键词条指示的类型，直接去存储设备的相应片区/块区中根据关键词条进行相应目标文本数据的提取操作，尤其是当关键词条较多时，上述设置有效提升了根据不同关键词条从存储设备中提取相应的目标文本数据的提取效率。
56.根据本发明实施例的技术方案，因为采用获取文本数据；根据关键词条对文本数据进行过滤得到备选文本数据；根据存储设备中的历史文本数据对备选文本数据进行相似性去重，以确定目标文本数据；为每个目标文本数据分配一个存储序号，根据存储序号和目标文本数据的类型确定目标文本对应的标识码，将目标文本数据置入存储设备的技术手段，所以克服了现有方法确定的文本数据存在的相似度较高，提取效率低，时效性较差的技术问题，进而达到降低文本数据的相似度，提高文本数据的提取效率和时效性，以及提升文本数据后续提取的便捷性的技术效果。
57.图2a是根据本发明第二实施例提供的文本数据确定方法的主要流程的示意图；如图2a所示，本发明实施例提供的文本数据确定方法主要包括：
58.步骤s201，获取文本数据。
59.具体地，根据本发明实施例，可以从企业/公司内各部门或与企业/公司有合作的平台或企业等渠道获取文本数据。由上述渠道提供文本数据，有效避免了通过随机抽取导致的大量无效文本数据，也避免了文本提取方法重复造轮子，提高了后续文本提取效率。
60.步骤s202，根据取值算法对同一类型的文本数据的标题进行取值得到同一类型的
文本数据对应的键值，根据键值进行相同文本数据的去重。
61.其中，文本数据的类型包括文本数据发布的渠道类型(指各平台或企业等)或文本类型根据属性划分的类型(如文学、历史等)。由于同一文本数据在同一平台或企业可能会发表多次，导致从同一渠道(指上述平台或企业等)获取的文本数据中存在大量相同标题的文本数据，通过上述设置，使得从同一渠道的多个相同标题的文本数据中只获取一个，减少了相同文本数据的数量，从而提高了后续进行相似度计算的计算量，提高文本数据确定效率。
62.具体地，由于各文本数据的类型是唯一的，对同一类型的文本数据的标题进行取值操作(如采用信息-摘要算法md5、哈希算法(hash)等)，将相同键值的文本数据进行去重操作，仅保留其中一个。根据本发明实施例的以具体实施方式，根据redis(一种存储系统)的setnx对文本数据的标题进行取值操作，得到文本数据的键值，采用md5算法相同标题的文本数据得到的键值相同，对于多个(大于或等于两个)键值相同的文本数据，去重后仅保留其中一个。
63.步骤s203，根据关键词条对文本数据进行过滤得到备选文本数据。
64.根据企业或企业内各部门设定的关键词条对文本数据进行过滤，针对性强，增强了后续的文本数据确定效果。关键词条的设定可为多个，例如，可以为企业名称、企业品牌等。
65.具体地，根据本发明实施例的一具体实施方式，可以采用dfa(deterministic finite automaton，确定有限自动机)算法根据各订阅部门设定的关键词条(可以为又品牌、该企业名称等构成的词条)对文本数据进行过滤得到备选文本数据。需要说明的是，上述算法并不作为对本发明的限定，根据关键词条进行过滤还可以采用基于hash(哈希)或trie(前缀树或字典树)的算法进行关键词条搜索以完成过滤操作。
66.其中，dfa全称为：deterministic finite automaton，确定有限自动机。其特征为：有一个有限状态集合和一些从一个状态通向另一个状态的边，每条边上标记有一个符号，其中一个状态是初态，某些状态是终态。但不同于不确定的有限自动机，dfa中不会有从同一状态出发的两条边标志有相同的符号。
67.简单而言，它是通过event(结果)和当前的state(状态)得到下一个state(状态)，即event+state＝nextstate。理解为系统中有多个节点，通过传递进入的event，来确定走哪个路由至另一个节点，而节点是有限的。如图2b所示，可以通过上述算法进行关键词条为“我是中国人”、“我是中间人”、“我是好人”、“我是坏人”的搜索，以完成后续过滤确定备选文本数据。
68.步骤s204，根据分词算法对备选文本数据进行分词处理后获取备选文本数据对应的特征向量，根据备选文本数据对应的特征向量和历史文本数据对应的特征向量进行相似度计算，根据相似度计算结果确定目标文本数据。
69.通过上述设置，通过分词算法对备选文本数据进行分词处理后得到多个特征词条，进而根据该多个特征词条确定备选文本数据对应的特征向量，再通过备选文本数据对应的特征向量与存储设备中历史文本数据的特征向量进行相似度计算，去除达到或超过相似度阈值的文本数据，显著降低了提取的文本数据的相似度，提升了提取效果。
70.其中，根据本发明实施例的一具体实施方式，分词算法可采用han lp算法，hanlp
是一个致力于向生产环境普及nlp(neuro-linguistic programming，神经语言程序学)技术的开源java工具包，支持：中文分词(n-最短路分词、crf(conditional random fields，条件随机场)分词、索引分词、用户自定义词典、词性标注)；命名实体识别(中国人名、音译人名、日本人名、地名、实体机构名识别)；关键词提取，自动摘要，短语提取，拼音转换，简繁转换，文本推荐，依存句法分析(maxent(最大熵模型)依存句法分析、神经网络依存句法分析)。
71.根据本发明实施例，可以通过redis序号查询存储设备中的历史文本数据。存储redis存储设备的文本数据都会根据redis incr的操作生成一个当前类别的序号。后续可根据该序号查询历史文本数据。
72.根据本发明实施例，通过迭代历史文本数据与备选文本数据进行相似度计算，根据相似度计算结果进行相似度去重，以确定目标文本数据。
73.具体地，可采用余弦相似度(计算两个特征向量的夹角来表示两者的相似度)的方法。如图2c所示，特征向量a和特征向量b以及两者的夹角θ，设定特征向量a、b的坐标分别为(x1,y1)和(x2,y2)，则：
[0074][0075]
假设特征向量a为备选文本数据对应的特征向量；特征向量b为历史文本数据对应的特征向量，那么两者之间的相似度可以用cosθ来表示，且0≤cosθ≤1。
[0076]
进一步地，关于文本数据对应的特征向量的确定，可采用tf-idf(term frequency
–
inverse document frequency，词频-逆向文件频率)的思想，通过词条/词频来表示。如，备选文本数据的词条为[“我”，”爱”，”漫威”]，历史文本数据的词条为[“我”，”喜欢”，”漫威”，”电影”]，则所有的词频的集合为[“我”，”爱”，”喜欢”，”漫威”，”电影”]。则通过计算相应词频进行转换后，备选文本对应的特征向量a＝[1,1,0,1,0]，历史文本数据对应的特征向量b＝[1,0,1,1,1]。然后通过上述公式计算相似度结果，然后根据相似度结果与设定的相似度阈值进行比较进行相似度去重，得到目标文本数据。
[0077]
具体地，根据本发明实施例，根据备选文本数据对应的特征向量和历史文本数据对应的特征向量进行相似度计算的步骤包括：配置单次计算数量，根据备选文本数据对应的特征向量和单次计算数量的历史文本数据对应的特征向量进行相似度计算。
[0078]
通过上述设置，通过配置每次进行相似度计算的计算数量，能够动态协调提取效率和相似度计算设备的性能，使得提取业务和性能均能够得到保证。
[0079]
步骤s205，为每个目标文本数据分配一个存储序号，根据存储序号和目标文本数据的类型确定目标文本对应的标识码，将目标文本数据置入存储设备。
[0080]
通过上述设置，为每个目标文本数据分配存储序号，进而确定标识码，即利于提取存储设备中的文本数据与备选文本数据进行相似度计算；又利于后续根据关键词条指示的文本数据类型，从标识码中指示的文本数据类型中提取相应的文本数据发送至与关键词条对应的企业或企业内各部门，提高了各部门的文本数据确定效率。同时，先通过相似度计算去除备选文本数据中相似度较高的文本数据，再将得到的目标文本数据存储至存储设备中。避免了现有方法中先将获取的文本数据存储至存储设备中，然后定时进行提取，导致的
时效性较差的问题。
[0081]
步骤s206，向订阅部门发送更新通知，以使得订阅部门接收更新通知后，根据标识码和关键词条指示的文本数据类型从存储设备中提取相应的目标文本数据，其中，关键词条由订阅部门进行设定。
[0082]
具体地，通过向订阅部门发送更新通知，便于订阅部门根据自身的实际情况进行文本数据的提取，满足了文本数据的时效性。标识码指示了目标文本数据的类型，使得目标文本数据能够根据类型分布在存储设备中的不同片区/块区，便于订阅部门根据其设定的关键词条指示的类型，直接去存储设备的相应片区/块区中根据关键词条进行相应目标文本数据的提取操作，尤其是当关键词条较多时，上述设置有效提升了根据不同关键词条从存储设备中提取相应的目标文本数据的提取效率。
[0083]
根据本发明实施例的技术方案，因为采用获取文本数据；根据关键词条对文本数据进行过滤得到备选文本数据；根据存储设备中的历史文本数据对备选文本数据进行相似性去重，以确定目标文本数据；为每个目标文本数据分配一个存储序号，根据存储序号和目标文本数据的类型确定目标文本对应的标识码，将目标文本数据置入存储设备的技术手段，所以克服了现有方法确定的文本数据存在的相似度较高，提取效率低，时效性较差的技术问题，进而达到降低文本数据的相似度，提高文本数据的提取效率和时效性，以及提升文本数据后续提取的便捷性的技术效果。
[0084]
图3是根据本发明实施例提供的文本数据确定装置的主要模块的示意图；如图3所示，本发明实施例提供的文本数据确定装置300主要包括：
[0085]
文本数据获取模块301，用于获取文本数据。
[0086]
具体地，可以从企业/公司内各部门或与企业/公司有合作的平台或企业等渠道获取文本数据。由上述渠道提供文本数据，有效避免了通过随机抽取导致的大量无效文本数据，也避免了文本提取方法重复造轮子，提高了后续文本提取效率。
[0087]
过滤模块302，用于根据关键词条对文本数据进行过滤得到备选文本数据。
[0088]
根据企业或企业内各部门设定的关键词条对文本数据进行过滤，针对性强，增强了后续的文本数据确定效果。关键词条的设定可为多个，例如，可以为企业名称、企业品牌等。
[0089]
根据本发明实施例，上述文本数据确定装置300还包括去重模块，在根据关键词条对文本数据进行过滤得到备选文本数据的步骤之前，去重模块用于根据文本数据的类型和标题进行相同文本数据去重。
[0090]
其中，文本数据的类型包括文本数据发布的渠道类型(指各平台或企业等)或文本类型根据属性划分的类型(如文学、历史等)。由于同一文本数据在同一平台或企业可能会发表多次，导致从同一渠道(指上述平台或企业等)获取的文本数据中存在大量相同标题的文本数据，通过上述设置，使得从同一渠道的多个相同标题的文本数据中只获取一个，减少了相同文本数据的数量，从而提高了后续进行相似度计算的计算量，提高文本数据确定效率。
[0091]
进一步地，根据本发明实施例，去重模块还用于：根据取值算法对同一类型的文本数据的标题进行取值得到同一类型的文本数据对应的键值，根据键值进行相同文本数据的去重。
[0092]
具体地，由于各文本数据的类型是唯一的，对同一类型的文本数据的标题进行取值操作(如采用信息-摘要算法md5(message-digest algorithm 5)、哈希算法(hash)等)，将相同键值的文本数据进行去重操作，仅保留其中一个。
[0093]
目标文本数据确定模块303，用于根据存储设备中的历史文本数据对备选文本数据进行相似性去重，以确定目标文本数据。
[0094]
根据本发明实施例，目标文本数据确定模块303还用于：根据分词算法对备选文本数据进行分词处理后获取备选文本数据的特征向量，根据备选文本数据对应的特征向量和历史文本数据对应的特征向量进行相似度计算，根据相似度计算结果确定目标文本数据。
[0095]
通过上述设置，通过分词算法对备选文本数据进行分词处理后得到多个特征词条，进而根据该多个特征词条确定备选文本数据对应的特征向量，再通过备选文本数据对应的特征向量与存储设备中历史文本数据的特征向量进行相似度计算，去除达到或超过相似度阈值的文本数据，显著降低了提取的文本数据的相似度，提升了提取效果。
[0096]
具体地，根据本发明实施例，目标文本数据确定模块303还用于：配置单次计算数量，根据备选文本数据对应的特征向量和单次计算数量的历史文本数据对应的特征向量进行相似度计算。
[0097]
通过上述设置，通过配置每次进行相似度计算的计算数量，能够动态协调提取效率和相似度计算设备的性能，使得提取业务和性能均能够得到保证。
[0098]
存储模块304，用于为每个目标文本数据分配一个存储序号，根据存储序号和目标文本数据的类型确定目标文本对应的标识码，将目标文本数据置入存储设备。
[0099]
通过上述设置，为每个目标文本数据分配存储序号，进而确定标识码，即利于提取存储设备中的文本数据与备选文本数据进行相似度计算；又利于后续根据关键词条指示的文本数据类型，从标识码中指示的文本数据类型中提取相应的文本数据发送至与关键词条对应的企业或企业内各部门，提高了各部门的文本数据确定效率。同时，先通过相似度计算去除备选文本数据中相似度较高的文本数据，再将得到的目标文本数据存储至存储设备中。避免了现有方法中先将获取的文本数据存储至存储设备中，然后定时进行提取，导致的时效性较差的问题。
[0100]
根据本发明实施例，上述文本数据确定装置300还包括更新通知模块，用于：向订阅部门发送更新通知，以使得订阅部门接收更新通知后，根据标识码和关键词条指示的文本数据类型从存储设备中提取相应的目标文本数据，其中，关键词条由订阅部门进行设定。
[0101]
具体地，通过向订阅部门发送更新通知，便于订阅部门根据自身的实际情况进行文本数据的提取，满足了文本数据的时效性。标识码指示了目标文本数据的类型，使得目标文本数据能够根据类型分布在存储设备中的不同片区/块区，便于订阅部门根据其设定的关键词条指示的类型，直接去存储设备的相应片区/块区中根据关键词条进行相应目标文本数据的提取操作，尤其是当关键词条较多时，上述设置有效提升了根据不同关键词条从存储设备中提取相应的目标文本数据的提取效率，提升文本数据后续提取的便捷性。
[0102]
根据本发明实施例的技术方案，因为采用获取文本数据；根据关键词条对文本数据进行过滤得到备选文本数据；根据存储设备中的历史文本数据对备选文本数据进行相似性去重，以确定目标文本数据；为每个目标文本数据分配一个存储序号，根据存储序号和目标文本数据的类型确定目标文本对应的标识码，将目标文本数据置入存储设备的技术手
段，所以克服了现有方法确定的文本数据存在的相似度较高，提取效率低，时效性较差的技术问题，进而达到降低文本数据的相似度，提高文本数据的提取效率和时效性，以及提升文本数据后续提取的便捷性的技术效果。
[0103]
图4示出了可以应用本发明实施例的文本数据确定方法或文本数据确定装置的示例性系统架构400。
[0104]
如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405(此架构仅仅是示例，具体架构中包含的组件可以根据申请具体情况调整)。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0105]
用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
[0106]
终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
[0107]
服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的文本数据、关键词条等数据进行分析等处理，并将处理结果(例如备选文本数据、目标文本数据
--
仅为示例)反馈给终端设备。
[0108]
需要说明的是，本发明实施例所提供的文本数据确定方法一般由服务器405执行，相应地，文本数据确定装置一般设置于服务器405中。
[0109]
应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0110]
下面参考图5，其示出了适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0111]
如图5所示，计算机系统500包括中央处理单元(cpu)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储部分508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram 503中，还存储有系统500操作所需的各种程序和数据。cpu 501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
[0112]
以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
[0113]
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在
这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(cpu)501执行时，执行本发明的系统中限定的上述功能。
[0114]
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0115]
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0116]
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括文本数据获取模块、过滤模块、目标文本数据确定模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，文本数据获取模块还可以被描述为“用于获取文本数据的模块”。
[0117]
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取文本数据；根据关键词条对文本数据进行过滤得到备选文本数据；根据存储设备中的历史文本数据对备选文本数据进行相似性去重，以确定目标文本数据；为每个目标文本数据分配一个存储序号，根据存储序号和目标文本数据的类型确定目标文本对应的标识码，将目标文本数据置入存储设备。
[0118]
根据本发明实施例的技术方案，根据本发明实施例的技术方案，因为采用获取文本数据；根据关键词条对文本数据进行过滤得到备选文本数据；根据存储设备中的历史文本数据对备选文本数据进行相似性去重，以确定目标文本数据；为每个目标文本数据分配一个存储序号，根据存储序号和目标文本数据的类型确定目标文本对应的标识码，将目标文本数据置入存储设备的技术手段，所以克服了现有方法确定的文本数据存在的相似度较高，提取效率低，时效性较差的技术问题，进而达到降低文本数据的相似度，提高文本数据的提取效率和时效性，以及提升文本数据后续提取的便捷性的技术效果。
[0119]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。