本说明书一个或多个实施例涉及数据处理,尤其涉及一种赛事数据处理方法及装置。
背景技术:
1、现如今,体育竞技、电子竞技等各种赛事越来越规模化,并受到越来越多的关注。赛事数据,特别是如综合性运动会等大规模赛事的数据,其准确性至关重要。通常,鉴于其他第三方数据的准确性及合规性都难以保障,赛事数据处理或展示系统的数据来源只能依赖官方数据源。而对于单一的官方数据源,可能由于数据传输链路过长、数据供应商可靠度不足等因素,导致数据质量不稳定,从而难以保证赛事数据的准确性,甚至可能造成较大舆情影响。
2、有鉴于此,需要提供一种赛事数据处理方案,以及时发现赛事数据的质量问题。
技术实现思路
1、为了及时发现赛事数据的质量问题,本说明书一个或多个实施例提供了一种赛事数据处理方法及装置。
2、第一方面,本说明书一个或多个实施例提供了一种赛事数据处理方法,包括:
3、获取目标赛事对应的数据提供方发送的第一赛事数据;
4、通过图像识别算法对所述目标赛事对应的预设赛事展示网页进行识别,得到第二赛事数据;
5、根据所述第一赛事数据和第二赛事数据进行数据校验。
6、一种可能的实现方式中,所述方法还包括:
7、根据赛事数据之间的因果关系对所述第一赛事数据进行旁路测算,得到所述第一赛事数据中的原因数据对应的测算结果数据,将所述测算结果数据作为第三赛事数据;
8、所述根据所述第一赛事数据和第二赛事数据进行数据校验,包括:
9、根据所述第一赛事数据、第二赛事数据和第三赛事数据进行数据校验。
10、一种可能的实现方式中,所述根据所述第一赛事数据、第二赛事数据和第三赛事数据进行数据校验,包括:
11、对所述第一赛事数据、第二赛事数据和第三赛事数据中的预设第一类数据进行一致性校验;
12、所述预设第一类数据为预先设定的动态且重要的赛事数据;所述预设第一类数据包括赛果数据、奖牌榜数据中的至少一项。
13、一种可能的实现方式中,所述根据所述第一赛事数据和第二赛事数据进行数据校验,包括:
14、对所述第一赛事数据和第二赛事数据中的预设第二类数据进行一致性校验;
15、所述预设第二类数据为预先设定的静态且重要的赛事数据;所述预设第二类数据包括赛程数据。
16、一种可能的实现方式中,所述根据所述第一赛事数据、第二赛事数据和第三赛事数据进行数据校验,包括:
17、对所述第一赛事数据和第三赛事数据中的预设第三类数据进行一致性校验;
18、所述预设第三类数据为预先设定的动态不重要的赛事数据;所述预设第三类数据包括赛事详情数据。
19、一种可能的实现方式中,所述根据所述第一赛事数据和第二赛事数据进行数据校验,包括:
20、根据预设数据拦截规则,对所述第一赛事数据进行准确性校验,并拦截校验得到的问题数据;
21、所述预设数据拦截规则包括以下至少一项:基于不同数据项之间的关联关系预设的第一规则、基于状态机不可逆性预设的第二规则。
22、一种可能的实现方式中,所述方法还包括以下至少一项:
23、在所述第一赛事数据的发送端进行数据备份;
24、获取所述第一赛事数据对应的备份数据。
25、一种可能的实现方式中,所述方法还包括:
26、若所述目标赛事的状态为进行中状态,则判断预设间隔时长内是否获取到所述数据提供方发送的新的赛事数据;
27、若在所述预设间隔时长内未获取到所述数据提供方发送的新的赛事数据,则生成告警信息。
28、一种可能的实现方式中,所述方法还包括以下至少一项:
29、若所述数据校验的结果为不存在问题数据,则将所述第一赛事数据存入预设赛事数据库;
30、获取数据修正指令,并根据所述数据修正指令对所述预设赛事数据库中的数据进行修正。
31、第二方面,本说明书一个或多个实施例提供了一种赛事数据处理方法,包括:
32、获取目标赛事对应的数据提供方发送的第一赛事数据;
33、根据赛事数据之间的因果关系对所述第一赛事数据进行旁路测算,得到所述第一赛事数据中的原因数据对应的测算结果数据,将所述测算结果数据作为第三赛事数据;
34、根据所述第一赛事数据和第三赛事数据进行数据校验。
35、第三方面,本说明书一个或多个实施例提供了一种赛事数据处理装置,包括:
36、第一获取单元,用于获取目标赛事对应的数据提供方发送的第一赛事数据;
37、第二获取单元,用于通过图像识别算法对所述目标赛事对应的预设赛事展示网页进行识别,得到第二赛事数据;
38、数据校验单元,用于根据所述第一赛事数据和第二赛事数据进行数据校验。
39、一种可能的实现方式中,所述装置还包括:
40、第三获取单元,用于根据赛事数据之间的因果关系对所述第一赛事数据进行旁路测算,得到所述第一赛事数据中的原因数据对应的测算结果数据,将所述测算结果数据作为第三赛事数据;
41、所述数据校验单元用于根据所述第一赛事数据和第二赛事数据进行数据校验,包括:
42、所述数据校验单元用于,根据所述第一赛事数据、第二赛事数据和第三赛事数据进行数据校验。
43、一种可能的实现方式中,所述数据校验单元用于根据所述第一赛事数据、第二赛事数据和第三赛事数据进行数据校验,包括:
44、所述数据校验单元用于对所述第一赛事数据、第二赛事数据和第三赛事数据中的预设第一类数据进行一致性校验;
45、所述预设第一类数据为预先设定的动态且重要的赛事数据;所述预设第一类数据包括赛果数据、奖牌榜数据中的至少一项。
46、一种可能的实现方式中,所述数据校验单元用于根据所述第一赛事数据和第二赛事数据进行数据校验,包括:
47、所述数据校验单元用于对所述第一赛事数据和第二赛事数据中的预设第二类数据进行一致性校验;
48、所述预设第二类数据为预先设定的静态且重要的赛事数据;所述预设第二类数据包括赛程数据。
49、一种可能的实现方式中,所述数据校验单元用于根据所述第一赛事数据、第二赛事数据和第三赛事数据进行数据校验,包括:
50、所述数据校验单元用于对所述第一赛事数据和第三赛事数据中的预设第三类数据进行一致性校验;
51、所述预设第三类数据为预先设定的动态不重要的赛事数据;所述预设第三类数据包括赛事详情数据。
52、一种可能的实现方式中,所述数据校验单元用于根据所述第一赛事数据和第二赛事数据进行数据校验,包括:
53、所述数据校验单元用于根据预设数据拦截规则,对所述第一赛事数据进行准确性校验,并拦截校验得到的问题数据;
54、所述预设数据拦截规则包括以下至少一项:基于不同数据项之间的关联关系预设的第一规则、基于状态机不可逆性预设的第二规则。
55、一种可能的实现方式中,所述装置还包括以下至少一项:
56、数据备份单元,用于在所述第一赛事数据的发送端进行数据备份;
57、第四获取单元,用于从所述数据备份单元中获取所述第一赛事数据对应的备份数据。
58、一种可能的实现方式中,所述装置还包括:
59、更新监测单元,用于若所述目标赛事的状态为进行中状态,则判断预设间隔时长内是否获取到所述数据提供方发送的新的赛事数据;若在所述预设间隔时长内未获取到所述数据提供方发送的新的赛事数据,则生成告警信息。
60、一种可能的实现方式中,所述装置还包括以下至少一项:
61、数据存储单元,用于若所述数据校验的结果为不存在问题数据,则将所述第一赛事数据存入预设赛事数据库;
62、数据修正单元,用于获取数据修正指令,并根据所述数据修正指令对所述预设赛事数据库中的数据进行修正。
63、第四方面,本说明书一个或多个实施例提供了一种赛事数据处理装置,包括:
64、第一获取单元,用于获取目标赛事对应的数据提供方发送的第一赛事数据;
65、第三获取单元,用于根据赛事数据之间的因果关系对所述第一赛事数据进行旁路测算,得到所述第一赛事数据中的原因数据对应的测算结果数据,将所述测算结果数据作为第三赛事数据;
66、数据校验单元,用于根据所述第一赛事数据和第三赛事数据进行数据校验。
67、第五方面,本说明书一个或多个实施例还提供了一种电子设备,该电子设备包括存储器和处理器;所述存储器用于存储计算机程序产品;所述处理器用于执行所述存储器中存储的计算机程序产品,且所述计算机程序产品被执行时,实现上述第一方面或第二方面的方法。
68、第六方面,本说明书一个或多个实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序指令,该计算机程序指令被执行时,实现上述第一方面或第二方面的方法。
69、本说明书一个或多个实施例提供的赛事数据处理方法及装置,一方面通过目标赛事的数据提供方提供的数据传输方式,获取第一赛事数据,另一方面还利用图像识别技术从目标赛事对应的预设赛事展示网页,如赛事官方网站的网页,识别得到第二赛事数据,作为另一数据源,与第一赛事数据进行比对,从而可以及时发现第一赛事数据或第二赛事数据中可能存在的问题数据。除此之外,上述方法及装置还可以根据第一赛事数据中的原因数据,基于旁路测算原理计算对应的结果数据,作为又一数据源,即第三赛事数据。可见,上述方法及装饰开辟了多数据源之间的数据核对校验的方式,可以及时发现赛事数据中因传输错误、源头录入错误等因素造成的问题数据,降低问题数据造成的舆情风险,减少人工管控数据质量的工作量,提高数据质量管控效率,且适配度高,可以应用于多种不同规模、不同类型赛事的数据处理场景。
70、其次,上述方法及装置还结合基于赛事规则、专家经验、赛事状态不可逆性等设定的数据拦截规则,发现第一赛事数据中不符合逻辑、自相矛盾的问题数据并进行拦截,为赛事数据的质量管控提供了更多的维度,进一步保证了赛事数据的质量。
71、另外,上述方法及装置依据重要性和实时性对赛事数据进行分类,并对不同类别的赛事数据采用不同的数据校验方式,实现了符合不同数据特性的精准质量管控,保证有效且及时地发现潜在的问题数据。