基于人工智能的信息处理方法、装置和电子设备与流程

文档序号:32393186发布日期:2022-11-30 09:09阅读:43来源:国知局
基于人工智能的信息处理方法、装置和电子设备与流程

1.本公开涉及人工智能领域,尤其涉及大数据、数据分析技术,可应用在智慧城市、城市治理场景。具体涉及一种基于人工智能的信息处理方法、装置和电子设备。


背景技术:

2.目前,相关技术中存在一些城市运行状态的评价手段,以对城市运行状态进行评价或者为城市治理提供相应的治理方案。相关技术中的手段主要是通过获取与城市运行状态相关的数据,然后,通过人工对数据进行分析,以得到城市运行状态的评价信息。


技术实现要素:

3.本公开提供了一种基于人工智能的信息处理方法、装置和电子设备。
4.根据本公开的第一方面,提供了一种基于人工智能的信息处理方法,包括:
5.基于第一元信息,利用数据池中的城市运行数据在指标池中生成原子指标,其中,所述数据池中存储有所述城市运行数据,所述指标池中存储有所述第一元信息和第二元信息,所述第一元信息包括用于生成所述原子指标的运算方式,所述第二元信息包括用于生成复合指标的运算方式;
6.基于所述第二元信息,利用所述指标池中的所述原子指标生成所述复合指标;
7.输出城市体征信息,其中,所述城市体征信息由所述复合指标形成。
8.根据本公开的第二方面,提供了一种基于人工智能的信息处理装置,包括:
9.生成模块,用于基于第一元信息,利用数据池中的城市运行数据在指标池中生成原子指标,其中,所述数据池中存储有所述城市运行数据,所述指标池中存储有所述第一元信息和第二元信息,所述第一元信息包括用于生成所述原子指标的运算方式,所述第二元信息包括用于生成复合指标的运算方式;
10.所述生成模块,用于基于所述第二元信息,利用所述指标池中的所述原子指标生成所述复合指标;
11.输出模块,用于输出城市体征信息,其中,所述城市体征信息由所述复合指标形成。
12.根据本公开的第三方面,提供了一种电子设备,包括:
13.至少一个处理器;以及
14.与所述至少一个处理器通信连接的存储器;其中,
15.所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述第一方面所述的方法。
16.根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行上述第一方面所述的方法。
17.根据本公开的第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现第一方面所述的方法。
18.本公开实施例中,通过在指标池中预先存储第一元信息和第二元信息,如此,仅需将城市运行数据存储于数据池,即可自动完成指标的计算,并输出城市体征信息,从而有利于提高城市体征信息生成的效率。
附图说明
19.附图用于更好地理解本方案,不构成对本公开的限定。其中:
20.图1是本公开实施例提供的一种基于人工智能的信息处理方法的流程图;
21.图2是本公开实施例中一个城市体征主题的城市体征信息的示意图;
22.图3是本公开实施例中元信息中包含的属性信息的示意图;
23.图4是本公开实施例中指标构建的示意图;
24.图5是本公开实施例基于人工智能的信息处理系统的结构示意图;
25.图6是本公开实施例中任务调度模块的工作流程示意图;
26.图7是本公开实施例提供的一种基于人工智能的信息处理装置的结构示意图之一;
27.图8是本公开实施例提供的一种基于人工智能的信息处理装置的结构示意图之二;
28.图9本公开实施例提供的用于实现基于人工智能的信息处理方法的电子设备的框图。
具体实施方式
29.以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
30.请参见图1,图1为本公开实施例提供的一种基于人工智能的信息处理方法的流程示意图,所述基于人工智能的信息处理方法,包括以下步骤:
31.步骤s101、基于第一元信息,利用数据池中的城市运行数据在指标池中生成原子指标,其中,所述数据池中存储有所述城市运行数据,所述指标池中存储有所述第一元信息和第二元信息,所述第一元信息包括用于生成所述原子指标的运算方式,所述第二元信息包括用于生成复合指标的运算方式;
32.步骤s102、基于所述第二元信息,利用所述指标池中的所述原子指标生成所述复合指标;
33.步骤s103、输出城市体征信息,其中,所述城市体征信息由所述复合指标形成。
34.其中,上述数据池可以用于存储各种类型的能够反映城市体征的数据,例如,可以包括人口、舆情、遥感、产业等多源异构的时空数据。其中,为了获得对城市体征有全面地监测评估,构建指标的数据来源是多源、异构的,所述数据池的应用程序编程(application programming interface,api)接口可以接收各种格式的数据,例如,所述api接口可以接收js对象简谱(javascript object notation,json)数据、逗号分隔值(comma-separated values,csv)格式、标签图像文件(tag image file,tif)格式的遥感数据等等。其中,上述
城市运行数据可以称之为立方体(cube)数据,相应地,所述数据池可以称之为cube库。
35.上述原子指标为基础指标,可以通过对数据池中的cube数据进行简单汇总得到,或者,也可以是基于所述cube数据进行计算得到。例如,所述原子指标可以是总人口,总面积,总数量等。具体地,在本公开一个实施例中,所述指标池中的某一原子指标可以为特定区域的固体废弃物的覆盖面积,此时,所述数据池中的可以包括用于表示所述特定区域中是否存在固体废弃物覆盖的数据点(cube数据),其中,每个数据点可以表征该区域10平方米的范围是否存在固体废弃物覆盖,例如,仅需统计该特定区域中存在固体废弃物覆盖的数据点的数量,即可计算出该区域的固体废弃物的覆盖面积,从而得到原子指标。
36.上述复合指标可以是对原子指标执行系列操作得到指标,系列操作可以通过公式显式表达。例如,所述复合指标可以是密度,转化率,人均值等。具体地,在本公开一个实施例中,当某一复合指标为绿植覆盖率趋势diff时,该复合指标可以通过如下两个原子指标计算得到:当前时间的绿植覆盖率和去年当前时间的绿植覆盖率。其具体计算公式为:diff=(当前时间的绿植覆盖率-去年当前时间的绿植覆盖率)/去年当前时间的绿植覆盖率。
37.可以理解的是,上述第一元信息可以是原子指标的元信息,所述第二元信息可以是复合指标的元信息。在构建所述指标池时,可以根据具体场景预先构建每个原子指标的第一元信息和每个复合指标的第二元信息,并将第一元信息和第二元信息存储于所述指标池中。
38.上述第一元信息除了可以包括所述原子指标的运算方式之外,还可以包括用于生成所述原子指标的cube数据的数据来源,即可以包括需要采用所述数据池中何种cube数据生成所述原子指标,如此,指标生成系统可以根据所述第一元信息在所述数据池中获取对应的cube数据,然后,基于所述第一元信息中的运行方式对所获取的cube数据进行运算,以得到对应的原子指标。相应地,所述第二元信息除了可以包括所述复合指标的运算方式之外,还可以包括用于生成所述复合指标的原子指标的指标类型,如此,指标生成系统可以根据所述中记载的原子指标的指标类型,在指标池中获取对应的原子指标,然后,基于所述第二元信息中的运算方式,对所获取的原子指标进行运算,以得到所述复合指标。所述运算方式可以为统计方式或者计算公式等。
39.上述城市体征信息可以包括各种能够反映城市运行状态的信息,例如,可以包括与人口活力、产业活力、生态健康、民意脉动相关的体征信息。其中,所述城市体征信息可以通过复合指标进行体现。例如,可以输出各种类似的城市体征指标,以反映城市体现信息。所述城市体征指标可以包括:绿植覆盖率、绿植覆盖变化率、人口出生率、人口出生变化率等。
40.上述复合指标可以根据第二元信息中的计算公式通过在线任务计算返回,如果复杂度不满足在线计算要求,则离线计算完成。
41.该实施方式中,通过在指标池中预先存储第一元信息和第二元信息,如此,仅需将城市运行数据存储于数据池,即可自动完成指标的计算,并输出城市体征信息,从而有利于提高城市体征信息生成的效率。
42.可选地,所述数据池中存储有目标城市运行数据,其中,所述目标城市运行数据对应至少两个不同的原子指标,所述至少两个不同的原子指标分别基于所述目标城市运行数据生成。
43.具体地,由于所述数据池中存储的为能够反映城市中某一运行状态特征的城市运行数据。其中,所述数据池中的某些城市运行数据可能能够反映至少两种不同类型的城市体征,例如,当某一城市运行数据为a区域中的人口数量时,在统计a地区的人口总数原子指标时,需要用到该城市运行数据,其中,所述a地区包括所述a区域。相应地,在统计a区域的人口分布指标时也需要用到该城市运行数据。可见,该城市体征数据既可以用于反应城市人口体征,还可以用于反应城市人口分布体征,基于此,可以基于该城市体征数据生成不同的原子指标。
44.可以理解的是,上述目标城市运行数据可以为数据池中可能能够反映至少两组不同类型的城市体征的城市运行数据。
45.该实施方式中,在生成所述指标池中的原子指标时,通过复用所述数据池中的目标城市运行数据,以生成多个不同的原子指标,如此,有利于实现数据的有效复用。
46.可选地,所述指标池中存储有目标原子指标,其中,所述目标原子指标对应至少两个不同的复合指标,所述至少两个不同的复合指标分别基于所述目标原子指标生成。
47.具体地,由于指标池中的原子指标通常是对数据池中某一类城市运行数据进行统计或汇总之后得到的指标,而某一类城市运行数据可能能够反映至少两种不同类型的城市体征。例如,当原子指标为某一地区的人口数量时,在计算人口增长率这一复合指标时需要用到该原子指标。此外,在统计城市生活质量时也需要用到该原子指标,例如,在统计城市生活质量时,通常分析人口分布,确定特定时间段统计娱乐场所中的人数。其中,该城市生活质量可以根据若干个原子指标进行加权计算得到的复合指标,所述若干个原子指标中包括所述人口数量指标。可见,人口数量这一原子指标可以用于计算至少两种不同的复合指标。
48.可以理解的是,上述目标原子指标可以为指标池中能够反映至少两组不同类型的城市体征的原子指标。
49.该实施方式中,在生成所述复合指标时,通过复用所述指标池中的目标原子指标,以生成多个不同的复合指标,如此,有利于实现数据的有效复用。
50.可选地,所述城市体征信息包括至少两个不同的城市体征主题的体征信息,所述第二元信息还包括所述复合指标所属的城市体征主题,且所述复合指标用于生成所属城市体征主题的体征信息。
51.其中,上述城市体征主题可以包括人口活力、产业活力、生态健康、民意脉动等能够反映城市体征的主题。
52.具体地,由于一个城市体征主题的体征信息通常需要通过多种不同类型的复合指标进行表达,因此,可以使所述第二元信息中包括所述复合指标所属的城市体征主题,这样,在输出城市体征信息时,可以按照复合指标所属主题进行输出,即每个主题对应一个显示区域,进行输出显示。
53.该实施方式中,通过使所述第二元信息包括所述复合指标所属的城市体征主题,如此,有利于实现按照主题对复合指标进行输出,从而通过元信息控制城市体征信息的输出形式。
54.可选地,所述城市体征主题的体征信息包括至少两个城市体征子主题的体征信息,所述第二元信息还包括所述复合指标所属的城市体征子主题,且所述复合指标用于生
成所属城市体征子主题的体征信息,其中,所述至少两个城市体征子主题包括:所述城市体征主题中的城市体征的实时状态信息、所述城市体征的变化信息和不同对象的所述城市体征的对比信息。
55.请参见图2,在本公开一个实施例中,所述城市体征主题的体征信息通常可以包括如下5个城市体征子主题的体征信息:
56.1)态:用于表达所述城市体征主题所对应的体征信息的当前状态,属于当前城市体征主题的最核心内容;例如,当所述城市体征主题为生态宜居主题时:所述“态”城市体征子主题下至少可以包括如下复合指标的当前状态:地表植被覆盖率、城市人口密度和城市人均消费水平等。
57.2)势:用于表达所述城市体征主题所对应的体征信息的变化信息,其中,所述变化信息可以是指:同比往年的变化率。
58.3)钻:用于表达与所述态对应的更为详细的信息,例如,当所述“态”中显示城市污染率时:用户可以通过所述“钻”信息中查看当前区域的详细污染数据,例如,可以查看水质信息,同时,在用户查看“钻”信息时,可以通过地图进行联动。
59.4)析:用于对“态”和“势”中的具体数据进行分析,其中,所述“析”信息可以是指上述不同对象的所述城市体征的对比信息。例如,当所述城市体征主题为“城市产业结构”时,所述“析”信息中可以展示各个行业资本注入的风险等级,以及,风险等级位于中位数的行业、风险等级位于中位数以上的所有行业和风险等级位于中位数以下的所有行业。
60.5)察:用于将“析”信息中推理和归纳性质的内容以最直观的方式进行展示,例如,可以发布各个行业被注入的资金的总额、各个行业被注入的资金的热度值、各个行业被注入的资金的排行榜等。同时,还可以输出哪些企业为被投资者青睐的明星企业等。
61.可以理解的是,在输出所述城市体征信息时,可以按照城市体征子主题分区域在显示屏上进行输出,即每个城市体征子主题占据一个显示区域,且每个城市体征子主题所占据的显示区域中的不同位置显示上述城市体征子主题的体征信息。
62.该实施方式中,通过使城市体征主题的体征信息包括:所述城市体征主题中的城市体征的实时状态信息、所述城市体征的变化信息和不同对象的所述城市体征的对比信息,如此,可以提高所输出的城市体征信息的全面性,有利于用户可以从多维度了解城市体征。
63.可选地,所述第二元信息还包括所述复合指标的展示形式和所述复合指标的层级关系信息;所述展示形式包括:仪表盘展示、柱状图展示和折线图展示;所述层级关系信息包括不同的复合指标之间的层级关系。
64.具体地,对于各种不同类型的复合指标,可以设置不同的展示形式,例如,对于状态类的复合指标可以采用仪表盘展示;对于趋势变化的复合指标,可以采用柱状图呈现季度趋势,同时,采用折线图对同比状态进行展示。如此,有利于提高各个类型的指标的展示效果。
65.此外,由于同一主题中的不同指标之外往往具有关联关系,例如,某一主题中展示的指标包括a指标、b指标、c指标和d指标,其中,a指标为基于b指标、c指标和d指标生成的指标,如此,可以将所述a指标成为b指标、c指标和d指标的父指标,在进行显示时,可以在第一层级显示a指标,在第一层级的下一层级并列显示b指标、c指标和d指标。且常态下b指标、c
指标和d指标可以处于收起状态,用户可以通过点击a指标,以展示所述b指标、c指标和d指标。如此,可以将同一主题中具有关联的指标进行关联显示,有利于进一步提高指标的展示效果。
66.该实施方式中,通过在元信息中对指标的展示形式进行规定,同时,将同一主题中具有关联的指标进行关联显示,有利于提高指标的展示效果。此外,通过在指标的元数据中对指标的展示类型进行规定,可以保证同一指标在不同主题中展示的一致性。
67.请参见图3,在本公开一个实施例中,上述第一元信息和第二元信息可以分别包括图3所示的11种属性信息,下文将所述第一元信息和第二元信息统称为元信息,同时,将原子指标和复合指标统称为指标。具体地,所述主题名称用于表征元信息所对应的指标所属的城市体征主题。指标类型可以为复合指标或原子指标。指标用途即指标具体用于生成“态、势、钻、析、察”五个城市体征子主题中的哪一城市体征子主题。指标公式:即用于生成指标的具体运算方式。适配分析插件,为用于生成上述“钻、析、察”相关的信息的插件。显示格式:用于将指标结果作为显示的描述信息。父指标:即当前指标的上一层级的指标,也即上述指标的层级关系。可视化类型:即上述指标的展示形式。指标内容结构:用于表征指标取值信息,同时,用于指导计算和可视化依赖的数据结构。数据来源,即计算该指标所采用的数据的数量来源。
68.可以理解的是,上述城市体征信息除了可以输出上述复合指标之外,还可以直接输出原子指标,即上述城市体征信息可以由复合指标和原子指标形成。
69.请参见图4,用户可以根据具体业务场景的需求通过客户端定义各种类型的指标,其中,客户端显示的空间可以按照主题数划分为若干个大屏空间,每个大屏空间显示一个主题的体征信息。在进行指标构建时,可以通过对不同业务场景的理解,采用同一原子指标生成不同的复合指标,并构建各个指标的元信息,并将元信息存储于指标池,然后,接入多元结构数据至数据池,进行冷启动。在启动之后,还可以在线新增其他主题,以及,基于对场景的更深层次的理解,构建更多的其他复合指标,以对系统进行迭代。即可以基于用户的输入,对所述指标池中的元信息进行更新。
70.该实施方式中,通过采用元信息对指标进行限定,如此,有利于提高对指标计算过程以及输出形式进行有效的管控,从而提高所输出的城市体征信息的质量。
71.可选地,所述基于第一元信息,利用数据池中的城市运行数据在指标池中生成原子指标,之前,所述方法还包括:
72.从至少两个不同数据源获取初始城市数据;
73.对所述初始城市数据进行预处理,得到所述城市运行数据,其中,所述预处理包括:格式转换处理、数据预计算、数据完整性校验和数据合格性校验;
74.将所述城市运行数据存储于所述数据池。
75.其中,上述对初始城市数据进行格式转换处理,即将初始城市数据转换为预设格式的数据,如此,可以确保存入所述数据池的城市运行数据为预设格式的数据。
76.上述对初始城市数据进行数据预计算,即对初始城市数据进行初步计算,并直接将计算结果存入数据池,如此,有利于简化后续城市体现信息生成过程中的计算过程。
77.上述对初始城市数据进行数据完整性校验即在接收到所述初始城市数据时,先校验所接收到的初始城市数据是否完整,再校验通过的情况下,再执行后续的预处理和落库
步骤,反之,则重新获取完整的初始城市数据。
78.上述对初始城市数据进行数据合格性校验,即校验所述初始城市数据的数据内容是否合格,因此,数据采集过程中可能因为大量干扰因素的影响导致所采集的数据不合格,因此,可以通过具体场景分析,设定数据合格的条件,并在数据合格的情况下,执行后续预处理和落库步骤,反之,则重新获取合格的初始城市数据。
79.上述从至少两个不同数据源获取初始城市数据的数据获取方式具体可以包括以下方式:
80.(1)定时收集:通过上游业务方提供的在线接口,定时拉取约定就绪周期的cube数据内容,并对返回的数据内容按照约定格式进行数据合法校验,超过约定的最大延迟或者数据内容未通过数据合法校验,触发监控报警,并启动的数据保障机制,直至就绪或者确认数据缺失;就绪且通过校验,则对数据预处理后按cube目标格式存储。
81.(2)接收推送:接收上游业务方推送cube数据到指定地址(支持单机或者集群方式),按照约定就绪时间检查数据是否就绪,超过约定的最大延迟或者数据内容未通过数据合法校验,触发监控报警,并启动的数据保障机制,直至就绪或者确认数据缺失;就绪且通过校验,则对数据预处理后按cube目标格式存储。
82.此外,在本公开一个实施例中,上述城市运行数据的数据格式可以为:
83.(1)key格式:该格式的数据可以支持的放缩尺度、逐级汇总和多维交叉的粒度都体现在这里,通常包括以下三部分:
84.空间信息:省_市_区/县,空间细分维度类型,空间细分维度取值;
85.时间信息:时间窗口类型(年,月,日),时间窗口取值(2022,3,22);
86.描述对象信息:描述对象维度(产业态势主题),描述对象维度取值(企业所属行业)。
87.(2)value格式:包括cube的字段名,字段取值,支持单一结构和json的复合结果。
88.该实施方式中,通过在将初始城市数据进行落库之后,对初始城市数据进行格式转换处理、数据预计算、数据完整性校验和数据合格性校验等预处理,如此,可以提高所述数据池中所存储的数据的数据质量。
89.可选地,所述方法还包括:
90.在出现预设异常的情况下,输出预警信息,其中,所述预设异常包括以下至少一项:
91.从所述至少两个不同数据源获取初始城市数据的过程中的数据获取超时异常;
92.所述数据预计算的过程中的计算失败异常;
93.所述数据完整性校验的校验结果指示数据不完整;
94.所述数据合格性校验的校验结果指示数据不合格;
95.将所述城市运行数据存储于所述数据池的过程中的存储失败异常。
96.其中,上述从所述至少两个不同数据源获取初始城市数据的过程中的数据获取超时异常具体可以是指:即在约定的时间点,上游数据源未准备好所述初始城市数据,也即获取所述初始城市数据失败。在此情况下,可以向管理所述数据池的相关人员通过短信或邮件的方式进行预警,以便于相关人员在接收到预警信息之后,通知上游业务方及时将初始城市数据存放至约定的位置。
97.上述所述数据预计算的过程中的计算失败异常可以是指:在对所述初始城市数据进行预计算过程中出错的异常,此时,系统可以自动报错,并可以通过邮件或短信的方式向相关人员进行预警。
98.上述数据完整性校验的具体校验方式可以是:通过校验初始城市数据中的done文件,以确定数据是否完整。具体地,在数据完整的情况下,所述初始城市数据中会存在done文件,反正,则不会存在done文件,因此,可以通过校验所述初始城市数据中是否存在done文件,以确定数据是否完整。
99.上述校验数据是否合格可以根据具体的数据类型设定不同的数据合格条件,例如,当所述初始城市数据为通过tif文件记录的遥感数据时,可以通过校验所拍摄的遥感图像被云层遮挡的程度,以确定所述初始城市数据是否合格。具体地,通过计算mask.tif覆盖的区域面积,即遥感图像中未被云层遮挡的面积,然后,获取遥感图像所拍摄的区域的实际面积,通过计算mask.tif覆盖的区域面积与实际面积之间的比值,当该比值超过预设阈值时,确定所述初始城市数据合格,反之,确定初始城市数据不合格。
100.将所述城市运行数据存储于所述数据池的过程中的存储失败异常可以是指:在所述数据池中存储所述城市运行数据存储失败的异常。
101.上述预警的方式可以是通过短信或邮件等方式通知相关人员,以实现异常预警。
102.该实施方式中,通过监控城市体征数据生成过程中各个环节可能存在的异常,并在确定存在异常的情况下输出预警信息,如此,有利于确保城市体征数据生成过程正常的进行。
103.请参见图5,为本公开实施例提供的一种基于人工智能的信息处理系统,所述基于人工智能的信息处理系统包括:外部数据源接入模块、数据适配模块、cube解析任务池、特征计算任务池、体征指标配置模块、cube库和指标池、数据资产目录模块、任务调度模块。
104.其中,所述外部数据源模块可以用于接入各种类似的初始城市数据,其提供支持多源异构数据的接入,初始城市数据的格式包括但不限于api接口返回json数据、csv、文件系统、tif格式的遥感图像等。
105.所述数据适配模块用于对接入的数据进行格式转换处理、数据预计算、数据完整性校验和数据合格性校验等预处理,并将预处理之后得到的城市运行数据存入cube库,其中,所述cube库即上述数据池。
106.所述cube解析任务池和所述特征计算任务池分别用于基于元信息从cube库中获取城市运行数据,并基于城市运行数据计算得到原子指标。同时,所述特征计算任务池还用于从所述指标池中获取原子指标,计算得到复合指标。
107.所述体征指标配置模块支持用户在指标池中对指标的元信息进行管理。
108.所述cube库和指标池可以分别采用doris实现,如此,使得所述cube库和指标池可以分别支持后续快速扩展的海量数据、空间查询能力、多维分析能力。
109.上述任务调度模块,用于安装预设时间间隔(例如,按照月或季度)对所述cube库中的数据进行更新,在数据导入完成之后,基于任务调度模块进行任务调度,进行指标的加工计算,多个任务需要数据库可用性组(database availability group,dag)编排,依赖任务调度模块可以方便这些任务的管理、失败重试。
110.上述基于人工智能的信息处理系统可以根据指标池中的指标将相应的数据api服
务注册到数据资产目录模块,生成统一的对外数据api,实际使用时可根据项目需求,分配不同的账号权限,实现对数据资产的访问控制。
111.请参见图6,为所述任务调度模块的工作原理示意图:
112.其中,前置任务:为非必须的任务,某些数据是来自接口、csv文件、tif文件,需要配置定时任务(即前置任务)拉取数据,比如需要拉取tif文件到本地,有些数据可以直接读库,可以不需要前置任务。
113.数据同步任务(datax任务):通过reader来读取源数据,writer写入到cube库,来实现数据同步。
114.后置任务:比如可以配置shell脚本任务,当cube的数据就绪之后,定时任务请求指标计算的服务,驱动相关指标的计算和落库。
115.在本公开一个实施例中,以所述城市体征主题为生态宜居主题为例,对所述基于人工智能的信息处理方法作进一步的解释说明:
116.首先,基于第一元信息和第二元信息进行指标计算,以生态宜居主题的绿植覆盖率趋势指标计算为例,该指标适用的主题为生态宜居,指标名称为绿植覆盖率趋势,属于一个复合指标,它是一个趋势指标,作用是通过遥感解译的当地地表植被覆盖情况变化呈现生态发展,该指标的计算公式为显示同比diff=(当前时间绿植覆盖率-去年当前时间绿植覆盖率)/去年当前时间绿植覆盖率,数据显示当前时间过去一年的绿植覆盖率趋势,可视化方式为柱状图呈现时间趋势,折线图计算同比状态。其中,当前时间绿植覆盖率和去年当前时间绿植覆盖率为原子指标。
117.在具体的指标计算过程中,整个指标计算过程由定时任务驱动,首先是前置任务拉取遥感数据,数据包括mask.tif、result.tif和done文件,整个数据的校验过程为:
118.(1)首先是校验done文件,因为遥感数据一批是多个地点,tif文件包含的数据信息很丰富,所有也非常大,done文件可以直接用来校验是否一批所有的数据已经ready
119.(2)mask.tif的校验,拍摄遥感图像时可能被云层遮盖,通过计算mask.tif覆盖的区域面积,和区域实际面积进行对比,如果msk.tif覆盖的区域面积和实际面积之比大于设定的阈值,则认为这个result.tif文件是有效的,它的数据可以用来计算指标。其中,本实施例中,所述阈值为95%。
120.数据拉取、校验通过之后,接着执行数据同步任务,在这个任务中会对tif文件进行解析,将tif文件包含的时空数据信息解析出来,并保存到cube库中。其中,所述时空数据信息可以包括:遥感图像、拍摄时间和拍摄地点等信息。
121.当数据解析完成之后,执行指标计算任务,在计算指标时,从指标的元数据信息中获取计算公式,从cube库中获取计算指标需要的数据,在计算绿植覆盖率时,一个数据是区域面积,另一个数据是绿植的面积,区域面积可视为固定值,绿植面积数据则使用cube数据、通过空间计算得到,然后再计算绿植覆盖率,计算的结果可以作为当前时间点的“状态”指标进行保存,趋势指标则还要获取同比时间点的绿植覆盖了,然后根据计算公式,得到环比的趋势指标。
122.计算的指标通过openapi发布出去,城市体征openapi注册到数据资产目录,通过数据资产目录对外提供服务,数据资产目录进行权限管理,权限的管理主要是是否有访问该openapi、获取对应指标结果的权限,每秒查询率(qps,queries-per-second,qps)多少等
限制。展示层面通过openapi获取改指标的展示方式和指标的值,保证对外提供展示层面和数据层面的一致性。
123.请参见图7,为本公开实施例提供的一种基于人工智能的信息处理装置700的结构示意图,所述基于人工智能的信息处理装置700,包括:
124.生成模块701,用于基于第一元信息,利用数据池中的城市运行数据在指标池中生成原子指标,其中,所述数据池中存储有所述城市运行数据,所述指标池中存储有所述第一元信息和第二元信息,所述第一元信息包括用于生成所述原子指标的运算方式,所述第二元信息包括用于生成复合指标的运算方式;
125.所述生成模块701,用于基于所述第二元信息,利用所述指标池中的所述原子指标生成所述复合指标;
126.输出模块702,用于输出城市体征信息,其中,所述城市体征信息由所述复合指标形成。
127.可选地,所述数据池中存储有目标城市运行数据,其中,所述目标城市运行数据对应至少两个不同的原子指标,所述至少两个不同的原子指标分别基于所述目标城市运行数据生成。
128.可选地,所述指标池中存储有目标原子指标,其中,所述目标原子指标对应至少两个不同的复合指标,所述至少两个不同的复合指标分别基于所述目标原子指标生成。
129.可选地,所述城市体征信息包括至少两个不同的城市体征主题的体征信息,所述第二元信息还包括所述复合指标所属的城市体征主题,且所述复合指标用于生成所属城市体征主题的体征信息。
130.可选地,所述城市体征主题的体征信息包括至少两个城市体征子主题的体征信息,所述第二元信息还包括所述复合指标所属的城市体征子主题,且所述复合指标用于生成所属城市体征子主题的体征信息,其中,所述至少两个城市体征子主题包括:所述城市体征主题中的城市体征的实时状态信息、所述城市体征的变化信息和不同对象的所述城市体征的对比信息。
131.可选地,所述第二元信息还包括所述复合指标的展示形式和所述复合指标的层级关系信息;所述展示形式包括:仪表盘展示、柱状图展示和折线图展示;所述层级关系信息包括不同的复合指标之间的层级关系。
132.可选地,所述装置还包括:
133.获取模块703,用于从至少两个不同数据源获取初始城市数据;
134.处理模块704,用于对所述初始城市数据进行预处理,得到所述城市运行数据,其中,所述预处理包括:格式转换处理、数据预计算、数据完整性校验和数据合格性校验;
135.存储模块705,用于将所述城市运行数据存储于所述数据池。
136.可选地,所述装置还包括:
137.预警模块706,用于在出现预设异常的情况下,输出预警信息,其中,所述预设异常包括以下至少一项:
138.从所述至少两个不同数据源获取初始城市数据的过程中的数据获取超时异常;
139.所述数据预计算的过程中的计算失败异常;
140.所述数据完整性校验的校验结果指示数据不完整;
141.所述数据合格性校验的校验结果指示数据不合格;
142.将所述城市运行数据存储于所述数据池的过程中的存储失败异常。
143.需要说明地,本实施例提供的基于人工智能的信息处理装置700能够实现上述基于人工智能的信息处理方法实施例的全部技术方案,因此至少能够实现上述全部技术效果,此处不再赘述。
144.本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
145.根据本公开的实施例,本公开还提供了另一种电子设备、一种可读存储介质和一种计算机程序产品。
146.图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
147.如图8所示,电子设备800包括计算单元801,其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序,来执行各种适当的动作和处理。在ram 803中,还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
148.电子设备800中的多个部件连接至i/o接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
149.计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如基于人工智能的信息处理方法。例如,在一些实施例中,基于人工智能的信息处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到ram 803并由计算单元801执行时,执行上文描述的基于人工智能的信息处理方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行基于人工智能的信息处理方法。
150.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算
机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
151.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
152.在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
153.为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
154.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)和互联网。
155.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
156.应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
157.上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开
的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1