模型评估方法、系统、电子设备和计算机可读存储介质与流程

本公开涉及计算机技术领域，更具体地，涉及一种模型评估方法、一种模型评估系统、一种电子设备和一种计算机可读存储介质。

背景技术：

结构化业务架构描述通过自上而下的描述，实现对企业生产经营的架构、业务、系统的统一呈现。因此，业务架构描述模型的准确性对于了解企业生产经营状况有重要的意义。随着大型企业业务不断发展，业务架构描述模型也需要进行同步迭代提升。在相关技术中，迭代提升工作一般由业务需求部门完成，由于具体执行员工对业务架构和生产经营的理解水平不同，业务架构管理部门需要评估迭代提升的业务架构建模成果的成熟度和迭代后的业务架构成熟度。目前，对于业务架构描述模型，没有定量评估的方法，一般只能通过定性评估，例如，采用多名专家对新增业务架构描述模型进行评估，但是，发明人发现该评估方法需要的时间和人力成本高，且评估结果高度依赖评估人的经验。

技术实现要素：

有鉴于此，本公开提供了一种模型评估方法、一种模型评估系统、一种电子设备和一种计算机可读存储介质。

本公开的一个方面提供了一种模型评估方法，包括：根据多个存量的业务架构描述模型构建基础数据库，其中，上述基础数据库包括每个存量的业务架构描述模型的质量分析信息；获取待评估的新增业务架构描述模型，其中，上述新增业务架构描述模型包括多条用于描述上述新增业务架构描述模型的描述条目；以及基于上述基础数据库中的质量分析信息，对上述新增业务架构描述模型的描述条目进行质量评估。

根据本公开的实施例，上述每个存量的业务架构描述模型的质量分析信息包括以下至少之一：每个存量的业务架构描述模型的各个构成部分的数学统计信息、各个构成部分的关联关系分析信息、聚类信息和语义分析信息。

根据本公开的实施例，基于上述基础数据库中的质量分析信息，对上述新增业务架构描述模型的描述条目进行质量评估包括：基于上述数学统计信息和/或上述关联关系分析信息，对上述新增业务架构描述模型的描述条目进行评估，确定上述新增业务架构描述模型的描述条目是否满足筛选条件；以及筛除不满足上述筛选条件的描述条目，得到满足上述筛选条件的描述条目。

根据本公开的实施例，上述的方法还包括：在得到满足上述筛选条件的描述条目之后，对上述每个存量的业务架构描述模型和上述新增业务架构描述模型进行关联式规则挖掘；以及基于关联式规则挖掘结果，通过异常检测对上述满足上述筛选条件的描述条目进行再次筛选，筛除异常描述条目。

根据本公开的实施例，上述的方法还包括：使用聚类分析方法对上述新增业务架构描述模型和上述基础数据库中存量的业务架构描述模型进行聚类分析；基于聚类分析结果确定上述新增业务架构描述模型和上述基础数据库中存量的业务架构描述模型之间的关联程度；以及基于与上述新增业务架构描述模型的关联程度满足预设阈值的存量业务架构描述模型的质量，确定上述新增业务架构描述模型的质量。

根据本公开的实施例，上述的方法还包括：在得到满足上述筛选条件的描述条目之后，或者在筛除异常描述条目之后，对上述新增业务架构描述模型中未进行分析的剩余描述条目进行语义分析；以及筛除不满足语义分析条件的剩余描述条目。

根据本公开的实施例，上述的方法还包括：在对上述新增业务架构描述模型的描述条目进行质量评估之后，生成关于上述新增业务架构描述模型的质量评估结果的可视化图表。

本公开的另一个方面提供了一种模型评估系统，包括：构建模块，用于根据多个存量的业务架构描述模型构建基础数据库，其中，上述基础数据库包括每个存量的业务架构描述模型的质量分析信息；获取模块，用于获取待评估的新增业务架构描述模型，其中，上述新增业务架构描述模型包括多条用于描述上述新增业务架构描述模型的描述条目；以及评估模块，用于基于上述基础数据库中的质量分析信息，对上述新增业务架构描述模型的描述条目进行质量评估。

根据本公开的实施例，上述每个存量的业务架构描述模型的质量分析信息包括以下至少之一：每个存量的业务架构描述模型的各个构成部分的数学统计信息、各个构成部分的关联关系分析信息、聚类信息和语义分析信息。

根据本公开的实施例，上述评估模块包括：评估单元，用于基于上述数学统计信息和/或上述关联关系分析信息，对上述新增业务架构描述模型的描述条目进行评估，确定上述新增业务架构描述模型的描述条目是否满足筛选条件；以及筛除单元，用于筛除不满足上述筛选条件的描述条目，得到满足上述筛选条件的描述条目。

根据本公开的实施例，上述的系统还包括：数据挖掘分析模块，用于在得到满足上述筛选条件的描述条目之后，对上述每个存量的业务架构描述模型和上述新增业务架构描述模型进行关联式规则挖掘；上述筛除单元，还用于基于关联式规则挖掘结果通过异常检测对上述满足上述筛选条件的描述条目进行再次筛选，筛除异常描述条目。

根据本公开的实施例，上述数据挖掘分析模块还用于：使用聚类分析系统对上述新增业务架构描述模型和上述基础数据库中存量的业务架构描述模型进行聚类分析；基于聚类分析结果确定上述新增业务架构描述模型和上述基础数据库中存量的业务架构描述模型之间的关联程度；以及基于与上述新增业务架构描述模型的关联程度满足预设阈值的存量业务架构描述模型的质量，确定上述新增业务架构描述模型的质量。

根据本公开的实施例，上述的系统还包括：语义分析模块，用于在得到满足上述筛选条件的描述条目之后，或者在筛除异常描述条目之后，对上述新增业务架构描述模型中未进行分析的剩余描述条目进行语义分析；以及上述筛除单元还用于筛除不满足语义分析条件的剩余描述条目。

根据本公开的实施例，上述的系统还包括报表模块，还用于在对上述新增业务架构描述模型的描述条目进行质量评估之后，生成关于上述新增业务架构描述模型的质量评估结果的可视化图表。

本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个指令，其中，当上述一个或多个指令被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如上所述的方法。

本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

通过本公开的实施例，根据多个存量的业务架构描述模型构建基础数据库，基于基础数据库中每个存量的业务架构描述模型的质量分析信息，对新增业务架构描述模型的描述条目进行质量评估，使得可以根据基础数据库中每个存量的业务架构描述模型的质量分析信息自动对新增业务架构描述模型的描述条目进行质量评估，至少部分解决了高度依赖专家和无法定量评估的技术问题，使评估成本和质量能够符合业务发展、系统迭代的需要。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的可以应用模型评估方法及系统的示例性系统架构；

图2示意性示出了根据本公开实施例的模型评估方法的流程图；

图3示意性示出了根据本公开实施例的业务架构描述模型的示意图；

图4示意性示出了根据本公开实施例的产品模型的示意图；

图5示意性示出了根据本公开实施例的实体模型的示意图；

图6示意性示出了根据本公开实施例的对新增业务架构描述模型的描述条目进行质量评估的流程图；

图7示意性示出了根据本公开另一实施例的对新增业务架构描述模型的描述条目进行质量评估的流程图；

图8示意性示出了根据本公开另一实施例的对新增业务架构描述模型的描述条目进行质量评估的流程图；

图9示意性示出了根据本公开另一实施例的对新增业务架构描述模型的描述条目进行质量评估的流程图；

图10示意性示出了根据本公开另一实施例的新增业务架构描述模型的质量评估的流程图；

图11示意性示出了根据本公开实施例的模型评估系统的框图；以及

图12示意性示出了根据本公开实施例的适于实现上文描述的模型评估方法的计算机系统的框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。在使用类似于“a、b或c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b或c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。

本公开的实施例提供了一种模型评估方法，该方法包括：根据多个存量的业务架构描述模型构建基础数据库，其中，基础数据库包括每个存量的业务架构描述模型的质量分析信息；获取待评估的新增业务架构描述模型，其中，新增业务架构描述模型包括多条用于描述新增业务架构描述模型的描述条目；以及基于基础数据库中的质量分析信息，对新增业务架构描述模型的描述条目进行质量评估。

图1示意性示出了根据本公开实施例的可以应用模型评估方法及系统的示例性系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括业务架构建模人员使用的终端设备101，业务架构评估人员使用的终端设备102，质量评估服务器103，存储存量的业务架构描述模型服务器104和其他服务器105。终端设备101和102，服务器103、104和105之间可以通过有线和/或无线通信链路通信连接。

业务架构建模人员可以使用终端设备101构建企业新的业务架构描述模型。业务架构评估人员可以使用终端设备102发起新增业务架构描述模型的评估请求，质量评估服务器103可以对评估请求进行响应。质量评估服务器103可以预先从存储业务架构描述模型服务器104中获取多个存量的业务架构描述模型，根据多个存量的业务架构描述模型，按照统计学和数据挖掘方法，计算生成用于业务架构质量分析的基础数据库，该数据库包括了模型各构成部分的数学统计信息、关联关系分析信息、聚类信息、语义分析信息。根据本公开的实施例，模型各构成部分例如可以包括领域、活动、任务、实体、产品等等。

终端设备101和102可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器103～105可以是提供各种服务的服务器，例如对用户利用终端设备101和102所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的模型评估方法一般可以由服务器103执行。相应地，本公开实施例所提供的模型评估系统一般可以设置于服务器103中。本公开实施例所提供的模型评估方法也可以由不同于服务器103且能够与终端设备101、102和/或服务器103等通信的服务器或服务器集群执行。相应地，本公开实施例所提供的模型评估系统也可以设置于不同于服务器103且能够与终端设备101、102和/或服务器103通信的服务器或服务器集群中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2示意性示出了根据本公开实施例的模型评估方法的流程图。

如图2所示，该方法包括操作s210～s230。

在操作s210，根据多个存量的业务架构描述模型构建基础数据库，其中，基础数据库包括每个存量的业务架构描述模型的质量分析信息。

根据本公开的实施例，存量的业务架构描述模型可以是已经构建完成并且进行质量评估后质量较好的业务架构描述模型。存量的业务架构描述模型也可以是专门用于进行质量评估的业务架构描述模型的模板模型。

根据本公开的实施例，每个存量的业务架构描述模型的质量分析信息可以包括以下至少之一：每个存量的业务架构描述模型的各个构成部分的数学统计信息、各个构成部分的关联关系分析信息、聚类信息和语义分析信息。

在操作s220，获取待评估的新增业务架构描述模型，其中，新增业务架构描述模型包括多条用于描述新增业务架构描述模型的描述条目。

根据本公开的实施例，新增业务架构描述模型可以是业务架构建模人员新构建的企业业务模型。用于描述新增业务架构描述模型的描述条目可以是关于新增业务架构描述模型各个构成部分的描述条目。

在操作s230，基于基础数据库中的质量分析信息，对新增业务架构描述模型的描述条目进行质量评估。

图3示意性示出了根据本公开实施例的业务架构描述模型的示意图。

根据本公开的实施例，业务架构的描述是一种自上而下结构化描述企业业务的方法，业务架构描述模型是通过对企业业务进行自上而下的结构化描述得到的，业务架构描述模型包括用于实现对企业生产经营的架构、业务、系统进行描述的描述条目。

如图3所示，业务架构描述模型300的描述条目例如可以包括企业中使用的业务架构流程模型301、产品模型302、实体模型303的文字描述和关联关系。根据本公开的实施例，新增业务架构描述模型和存量的业务架构描述模型的构成可以参考业务架构描述模型300。

根据本公开的实施例，流程模型301可以是指不同业务领域的业务基于业务的计划、执行、监督价值流进行划分，将各价值流划分为不同活动，活动中分解出任务，任务根据业务规则和条件分解为步骤之后的流程描述，例如，流程模型301可以包括五个层级，业务领域-价值流-活动-任务-步骤。

以银行业务为例，在流程模型301中，业务领域一般包括但不限于：个人存款、个人账户、信用卡、个人贷款等。价值流一般包括但不限于：业务计划、业务准备、服务客户等。活动一般包括但不限于：制定管理制度、发放信用卡、提取信用卡资金、归还信用卡欠款等。任务一般包括但不限于：识别个人客户、监控实时欺诈风险、受理信用卡资金提取申请、结算外汇等。

根据本公开的实施例，具体地，以信用卡为例，存量的架构流程模型任务可以是如表1所示。

表1

根据本公开的实施例，与以上存量条目相关的一个新增业务架构描述模型的架构流程模型任务的描述条目可以是如表2所示。其中，表2所示的架构流程模型任务可以是质量合格的任务。

表2

根据本公开的实施例，反之，如果新增业务架构描述模型的架构流程模型任务的描述条目如表3所示，则可以认为架构流程模型任务是质量不合格的任务。

表3

根据本公开的实施例，对于表3中的描述条目，可以通过使用数据挖掘模块识别：范围描述中包括了信用卡业务架构模型不包含的对公内容，如企业授权额度，关联的产品与信用卡业务领域无关。

根据本公开的实施例，对于表3中的描述条目，可以通过语义分析模块识别：定义中混合使用了对公额度和个人额度的描述。

图4示意性示出了根据本公开实施例的产品模型的示意图。

如图4所示，根据本公开的实施例，在产品模型302中，可以是一套定义企业产品的标准结构，例如包括产品线、产品组、基础产品、可售产品、产品间的关联关系。

以银行业务为例，产品模型302一般包括但不限于：借记卡、贷记卡、准贷记卡、国际借记卡等。

图5示意性示出了根据本公开实施例的实体模型的示意图。

如图5所示，根据本公开的实施例，在实体模型303中，记录了各业务对象(例如，业务对象1和业务对象2)的业务内容，每一个业务对象都包含了核心实体、生命周期(核心实体的状态)、从属实体(描述核心实体属性信息)、业务对象间的关联关系、约束条件。

以银行业务为例，实体模型303的业务对象一般包括但不限于：参与人信息、参与人生命周期、账户信息、介质信息等。

另外，业务架构描述模型300还可以包括以上业务架构流程模型301、产品模型302、实体模型303中各层级构件之间的一对一或者一对多的关联关系。

根据本公开的实施例，新增业务架构描述模型可以是针对企业生产经营的架构、业务、系统的抽象呈现，一般包括大量的用于描述架构、业务、系统的描述条目，如果通过专家或者其他评估人员评估，不仅耗时耗力，而且过度依赖专家或者评估人员的经验。通过本公开的实施例，根据多个存量的业务架构描述模型构建基础数据库，基于基础数据库中每个存量的业务架构描述模型的质量分析信息，对新增业务架构描述模型的描述条目进行质量评估，使得可以根据基础数据库中每个存量的业务架构描述模型的质量分析信息自动对新增业务架构描述模型的描述条目进行质量评估，至少部分解决了高度依赖专家和无法定量评估的技术问题，使评估成本和质量能够符合业务发展、系统迭代的需要。

下面参考图6～图10，结合具体实施例对图2所示的方法做进一步说明。

图6示意性示出了根据本公开实施例的对新增业务架构描述模型的描述条目进行质量评估的流程图。

如图6所示，基于基础数据库中的质量分析信息，对新增业务架构描述模型的描述条目进行质量评估包括操作s610～s620。

在操作s610，基于数学统计信息和/或关联关系分析信息，对新增业务架构描述模型的描述条目进行评估，确定新增业务架构描述模型的描述条目是否满足筛选条件。

根据本公开的实施例，数学统计信息例如可以是正常描述条目的字数，关联关系分析信息例如可以是不同模型之间的关联关系。对于新增业务架构描述模型中字数仅有几个字的条目，未与其他任务建立关系的孤立任务描述条目、无不同模型之间关联信息的条目可以认为是不满足筛选条件的描述条目。

在操作s620，筛除不满足筛选条件的描述条目，得到满足筛选条件的描述条目。

根据本公开的实施例，例如，可以筛除字数仅有几个字的条目，未与其他任务建立关系的孤立任务描述条目、无不同模型之间关联信息的条目。可以将不满足筛选条件的描述条目与满足筛选条件的描述条目进行分类，也可以是将不满足筛选条件的描述条目直接删除。

图7示意性示出了根据本公开另一实施例的对新增业务架构描述模型的描述条目进行质量评估的流程图。

如图7所示，在该实施例中，除了包括操作s610～s620之外，对新增业务架构描述模型的描述条目进行质量评估还可以包括操作s710～s720。

在操作s710，在得到满足筛选条件的描述条目之后，对每个存量的业务架构描述模型和新增业务架构描述模型进行关联式规则挖掘。

在操作s720，基于关联式规则挖掘结果，通过异常检测对满足筛选条件的描述条目进行再次筛选，筛除异常描述条目。

根据本公开的实施例，可以使用大数据技术原理，对存量的业务架构描述模型和新增业务架构描述模型进行关联式规则挖掘，通过异常检测筛选异常描述条目。

图8示意性示出了根据本公开另一实施例的对新增业务架构描述模型的描述条目进行质量评估的流程图。

如图8所示，在该实施例中，除了包括操作s610～s620，s710～s720之外，对新增业务架构描述模型的描述条目进行质量评估还可以包括操作s810～s830。

在操作s810，使用聚类分析方法对新增业务架构描述模型和基础数据库中存量的业务架构描述模型进行聚类分析。

在操作s820，基于聚类分析结果确定新增业务架构描述模型和基础数据库中存量的业务架构描述模型之间的关联程度。

在操作s830，基于与新增业务架构描述模型的关联程度满足预设阈值的存量业务架构描述模型的质量，确定新增业务架构描述模型的质量。

根据本公开的实施例，可以使用聚类分析方法对新增业务架构描述模型进行分组，通过以上分析方式，判断增量新增业务架构描述模型和基础数据库中存量的业务架构描述模型之间的关联程度和质量水平

根据本公开的实施例，可以输出增量新增业务架构描述模型和基础数据库中存量的业务架构描述模型的质量偏离度、模型的分级打分、存量建模成果的统计数据等数值，提高评估效率，降低了人力成本。

图9示意性示出了根据本公开另一实施例的对新增业务架构描述模型的描述条目进行质量评估的流程图。

如图9所示，对新增业务架构描述模型的描述条目进行质量评估包括操作s910～s920。

在操作s910，在得到满足筛选条件的描述条目之后，或者在筛除异常描述条目之后，对新增业务架构描述模型中未进行分析的剩余描述条目进行语义分析。

在操作s920，筛除不满足语义分析条件的剩余描述条目。

根据本公开的实施例，可以通过语义分析方法，分析新增业务架构描述模型中设置的关联关系是否与新增业务架构描述模型中语言描述相关。另外，通过语义分析方法，还可以分析新增业务架构描述模型描述条目中描述的业务目的、定义、范围是否与该新增业务架构描述模型描述条目所属的业务领域相关。在不相关的情况下，可以将该描述条目标记为不合格条目，或者标记为可疑条目。

根据本公开的实施例，筛除不满足语义分析条件的剩余描述条目可以是将不满足语义分析条件的剩余描述条目与满足语义分析条件的剩余描述条目进行分类，也可以是将不满足语义分析条件的剩余描述条目删除。

根据本公开的实施例，新增业务架构描述模型描述条目可以是更新和修改现有的业务架构模型组件的描述条目。对于每一个修改或更新业务架构描述模型的描述条目，本公开可以对该描述条目进行评估打分。

根据本公开的实施例，在对新增业务架构描述模型的描述条目进行质量评估之后，可以生成关于新增业务架构描述模型的质量评估结果的可视化图表。

根据本公开的实施例，可以将处理过的新增业务架构描述模型的数据，根据输入的数据格式，生成可视化图表供使用者参考。达到了自动化评估，可视化展示的效果，同时有利于使用者查找新增业务架构描述模型存在的问题，提高了工作效率。

图10示意性示出了根据本公开另一实施例的新增业务架构描述模型的质量评估的流程图。

如图10所示，该方法包括操作s1010～s1060。

在操作s1010，根据实际需要，确定是否需要调整质量参数。以金融业务为例，质量参数可以是：字数区间、同原有领域架构流程模型之间关联关系的相似程度、同原有领域流程模型所关联的实体模型相似程度等。

在操作s1020，将新增业务架构描述模型数据导入数据库。

在操作s1030，排除可以简单认为质量不通过的低质量条目数据，初步筛选出待进一步评估质量的新增业务架构描述模型的描述条目。

在操作s1040，挖掘新增业务架构描述模型与存量业务架构描述模型之间的关联度，筛选异常条目，判断条目集合的总体质量水平。

在操作s1050，使用语义分析筛选引擎，确认新增业务架构描述模型中的语言描述是否同本业务领域相关是否符合其描述的模型间关联关系。

在操作s1060，输出当次增量模型的数据质量报表。

本公开可以解决业务架构质量评估过程中的高度依赖专家、无法定量评估、耗费时间人力成本高等问题。可以降低质量评估的成本和质量，使得业务架构质量评估符合当前大型企业各类业务高速发展、信息系统代码频繁迭代的需要。同时，数据挖掘和语义分析的数据积累，也可提升模型评估系统的准确性，为企业从整体上评估企业业务架构描述模型的质量提供定量的分析结果。

根据本公开的实施例，还提供一种评估业务架构描述模型成熟度的模型评估系统，该模型评估系统可以用于业务架构描述模型的后评估工作，用于评价企业业务架构描述模型的准确性和成熟度。

图11示意性示出了根据本公开实施例的模型评估系统的框图。

如图11所示，模型评估系统1100包括构建模块1110、获取模块1120和评估模块1130。

构建模块1110用于根据多个存量的业务架构描述模型构建基础数据库，其中，基础数据库包括每个存量的业务架构描述模型的质量分析信息。

获取模块1120用于获取待评估的新增业务架构描述模型，其中，新增业务架构描述模型包括多条用于描述新增业务架构描述模型的描述条目。

评估模块1130用于基于基础数据库中的质量分析信息，对新增业务架构描述模型的描述条目进行质量评估。

根据本公开的实施例，每个存量的业务架构描述模型的质量分析信息包括以下至少之一：每个存量的业务架构描述模型的各个构成部分的数学统计信息、各个构成部分的关联关系分析信息、聚类信息和语义分析信息。

根据本公开的实施例，评估模块1130包括评估单元和筛除单元。

评估单元用于基于数学统计信息和/或关联关系分析信息，对新增业务架构描述模型的描述条目进行评估，确定新增业务架构描述模型的描述条目是否满足筛选条件。

筛除单元用于筛除不满足筛选条件的描述条目，得到满足筛选条件的描述条目。

根据本公开的实施例，模型评估系统1100还包括数据挖掘分析模块，用于在得到满足筛选条件的描述条目之后，对每个存量的业务架构描述模型和新增业务架构描述模型进行关联式规则挖掘。

根据本公开的实施例，筛除单元还用于基于关联式规则挖掘结果通过异常检测对满足筛选条件的描述条目进行再次筛选，筛除异常描述条目。

根据本公开的实施例，数据挖掘分析模块还用于：使用聚类分析系统对新增业务架构描述模型和基础数据库中存量的业务架构描述模型进行聚类分析；基于聚类分析结果确定新增业务架构描述模型和基础数据库中存量的业务架构描述模型之间的关联程度；以及基于与新增业务架构描述模型的关联程度满足预设阈值的存量业务架构描述模型的质量，确定新增业务架构描述模型的质量。

根据本公开的实施例，模型评估系统1100还包括语义分析模块，用于在得到满足筛选条件的描述条目之后，或者在筛除异常描述条目之后，对新增业务架构描述模型中未进行分析的剩余描述条目进行语义分析。

根据本公开的实施例，筛除单元还用于筛除不满足语义分析条件的剩余描述条目。

根据本公开的实施例，模型评估系统1100还包括报表模块，还用于在对新增业务架构描述模型的描述条目进行质量评估之后，生成关于新增业务架构描述模型的质量评估结果的可视化图表。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，构建模块1110、获取模块1120和评估模块1130中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，构建模块1110、获取模块1120和评估模块1130中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，构建模块1110、获取模块1120和评估模块1130中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

需要说明的是，本公开的实施例中模型评估系统部分与本公开的实施例中模型评估方法部分是相对应的，模型评估系统部分的描述具体参考模型评估方法部分，在此不再赘述。

根据本公开的实施例，还提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个指令，其中，当一个或多个指令被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。

图12示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的框图。图12示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图12所示，根据本公开实施例的计算机系统1200包括处理器1201，其可以根据存储在只读存储器(rom)1202中的程序或者从存储部分1208加载到随机访问存储器(ram)1203中的程序而执行各种适当的动作和处理。处理器1201例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器1201还可以包括用于缓存用途的板载存储器。处理器1201可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在ram1203中，存储有系统1200操作所需的各种程序和数据。处理器1201、rom1202以及ram1203通过总线1204彼此相连。处理器1201通过执行rom1202和/或ram1203中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom1202和ram1203以外的一个或多个存储器中。处理器1201也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，系统1200还可以包括输入/输出(i/o)接口1205，输入/输出(i/o)接口1205也连接至总线1204。系统1200还可以包括连接至i/o接口1205的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分1207；包括硬盘等的存储部分1208；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至i/o接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入存储部分1208。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被处理器1201执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom1202和/或ram1203和/或rom1202和ram1203以外的一个或多个存储器。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。