研发质量评价方法、装置、设备及介质与流程

1.本公开涉及大数据领域，可用于金融领域或其他领域，更具体地涉及一种研发质量评价方法、装置、设备、介质和程序产品。


背景技术：

2.目前，对于项目研发质量的评价管理主要通过手工处理分析，例如，通过手工定期或不定期地对研发过程中产生的数据进行统计，得到相应的业务研发指标，然后根据业务研发指标是否满足预期来评估研发质量。然而，这种依靠手工统计分析的方式存在明显滞后性，尤其是在项目研发过程中的各种数据持续快速变化的情况下。


技术实现要素：

3.鉴于上述问题，本公开提供了提高评价时效性的研发质量评价方法、装置、设备、介质和程序产品。
4.本公开实施例的第一方面，提供了一种研发质量评价方法。所述方法包括如下过程。首先确定待评价的需求项，其中，一个研发项目包括一个或多个需求项。然后响应于本次评价任务的启动，获取所述待评价的需求项的扩展信息截止第一时刻的更新数据，以得到目标数据集，其中，所述扩展信息是伴随着需求项的研发推进而产生的信息，所述第一时刻为以所述本次评价任务的启动时刻为计时起点的预设时长的终止时刻。接着基于利用所述目标数据集能够计算得到的m个业务研发指标，筛选出m个精细粒度检查项，其中，每个精细粒度检查项为预置的用于计算一个业务研发指标的计算模型；其中，m为大于或等于1的整数；由所述m个精细粒度检查项组合得到所述待评价的需求项的个性化检查规则模型。接下来执行所述待评价的需求项的个性化检查规则模型，得到所述待评价的需求项在所述m个业务研发指标上的取值。
5.根据本公开的实施例，所述获取所述待评价的需求项的扩展信息截止第一时刻的更新数据，以得到目标数据集包括：生成用于记录所述待评价的需求项的所述扩展信息的数据表在所述第一时刻的快照，以得到所述目标数据集。
6.根据本公开的实施例，所述基于利用所述目标数据集能够计算得到的m个业务研发指标，筛选出m个精细粒度检查项包括：基于所述目标数据集，确定所述待评价的需求项当前所处的运行阶段；获取在当前所处的运行阶段下用于评价所述待评价的需求项的业务研发指标清单；从所述业务研发指标清单中确定出所述m个业务研发指标；以及基于所述m个业务研发指标，筛选所述m个精细粒度检查项。
7.根据本公开的实施例，所述从所述业务研发指标清单中确定出所述m个业务研发指标包括：当所述本次评价任务为对所述待评价的需求项的首次评价任务时，确定所述m个业务研发指标包括所述业务研发指标清单中的全部业务研发指标。
8.根据本公开的实施例，所述从所述业务研发指标清单中确定出所述m个业务研发指标包括：当所述本次评价任务为对所述待评价的需求项的首次评价任务之后的评价任务
时，比较所述目标数据集与参考数据集，以得到n个差异数据，其中，n为整数；所述参考数据集为所述本次评价任务的之前的评价任务中获得的所述扩展信息的更新数据；以及当n大于零时，从所述业务研发指标清单中选择出所述n个差异数据中每个数据参与计算的业务研发指标，以得到所述m个业务研发指标。
9.根据本公开的实施例，在所述响应于本次评价任务的启动，获取所述待评价的需求项的扩展信息截止第一时刻的更新数据之前，所述方法还包括：定时启动对所述待评价的需求项的评价任务。
10.根据本公开的实施例，所述执行所述待评价的需求项的个性化检查规则模型包括：以所述目标数据集作为所述m个精细粒度检查项中每个精细粒度检查项的输入数据，运行每个精细粒度检查项，以得到每个精细粒度检查项输出的研发任务评价指标。
11.根据本公开的实施例，所述执行所述待评价的需求项的个性化检查规则模型包括：所述m个精细粒度检查项中每个精细粒度检查项在一个沙箱环境下运行，不同的精细粒度检查项相互隔离。
12.根据本公开的实施例，所述执行所述待评价的需求项的个性化检查规则模型还包括：将所述待评价的需求项的个性化检查规则模型作为一个工作流，导入工作流队列等待处理；其中，所述工作流队列中排列有包括所述待评价的需求项在内的r个需求项的个性化检查规则模型，其中，r为大于1的整数；以及通过线程池管理调度并发执行所述r个需求项的个性化检查规则模型。
13.根据本公开的实施例，所述方法还包括：当所述待评价的需求项在所述m个业务研发指标上的取值存在异常值时，向用户端输出存在异常值的业务研发指标。
14.根据本公开的实施例，在所述响应于本次评价任务的启动，获取所述待评价的需求项的扩展信息截止第一时刻的更新数据，以得到目标数据集之前，所述方法还包括：当所述扩展信息中的数据来自多个平台时，按照每个平台的数据更新频率，同步更新所述扩展信息中来自该平台的数据。
15.本公开实施例的另一方面，提供了一种研发质量评价装置。所述装置包括确定模块、获取模块、个性化模型创建模块和评价模块。确定模块用于确定待评价的需求项；其中，一个研发项目包括一个或多个需求项。获取模块用于响应于本次评价任务的启动，获取所述待评价的需求项的扩展信息截止第一时刻的更新数据，以得到目标数据集；其中，所述扩展信息是伴随着需求项的研发推进而产生的信息，所述第一时刻为以所述本次评价任务的启动时刻为计时起点的预设时长的终止时刻。个性化模型创建模块用于基于利用所述目标数据集能够计算得到的m个业务研发指标，筛选出m个精细粒度检查项，其中，每个精细粒度检查项为预置的用于计算一个业务研发指标的计算模型；其中，m为大于或等于1的整数；由所述m个精细粒度检查项组合得到所述待评价的需求项的个性化检查规则模型。评价模块用于执行所述待评价的需求项的个性化检查规则模型，得到所述待评价的需求项在所述m个业务研发指标上的取值。
16.根据本公开的实施例，所述装置还包括精细粒度检查项设置模块以及模型存储模块。所述精细粒度检查项设置模块用于针对可收集到的所有业务研发指标中每个业务研发指标，设置一个用于计算该业务研发指标的计算模型，即精细粒度检查项。所述模型存储模块用于存储预先设置的精细粒度检查项，以备筛选调用。
17.根据本公开的实施例，所述个性化模型创建模块包括运行阶段确定子模块、指标清单获取子模块、指标确定子模块以及筛选子模块。所述运行阶段确定子模块用于基于所述目标数据集，确定所述待评价的需求项当前所处的运行阶段。所述指标清单获取子模块用于获取在当前所处的运行阶段下用于评价所述待评价的需求项的业务研发指标清单。所述指标确定子模块用于从所述业务研发指标清单中确定出所述m个业务研发指标。所述筛选子模块用于基于所述m个业务研发指标，筛选所述m个精细粒度检查项。
18.本公开实施例的第三方面，还提供了一种电子设备。所述电子设备包括一个或多个处理器、以及一个或多个存储器。所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述方法。
19.本公开实施例的第四方面，还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述方法。
20.本公开实施例的第五方面，还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法。
21.上述一个或多个实施例具有如下优点或有益效果：可以至少部分地实现对需求项研发质量的自动化评价，提高了研发质量评价的实效性。而且，利用预置的精细粒度检查项组合来创建个性化检查规则模型，可以减少研发质量评价过程中的实时计算量和计算复杂度。而且，预置的精细粒度检查项可以在不同需求项的评价过程中复用，提高了对大量需求项的评价管理效率。
附图说明
22.通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
23.图1示意性示出了根据本公开实施例的研发质量评价方法、装置、设备、介质和程序产品的系统架构；
24.图2示意性示出了根据本公开实施例的研发质量评价方法的流程图；
25.图3示意性示出了根据本公开一实施例的研发质量评价方法中创建个性化检查规则模型的流程示意；
26.图4示意性示出了根据本公开另一实施例的研发质量评价方法中创建个性化检查规则模型的流程图；
27.图5示意性示出了根据本公开一实施例的创建个性化检查规则模型的过程中确定m个业务研发指标的流程图；
28.图6示意性示出了根据本公开另一实施例的研发质量评价方法的应用流程图；
29.图7示意性示出了根据本公开实施例的研发质量评价装置的结构框图；以及
30.图8示意性示出了适于实现根据本公开实施例的研发质量评价方法的电子设备的方框图。
具体实施方式
31.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细
节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
32.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
33.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
34.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。
35.本文中所使用的关键术语解释如下：
36.需求项：可以是一个研发项目，也可以是从一个研发项目中拆分出的细粒度的研发内容。在一个实施例中，可以从一个项目涉及到的实施人员的角色的角度拆分出多个需求项，例如，将每个角色(例如，开发人员、设计人员或测试人员)执行的研发内容作为一个需求项。这样一个需求项可以聚焦到实施人员的层面。在另一些实施例中，也可以从一个项目整个生命周期中所经历的阶段的角度拆分出多个需求项，例如可以将每个阶段(例如，立项阶段、开发阶段、测试阶段、验收阶段、或投产阶段)的研发内容分别作为需求项。
37.扩展信息：也称需求项的扩展信息，是伴随着需求项的研发推进而产生的信息，是随着需求项的实施可能会发生变化的信息，诸如需求项的参与人员信息、投入资源信息、或设计研发测试情况等。例如，需求项的实施人员可能会发生改变，例如研发人员从张三变成李四。又例如，对需求项的投入资源(例如，资金或设备)的数量和内容可能随着需求项的进展难易程度而发生改变。再例如，随着需求项的进展，需求项所处的阶段、进度、预期完成时间、出现的故障信息、故障修复情况等信息也会发生改变。随着需求项的推进而产生的，在需求项的推进过程中可能会发生改变的这些信息，在本文中统称为“扩展信息”。
38.基本信息：也称需求项的基本信息，是与扩展信息相对的概念，是需求项创立后就不会发生变化的信息，诸如需求项的名称、创建时间、身份标识、发起人、创建原因和目的等信息。这些信息在需求项创建之后就确定了，主要用于标识和定位需求项。
39.业务研发指标：可以有很多，伴随一个项目的发起、立项、设计、开发、测试、验收和/或投产等整个生命周期内，不同阶段都会有不同的指标，而且不同阶段中根据项目的参与者和该阶段的特点也会有不同的指标。例如，项目发起时，会基于项目的发起方的能力、历史业绩得到发起方资格指标、项目立项指标等。项目设计阶段，会有交付及时性指标、是否延期指标、返工修改指标等。这些指标中的任意一个都可以称为业务研发指标。
40.精细粒度检查项：是用于计算业务研发指标的计算模型，是本方案中新提出的概念。一个精细粒度检查项是通过将一个业务研发指标的算法逻辑封装而成的程序模块，可
以被存储下来以备调用，可以复用。这样，对业务研发指标的计算过程可以与需求项本身解耦。
41.本公开实施例提供了一种研发质量评价方法、装置、设备、介质和程序产品。该方法可以对每个待评价的需求项，根据其最新的扩展信息，从预置的大量精细粒度检查项中筛选出部分精细粒度检查项进行组合，创建个性化检查规则模型，进而可以通过执行个性化检查规则模型，对待评价的需求项的研发质量进行自动评价。这样，一方面实现了研发质量评价的自动化处理，另一方面可以根据需求项的最新扩展信息对需求项进行评价，提高了研发质量评价的实效性。更进一步地，本公开实施例中利用预置的精细粒度检查项组合得到个性化检查规则模型，可以减少研发质量评价过程中的实时计算量和计算复杂度。而且，预置的精细粒度检查项可以在不同需求项的评价过程中复用，提高了对大量需求项的评价管理效率。
42.需要说明的是，本公开实施例提供的研发质量评价方法、装置、设备、介质和程序产品可用于金融领域，也可用于除金融领域之外的任意领域，本公开对应用领域不做限定。
43.图1示意性示出了根据本公开实施例的研发质量评价方法、装置、设备、介质和程序产品的系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
44.如图1所示，根据该实施例的系统架构100可以包括研发质量管理平台101，终端设备102、103，以及一个或多个数据平台104、105、106。
45.研发质量管理平台101可以与数据平台104、105、106通信连接。数据平台104、105、106例如可以是为不同部门、或不同研发团队的业务运行提供支持的数据平台，诸如，存储原始数据的共享数据仓库、集中录入人员信息的人员管理平台、集中录入项目进度的项目管理平台、和/或集中录入与外部供应商的合作信息的供应商管理平台等。研发质量管理平台101可以从数据平台104、105、106中同步每个需求项的基本信息和扩展信息。当然，在一些实施例中，需求项的基本信息和扩展信息的原始数据，也可以全部或至少部分地存储于研发质量管理平台101。
46.研发质量管理平台101可以与终端设备102、103通信。用户可以使用终端设备101、102与研发质量管理平台101交互，以接收或发送消息等。例如，用户可以通过在终端设备102、103中的操作指定待评价的需求项，或者启动评价任务的执行，或者设置定时评价任务的定时执行机制等。再例如，用户还可以通过在终端设备102、103接收研发质量管理平台101针对待评价的需求项的研发质量评价结果(诸如，是否存在异常，或者异常的指标情况等)。
47.需要说明的是，本公开实施例所提供的研发质量评价方法一般可以由研发质量管理平台101执行。相应地，本公开实施例所提供的研发质量评价装置、设备、介质和程序产品一般可以设置于研发质量管理平台101中。
48.以下将基于图1描述的系统架构，通过图2～图6对本公开实施例的研发质量评价方法进行详细描述。
49.图2示意性示出了根据本公开实施例的研发质量评价方法的流程图。
50.如图2所示，该实施例的研发质量评价方法可以包括操作s210～操作s240。
51.首先在操作s210，确定待评价的需求项，其中，一个研发项目包括一个或多个需求项。
52.在一个实施例中，可以从共享数据仓库(例如，数据平台104、105、106其中之一)抓取需求项的基本信息并导入到研发质量管理平台101，然后从导入到研发质量管理平台101的需求项中来确定出待评价的需求项。例如，可以将导入研发质量管理平台101的所有需求项均作为待评价的需求项。或者，例如可以将导入研发质量管理平台101的需求项中未完结的需求项作为待评价的需求项，其中，可以通过标记来区别出已完结和未完结的需求项。再或者，例如可以根据用户在终端设备102、103中的操作来指定待评价的需求项。
53.然后在操作s220，响应于本次评价任务的启动，获取待评价的需求项的扩展信息截止第一时刻的更新数据，以得到目标数据集。第一时刻为以本次评价任务的启动时刻为计时起点的预设时长的终止时刻。
54.扩展信息，如前文解释，是伴随着需求项的研发推进而产生的信息，诸如团队人员变动、需求项当前进度、设计研发测试情况、测试案例通过率执行率、相关缺陷问题解决情况、相关风险及处理情况等信息。
55.在一些实施例中，可以根据用户在终端设备102、103中的操作来启动评价任务。在另一些实施例中，研发质量管理平台101可以定时启动评价任务，例如，研发质量管理平台101可以每日定时启动导入其中的未完结的需求项的评价任务，这样可以进行项目研发质量的自动定时评价，提高研发质量管理的实效性，便于对需求项研发质量的追踪。
56.在一些实施例中，当本次评价任务的启动后，研发质量管理平台101可以在预设时长内从数据平台104、105、106中搜集待评价的需求项的最新的扩展信息。在该实施例中，从本次任务的启动时刻到第一时刻之间的预设时长通常大于零，可以根据扩展信息的数据量、以及本次评价任务中所涉及的待评价的需求项的数量多少来确定。其中，当要搜集的扩展信息的数据量越大，可以设置预设时长越长。
57.在另一实施例中，若研发质量管理平台101被设置为，可以按照数据平台104、105、106中每个平台的数据更新频率，同步更新来自各个平台的扩展信息中的数据，这意味着研发质量管理平台101会自动地不断更新扩展信息。在这种情况下，在操作s220中可以直接从研发质量管理平台101中获取第一时刻的扩展信息的数据。在该实施例中，第一时刻与本次评价启动时刻之间的时长(即，预设时长)可以是零，当然也可以大于零。
58.根据本公开的一个实施例，当研发质量管理平台101可以自动更新其中的扩展信息时，在操作s220中获取待评价的需求项的扩展信息截止第一时刻的更新数据的具体方式，可以是生成用于记录待评价的需求项的扩展信息的数据表在第一时刻的快照，这样生成的快照即为上述目标数据集。在本公开的另一些实施例中，操作s220中也可以将用于记录待评价的需求项的扩展信息的数据表复制后存放在特定位置，其中在该特征位置应当至少保证在本次评价任务执行完成前这些数据不会被修改。
59.无论在操作s220中是通过快照，还是对扩展信息的复制等方式，目的都是为了保证获取到的扩展信息的更新数据对应于需求项在同一时刻的状态，且在本次评价任务的执行过程中所使用的扩展信息的数据不发生改变，避免由于数据自动更新导致本次评价任务中的不同时刻所使用的扩展信息的数据发生变化。例如，当需求项的扩展信息中的数据较多(例如，有上百条记录时)，且研发质量管理平台101从数据平台104、105、106中同步扩展
信息的相关数据的频率不一致时，若直接从研发质量管理平台101中读取数据进行业务研发指标计算时，有可能导致计算不同业务研发指标时所使用的扩展信息中同一项记录的数据可能是不同时刻的更新数据，这样会导致对需求项的评价混乱，没有意义。
60.接下来在操作s230，基于利用目标数据集能够计算得到的m个业务研发指标，筛选出m个精细粒度检查项，其中，m为大于或等于1的整数。其中，每个精细粒度检查项为预置的用于计算一个业务研发指标的计算模型。由m个精细粒度检查项组合得到待评价的需求项的个性化检查规则模型。
61.根据本公开的实施例，可以在研发质量管理平台101搭建时，收集研发质量评价中所使用的业务研发指标，对收集到的每个业务研发指标，按照其计算逻辑设置一个用于计算该业务研发指标的计算模型，即得到精细粒度检查项，然后存储下来在执行评价任务时调用。可见，本公开实施例中，精细粒度检查项是预置的，可以复用。
62.本公开实施例中操作s230中筛选精细粒度检查项时，依据的是利用目标数据集能够计算得到的业务研发指标。其中，所谓利用目标数据集能够计算得到业务研发指标指的是，该业务研发指标在计算时的输入数据均来自于目标数据集。
63.在一些实施例中，操作s230中筛选出m个精细粒度检查项的具体实现过程可以是，根据目标数据集中用于表示需求项当前所处的阶段的数据的取值，确定出需求项当前所处的阶段，然后可以将该阶段下的所有业务研发指标作为该m个业务研发指标，或者也可以从该阶段下的所有业务研发指标选择部分业务研发指标作为m个业务研发指标。
64.在另一些实施中，考虑到精细粒度检查项和业务研发指标之间是一对一关系，可以将精细粒度检查项在开发完成后与业务研发指标绑定，从而在从目标数据集中确定出需求项当前所处的阶段后，就可以快速筛选出该阶段中可以使用的精细粒度检查项。
65.在再一些实施例中，也可以根据扩展信息、业务研发指标以及精细粒度检查项之间的关系，预先建立扩展信息中的各项数据记录(或数据字段)与精细粒度检查项之间的对应关系。然后在操作s230中根据扩展信息中所包含的数据字段以及该对应关系，来筛选精细粒度检查项。
66.根据本公开的实施例，操作s230中筛选出的m个精细粒度检查项组合，即构建得到待评价的需求项的个性化检查规则模型，如图3所示。
67.接下来在操作s240，执行待评价的需求项的个性化检查规则模型，得到待评价的需求项在m个业务研发指标上的取值。
68.图3示意性示出了根据本公开一实施例的研发质量评价方法中创建个性化检查规则模型的流程示意。
69.结合图3，个性化检查规则模型302是从预置的精细粒度检查项的集合301中，筛选出m个精细粒度检查项进行组合得到的。从而，执行个性化检查规则模型302，实质上是运行个性化检查规则模型302中的m个精细粒度检查项。这样就可以得到m个业务研发指标(即图3中的业务研发指标1，2，...，m)的取值。在一个实施例中，个性化检查规则模型302可以被处理为由m个精细粒度检查项组合而成的一个工作流，通过研发质量管理平台101的调度，来逐个执行其中的m个精细粒度检查项。
70.具体地，执行个性化检查规则模型302的过程，可以是以目标数据集作为m个精细粒度检查项中每个精细粒度检查项的输入数据，运行每个精细粒度检查项，然后获得每个
精细粒度检查项输出的研发任务评价指标。例如，将个性化检查规则模型302中的每个精细粒度检查项对应的class文件，以目标数据集作为输入数据，通过反射实例化并载入内存进行计算，输出计算结果。
71.在一个实施例中，执行个性化检查规则模型302时，可以将其中的每个精细粒度检查项在一个沙箱环境下运行，不同的精细粒度检查项相互隔离。例如，可以在标准容器内部每次运行一个精细粒度检查项，当前一个精细粒度检查项执行完成后再在该标准容器内部执行下一个精细粒度检查项。这样各个精细粒度检查项在执行时相互不干扰，而且不用考虑各个精细粒度检查项之间的逻辑先后顺序。
72.当在标准容器内部运行精细粒度检查项时，每次运行时可以将目标数据集的副本也导入标准容器中，从而精细粒度检查项可以在沙箱环境下运行，不需要再从外部获取输入数据。
73.根据操作s240中得到的m个业务研发指标的取值可以评估需求项当前的质量。在一个实施例中，当m个业务研发指标存在异常值时，可以向终端设备102、103输出存在异常值的业务研发指标。相应地，对于正常的业务研发指标可以不予输出。以此方式，可以过滤掉冗余推送数据。
74.可见，根据本公开的实施例，可以实现了研发质量评价的自动化和实效性。更进一步地，本公开实施例中利用预置的精细粒度检查项组合得到个性化检查规则模型，可以减少研发质量评价过程中的实时计算量和计算复杂度。而且，预置的精细粒度检查项可以在不同需求项的评价过程中复用，提高了对大量需求项的评价管理效率。
75.图4示意性示出了根据本公开另一实施例的研发质量评价方法中操作s230创建个性化检查规则模型的流程图。
76.如图4所示，根据该实施例操作s230可以包括操作s401～操作s404。
77.首先在操作s401，基于目标数据集，确定待评价的需求项当前所处的运行阶段。需求项当前所处的运行阶段例如可以是立项阶段、研发阶段、测试阶段或投产阶段。在一些实施例中，还可以在以上各个阶段的基础上再细分出更多阶段。可以从目标数据集中识别表征需求项的运行阶段的字段的值，得到需求项的当前运行阶段。
78.然后在操作s402，获取在当前所处的运行阶段下用于评价待评价的需求项的业务研发指标清单。例如，可以在研发管理平台101搭建初期，或者在运行本公开实施例的方法之前，在研发管理平台101中设置用于评价需求项在不同运行阶段的研发质量的业务研发指标清单。该业务研发清单可以将该运行阶段下用于评价需求项的业务研发指标归集在一起。同一业务类型的需求项在同一阶段所使用的业务研发指标相同时，可以仅设置一个业务研发指标清单，便于复用。
79.接下来在操作s403，从业务研发指标清单中确定出m个业务研发指标。
80.在一些实施例中，可以以业务研发指标清单中的全部业务研发指标作为m个业务研发指标。在另一些实施例中，也可以从业务研发指标清单中选择部分业务研发指标，以得到m个业务研发指标。选择的依据可以是根据对待评价的需求项的质量研发关注点进行选择(例如，选择容易出现异常的指标)，也可以根据与之前的评价任务中扩展信息的数据差别进行选择(例如，参考图5的实施例)。
81.最后在操作s404，基于m个业务研发指标，筛选m个精细粒度检查项。
82.图5示意性示出了根据本公开一实施例的创建个性化检查规则模型的过程中确定m个业务研发指标的流程图。
83.如图5所示，根据该实施例操作s403可以包括操作s501～操作s505。
84.在操作s501，判断本次评价任务是否是对待评价的需求项的首次评价任务。若是，则执行操作s502；若否，则执行操作s503。
85.在操作s502，当本次评价任务为对待评价的需求项的首次评价任务时，确定m个业务研发指标包括业务研发指标清单中的全部业务研发指标。
86.在操作s503，当本次评价任务是对待评价的需求项的首次评价任务之后的评价任务时，比较目标数据集与参考数据集。参考数据集为本次评价任务的之前的评价任务中获得的扩展信息的更新数据。本次评价任务的之前的评价任务可以是本次评价任务的前一次评价任务，也可以是本次评价任务之前的与需求项当前处于同一阶段、且各项指标均满足要求的最近一次评价任务，或者也可以是本次评价任务之前没有出现非业务异常(例如，精细粒度检查模型没有出现运行故障)的最近一次评价任务。
87.之后在操作s504，判断目标数据集相比于参考数据集是否存在差异。如果是，则执行操作s505。如果否，则结束。
88.在操作s505，当目标数据集相比于参考数据集存在n(n大于零)个差异数据时，从业务研发指标清单中选择并汇总n个差异数据中每个数据参与计算的业务研发指标，以得到m个业务研发指标。
89.以此方式，本公开实施例，可以先判断本次评价任务获得的目标数据集合和之前的评价任务获得的参考数据集合之间的差异数据，然后根据这些差异数据所涉及到的业务研发指标，链接到对应精细粒度检查项，然后将链接到的精细粒度检查项组合起来，创建个性化检查规则模型。
90.根据该实施例，在创建个性化检查规则模型时，可以每次仅计算与前次有差异的数据所引起的业务研发指标，这样可以减少个性化检查规则模型中的精细粒度检查项，节约计算量。当与前次数据不存在差异时，说明待评价的需求项的各项业务研发指标相对于之前的评价任务并没有发生变化，从而本次评价中可以不再计算，这样可以减少冗余计算。
91.图6示意性示出了根据本公开另一实施例的研发质量评价方法的应用流程图。
92.如图6所示，该应用流程可以包括s601～s608。
93.在s601，通过共享数据仓库原始数据抓取需求项基本信息。
94.在s602，根据抓取到的需求项基本信息完善需求项的扩展信息，诸如对应研发、测试团队成员信息、历史评价、牵头开发部门、投入规模和里程碑时间点等信息，储存至研发质量管理平台101的数据库中，并设置每日定时启动评估任务。
95.在s603，评估任务由研发质量管理平台101统一调度触发，启动后更新需求项的扩展信息(如：团队人员变动、需求项当前进度、设计研发测试情况(测试案例通过率执行率、相关缺陷问题解决情况、相关风险及处理情况等)，并生成对应需求项的数据快照，以得到目标数据集合。
96.在s604，根据预置的需求项特征规则筛选出精细粒度检查项，创建个性化检查规则模型。对个性化检查规则模型中的精细粒度检查项对应的class反射实例化并载入内存，查询当前处理器负载情况和队列长度，并最终将个性化检查规则模型作为一个工作流，导
入工作流列队待处理。工作流队列中可以排列有包括待评价的需求项在内的r(r为大于或等于1的整数)个需求项的个性化检查规则模型。通过工作流队列可以方便研发质量管理平台101对大量需求项的评价任务的统一调度和管理。其中，预置的需求项特征规则的内容可以参考根据上文在图2、图4和图5中关于操作s230的介绍。
97.在s605，研发质量管理平台101通过线程池管理调度并发处理工作流列队中的多个工作流(即，并发执行多个个性化检查规则模型)。
98.在s606，当调度到每个工作流时，顺次执行该工作流(即，个性化检查规则模型)中的精细化粒度检查项。使用该工作流中个性化检查规则模型对应的需求项的快照数据作为输入，在标准容器内部顺次执行该个性化检查规则模型中的各精细粒度检查项，确保各精细粒度检查项在数据沙箱中相互隔离，并可以跟踪各精细粒度检查项的执行过程，记录执行性能评价数据和异常信息。而且通过标准容器内的执行，个性化检查规则模型中的不同精细粒度检查项之间可以没有先后顺序。避免使用到相同扩展信息的不同精细粒度检查项之间的干扰、以及对快照数据的读取顺序设置。
99.在s607，如任一精细粒度检查项在运行过程中出现非业务异常(例如：空指针异常等)，说明该精细粒度检查项编写可能存在问题，则对该精细粒度检查项进行标记并累计异常计数器，达到阈值后将向终端设备102、103推送警告信息至对应技术负责人员。
100.在s608，如某个个性化检查规则模型内全部精细粒度检查项均执行通过，则将评价结果储存至研发质量管理平台101的数据库并待后续报表分析查询处理。如果对某个需求项的评价结果中存在异常指标值，则可以通过办公系统推送将异常指标评价结果输出给终端设备102、103。
101.研发质量管理平台101可以定期对执行效率较差、存在异常计数器值较高的检查项自动生成系统调优报告，便于技术团队持续跟踪每一个检查项的性能和编码质量。
102.可以定期将研发质量管理平台101的评价结果与人工评价结果进行分析比较，对二者差异长度较大的需求项自动生成检查项调优报告，便于业务团队持续优化对应检查项的处理逻辑和分数加权参数。
103.本公开实施例可以通过每日定时启动评价任务，获取需求项最新的扩展信息，然后基于该最新的扩展信息，对需求项进行质量评估，从而可以持续跟踪需求项的进展，并且利用持续变化的扩展信息对需求项进行质量评价，可以提高研发质量评价的实时性。而且每日定时启动评价任务时获取的扩展信息的最新数据，可以为测试、项目经理整体把握项目潜在风险提供数据支撑和方向指引。
104.本公开实施例可以在每次评价任务的执行中，根据需求项的当前状态智能创建个性化检查规则模型并导入工作流，得出具有显著个性化的分析评价结果而非单一口径结果，节约计算资源，而且对需求项的质量评价更有针对性。
105.本公开实施例可以在获得针对每个需求项的业务研发指标后，选择性地输出异常的业务研发指标，从而可确保研发管理人员通过查阅评价结果，聚焦于存在潜在风险问题，将多数正常推进的指标信息从评价报告中排除，显著节约研发管理工作中的人力和投入。
106.本公开实施例通过将为每个需求项创建的个性化检查规则模型作为一个工作流，导入工作流队列，使得研发质量管理平台101可以对大量需求项的个性化检查规则模型统一调度，有效提升了研发质量管理、监控工作效率。
107.基于上述各个实施例的研发质量评价方法，本公开实施例还提供了一种研发质量评价装置。以下将结合图7对该装置700进行详细描述。
108.图7示意性示出了根据本公开实施例的研发质量评价装置700的结构框图。
109.如图7所示，根据本公开实施例，研发质量评价装置700可以包括确定模块710、获取模块720、个性化模型创建模块730和评价模块740。根据本公开的另一些实施例，该装置700还可以进一步包括精细粒度检查项设置模块750和模型存储模块760。该装置700可以用于实现参考图2～图6所描述的研发质量评价方法。
110.确定模块710用于确定待评价的需求项。其中，一个研发项目包括一个或多个需求项。在一个实施例中，确定模块710可以执行前文描述的操作s210。
111.获取模块720用于响应于本次评价任务的启动，获取待评价的需求项的扩展信息截止第一时刻的更新数据，以得到目标数据集；其中，扩展信息是伴随着需求项的研发推进而产生的信息，第一时刻为以本次评价任务的启动时刻为计时起点的预设时长的终止时刻。在一个实施例中，获取模块可以执行前文描述的操作s220。
112.个性化模型创建模块730用于基于利用目标数据集能够计算得到的m个业务研发指标，筛选出m个精细粒度检查项，其中，每个精细粒度检查项为预置的用于计算一个业务研发指标的计算模型；其中，m为大于或等于1的整数；由m个精细粒度检查项组合得到待评价的需求项的个性化检查规则模型。在一个实施例中，个性化模型穿件模块730可以执行前文描述的操作s230。
113.根据本公开一个实施例，个性化模型创建模块730还可以包括运行阶段确定子模块、指标清单获取子模块、指标确定子模块以及筛选子模块。
114.具体地，运行阶段确定子模块用于基于目标数据集，确定待评价的需求项当前所处的运行阶段。指标清单获取子模块用于获取在当前所处的运行阶段下用于评价待评价的需求项的业务研发指标清单。指标确定子模块用于从业务研发指标清单中确定出m个业务研发指标。筛选子模块用于基于m个业务研发指标，筛选m个精细粒度检查项。
115.评价模块740用于执行待评价的需求项的个性化检查规则模型，得到待评价的需求项在m个业务研发指标上的取值。在一个实施例中，评价模块740可以执行前文描述的操作s240。
116.精细粒度检查项设置模块750用于针对可收集到的所有业务研发指标中每个业务研发指标，设置一个用于计算该业务研发指标的计算模型，即精细粒度检查项。
117.模型存储模块760用于存储预先设置的精细粒度检查项，以备筛选调用。
118.根据本公开的实施例，确定模块710、获取模块720、个性化模型创建模块730、评价模块740、精细粒度检查项设置模块750和模型存储模块760中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，确定模块710、获取模块720、个性化模型创建模块730、评价模块740、精细粒度检查项设置模块750和模型存储模块760中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以
其中任意几种的适当组合来实现。或者，确定模块710、获取模块720、个性化模型创建模块730、评价模块740、精细粒度检查项设置模块750和模型存储模块760中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
119.图8示意性示出了适于实现根据本公开实施例的研发质量评价方法的电子设备800的方框图。
120.如图8所示，根据本公开实施例的电子设备800包括处理器801，其可以根据存储在只读存储器(rom)802中的程序或者从存储部分808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
121.在ram 803中，存储有电子设备800操作所需的各种程序和数据。处理器801、rom 802以及ram 803通过总线804彼此相连。处理器801通过执行rom 802和/或ram 803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom 802和ram 803以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
122.根据本公开的实施例，电子设备800还可以包括输入/输出(i/o)接口805，输入/输出(i/o)接口805也连接至总线804。电子设备800还可以包括连接至i/o接口805的以下部件中的一项或多项：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
123.本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
124.根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom802和/或ram 803和/或rom 802和ram 803以外的一个或多个存储器。
125.本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的方法。
126.在该计算机程序被处理器801执行时执行本公开实施例的系统/装置中限定的上
述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
127.在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分809被下载和安装，和/或从可拆卸介质811被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
128.在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
129.根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如java，c++，python，“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
130.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
131.本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
132.以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。