基于测试点的测试设计方法、装置、电子设备和介质与流程

本公开涉及金融或大数据技术领域，更具体地，涉及一种基于测试点的测试设计方法、装置、电子设备和介质。

背景技术：

测试设计是对测试案例生产过程的描述，包括对测试点进行合理的步骤设计及数据设计从而生成对it系统进行验证和核实的测试案例。测试案例是为了某个特殊目的而编制的一组测试输入、执行条件以及预期结果，以便测试某个程序路径或核实是否满足某个特定需求。测试点是测试案例的最小单元，表示测试案例的要点，各个测试点的相互关系组成特定的测试案例。

在实现本公开构思的过程中，发明人发现现有技术中至少存在如下问题：

一个特定的测试项目包括多个测试点，现有的测试设计中常将各个测试点视为比重等同，然而实际情况是，一个特定的测试项目的各个测试点的比重并不一致，由此导致测试设计不够合理，测试案例得到的结果与实际情况具有较大差异。

技术实现要素：

有鉴于此，本公开提供了一种用于基于测试点的测试设计方法、装置、电子设备和介质，能够提高测试设计的合理性，使测试案例得到的结果与实际情况更加吻合。

本公开的一个方面提供了一种基于测试点的测试设计方法，包括：定义多个测试点；选择各个测试点的影响因子；根据各个测试点，确定各个影响因子的评价数值；以及通过第一评价函数，计算同一测试点的第一风险分值，其中，测试点是进行测试案例设计的最小单元，每一个测试点包括多个影响因子，至少两个测试点的同一影响因子的评价数值彼此不同，第一评价函数的变量与影响因子的评价数值相关。

在某些实施例中，根据各个测试点确定各个影响因子的评价数值包括：构建影响因子的第二评价函数；查询影响因子的原始数据；将影响因子的原始数据代入影响因子的第二评价函数，获得影响因子的计算数值；划分影响因子的计算数值的不同范围；为不同范围的影响因子的计算数值依次赋值，所赋的数值为评价数值。

在某些实施例中，范围升序与评价数值升序对应。

在某些实施例中，测试点的影响因子包括重要性、使用频率以及出错率中的至少一个。

在某些实施例中，基于测试点的测试设计方法还包括：排列组合各个测试点，以形成多个测试案例，多个测试案例构成组合测试案例集，其中，每一个测试案例包括多个测试点；以及通过第三评价函数，计算同一测试案例的第二风险分值，以得到每一个测试案例的第二风险分值，其中，第三评价函数与各个测试点的第一风险分值相关。

在某些实施例中，基于测试点的测试设计方法还包括：根据各个测试案例的第二风险分值，筛选组合测试案例集，以得到风险测试案例集，风险测试案例集包括第一测试案例集、第二测试案例集以及第三测试案例集中的一者。

在某些实施例中，得到风险测试案例集包括：确定风险覆盖率阈值和风险覆盖率阈值涵盖的测试案例；筛选风险覆盖率阈值覆盖的测试案例的组合，以得到第一测试案例集。

在某些实施例中，确定风险覆盖率阈值涵盖的测试案例包括：将组合测试案例集中的各个测试案例的第二风险分值标准化，获得各个测试案例的第二风险分值的标准值；以及筛选出标准值大于0的测试案例，以获得有效测试案例；计算各有效测试案例的标准值的权重并加总；选择预定的有效测试案例的组合，预定的有效测试案例的组合为风险覆盖率阈值覆盖的测试案例的组合，各预定的有效测试案例的标准值权重之和不小于风险覆盖率阈值。

在某些实施例中，得到风险测试案例集包括：根据组合测试案例集中各个测试案例的第二风险分值，保留第二风险分值大于等于第一预设数值的测试案例，以得到第二测试案例集。

在某些实施例中，得到风险测试案例集包括：保留第一测试案例集与第二测试案例集中第二风险分值重合的测试案例，以得到第三测试案例集。

在某些实施例中，基于测试点的测试设计方法还包括：对风险测试案例集进行测试点多样性检查，以获得执行测试案例集，执行测试案例集的测试案例覆盖各个测试点。

在某些实施例中，测试点多样性检查包括：当风险测试案例集覆盖各个测试点时，将风险测试案例集确定为执行测试案例集；当风险测试案例集未覆盖各个测试点时，筛选出至少一个多样性测试案例，至少一个多样性测试案例覆盖风险测试案例集未覆盖的测试点，将风险测试案例集与至少一个多样性测试案例的集合确定为执行测试案例集。

在某些实施例中，第一评价函数构造成累积各个影响因子的评价数值，第三评价函数构造成累积同一测试案例的各个测试点的第一风险分值。

本公开的另一个方面提供了一种基于测试点的测试设计装置，包括：测试点定义模块，测试点定义模块用于定义指定多个测试点，其中，测试点是进行测试案例设计的最小单元；影响因子选择模块，影响因子选择模块用于选择各个测试点的影响因子，其中，每一个测试点包括多个影响因子；影响因子评价模块，影响因子评价模块用于根据各个测试点，确定各个影响因子的评价数值；第一风险分值计算模块，第一风险分值计算模块用于通过第一评价函数计算同一测试点的第一风险分值；其中，至少两个测试点的同一影响因子的评价数值彼此不同，第一评价函数的变量与影响因子的评价数值相关。

本公开的另一个方面提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储可执行指令，可执行指令在被处理器执行时，实现如上述的方法。

本公开的另一个方面提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时实现如上述的方法。

本公开提供的方法，通过引入与测试点相关的影响因子并定量表示影响因子，以及通过引入第一评价函数，将影响因子与测试点相关联，可对各个测试点的第一风险分值进行数值上的区分，该第一风险分值可反映对应的测试点的比重，因此可区分特定测试项目的各个测试点的比重，表示出各个测试点在比重上的差异，以提高测试设计的合理性，使得测试案例得到的结果与实际情况更加吻合。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的可以应用方法、装置的示例性系统架构；

图2示意性示出了根据本公开第一实施例的一种基于测试点的测试设计方法的流程图；

图3示意性示出了根据本公开第二实施例的一种基于测试点的测试设计方法的流程图；

图4示意性示出了图2或图3中的操作s03的确定各个影响因子的评价数值的流程示意图；

图5示意性示出了图3中的操作s07的得到风险测试案例集的第一实施例的流程示意图；

图6示意性示出了图5中的操作s71的确定风险覆盖率阈值涵盖的测试案例的流程示意图；

图7示意性示出了图3中的操作s07的得到风险测试案例集的第二实施例的流程示意图；

图8示意性示出了图3中的操作s07的得到风险测试案例集的第三实施例的流程示意图；

图9示意性示出了图3中的操作s08的测试点多样性检查的流程示意图；

图10示意性示出了根据本公开实施例的基于测试点的测试设计装置的框图；以及

图11示意性示出了根据本公开实施例的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在使用类似于“a、b或c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b或c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。

本公开实施例中提到的测试设计是指测试案例的设计，用来选择高效的测试案例，这里的高效是指针对指定的测试项目，对该测试项目的输入的敏感度较高。

在进行测试设计时，首先需要针对特定的测试项目，选择与其相关的测试点，一个特定的测试项目包括多个测试点，测试点是测试案例的最小组成单元。现有的测试设计中常将各个测试点视为比重等同，然而实际情况是，一个特定的测试项目的各个测试点的比重有一定差异，由此导致测试设计不够合理，测试案例得到的结果与实际情况具有较大差异。

另外，现有的测试设计中常沿用统计学原理，得到两两测试点组合形成的多个测试案例集能够覆盖73％的风险的结论。但是该结论只是统计学意义上的风险覆盖率，对于不同的测试项目，该结论并不完全符合实际情况。

本公开的实施例的基于测试点的测试设计方法，包括：定义多个测试点；选择各个测试点的影响因子；根据各个测试点，确定各个影响因子的评价数值；以及通过第一评价函数，计算同一测试点的第一风险分值，其中，测试点是进行测试案例设计的最小单元，每一个测试点包括多个影响因子，至少两个测试点的同一影响因子的评价数值彼此不同，第一评价函数的变量与影响因子的评价数值相关。

在根据本公开实施例的技术方案中，通过引入与测试点相关的影响因子并定量表示影响因子，以及通过引入第一评价函数，将影响因子与测试点相关联，可对各个测试点的第一风险分值进行数值上的区分，该第一风险分值可反映对应的测试点的比重，因此可区分特定测试项目的各个测试点的比重，表示出各个测试点在比重上的差异，以提高测试设计的合理性，使得测试案例得到的结果与实际情况更加吻合。

需要说明的是，本公开实施例提供的基于测试点的测试设计方法、装置、电子设备和介质可用于大数据、分布式技术在微服务数据传输相关方面，也可用于除大数据、分布式技术之外的多种领域，如金融领域等。本公开实施例提供的基于测试点的测试设计方法、装置、系统和电子设备的应用领域不做限定。

图1示意性示出了根据本公开实施例的可以应用方法、装置的示例性系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送信息等。终端设备101、102、103可以具有基于生物特征数据进行身份认证的功能，如具有指纹采集、声音采集和图像采集中至少一种，以获取用户的生物特征数据。此外，终端设备101、102、103上还可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等需要进行身份验证功能的应用(仅为示例)。

终端设备101、102、103包括但不限于指纹打卡器、面部识别器、智能手机、平板电脑、膝上型便携计算机等等。

服务器105可以解析用户信息数据集合以得到生物特征数据，此外，还可以基于预设规则生成虚拟身份信息数据。服务器105可以为数据库服务器、后台管理服务器、服务器集群等。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的测试数据、测试数据子集合等)反馈给终端设备。

需要说明的是，本公开实施例所提供的方法一般可以由服务器105执行。相应地，本公开实施例所提供的装置一般可以设置于服务器105中。

应该理解，终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2示意性示出了根据本公开第一实施例的基于测试点的测试设计方法200的流程图。

如图2所示，该方法可以包括操作s01～操作s04。

在操作s01，定义多个测试点；

在操作s02，选择各个测试点的影响因子；

在操作s03，根据各个测试点，确定各个影响因子的评价数值；

在操作s04，通过第一评价函数，计算同一测试点的第一风险分值。

需要说明的是：

(1)本公开实施例中提到的“测试点”是进行测试案例设计的最小单元，可根据具体的测试项目进行选择和定义，一般常将对测试项目相关且相关性较高的特征作为“测试点”进行定义，测试点可具有多个取值，当测试点具有多个取值时，本公开实施例中对测试点的描述即为对该测试点的相应取值的描述。

(2)本公开实施例中提到的“影响因子”可理解为与测试点相关的参数，影响因子的评价数值是对对应的参数赋值后得到的数值，用来定量表示该参数。

(3)本公开实施例中提到的“第一评价函数”是指以影响因子的评价数值作为自变量，同一测试点的第一风险分值作为因变量，用以反映两者之间关系的对应法则。

一般地，每个测试项目包括多个测试点以综合与该测试项目相关的各个特征；每个测试点包括多个影响因子以综合与该测试点相关的各个参数。

在根据本公开第一实施例的技术方案中，在操作s01，所述定义多个测试点可以包括：选择和表示出与特定的测试项目相关的测试点，不同的测试项目的各个测试点不同。

在操作s02，所述选择各个测试点的影响因子可以包括：对于特定的测试项目，每个测试点的影响因子相同，每个测试点包括多个影响因子，该影响因子能够作为评价测试点的参数。

在操作s03，所述根据各个测试点，确定各个影响因子的评价数值可以包括：定量表示各个影响因子。

在操作s04中，至少两个测试点的同一影响因子的评价数值彼此不同，第一评价函数的变量与影响因子的评价数值相关。例如，将各个影响因子的评价数值作为自变量，通过第一评价函数的对应关系，得到用于评价测试点的因变量数值(第一风险分值)。

应该理解的是，由于至少两个测试点的同一影响因子的评价数值彼此不同，第一评价函数的变量与影响因子的评价数值相关，因此通过第一评价函数得到的各个测试点的第一风险分值一般也不同，由此各个测试点在特定的测试项目中具有不同的比重，更加符合实际情况。

在根据本公开实施例的技术方案中，通过引入与测试点相关的影响因子并定量表示影响因子，以及通过引入第一评价函数，将影响因子与测试点相关联，可对各个测试点的第一风险分值进行数值上的区分，该第一风险分值可反映对应的测试点的比重，因此可区分特定测试项目的各个测试点的比重，表示出各个测试点在比重上的差异，以提高测试设计的合理性，使得测试案例得到的结果与实际情况更加吻合。

结合图2/图3、图4所示，操作s03中，所述根据各个测试点确定各个影响因子的评价数值可包括：

在操作s31，构建影响因子的第二评价函数；

在操作s32，查询影响因子的原始数据；

在操作s33，将影响因子的原始数据代入影响因子的第二评价函数，获得影响因子的计算数值；

在操作s34，划分影响因子的计算数值的不同范围；

在操作s35，为不同范围的影响因子的计算数值依次赋值，所赋的数值为评价数值。

本公开实施例中所提到的“第二评价函数”是指自变量为影响因子的计算数值，因变量为影响因子的评价数值，用以表示两者之间关系的对应法则。

本公开实施例中所提到的“原始数据”是指直接获得或间接获得的未经计算或加工的数据，该原始数据为后续计算影响因子的计算数值提供可靠的数据来源。

在根据本公开实施例的技术方案中，首先可计算出准确的影响因子的计算数值。应该理解的是，影响因子的计算数值的值域为连续且具有无限个数值。在本公开实施例中，将连续的无限个影响因子的计算数值通过划分区域并赋值的方式转化为离散的有限个影响因子的评价数值，减少了用于评价影响因子的数值的数量，同时避免因数据转化带来的数据失真，兼顾评价数值对影响因子的描述的准确性。

示例性地，范围升序与评价数值升序可对应。应该理解的是，这里所说的“范围”是指划分的影响因子的计算数值的范围。一般地，对于正向影响的两者，范围升序与评价数值升序对应能够准确且直观、符合大众习惯地表示两者的对应关系。例如：对于购买物品，重量范围的升序与应付金额的升序相对应。

当然，范围升序也可与评价数值降序相对应，以表示具有反向影响的两者。例如：对于购买物品，瑕疵数量范围的升序与应付金额的降序相对应。

根据本公开实施例的技术方案，测试点的影响因子可包括重要性、使用频率以及出错率中的至少一个。

本公开实施例中的“重要性”表示测试点对测试项目的影响程度；“使用频率”表示对于特定的测试项目，某一测试点的使用次数与各个测试点的使用次数之和的比值；“出错率”表示对于特定的测试项目，某一测试点的出错次数与各个测试点的出错次数之和的比值。

重要性、使用频率以及出错率均可通过第二评价函数表示，应该理解的是，由于重要性、使用频率以及出错率的定义并不相同，因此各自对应的第二评价函数可能相同或不同。

例如使用频率与出错率的第二评价函数可以相同，但重要性与使用频率的第二评价函数不同。例如，第二评价函数的对应法则可为f(x)＝xi/(x1+x2+…+xn)，即表示一共有n个影响因子，xi表示第i个影响因子的使用次数或出错次数，通过上述的表达式可计算影响因子的使用频率或出错率。

重要性的第二评价函数可根据特定的测试项目进行定义。在此不作举例。

各个影响因子的原始数据可直接从数据库中调用或者通过搜索、加工获得。例如，如果对于特定的测试项目，各个影响因子的使用次数和出错次数可以准确关联到数据表中的总段或数据字典，则可以通过sql查询语句准确得到相应的数值。

在根据本公开实施例的技术方案中，由于考虑到各个测试点均涉及重要性、使用频率和出错率这三个影响因子，同时这三个影响因子对测试点的评价较重要，因此，通过选择上述影响因子，可利用较少的影响因子准确、合理地评价各个测试点。

示例性地，测试点的影响因子可包括重要性、使用频率以及出错率三者。

示例性地，如图3所示，本公开第二实施例的基于测试点的测试设计方法300还可以包括：

在操作s05，排列组合各个测试点，以形成多个测试案例，多个测试案例构成组合测试案例集；

在操作s06，通过第三评价函数，计算同一测试案例的第二风险分值，以得到每一个测试案例的第二风险分值。

在本公开实施例的技术方案中，还通过排列组合各个测试点形成了多个测试案例，由于第三评价函数与各个测试点的第一风险分值相关，因此，通过第三评价函数可将各个测试点的第一风险分值与每个测试案例的第二风险分值相关联，得到更加准确的第二风险分值。这里的“第二风险分值”可理解为用来评价对应的测试案例的数值。需要说明的是，可将第一风险分值作为第三评价函数的自变量，第二风险分值作为第三评价函数的因变量，关联测试点的第一风险分值与测试案例的第二风险分值。

还需要说明的是，各个测试点的排列组合方式可以是多样的，例如对于特定的测试项目，定义出n个测试点，可以选择其中的部分测试点进行不重复的组合，也可以选择将所有的测试点进行不重复的组合，即全量组合。

示例性地，各个测试点全量组合形成多个测试案例，多个测试案例构成组合测试案例集。

示例性地，如图3所示，本公开第二实施例的基于测试点的测试设计方法300还可以包括：

在操作s07，根据各个测试案例的第二风险分值，可筛选组合测试案例集，以得到风险测试案例集，风险测试案例集可包括第一测试案例集、第二测试案例集以及第三测试案例集中的一者。

在本公开实施例的技术方案中，对组合测试案例集进行筛选，可通过一定的筛选原则留下数量较少的测试案例。当筛选原则比较合理、高效时，保留下的较少的测试案例(即风险测试案例集)更具代表性且质量较高。

结合图3、如图5所示，在操作s07中，第一实施例的所述得到风险测试案例集s07-1可包括：

在操作s71，确定风险覆盖率阈值和风险覆盖率阈值涵盖的测试案例；

在操作s72，筛选风险覆盖率阈值覆盖的测试案例的组合，以得到第一测试案例集。

在实际应用中，各个测试点排列组合形成的多个测试案例的集合(即组合测试案例集)中的各个测试案例的风险并不一致，例如有些测试案例的风险较高，有些测试案例的风险较低，对于特定的测试项目，风险较高的测试案例具有更好的测试效果，风险的测试案例的测试效果微弱。对于测试设计，尤其是组合测试案例集中的测试案例的数目比较庞大时，保留所有的测试案例并不现实。

在本实施例中，通过引入风险覆盖率阈值并筛选风险覆盖率阈值涵盖的测试案例，可减少测试案例的数量，同时确保保留下的测试案例达到指定风险覆盖率的要求。相比于现有技术中根据统计学原理得到的测试案例集覆盖73％风险，本公开实施例的技术方案允许根据需求选择覆盖任意风险覆盖率的第一测试案例集。例如可以选择具有80％、90％等更高风险覆盖率的第一测试案例集。

本公开实施例的“风险覆盖率”是指第一测试案例集中各个测试案例的第二风险分值加总后得到的数值与组合测试案例集中各个测试案例的第二风险值加总后得到的数值的比值，表示第一测试案例集中的多个测试案例所涵盖的范围。

结合图5、图6所示，在操作s71中，所述确定风险覆盖率阈值涵盖的测试案例可包括：

在操作s711，将组合测试案例集中的各个测试案例的第二风险分值标准化，获得各个测试案例的第二风险分值的标准值；

在操作s712，筛选出标准值大于0的测试案例，以获得有效测试案例；

在操作s713，计算各有效测试案例的标准值的权重并加总；

在操作s714，选择预定的有效测试案例的组合，预定的测试案例的组合为风险覆盖率阈值覆盖的测试案例的组合，各预定的有效测试案例的标准值权重之和不小于风险覆盖率阈值。

由于各个影响因子的定义和对应的第二评价函数均不同，因此，各个影响因子的评价数值的单位以及各个测试点第一风险分值的单位也并不相同。在根据本公开实施例的技术方案中，通过标准化处理可统一各个影响因子的评价数值的单位，便于后续进行数据处理。

由于标准化后的数值只有相对意义，没有绝对意义，因此可筛选出标准值大于0的测试案例，在保留第二风险分值较高的测试案例的基础上还能够减少测试案例的样本数量。

需要说明的是，本公开实施例的某个测试案例的标准值的计算为：该测试案例的标准值＝(该测试案例的第二风险分值－组合测试案例集中的各个测试案例的第二风险分值的平均数)/该测试案例的第二风险分值的标准差。

结合图3、如图7所示，在操作s07，第二实施例的所述得到风险测试案例集s07-2可包括：

在操作s73，根据组合测试案例集中各个测试案例的第二风险分值，保留第二风险分值大于第一预设数值的测试案例，以得到第二测试案例集。

应该理解的是，在本公开实施例中，第二风险分值的大小与测试案例的风险成正相关，本公开实施例的技术方案可根据测试案例的第二风险分值的数值大小取消大量的风险极低的测试案例，筛选方式更加简单且效果良好。

结合图3、如图8所示，在操作s07，第三实施例的所述得到风险测试案例集s07-3可包括：

保留第一测试案例集与第二测试案例集中第二风险分值重合的测试案例，以得到第三测试案例集。

在本公开实施例的技术方案中，通过保留第一测试案例集与第二测试案例集中第二风险分值重合的测试案例，能够使得得到的第三测试案例集保留有第二风险分值数值大于第一预设数值的测试案例，同时涵盖指定的风险覆盖率。应该理解的是，该筛选方式在满足指定风险覆盖率的情况下，测试案例的数量最少。

示例性地，组合测试案例集中的各个测试案例可根据第二风险分值的数值降序排列，在此基础上可得到风险测试案例集。

如图3所示，本公开第二实施例的基于测试点的测试设计方法还可以包括：

s08、对风险测试案例集进行测试点多样性检查，以获得执行测试案例集，执行测试案例集的测试案例覆盖各个测试点。

本公开实施例的技术方案通过测试点多样性检查，能够使得执行测试案例集中的测试案例覆盖各个测试点，增加测试案例的多样性，提高测试设计的合理性。

结合图3、图9所示，在操作s08，所述测试点多样性检查可包括：

在操作s81，当风险测试案例集覆盖各个测试点时，将测试案例集确定为执行测试案例集；

在操作s82，当风险测试案例集未覆盖各个测试点时，筛选出至少一个多样性测试案例，至少一个多样性测试案例覆盖风险测试案例未覆盖的测试点，将风险测试案例集与至少一个多样性测试案例集的集合确定为执行测试案例集。

需要说明的是，当测试点具有多个取值时，上述的“覆盖测试点”应该理解为覆盖测试点的各个取值。

示例性地，当风险测试案例未覆盖各个测试点时，筛选出的多样性测试案例为第一测试案例集或第二测试案例集或第三测试案例集之外的第二风险分值降序排列的首次出现的测试案例，以使得执行测试案例集在具备多样性的同时其第二风险分值总和的数值更高，覆盖更大范围的风险。

以下将以本公开实施例的基于测试点的测试设计方法应用在金融领域为例作以说明。

例如，针对银行银联跨行消费的测试项目为例，可以初步选择出测试点，包括但不限于：扣帐币种、卡种、交易地区、交易介质、是否输入密码以及扣帐金额均值。本例中，各个测试点有对应的取值，其中，扣帐币种可包括：人民币、港币两个取值，卡种可包括：a、b、c三个取值，交易地区可包括：d、e、f、g、h五个取值，交易介质可包括：芯片、非接触、磁条三个取值，是否输入密码可包括：输入密码和不输入密码两个取值，扣帐金额均值可包括i、j两个取值。

本例中选择使用频率、出错率和重要性三者作为各个测试点的影响因子。

其中，使用频率可根据实际应用中测试点发生的频率计算：如果各个测试点可准确关联到数据表中的字段及数据字典，则可通过sql查询语句准确计算实际生产中各个测试点的取值发生的次数，即得到原始数据，并依据各个测试点的取值出现的次数占各个测试点的取值出现的次数总和的百分比得到使用频率或出错率的百分比，根据不同范围的百分比赋予不同的评价数值。

例如：10％以下可赋值为1；11％-20％可赋值为2；21％-30％可赋值为3；31％-40％可赋值为4；41％-50％可赋值为5；51％-60％可赋值为6；61％-70％可赋值为7；71％-80％可赋值为8；81％-90％可赋值为9；90％以上可赋值为10。

如果测试点无法对应关联具体数据表，则可通过其他的对应关系(第二评价函数)确定各个影响因子的评价数值。

例如，出错率还可通过直接取值的方式进行定义：设置基础分值为1分，每发生一次出错可在基础分值的基础上累计1分。

重要性也可通过直接取值的方式进行定义，本例中，重要性的评价数值在0.1-1.9之间。

由此，针对上述的特定的测试项目选择的测试点、测试点的取值以及影响因子的评价数值，可得到各个测试点的第一风险分值，由于各测试点有不同的取值，因此各个测试点的第一风险分值即为对应的测试点的取值的第一风险分值，如下表表一所示。

本例中，各测试点有不同的取值，因此根据各个测试点全量组合形成的多个测试案例的数量为：2(扣帐币种的取值数量)*3(卡种的取值数量)*5(交易地区的取值数量)*3(交易的介质的取值数量)*2(是否输入密码的取值数量)*2(扣帐金额的取值数量)＝360，即本例中对上述测试点的选择可组合形成360个不同的测试案例。这360个测试案例的集合为组合测试案例集。

如下表表二示出了本例中对组合测试案例集进行筛选后得到的风险测试案例集中部分测试案例第二风险分值，表二根据测试案例的第二风险分值的降序排列。表三示出了本例中风险测试案例集的风险覆盖率为90％的各个测试案例，对应表三的筛选过程如下：

在操作s711，将组合测试案例集中的各个测试案例的第二风险分值标准化，获得各个测试案例的第二风险分值的标准值：组合案例集中各个测试案例的第二风险分值的总和为4000544，均值为11112.62、标准差为47042.45，则例如表二、表三的第一条测试案例的标准值＝(540000-11112.62)/47042.45＝11.24276936，以此类推计算所有360个测试案例。

在操作s712，筛选出标准值大于0的测试案例，以获得有效测试案例：

由于从第40条记录开始，标准值小于0，本例中放弃所有小于0的记录，因此最终包括39个有效测试案例。

在操作s713，计算各有效测试案例的标准值的权重并加总。

在操作s714，选择预定的有效测试案例的组合，预定的测试案例的组合为风险覆盖率阈值覆盖的测试案例的组合，各预定的有效测试案例的标准值权重之和不小于风险覆盖率阈值。

本例中已筛选出39个有效的测试案例，并根据90％的风险覆盖率进行筛选：首先计算39个有效测试案例的标准值权重，例如表二中第一条，该有效测试案例的标准值权重＝该有效测试案例的标准值/(各个有效测试案例的条标准值之和)＝11.24276936/62.12703509＝0.180964203，并以此类推。

本例中各个测试案例按照第二风险分值降序排列，最后所有的有效测试案例的标准值权重加总，当达到90％的风险覆盖率时(即标准值之和为0.9)时是25条测试案例，如表三所示。

在操作s08，对风险测试案例集进行测试点多样性检查：

本例中即为检查90％覆盖率的测试案例集是否覆盖每个测试点。由于每个测试点有多个取值，因此按照上述说明的“覆盖每个测试点”即为“覆盖每个测试点的每个取值”。如下表表三所示，本例中已覆盖：扣帐币种的人民币、港币两个取值，卡种的a、b、c三个取值，交易地区的d、e、f、g、h五个取值，交易介质的芯片、非接触、磁条三个取值，是否输入密码的输入密码和不输入密码两个取值，扣帐金额均值的i、j两个取值，因此本例为全部覆盖。

本例中并未进行操作s07-2，应该理解的是，本例中将各个测试案例的第二风险分值进行降序排列，因此选择第二风险分值大于第一预设数值的测试案例可直接选择排列在第一预设数值之前的各个测试案例，在此不再进行仔细说明。

通过上述步骤，可在银行银联跨行消费的测试项目中，通过上述测试点的定义、测试点的取值、各个测试点的组合形成多个测试案例以及筛选测试案例，可从包括360个测试案例的组合测试案例集中筛选出包括25个测试案例的执行测试案例集，该执行测试案例集可覆盖90％的风险且保证了测试多样性。

图10示意性示出了根据本公开实施例的基于测试点的测试设计装置的框图。

如图10所示，本公开的另一个方面提供了一种基于测试点的测试设计装置400，该装置400可以包括：测试点定义模块410，测试点定义模块410用于定义指定多个测试点，其中，测试点是进行测试案例设计的最小单元；影响因子选择模块420，影响因子选择模块420用于选择各个测试点的影响因子，其中，每一个测试点包括多个影响因子；影响因子评价模块430，影响因子评价模块430用于根据各个测试点，确定各个影响因子的评价数值；第一风险分值计算模块440，第一风险分值计算模块440用于通过第一评价函数计算同一测试点的第一风险分值,

其中，至少两个测试点的同一影响因子的评价数值彼此不同，第一评价函数的变量与影响因子的评价数值相关。。

需要说明的是，装置部分实施例中各模块/单元/子单元等的实施方式、解决的技术问题、实现的功能、以及达到的技术效果分别与方法部分实施例中各对应的步骤的实施方式、解决的技术问题、实现的功能、以及达到的技术效果相同或类似。

根据本公开的实施例的模块、单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，测试点定义模块410、影响因子选择模块420、影响因子评价模块430和第一风险分值计算模块440中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，测试点定义模块410、影响因子选择模块420、影响因子评价模块430和第一风险分值计算模块440中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，测试点定义模块410、影响因子选择模块420、影响因子评价模块430和第一风险分值计算模块440中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图11示意性示出了根据本公开实施例的电子设备的方框图。图11示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图11所示，根据本公开实施例的电子设备500包括处理器501，其可以根据存储在只读存储器(rom)502中的程序或者从存储部分508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。处理器501例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器501还可以包括用于缓存用途的板载存储器。处理器501可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在ram503中，存储有电子设备500操作所需的各种程序和数据。处理器501、rom502以及ram503通过总线504彼此相连。处理器501通过执行rom502和/或ram503中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom502和ram503以外的一个或多个存储器中。处理器501也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备500还可以包括输入/输出(i/o)接口505，输入/输出(i/o)接口505也连接至总线504。电子设备500还可以包括连接至i/o接口505的以下部件中的一项或多项：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom1202和/或ram1203和/或rom1202和ram1203以外的一个或多个存储器。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本公开还提供了一种计算机程序，该计算机程序包括一个或者多个程序。上述方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被处理器501执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

表一：第一风险分值计算表

表二：第二风险分值计算表

表三：标准值、标准值权重计算表