评阅方法、装置、电子设备及存储介质与流程

文档序号:24287707发布日期:2021-03-17 00:35阅读:85来源:国知局
评阅方法、装置、电子设备及存储介质与流程
本发明涉及计算机
技术领域
,具体涉及一种评阅方法、装置、电子设备及存储介质。
背景技术
:随着人工智能技术(artificialintelligence,ai)的进步,在线教育得到了快速发展。ai智能评阅学生作业或试卷正逐渐应用于教育场景中。现有技术中,由于数学、物理和化学等科目的学生作业或试卷中存在大量的复杂图形,使得此类作业仍然采用人工阅卷的方式,加重了老师的评阅工作量,评阅效率低下。技术实现要素:本发明实施例提供一种评阅方法、装置、电子设备及存储介质,用以解决现有技术中对于学生作业或试卷的评阅方法工作量大,评阅时间长,评阅效率低下的问题。本发明实施例提供一种评阅方法,包括:确定待评阅图像;若所述待评阅图像存在组合作答图形,则对所述组合作答图形进行组件拆分,得到所述组合作答图形中的各个作答组件以及组件关系;将所述待评阅图像对应答案图像的组合答案图形中的各个答案组件以及组件关系,与所述组合作答图形中的各个作答组件以及组件关系进行匹配,得到组合图形匹配结果;基于所述组合图形匹配结果,确定所述待评阅图像的评阅结果。根据本发明一个实施例的评阅方法,所述将所述待评阅图像对应答案图像的组合答案图形中的各个答案组件以及组件关系,与所述组合作答图形中的各个作答组件以及组件关系进行匹配,得到组合图形匹配结果,包括:将所述组合答案图形的各个答案组件和所述组合作答图形的各个作答组件进行匹配;若各个答案组件与各个作答组件一一对应,则将各个答案组件的组件关系和各个作答组件的组件关系进行匹配,得到所述待评阅图像的组合图形匹配结果。根据本发明一个实施例的评阅方法,所述将各个答案组件的组件关系和各个作答组件的组件关系进行匹配,得到所述待评阅图像的组合图形匹配结果,包括:对所述组合答案图形和所述组合作答图形的组件关系二维表进行匹配,得到所述待评阅图像的组合图形匹配结果;其中,所述组合答案图形的组件关系二维表是基于所述各个答案组件的组件关系确定的,所述组合作答图形的组件关系二维表是基于所述各个作答组件的组件关系确定的。根据本发明一个实施例的评阅方法,所述将所述待评阅图像对应答案图像的组合答案图形中的各个答案组件以及组件关系,与所述组合作答图形中的各个作答组件以及组件关系进行匹配,得到组合图形匹配结果,之后还包括:若所述组合图形匹配结果为不匹配,则分别将所述组合作答图形和所述组合答案图形以预设角度进行多次旋转,得到组合作答图形集合和组合答案图形集合;将所述组合作答图形集合中的组合作答图形和所述组合答案图形集合中的组合答案图形进行整体图形匹配,并基于整体图形匹配结果更新所述组合图形匹配结果。根据本发明一个实施例的评阅方法,所述对所述组合作答图形进行组件拆分,得到所述组合作答图形中的各个作答组件以及组件关系,之前还包括:对所述组合作答图形和/或所述组合答案图形进行预处理,使得预处理后的组合作答图形和组合答案图形的图形尺寸之差小于预设阈值;所述预处理包括旋转和/或拉伸。根据本发明一个实施例的评阅方法,若所述待评阅图像还存在作答文本和/或基本作答图形,所述基于所述组合图形匹配结果,确定所述待评阅图像的评阅结果,包括:基于所述组合图形匹配结果,以及作答文本匹配结果和/或基本图形匹配结果,确定所述待评阅图像的评阅结果;其中,所述作答文本匹配结果是将所述作答文本与所述答案图像的答案文本匹配后确定的;所述基本图形匹配结果是对所述基本作答图形进行图形类型识别,与所述答案图像的基本答案图形的图形类型匹配后确定的。根据本发明一个实施例的评阅方法,所述确定待评阅图像,包括:将所述待评阅图像输入至区域检测模型,得到所述区域检测模型输出的作答文本、基本作答图形和组合作答图形中的至少一种;其中,所述区域检测模型是基于样本图像训练后得到的,所述样本图像包括样本作答文本、样本基本作答图形和样本组合作答图形中的至少一种。本发明实施例还提供一种评阅装置,包括:确定单元,用于确定待评阅图像;拆分单元,用于若所述待评阅图像存在组合作答图形,则对所述组合作答图形进行组件拆分,得到所述组合作答图形中的各个作答组件以及组件关系;匹配单元,用于将所述待评阅图像对应答案图像的组合答案图形中的各个答案组件以及组件关系,与所述组合作答图形中的各个作答组件以及组件关系进行匹配,得到组合图形匹配结果;评阅单元,用于基于所述组合图形匹配结果,确定所述待评阅图像的评阅结果。本发明实施例还提供一种电子设备,包括处理器、通信接口、存储器和总线,其中,处理器,通信接口,存储器通过总线完成相互间的通信,处理器可以调用存储器中的逻辑命令,以执行如上述任一种所述评阅方法的步骤。本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述评阅方法的步骤。本发明实施例提供的评阅方法、装置、电子设备及存储介质,通过对待评阅图像中组合作答图形进行组件拆分,得到组合作答图形中的各个作答组件以及组件关系,将待评阅图像对应答案图像的组合答案图形中的各个答案组件以及组件关系,与组合作答图形中的各个作答组件以及组件关系进行匹配,得到组合图形匹配结果,从而确定待评阅图像的评阅结果,由于采用了组件拆分的方式在结构上对复杂的组合作答图形进行分解,实现了通过图形对比的方式自动评阅作业或者试卷,避免了人工评阅的主观性,减少了评阅工作量,缩短了评阅时间,提高了评阅效率。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1为本发明实施例提供的评阅方法的流程示意图;图2为本发明实施例提供的组合图形匹配结果生成的流程示意图;图3为本发明实施例提供的整体图形匹配方法的流程示意图;图4为本发明实施例提供的整体匹配模型的结构示意图;图5为本发明实施例提供的区域检测模型的结构示意图;图6为本发明实施例提供的待评阅图像的区域检测示意图;图7为本发明实施例提供的数理化在线手写识别批改方法的流程示意图;图8为本发明实施例提供的评阅装置的结构示意图;图9为本发明实施例提供的电子设备的结构示意图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。现有技术中,数学、物理和化学等科目的能力考查通过不同的题型组合来评估,包括选择题、填空题、解答题等,而且这些题型中作答内容包含文字、公式以及图形。由于数理化公式和图形的复杂性,所以迄今为止仍然采用人工评阅的方式,无法做到ai自动批改,耗时耗力,效率低下。针对现有技术的不足,图1为本发明实施例提供的评阅方法的流程示意图,如图1所示,该方法包括:步骤110,确定待评阅图像。具体地,待评阅图像为记载作答内容的图像,可以为学生的作业或者试卷。待评阅图像可以通过手写电子屏获取,或者通过将纸质作业或者纸质试卷进行扫描后获取。例如,待评阅图像为学生在手写电子屏上完成的数学试卷,包含了学生手写的解答文字、数学公式和几何图形。手写电子屏获取学生书写时的轨迹点信息,并将其渲染为图片格式,从而得到待评阅图像。步骤120,若待评阅图像存在组合作答图形,则对组合作答图形进行组件拆分,得到组合作答图形中的各个作答组件以及组件关系。具体地,对待评阅图像进行识别,以区分待评阅图像所包含的作答内容。作答内容包括文字、公式、基本作答图形和组合作答图形中的至少一种。基本作答图形为由顶点、直线段、曲线段、平面和曲面组合而成的几何图形。组合作答图形为由多个基本作答图形组合而成的几何图形。基本作答图形和组合作答图形可以为平面图形,也可以为立体图形,本发明实施例对于基本作答图形和组合作答图形的维度类型不做具体限定。组合作答图形的定义可以根据作答科目和/或评阅标准进行确定,例如,对于小学数学,可以将三角形、平行四边形、正方形、长方形、菱形、圆形、圆锥、圆柱、长方体、正方体和球体确定为基本作答图形,多个基本作答图形的组合确定为组合作答图形。若待评阅图像存在组合作答图形,则对组合作答图形进行组件拆分。作答组件为构成组合作答图形的基本单元,可以根据组件拆分方法进行设置。组件拆分方法包括点拆分、面拆分和图形拆分等。其中,点拆分为基于顶点进行拆分,将作答组件定义为构成组合作答图形的直线段和曲线段。面拆分为基于面进行拆分,将作答组件定义为构成组合作答图形的平面和曲面。图形拆分为基于基本图形进行拆分,将作答组件定义为基本作答图形。对组合作答图形进行组件拆分后,得到构成组合作答图形的各个作答组件以及各个作答组件之间的组件关系。组件关系为各个作答组件之间的连接关系,用于表示各个作答组件在组合作答图形中的位置。连接关系可以为上下关系、左右关系、前后关系和里外关系等。下面以采用点拆分方法为例进行说明,作答组件定义为直线段和曲线段,按照顶点将组合作答图形进行拆分,得到组合作答图形的各个作答组件以及各个作答组件之间的组件关系。此处,顶点为线段之间的连接点,不包含线段内部包含的点,即线段内部的点与线段作为一个整体的作答组件。各个作答组件之间的组件关系可以通过数字编号的方法进行记录。例如,0表示无连接关系,1表示左左连接关系,2表示左右连接关系,3表示右左连接关系,4表示右右连接关系等。步骤130,将待评阅图像对应答案图像的组合答案图形中的各个答案组件以及组件关系,与组合作答图形中的各个作答组件以及组件关系进行匹配,得到组合图形匹配结果。具体地,答案图像为记载标准答案,对待评阅图像进行内容一致性判断的图像。答案图像的类型和获取方式与待评阅图像相同。答案图像包含答案文字、答案公式、基本答案图形和组合答案图形中的至少一种,与待评阅图像在内容类型上一一对应。基本答案图形的定义与基本作答图形保持一致,组合答案图形中答案组件的定义和拆分方法,与组合作答图形保持一致。因此,可以预先对答案图像中的组合答案图形进行拆分,得到组合答案图形中的各个答案组件以及组件关系。将各个答案组件以及组件关系与各个作答组件以及组件关系进行匹配,从而得到组合图形匹配结果。组合图形匹配结果用于衡量组合答案图形和组合作答图形之间的匹配程度和匹配关系。例如,组合图形匹配结果可以为组合答案图形和组合作答图形之间的组件匹配数量或者比例。此处的组件匹配可以理解为:若组合答案图形中存在与组合作答图形中作答组件对应的答案组件,且该作答组件的组件关系与对应的答案组件一致,则该作答组件与对应的答案组件匹配。步骤140,基于组合图形匹配结果,确定待评阅图像的评阅结果。具体地,待评阅图像的评阅结果用于表示待评阅图像满足评阅标准的程度。评阅结果可以采用分数进行表示,也可以采用评分等级进行表示。例如评阅结果可以分为错误、部分正确和完全正确三个等级。例如,将组合答案图形和组合作答图形之间的组件匹配的数量作为组合图形匹配结果。若组合图形匹配结果为零,可以确定待评阅图像中组合作答图形错误;若组合图形匹配结果为小于答案组件数量的正整数,可以确定待评阅图像中组合作答图形部分正确;若组合图形匹配结果为等于答案组件数量,可以确定待评阅图像中组合作答图形完全正确。可以对组合图形匹配结果进行加权求和等方式确定待评阅图像的评阅结果。根据组合作答图形部分在待评阅图像中所占的比重,确定待评阅图像的评阅结果。例如,采用10分制确定评阅结果,组合作答图形部分在待评阅图像中所占的比重为3分,则组合图形匹配结果乘以0.3即为评阅结果中组合作答图形部分的得分。此外,还可以在计算组合图形匹配结果的置信度,用于确定组合图形匹配结果的可信程度。设置预设置信阈值为0.85,当置信度大于等于0.85时,组合图形匹配结果可信,当置信度小于0.85时,组合图形匹配结果不可信,此时,可以结合人工评阅,从而提高评阅的准确性。本发明实施例提供的评阅方法,通过对待评阅图像中组合作答图形进行组件拆分,得到组合作答图形中的各个作答组件以及组件关系,将待评阅图像对应答案图像的组合答案图形中的各个答案组件以及组件关系,与组合作答图形中的各个作答组件以及组件关系进行匹配,得到组合图形匹配结果,从而确定待评阅图像的评阅结果,由于采用了组件拆分的方式在结构上对复杂的组合作答图形进行分解,实现了通过图形对比的方式自动评阅作业或者试卷,避免了人工评阅的主观性,减少了评阅工作量,缩短了评阅时间,提高了评阅效率。基于上述实施例,图2为本发明实施例提供的组合图形匹配结果生成的流程示意图,如图2所示,步骤130包括:步骤1301,将组合答案图形的各个答案组件和组合作答图形的各个作答组件进行匹配。具体地,在进行组件匹配之前,可以将组合作答图形和组合答案图形中的组件数量进行匹配。如果采用点拆分方法,还可以将组合作答图形和组合答案图形中的顶点数量和组件数量进行匹配。若组合作答图形中的顶点数量和组件数量与组合答案图形中一致,则继续进行组件匹配;若不一致,则可以判定组合作答图形与组合答案图形不匹配,组合图形匹配结果为不匹配。将组合答案图形的各个答案组件和组合作答图形的各个作答组件进行匹配,可以采用一匹配一、一匹配多和多匹配多中的至少一种方法,确定答案组件和作答组件之间的对应关系。其中,一匹配一为将组合作答图形中的每一作答组件与组合答案图形中的每一答案组件进行匹配,得出组件之间的对应关系。一匹配多为将组合作答图形中的每一作答组件与组合答案图形中的所有答案组件进行匹配,得出组件之间的对应关系。多匹配多为将组合作答图形中的所有作答组件与组合答案图形中的所有答案组件进行匹配,得出组件之间的对应关系。组件之间对应关系的匹配可以采用神经网络模型进行处理,本发明实施例对此不作具体限定。当采用神经网络模型和多匹配多方法时,还可以得到所有作答组件和/或所有答案组件之间的关系图。在进行作答组件和答案组件的匹配时,可以采用以下组件匹配原则:若组合作答图形中存在一个或者多个作答组件找不到组合答案图形中对应的答案组件,或者组合答案图形存在一个或者多个答案组件找不到组合作答图形中对应的作答组件,则组合图形匹配结果为不匹配;若组合作答图形中每一作答组件都能在组合答案图形中找到一个答案组件与之唯一对应,则各个答案组件与各个作答组件一一对应;若组合作答图形中若干个作答组件都能分别在组合答案图形中找到若干个答案组件,并且若干个作答组件与若干个答案组件整体匹配,则若干个作答组件与若干个答案组件一一对应。例如,组合作答图形组件中作答组件z1在组合答案图形中存在相同答案组件a1和a2与其对应,作答组件z2在组合答案图形中存在相同答案组件a1和a2与其对应,并且z1和z2整体匹配a1和a2,则z1和z2与a1和a2一一对应,也就是说,作答组件z1和z2与答案组件a1和a2进行匹配时,不区分匹配顺序。步骤132,若各个答案组件与各个作答组件一一对应,则将各个答案组件的组件关系和各个作答组件的组件关系进行匹配,得到待评阅图像的组合图形匹配结果。具体地,除了对各个答案组件与各个作答组件之间的对应关系进行确定之外,还需要对各个答案组件的组件关系和各个作答组件的组件关系进行匹配,从而确定组合答案图形和组合作答图形是否匹配。本发明实施例提供的评阅方法,将组合答案图形的各个答案组件和组合作答图形的各个作答组件进行匹配,确定答案组件和作答组件之间的对应关系,提高了组合作答图形和组合答案图形之间的匹配准确度。基于上述任一实施例,步骤1302包括:对组合答案图形和组合作答图形的组件关系二维表进行匹配,得到待评阅图像的组合图形匹配结果;其中,组合答案图形的组件关系二维表是基于各个答案组件的组件关系确定的,组合作答图形的组件关系二维表是基于各个作答组件的组件关系确定的。具体地,可以对组合作答图形的各个作答组件进行编号,根据各个作答组件的组件关系,建立组合作答图形的组件关系二维表。组件关系二维表的横坐标和纵坐标为作答组件的编号,组件关系二维表内的值为作答组件之间的组件关系。例如,组合作答图形a包含3个作答组件a1、a2和a3。作答组件之间的组件关系为无连接关系、左连接关系和右连接关系,可以分别用编号0、1和2表示,此处可以定义任一作答组件与其自身的连接关系为编号4。则可以建立组合作答图形a的组件关系二维表,如表1所示:表1组件关系二维表组件作答组件a1作答组件a2作答组件a3作答组件a1412作答组件a2140作答组件a3204可以采用同样的方法,建立组合答案图形的组件关系二维表,再根据各个答案组件与各个作答组件一一对应的关系,调整组合答案图形或者组合作答图形的组件关系二维表中行元素和列元素的顺序,以保证组合作答图形的组件关系二维表中当前行和当前列对应的组件关系能够对应组合答案图形的组件关系二维表中当前行和当前列对应的组件关系。最后对组合答案图形和组合作答图形的组件关系二维表进行匹配,即将两张组件关系二维表中的值进行一一比对,相同行坐标和相同列坐标相交位置的值相同,则认为两张组件关系二维表中的值对应。此时,若存在若干组相对应的值,则说明在组合作答图形中存在若干个作答组件和组合答案图形中与其对应的答案组件的组件关系一致,则可以将若干个作答组件的数量作为组合图形匹配结果。若两张组件关系二维表中均不存在相对应的值,则组合图形匹配结果为不匹配。本发明实施例提供的评阅方法,通过建立组件关系二维表,简化了答案组件和作答组件之间的组件关系的对比,减少了评阅工作量,缩短了评阅时间,提高了评阅效率。基于上述任一实施例,图3为本发明实施例提供的整体图形匹配方法的流程示意图,如图3所示,步骤130之后还包括:步骤131,若组合图形匹配结果为不匹配,则分别将组合作答图形和组合答案图形以预设角度进行多次旋转,得到组合作答图形集合和组合答案图形集合。具体地,组合图形匹配结果为不匹配,但组合作答图形依然有可能为正确答案。造成组合图形匹配结果为不匹配的原因,还可以为组合作答图形和/或组合答案图形发生了形状变化,或者拆分效果不理想等。可以分别将组合作答图形和组合答案图形以预设角度进行多次旋转,预设角度可以设置为5°,旋转方向可以为左右旋转,还可以设定旋转的角度范围,例如,可以设置为旋转的角度范围为向左45°至向右45°,旋转后得到的一系列的组合作答图形和一系列的组合答案图形,分别作为组合作答图形集合和组合答案图形集合。步骤132,将组合作答图形集合中的组合作答图形和组合答案图形集合中的组合答案图形进行整体图形匹配,并基于整体图形匹配结果更新组合图形匹配结果。具体地,可以将组合作答图形集合和组合答案图形集合输入整体匹配模型,由整体匹配模型对组合作答图形集合中的组合作答图形和组合答案图形集合中的组合答案图形进行图形特征匹配,得到整体图形匹配结果。整体图形匹配结果用于衡量组合作答图形和组合答案图形的整体匹配程度。在执行步骤132之前,可以预先训练得到整体匹配模型,具体可以通过如下训练方式得到整体匹配模型:首先,搜集大量的样本组合作答图形、样本组合作答图形对应的样本组合答案图形。采用人工方式,对样本组合作答图形对应的整体图形匹配结果进行标注,得到样本组合作答图形的整体图形匹配结果标签。随即,将大量的样本组合作答图形、样本组合答案图形和样本组合作答图形的整体图形匹配结果标签输入至初始模型进行训练,以提高对组合作答图形和组合答案图形的整体图形相似程度的识别能力为目标,得到整体匹配模型。整体匹配模型可以采用全卷积神经网络(fullyconvolutionalnetworks,fcn),本发明实施例对此不作具体限定。图4为本发明实施例提供的整体匹配模型的结构示意图,如图4所示,该整体匹配模型包括特征提取层、特征识别层和结果输出层。相应地,步骤132包括:将组合作答图形集合和组合答案图形集合输入整体匹配模型的特征提取层,得到特征提取层输出的组合作答图形和组合答案图形的特征表示向量;分别将组合作答图形和组合答案图形的特征表示向量输入至整体匹配模型的特征识别层,得到特征识别层输出的图形相似向量;将图形相似向量输入至整体匹配模型的结果输出层,得到结果表示层输出的整体图形匹配结果。本发明实施例提供的评阅方法,通过将组合作答图形和组合答案图形以预设角度进行多次旋转后进行整体图形匹配,提高了评阅准确率。基于上述任一实施例,步骤120之前还包括:对组合作答图形和/或组合答案图形进行预处理,使得预处理后的组合作答图形和组合答案图形的图形尺寸之差小于预设阈值;预处理包括旋转和/或拉伸。具体地,在对组合作答图形进行组件拆分之前,可以对组合作答图形和/或组合答案图形进行预处理,即对图形进行旋转和/或拉伸,改变组合作答图形和/或组合答案图形的图形尺寸,例如图形的长度和宽度等,使得组合作答图形和组合答案图形尽可能大小相似。可以根据实际情况设置预设阈值的大小,使得预处理后的组合作答图形和组合答案图形的图形尺寸之差小于预设阈值,外形轮廓相似,从而减少比较误差,提高了匹配的准确性。本发明实施例提供的评阅方法,在组件拆分前对组合作答图形和/或组合答案图形进行预处理,减少了图形之间的尺寸误差,提高了评阅准确率。基于上述任一实施例,若待评阅图像还存在作答文本和/或基本作答图形,相应地,步骤140包括:基于组合图形匹配结果,以及作答文本匹配结果和/或基本图形匹配结果,确定待评阅图像的评阅结果;其中,作答文本匹配结果是将作答文本与答案图像的答案文本匹配后确定的;基本图形匹配结果是对基本作答图形进行图形类型识别,与答案图像的基本答案图形的图形类型匹配后确定的。具体地,若待评阅图像中除组合作答图形之外,还存在作答文本和/或基本作答图形,则待评阅图像的评阅结果需要根据组合图形匹配结果,以及作答文本匹配结果和/或基本图形匹配结果确定。可以根据评阅标准中组合图形、作答文本和基本图形各自所占的分值权重,结合组合图形匹配结果、作答文本匹配结果和基本图形匹配结果进行加权求和,确定待评阅图像的评阅结果。作答文本匹配结果,可以将作答文本与答案图像的答案文本进行匹配后确定的。例如,对于选择题、填空题等简单题型,将作答文本与答案文本按照评分规则进行匹配,若能够匹配上,则评分为1,否则评分为0。作答文本的识别结果可以选择识别率降序排列中的前三个作为候选项,逐一与答案文本进行匹配,从而提高评阅准确度。对于解答题等复杂题型需要用到语义理解的知识,需要将作答文本分解为多个作答步骤,逐一进行比对,根据每一作答步骤的正确性确定最终的评分。作答文本包括文字和公式。对于待评阅图像中作答文本区域的识别,可以采用深度学习模型进行识别,例如encoder-decoder(编码-解码)模型。将待评阅图像中作答文本区域输入深度学习模型,得到文字和公式,其中公式可以被识别为latex公式结果。例如,1/2识别后的latex公式为\frac{1}{2},那么这里面就含有5个单元,分别为“\frac”、“{”、“}”、“1”和“2”,其中“\frac”、“{”、“}”是虚体,“1”和“2”是实体。化学方程式agno3+hcl=agcl↓+hno3识别后的latex公式为agno_{3}+hcl=agcl↓+hno_{3},这里的“_”、“{”、“}”是虚体,其他是实体。在采用encoder-decoder模型进行识别时,可以将待评阅图像中作答文本区域进行预处理,预处理可以为高度调整,然后送入encoder-decoder模型进行识别。其中,模型encoder端采用vgg(visualgeometrygroup,计算机视觉组)或者resnet+bilstm(bi-directionallongshorttermmemorynetwork,双向长短时记忆网络)或者bigru(bi-directionalgaterecurrentunit,双向门控循环单元)进行编码提取文字公式特征,模型decoder端采用attention(注意力机制)以及bilstm或者bigru进行解码,解码过程中选择beamsearch(集束搜索)算法,保留识别率降序排列中的前三个作为识别结果。基本图形匹配结果,可以对基本作答图形进行图形类型识别,与答案图像的基本答案图形进行匹配后确定的。基本作答图形可以根据科目信息进行确定,例如,对于数学,基本作答图形可以包括三角形、正方形、长方形、梯形、平行四边形、菱形、五边形、六边形、圆形、椭圆形、扇形、圆柱、圆锥、正方体、长方体、三棱柱、三棱锥、球体、正比例函数、一次函数、反比例函数、指数函数、对数函数、二次函数、正弦函数、余弦函数、正切函数、余切函数等图形。对于物理,基本作答图形可以包括电铃、电源、灯泡、开关、电流表、电压表、电动机、滑动变阻器等图形。对于化学,基本作答图形可以包括苯、环、广口瓶、锥形瓶、圆底烧瓶、分液漏斗等图形。对于基本作答图形,可以直接采用评分规则进行匹配,若能够匹配上,则评分为1,否则评分为0。基本作答图形的识别结果可以选择识别率降序排列中的前三个作为候选项,逐一与基本答案图形进行匹配,从而提高评阅准确度。本发明实施例提供的评阅方法,根据组合图形匹配结果、作答文本匹配结果和基本图形匹配结果,确定待评阅图像的评阅结果,提高了评阅准确率和评阅结果的全面性。基于上述任一实施例,步骤110包括:将待评阅图像输入至区域检测模型,得到区域检测模型输出的作答文本、基本作答图形和组合作答图形中的至少一种;其中,区域检测模型是基于样本图像训练后得到的,样本图像包括样本作答文本、样本基本作答图形和样本组合作答图形中的至少一种。具体地,图5为本发明实施例提供的区域检测模型的结构示意图,如图5所示,该区域检测模型包括区域特征提取层、区域特征识别层和区域结果输出层。将待评阅图像输入区域检测模型的区域特征提取层,得到区域特征提取层输出的待评阅图像的区域表示向量;将区域表示向量输入至区域检测模型的区域特征识别层,得到区域特征识别层输出的区域特征向量;将区域特征向量输入至区域检测模型的区域结果输出层,得到区域结果表示层输出的区域检测结果,区域检测结果包括作答文本、基本作答图形和组合作答图形中的至少一种。在执行上述步骤之前,可以预先训练得到区域检测模型,具体可以通过如下训练方式得到区域检测模型:首先,搜集大量的样本图像,样本图像包括样本作答文本、样本基本作答图形和样本组合作答图形中的至少一种。采用人工方式,对样本图像中样本作答文本、样本基本作答图形和样本组合作答图形进行标注,分别得到样本作答文本标签、样本基本作答图形标签和样本组合作答图形标签。随即,将大量的样本图像输入至初始模型进行训练,以提高对作答文本、基本作答图形和组合作答图形的识别能力,得到区域检测模型。区域检测模型可以采用fcis(fullyconvolutionalinstance-awaresemanticsegment)、dbnet、cascadercnn(级联区域卷积神经网络),本发明实施例对此不作具体限定。图6为本发明实施例提供的待评阅图像的区域检测示意图,如图6所示,待评阅图像经区域检测模型检测后,分为区域610和区域620。区域610为作答文本,区域620为组合作答图形。本发明实施例提供的评阅方法,采用区域检测模型对待评阅图像进行区域检测,将待评阅图像分解为作答文本、基本作答图形和组合作答图形,提高了评阅结果的全面性。基于上述任一实施例,图7为本发明实施例提供的数理化在线手写识别批改方法的流程示意图,如图7所示,该方法基于七个模型进行:第一模型采用渲染算法将数理化题目在线笔迹点渲染成图片;第二模型针对图片采用检测算法得出文字公式区域块以及图形区域块;第三模型针对文字公式区域块进行识别,得到文字公式识别结果;第四模型针对图形区域块进行识别,得到基本图形识别结果和组合图形识别结果;第五模型将文字公式识别结果与基本图形识别结果与标准答案基本作答部分进行对比,确定文字公式区域得分和基本图形区域得分;第六模型针对组合图形识别结果和标准答案组合作答部分进行拆分,得到各个作答组件和组件关系,各个答案组件和组件关系;第七模型对各个作答组件和各个答案组件进行匹配,得到组件匹配信息。结合组件匹配信息和组件关系,可以确定组合图形区域得分。根据文字公式区域得分、基本图形区域得分和组合图形区域得分确定该题的最终得分。基于上述任一实施例,图8为本发明实施例提供的评阅装置的结构示意图,如图8所示,该装置包括:确定单元810,用于确定待评阅图像;拆分单元820,用于若待评阅图像存在组合作答图形,则对组合作答图形进行组件拆分,得到组合作答图形中的各个作答组件以及组件关系;匹配单元830,用于将待评阅图像对应答案图像的组合答案图形中的各个答案组件以及组件关系,与组合作答图形中的各个作答组件以及组件关系进行匹配,得到组合图形匹配结果;评阅单元840,用于基于组合图形匹配结果,确定待评阅图像的评阅结果。具体地,确定单元810用于确定待评阅图像,可以通过手写电子屏或者扫描设备获取。拆分单元820用于对待评阅图像存在的组合作答图形进行拆分,得到组合作答图形中的各个作答组件以及组件关系。匹配单元830用于将答案图像的组合答案图形中的各个答案组件以及组件关系与组合作答图形中的各个作答组件以及组件关系进行匹配,得到组合图形匹配结果。评阅单元840用于基于匹配单元830确定的组合图形匹配结果,确定待评阅图像的评阅结果。本发明实施例提供的评阅装置,通过对待评阅图像中组合作答图形进行组件拆分,得到组合作答图形中的各个作答组件以及组件关系,将待评阅图像对应答案图像的组合答案图形中的各个答案组件以及组件关系,与组合作答图形中的各个作答组件以及组件关系进行匹配,得到组合图形匹配结果,从而确定待评阅图像的评阅结果,由于采用了组件拆分的方式在结构上对复杂的组合作答图形进行分解,实现了通过图形对比的方式自动评阅作业或者试卷,避免了人工评阅的主观性,减少了评阅工作量,缩短了评阅时间,提高了评阅效率。基于上述任一实施例,匹配单元830包括:组件匹配子单元,用于将组合答案图形的各个答案组件和组合作答图形的各个作答组件进行匹配;关系匹配子单元,用于若各个答案组件与各个作答组件一一对应,则将各个答案组件的组件关系和各个作答组件的组件关系进行匹配,得到待评阅图像的组合图形匹配结果。基于上述任一实施例,关系匹配子单元包括:二维表匹配模块,用于对组合答案图形和组合作答图形的组件关系二维表进行匹配,得到待评阅图像的组合图形匹配结果;其中,组合答案图形的组件关系二维表是基于各个答案组件的组件关系确定的,组合作答图形的组件关系二维表是基于各个作答组件的组件关系确定的。基于上述任一实施例,该装置还包括:整体匹配单元,用于若组合图形匹配结果为不匹配,则分别将组合作答图形和组合答案图形以预设角度进行多次旋转,得到组合作答图形集合和组合答案图形集合;将组合作答图形集合中的组合作答图形和组合答案图形集合中的组合答案图形进行整体图形匹配,并基于整体图形匹配结果更新组合图形匹配结果。基于上述任一实施例,该装置还包括:预处理单元,用于对组合作答图形和/或组合答案图形进行预处理,使得预处理后的组合作答图形和组合答案图形的图形尺寸之差小于预设阈值;预处理包括旋转和/或拉伸。基于上述任一实施例,若待评阅图像还存在作答文本和/或基本作答图形,评阅单元840还用于:基于组合图形匹配结果,以及作答文本匹配结果和/或基本图形匹配结果,确定待评阅图像的评阅结果;其中,作答文本匹配结果是将作答文本与答案图像的答案文本匹配后确定的;基本图形匹配结果是对基本作答图形进行图形类型识别,与答案图像的基本答案图形的图形类型匹配后确定的。基于上述任一实施例,确定单元810用于:将待评阅图像输入至区域检测模型,得到区域检测模型输出的作答文本、基本作答图形和组合作答图形中的至少一种;其中,区域检测模型是基于样本图像训练后得到的,样本图像包括样本作答文本、样本基本作答图形和样本组合作答图形中的至少一种。基于上述任一实施例,图9为本发明实施例提供的电子设备的结构示意图,如图9所示,该电子设备可以包括:处理器(processor)910、通信接口(communicationsinterface)920、存储器(memory)930和通信总线(communicationsbus)940,其中,处理器910,通信接口920,存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑命令,以执行如下方法:确定待评阅图像;若待评阅图像存在组合作答图形,则对组合作答图形进行组件拆分,得到组合作答图形中的各个作答组件以及组件关系;将待评阅图像对应答案图像的组合答案图形中的各个答案组件以及组件关系,与组合作答图形中的各个作答组件以及组件关系进行匹配,得到组合图形匹配结果;基于组合图形匹配结果,确定待评阅图像的评阅结果。此外,上述的存储器930中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干命令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的方法,例如包括:确定待评阅图像;若待评阅图像存在组合作答图形,则对组合作答图形进行组件拆分,得到组合作答图形中的各个作答组件以及组件关系;将待评阅图像对应答案图像的组合答案图形中的各个答案组件以及组件关系,与组合作答图形中的各个作答组件以及组件关系进行匹配,得到组合图形匹配结果;基于组合图形匹配结果,确定待评阅图像的评阅结果。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如rom/ram、磁碟、光盘等,包括若干命令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1