三维模型生成方法、装置、设备和存储介质与流程

本申请涉及三维扫描技术领域，特别是涉及一种三维模型生成方法、装置、设备和存储介质。

背景技术：

三维模型用来表示现实物体的三维结构和形状，通常通过扫描现实物体的深度图像，再通过三维建模工具对深度图像进行处理，构建得到现实物体的三维模型。在医疗、建筑、以及电子游戏等领域，三维模型都有着广泛应用前景。

然而，在扫描现实物体的深度图像时，往往会扫描到一些不必要的数据，这些数据容易影响三维模型构建的准确度。例如，在通过口内扫描仪对用户口内进行扫描时，除了扫描到牙齿牙龈的三维数据外，还会扫描到舌头的三维数据，这些三维数据会给牙齿三维模型的构建造成干扰。

技术实现要素：

基于此，有必要针对上述技术问题，提供一种能够提高三维模型准确度的三维模型生成方法、装置、设备和存储介质。

一种三维模型生成方法，所述方法包括：

获取扫描到的纹理图像和对应的深度图像；

通过预先训练好的掩码区域卷积神经网络对所述纹理图像进行处理，确定所述纹理图像上的感兴趣区域、以及每个所述感兴趣区域的类别信息和掩码信息；

根据所述感兴趣区域的类别信息和掩码信息，更新所述深度图像；

根据更新后的所述深度图像，构建相应的三维模型。

在其中一个实施例中，所述感兴趣区域的类别信息包括所述感兴趣区域对应各个预设类别的类别值，所述感兴趣区域的掩码信息包括所述感兴趣区域对应各个所述预设类别的掩码图像，所述预设类别包括正样本类别和负样本类别。

在其中一个实施例中，根据所述感兴趣区域的类别信息和掩码信息，更新所述深度图像的步骤，包括：

在所述感兴趣区域的类别信息中确定所述感兴趣区域的区域类别；

当所述区域类别为所述正样本类别时，在所述感兴趣区域的掩码信息中获取所述感兴趣区域对应所述区域类别的掩码图像，将所述感兴趣区域对应所述区域类别的掩码图像确定为所述感兴趣区域的掩码图像；

根据所述感兴趣区域的掩码图像，对所述深度图像进行更新。

在其中一个实施例中，根据所述感兴趣区域的类别信息和掩码信息，更新所述深度图像的步骤，还包括：

当所述区域类别为所述负样本类别时，对所述感兴趣区域在所述深度图像中对应的深度信息进行清除。

在其中一个实施例中，根据所述感兴趣区域的类别信息和掩码信息，更新所述深度图像的步骤，还包括：

获取所述纹理图像中除所述感兴趣区域之外的剩余图像区域；

对所述剩余图像区域在所述深度图像中对应的深度信息进行清除。

在其中一个实施例中，获取扫描到的纹理图像和对应的深度图像的步骤之前，所述方法还包括：

获取采集的样本图像集，对所述样本图像集中的样本图像进行区域类型标记，获得所述样本图像中所述预设类别的图像区域；

将所述样本图像输入所述掩码区域卷积神经网络，确定所述样本图像上的感兴趣样本区域、以及每个所述感兴趣样本区域的类别信息和掩码信息；

根据所述样本图像中所述预设类别的图像区域、以及所述感兴趣样本区域的类别信息和掩码信息，对所述掩码区域卷积神经网络进行训练。

在其中一个实施例中，确定所述样本图像上的感兴趣样本区域、以及每个所述感兴趣样本区域的类别信息和掩码信息的步骤，包括：

提取所述样本图像的特征图；

在所述特征图上确定候选区域，在所述候选区域中筛选出所述感兴趣样本区域；

通过预设的区域特征聚集方式和预设的全连接卷积神经网络对所述感兴趣样本区域进行处理，生成所述感兴趣样本区域的类别信息和掩码信息。

一种三维模型生成装置，所述装置包括：

图像获取模块，用于获取扫描到的纹理图像和对应的深度图像；

纹理图像处理模块，用于通过预先训练好的掩码区域卷积神经网络对所述纹理图像进行处理，确定所述纹理图像上的感兴趣区域、以及每个所述感兴趣区域的类别信息和掩码信息；

深度图像更新模块，用于根据所述感兴趣区域的类别信息和掩码信息，更新所述深度图像；以及

模型构建模块，用于根据更新后的所述深度图像，构建相应的三维模型。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取扫描到的纹理图像和对应的深度图像；

通过预先训练好的掩码区域卷积神经网络对所述纹理图像进行处理，确定所述纹理图像上的感兴趣区域、以及每个所述感兴趣区域的类别信息和掩码信息；

根据所述感兴趣区域的类别信息和掩码信息，更新所述深度图像；

根据更新后的所述深度图像，构建相应的三维模型。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取扫描到的纹理图像和对应的深度图像；

通过预先训练好的掩码区域卷积神经网络对所述纹理图像进行处理，确定所述纹理图像上的感兴趣区域、以及每个所述感兴趣区域的类别信息和掩码信息；

根据所述感兴趣区域的类别信息和掩码信息，更新所述深度图像；

根据更新后的所述深度图像，构建相应的三维模型。

上述三维模型生成方法、装置、设备和存储介质，通过训练好的掩码卷积圣经网络对纹理图像进行感兴趣区域提取，依据每个感兴趣区域的类别信息和掩码信息，对纹理图像对应的深度图像进行更新，根据更新后的深度图像构建相应的三维模型，从而提高深度图像中噪声数据去除的效果，提高三维模型的准确度。

附图说明

图1为一个实施例中三维模型生成方法的流程示意图；

图2为一个实施例中三维模型生成方法中掩码区域卷积神经网络训练过程的的流程示意图；

图3为一个实施例中三维模型生成装置的结构框图；以及

图4为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种三维模型生成方法，包括以下步骤：

步骤102，获取扫描到的纹理图像和对应的深度图像。

具体地，获取由三维扫描设备扫描到的纹理图像和与纹理图像对应的深度图像。其中，纹理图像上记录着扫描目标的纹理信息，深度图像上记录着纹理图像上每个像素点对应的深度信息。

步骤104，通过预先训练好的掩码区域卷积神经网络对纹理图像进行处理，确定纹理图像上的感兴趣区域、以及每个感兴趣区域的类别信息和掩码信息。

其中，掩码区域卷积神经网络(maskr-cnn)由区域卷积神经网络(r-cnn)演变而来，是图像目标检测及分割算法。感兴趣区域(regionofinterest，roi)为在纹理图像中需要处理的图像区域，在感兴趣区域中可能存在构建三维模型所需要的数据。

具体地，预先训练好掩码区域卷积神经网络，将纹理图像输入到掩码区域卷积神经网络中，输出纹理图像上的感兴趣区域和每个感兴趣区域对应的类别信息和掩码信息。

其中，感兴趣区域对应的类别信息包括感兴趣区域相对于每个预设类别的类别值，根据感兴趣区域相对于预设类别的类别值可确定感兴趣区域是否属于该预设类别。感兴趣区域的掩码信息包括感兴趣区域相对于每个预设类别的掩码图像，感兴趣区域相对于每个预设类别的掩码图像为二值掩码图像。

在一个实施例中，预设类别分为正样本类别和负样本类别，属于正样本类别的感兴趣区域中包含用于构建三维模型的有用数据，属于负样本类别的感兴趣区域中包含容易对三维模型造成干扰的噪声数据，从而后续通过对属于不同预设类别的感兴趣区域进行相应处理，提高三维模型的准确度。

步骤106，根据感兴趣区域的类别信息和掩码信息，更新深度图像。

具体地，由于感兴趣区域的类别信息中包括感兴趣区域对应每个预设类别的类别值，根据感兴趣区域相对于每个预设类别的类别值可确定感兴趣区域属于的预设类别，感兴趣区域属于的预设类别即感兴趣区域的区域类别。

在一个实施例中，感兴趣区域对应每个预设类别的类别值为0或1，当感兴趣区域对应任一预设类别的类别值为0时，认为感兴趣区域不属于该预设类别，当感兴趣区域对应任一预设类别的类别值为1时，认为感兴趣区域属于该预设类别，从而对感兴趣区域的区域类别进行准确判断。

具体地，在确定感兴趣区域的区域类别后，从感兴趣区域的掩码信息中获取感兴趣区域对应该区域类别的掩码图像，将感兴趣区域对应该区域类别的掩码图像确定为感兴趣区域的掩码图像。根据感兴趣区域的区域类别和感兴趣区域的掩码图像，对感兴趣区域在深度图像上对应的深度信息进行更新，以去除属于负样本类别的感兴趣区域所对应的深度信息，包括属于正样本类别的感兴趣区域的深度信息。

步骤108，根据更新后的深度图像，构建相应的三维模型。

具体地，在根据各感兴趣区域的区域类别和掩码图像，通过预设的三维重建算法和更新后的深度图像，进行三维模型的构建，获得构建好的三维模型，在此不对三维重建算法进行具体限制。

上述三维模型生成方法中，通过训练好的掩码区域卷积神经网络对纹理图像进行处理，确定纹理图像上的感兴趣区域、以及每个感兴趣区域的类别信息和掩码信息，确定感兴趣区域的区域类别和掩码图像，根据感兴趣区域的区域类别和掩码图像对深度图像进行处理，从而提高对深度图像中噪声数据去除和有效数据保留的效果，提高三维模型重建的准确度。

在一个实施例中，在更新深度图像时，当感兴趣区域的区域类别为正样本类别时，将感兴趣区域的掩码图像与深度图像进行掩码操作，获得更新后的深度图像，从而有效地保留正样本类别在深度图像中对应的深度信息。其中，掩码操作可为将掩码图像中的掩码值与深度图像相应区域的深度值进行相乘。

在一个实施例中，在更新深度图像时，当感兴趣区域的区域类别为负样本类别时，对感兴趣区域在深度图像中对应的深度信息进行清除，从而有效地去除负样本类别在深度图像中对应的深度信息。其中，可通过先确定感兴趣区域在深度图像中对应的深度图像区域，再去除该深度图像区域的深度值。还可先将感兴趣区域的掩码图像中的掩码值设置为零，再将该更新的掩码图像与深度图像进行掩码操作。

在一个实施例中，在更新深度图像时，获取纹理图像中除所有感兴趣区域以外的剩余图像区域，对剩余图像区域在深度图像中对应的深度信息进行清除，从而有效避免剩余图像区域对应的深度信息对三维模型的构建造成干扰。

在一个实施例中，扫描到的纹理图像和深度图像分别为牙齿纹理图像和牙齿深度图像，正样本类别包括牙龈类别和牙齿类别，负样本类别包括舌头类别和舌颊侧类别，从而便于对口腔内比较容易对三维模型构造过程产生干扰的舌头、舌颊侧图像数据进行处理，提高三维模型的准确度。

在一个实施例中，在将牙齿纹理图像输入至掩码区域卷积神经网络时，获取牙齿深度图像上的感兴趣区域和每个感兴趣区域对应的类别信息和掩码信息。感兴趣区域对应的类别信息包括感兴趣区域分别相对于牙龈类别、牙齿类别、舌头类别和舌颊侧类别的类别值，感兴趣区域对应的掩码信息包括感兴趣区域分别相对于牙龈类别、牙齿类别、舌头类别和舌颊侧类别的掩码图像。根据感兴趣区域分别相对于牙龈类别、牙齿类别、舌头类别和舌颊侧类别的类别值，确定感兴趣区域所属的区域类别，将感兴趣区域相对该区域类别的掩码图像设置为感兴趣区域的掩码图像，从而对感兴趣区域的类别进行较为准确地判断。作为示例地，当感兴趣区域所属的区域类别为牙龈类别时，将感兴趣区域相对于牙龈类别的掩码图像设置为感兴趣区域的掩码图像。

在一个实施例中，由于牙齿类别和牙龈类别属于正样本类别、舌头类别和舌颊侧类别属于负样本类别，当感兴趣区域属于牙齿类别或牙龈类别时，将感兴趣区域的掩码图像与深度图像进行掩码操作，当感兴趣区域属于舌头类别或舌颊侧类别时，将对感兴趣区域在深度图像中对应的深度信息进行清除，从而有效地保留正样本类别在深度图像中对应的深度信息，有效地去除负样本类别在深度图像中对应的深度信息。

在另一个实施例中，如图2所示，提供了一种三维模型生成方法中掩码区域卷积神经网络的训练过程，包括以下步骤：

步骤202，获取采集的样本图像集，对样本图像集中的样本图像进行区域类型标记，获得样本图像中预设类别的图像区域。

具体地，样本图像集的样本图像为与扫描目标属于同类物体的纹理图像。在获得样本图像集后，可对样本图像集中的样本图像进行区域标记，获得样本图像中预设类别的图像区域。其中，可采用lableme图像标注工具对样本图像进行区域标记。

在一个实施例中，预设类别分为正样本类别和负样本类别，从而提高对掩码区域卷积神经网络的训练效果。

在一个实施例中，当扫描目标为牙齿时，可采集不同年龄段的人的牙齿纹理图像，例如按照每10岁一个年龄段将0～80岁的年龄区间分为8段，每个年龄段采集男女比例为1:1的纹理图像。

步骤204，将样本图像输入掩码区域卷积神经网络，确定样本图像上的感兴趣样本区域、以及每个感兴趣样本区域的类别信息和掩码信息。

具体地，由掩码区域卷积神经网络对样本图像进行处理，获得样本图像上的感兴趣样本区域、以及每个感兴趣样本区域的类别信息和掩码信息。

步骤206，根据样本图像中预设类别的图像区域、以及感兴趣样本区域的类别信息和掩码信息，对掩码区域卷积神经网络进行训练。

具体地，由于感兴趣样本区域的类别信息中包括感兴趣样本区域对应每个预设类别的类别值，根据感兴趣样本区域相对于每个预设类别的类别值可确定感兴趣样本区域属于的预设类别。在确定感兴趣样本区域所属的预设类别(即感兴趣样本的区域类别)后，可将感兴趣样本区域与样本图像中该预设类别的图像区域进行比较，获得掩码区域卷积神经网络训练过程的误差，根据该误差调整掩码区域卷积神经网络的网络参数，如此多次对掩码区域卷积神经网络的网络参数进行调整，实现对掩码区域卷积神经网络的有监督训练。

在一个实施例中，在将样本图像输入掩码区域卷积神经网络之前，对样本图像进行图像处理操作，其中，图像处理操作包括亮度一致性处理和去均值处理，以提高掩码区域卷积神经网络的训练效果。

在一个实施例中，在将样本图像输入掩码区域卷积神经网络时，通过掩码区域卷积神经网络中的深度残差神经网络(resnet神经网络)提取样本图像的特征图，对该特征图的每一个特征点设定预设大小的候选区域，将候选区域输入到掩码区域卷积神经网络中的区域候选网络(regionproposalnetwork，简称rpn)，进行二值分类和边框回归，以对候选区域进行筛选，获得样本图像的感兴趣样本区域。再通过预设的区域特征聚集方式对感兴趣区域进行处理，确定感兴趣区域的类别信息，通过掩码区域卷积神经网络中的全连接卷积神经网络操作，生成感兴趣区域的掩码信息。其中，区域特征聚集方式为掩码区域卷积神经网络的roialign方式。

应该理解的是，虽然图1-2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图3所示，提供了一种三维模型生成装置300，包括：图像获取模块302、纹理图像处理模块304、深度图像更新模块306和模型构建模块308，其中：

图像获取模块302，用于获取扫描到的纹理图像和对应的深度图像。

具体地，获取由三维扫描设备扫描到的纹理图像和与纹理图像对应的深度图像。其中，纹理图像上记录着扫描目标的纹理信息，深度图像上记录着纹理图像上每个像素点对应的深度信息。

纹理图像处理模块304，用于通过预先训练好的掩码区域卷积神经网络对纹理图像进行处理，确定纹理图像上的感兴趣区域、以及每个感兴趣区域的类别信息和掩码信息。

其中，掩码区域卷积神经网络(maskr-cnn)由区域卷积神经网络(r-cnn)演变而来，是图像目标检测及分割算法。感兴趣区域(regionofinterest，roi)为在纹理图像中需要处理的图像区域，在感兴趣区域中可能存在构建三维模型所需要的数据。

具体地，预先训练好掩码区域卷积神经网络，将纹理图像输入到掩码区域卷积神经网络中，输出纹理图像上的感兴趣区域和每个感兴趣区域对应的类别信息和掩码信息。

其中，感兴趣区域对应的类别信息包括感兴趣区域相对于每个预设类别的类别值，根据感兴趣区域相对于预设类别的类别值可确定感兴趣区域是否属于该预设类别。感兴趣区域的掩码信息包括感兴趣区域相对于每个预设类别的掩码图像，感兴趣区域相对于每个预设类别的掩码图像为二值掩码图像。

在一个实施例中，预设类别分为正样本类别和负样本类别，属于正样本类别的感兴趣区域中包含用于构建三维模型的有用数据，属于负样本类别的感兴趣区域中包含容易对三维模型造成干扰的噪声数据，从而后续通过对属于不同预设类别的感兴趣区域进行相应处理，提高三维模型的准确度。

深度图像更新模块306，用于根据感兴趣区域的类别信息和掩码信息，更新深度图像。

具体地，由于感兴趣区域的类别信息中包括感兴趣区域对应每个预设类别的类别值，根据感兴趣区域相对于每个预设类别的类别值可确定感兴趣区域属于的预设类别，感兴趣区域属于的预设类别即感兴趣区域的区域类别。

在一个实施例中，感兴趣区域对应每个预设类别的类别值为0或1，当感兴趣区域对应任一预设类别的类别值为0时，认为感兴趣区域不属于该预设类别，当感兴趣区域对应任一预设类别的类别值为1时，认为感兴趣区域属于该预设类别，从而对感兴趣区域的区域类别进行准确判断。

具体地，在确定感兴趣区域的区域类别后，从感兴趣区域的掩码信息中获取感兴趣区域对应该区域类别的掩码图像，将感兴趣区域对应该区域类别的掩码图像确定为感兴趣区域的掩码图像。根据感兴趣区域的区域类别和感兴趣区域的掩码图像，对感兴趣区域在深度图像上对应的深度信息进行更新，以去除属于负样本类别的感兴趣区域所对应的深度信息，包括属于正样本类别的感兴趣区域的深度信息。

模型构建模块308，用于根据更新后的深度图像，构建相应的三维模型。

具体地，在根据各感兴趣区域的区域类别和掩码图像，通过预设的三维重建算法和更新后的深度图像，进行三维模型的构建，获得构建好的三维模型，在此不对三维重建算法进行具体限制。

上述三维模型生成装置中，通过训练好的掩码区域卷积神经网络对纹理图像进行处理，确定纹理图像上的感兴趣区域、以及每个感兴趣区域的类别信息和掩码信息，确定感兴趣区域的区域类别和掩码图像，根据感兴趣区域的区域类别和掩码图像对深度图像进行处理，从而提高对深度图像中噪声数据去除和有效数据保留的效果，提高三维模型重建的准确度。

在一个实施例中，在更新深度图像时，当感兴趣区域的区域类别为正样本类别时，将感兴趣区域的掩码图像与深度图像进行掩码操作，获得更新后的深度图像，从而有效地保留正样本类别在深度图像中对应的深度信息。其中，掩码操作可为将掩码图像中的掩码值与深度图像相应区域的深度值进行相乘。

在一个实施例中，在更新深度图像时，当感兴趣区域的区域类别为负样本类别时，对感兴趣区域在深度图像中对应的深度信息进行清除，从而有效地去除负样本类别在深度图像中对应的深度信息。其中，可通过先确定感兴趣区域在深度图像中对应的深度图像区域，再去除该深度图像区域的深度值。还可先将感兴趣区域的掩码图像中的掩码值设置为零，再将该更新的掩码图像与深度图像进行掩码操作。

在一个实施例中，在更新深度图像时，获取纹理图像中除所有感兴趣区域以外的剩余图像区域，对剩余图像区域在深度图像中对应的深度信息进行清除，从而有效避免剩余图像区域对应的深度信息对三维模型的构建造成干扰。

在一个实施例中，扫描到的纹理图像和深度图像分别为牙齿纹理图像和牙齿深度图像，正样本类别包括牙龈类别和牙齿类别，负样本类别包括舌头类别和舌颊侧类别，从而便于对口腔内比较容易对三维模型构造过程产生干扰的舌头、舌颊侧图像数据进行处理，提高三维模型的准确度。

在一个实施例中，在将牙齿纹理图像输入至掩码区域卷积神经网络时，获取牙齿深度图像上的感兴趣区域和每个感兴趣区域对应的类别信息和掩码信息。感兴趣区域对应的类别信息包括感兴趣区域分别相对于牙龈类别、牙齿类别、舌头类别和舌颊侧类别的类别值，感兴趣区域对应的掩码信息包括感兴趣区域分别相对于牙龈类别、牙齿类别、舌头类别和舌颊侧类别的掩码图像。根据感兴趣区域分别相对于牙龈类别、牙齿类别、舌头类别和舌颊侧类别的类别值，确定感兴趣区域所属的区域类别，将感兴趣区域相对该区域类别的掩码图像设置为感兴趣区域的掩码图像，从而对感兴趣区域的类别进行较为准确地判断。作为示例地，当感兴趣区域所属的区域类别为牙龈类别时，将感兴趣区域相对于牙龈类别的掩码图像设置为感兴趣区域的掩码图像。

在一个实施例中，由于牙齿类别和牙龈类别属于正样本类别、舌头类别和舌颊侧类别属于负样本类别，当感兴趣区域属于牙齿类别或牙龈类别时，将感兴趣区域的掩码图像与深度图像进行掩码操作，当感兴趣区域属于舌头类别或舌颊侧类别时，将对感兴趣区域在深度图像中对应的深度信息进行清除，从而有效地保留正样本类别在深度图像中对应的深度信息，有效地去除负样本类别在深度图像中对应的深度信息。

在一个实施例中，在训练掩码区域卷积神经网络时，获取采集的样本图像集，对样本图像集中的样本图像进行区域类型标记，获得样本图像中预设类别的图像区域，将样本图像输入掩码区域卷积神经网络，确定样本图像上的感兴趣样本区域、以及每个感兴趣样本区域的类别信息和掩码信息，根据样本图像中预设类别的图像区域、以及感兴趣样本区域的类别信息和掩码信息，对掩码区域卷积神经网络进行训练，从而通过对掩码区域卷积神经网络进行有监督训练，提高掩码区域卷积神经网络的训练效果。

其中，样本图像集的样本图像为与扫描目标属于同类物体的纹理图像。在获得样本图像集后，可对样本图像集中的样本图像进行区域标记，获得样本图像中预设类别的图像区域。在确定感兴趣样本区域所属的预设类别后，可将感兴趣样本区域与样本图像中该预设类别的图像区域进行比较，获得掩码区域卷积神经网络训练过程的误差，根据该误差调整掩码区域卷积神经网络的网络参数，如此多次对掩码区域卷积神经网络的网络参数进行调整，实现对掩码区域卷积神经网络的有监督训练。

在一个实施例中，在将样本图像输入掩码区域卷积神经网络之前，对样本图像进行图像处理操作，其中，图像处理操作包括亮度一致性处理和去均值处理，以提高掩码区域卷积神经网络的训练效果。

在一个实施例中，在将样本图像输入掩码区域卷积神经网络时，通过掩码区域卷积神经网络中的深度残差神经网络提取样本图像的特征图，对该特征图的每一个特征点设定预设大小的候选区域，将候选区域输入到掩码区域卷积神经网络中的区域候选网络，进行二值分类和边框回归，以对候选区域进行筛选，获得样本图像的感兴趣样本区域。再通过预设的区域特征聚集方式对感兴趣区域进行处理，确定感兴趣区域的类别信息，通过掩码区域卷积神经网络中的全连接卷积神经网络操作，生成感兴趣区域的掩码信息。其中，区域特征聚集方式为掩码区域卷积神经网络的roialign方式。

在一个是实施例中，当扫描目标为牙齿时，可采集不同年龄段的人的牙齿纹理图像，例如按照每10岁一个年龄段将0～80岁的年龄区间分为8段，每个年龄段采集男女比例为1:1的纹理图像。

关于三维模型生成装置的具体限定可以参见上文中对于三维模型生成方法的限定，在此不再赘述。上述三维模型生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储用于训练掩码区域卷积神经网络的样本图像集。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种三维模型生成方法。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取扫描到的纹理图像和对应的深度图像；

通过预先训练好的掩码区域卷积神经网络对纹理图像进行处理，确定纹理图像上的感兴趣区域、以及每个感兴趣区域的类别信息和掩码信息；

根据感兴趣区域的类别信息和掩码信息，更新深度图像；

根据更新后的深度图像，构建相应的三维模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

在感兴趣区域的类别信息中确定感兴趣区域的区域类别；

当区域类别为正样本类别时，在感兴趣区域的掩码信息中获取感兴趣区域对应区域类别的掩码图像，将感兴趣区域对应区域类别的掩码图像确定为感兴趣区域的掩码图像；

根据感兴趣区域的掩码图像，对深度图像进行更新。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

当区域类别为负样本类别时，对感兴趣区域在深度图像中对应的深度信息进行清除。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取纹理图像中除感兴趣区域之外的剩余图像区域；

对剩余图像区域在深度图像中对应的深度信息进行清除。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取采集的样本图像集，对样本图像集中的样本图像进行区域类型标记，获得样本图像中预设类别的图像区域；

将样本图像输入掩码区域卷积神经网络，确定样本图像上的感兴趣样本区域、以及每个感兴趣样本区域的类别信息和掩码信息；

根据样本图像中预设类别的图像区域、以及感兴趣样本区域的类别信息和掩码信息，对掩码区域卷积神经网络进行训练。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

提取样本图像的特征图；

在特征图上确定候选区域，在候选区域中筛选出感兴趣样本区域；

通过预设的区域特征聚集方式和预设的全连接卷积神经网络对感兴趣样本区域进行处理，生成感兴趣样本区域的类别信息和掩码信息。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取扫描到的纹理图像和对应的深度图像；

通过预先训练好的掩码区域卷积神经网络对纹理图像进行处理，确定纹理图像上的感兴趣区域、以及每个感兴趣区域的类别信息和掩码信息；

根据感兴趣区域的类别信息和掩码信息，更新深度图像；

根据更新后的深度图像，构建相应的三维模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

在感兴趣区域的类别信息中确定感兴趣区域的区域类别；

当区域类别为正样本类别时，在感兴趣区域的掩码信息中获取感兴趣区域对应区域类别的掩码图像，将感兴趣区域对应区域类别的掩码图像确定为感兴趣区域的掩码图像；

根据感兴趣区域的掩码图像，对深度图像进行更新。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

当区域类别为负样本类别时，对感兴趣区域在深度图像中对应的深度信息进行清除。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取纹理图像中除感兴趣区域之外的剩余图像区域；

对剩余图像区域在深度图像中对应的深度信息进行清除。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取采集的样本图像集，对样本图像集中的样本图像进行区域类型标记，获得样本图像中预设类别的图像区域；

将样本图像输入掩码区域卷积神经网络，确定样本图像上的感兴趣样本区域、以及每个感兴趣样本区域的类别信息和掩码信息；

根据样本图像中预设类别的图像区域、以及感兴趣样本区域的类别信息和掩码信息，对掩码区域卷积神经网络进行训练。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

提取样本图像的特征图；

在特征图上确定候选区域，在候选区域中筛选出感兴趣样本区域；

通过预设的区域特征聚集方式和预设的全连接卷积神经网络对感兴趣样本区域进行处理，生成感兴趣样本区域的类别信息和掩码信息。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。