一种物体自动建模的方法与流程

本申请书属于自动建模的，尤其涉及一种物体自动建模的方法。

背景技术：

1、在现有技术中，一般情况下，在建模的过程中会采用nerf对包含对象物体的整个场景进行建模，再从全场景中分割出单个对象物体，生成物体的3d模型。

2、上述的方法会需要补充相机参数，再多步骤的人工干预操作下才能完成建模。且传统的mesh模型模糊不够逼真。

3、针对上述问题，目前尚未提出有效的解决方案。

4、应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

技术实现思路

1、本申请书目的在于提供一种物体自动建模的方法，以解决以上的问题。

2、本申请书提供的一种物体自动建模的方法，包括以下步骤：

3、s1、对待建模对象从多个角度采集视频数据，且，第一帧中不存在与所述待建模对象同名的对象；

4、s2、对所述视频数据进行抽帧，用以得到所述待建模对象的批量图像数据；

5、s3、对所述批量图像数据中的所述待建模对象进行检测，且，对检测后的所述批量图像数据进行分割，用以得到所述批量图像数据的分割结果；

6、s4、将所述分割结果作为输入，通过3d高斯算法进行建模，用于得到原始高斯模型；

7、s5、将所述原始高斯模型中的高斯点中的11维特征输入分类器训练集的二分类模型中，用于输出高斯点分类结果；若输出高斯点为正样本，保存在所述原始高斯模型；若输出高斯点为负样本，从所述原始高斯模型中删除。

8、优选地，通过groundingdino模型对视频数据中的待建模对象进行检测，通过sam模型对检测后的所述待建模对象进行分割。

9、优选地，在s3中对所述视频数据进行处理时，输入所述待建模对象的名称作为prompt，对第一帧中的所述待建模对象进行检测得到检测框，将检测后的所述检测框作为检测结果，对所述检测结果进行分割，用于得到第一分割结果并保存。

10、优选地，在s3中对所述视频数据进行处理时，在处理完所述第一帧后，对第一帧后的每一帧依次进行检测与分割，若任意一帧中存在多个同名对象，将存在多个同名对象的单个图像数据中的检测框与上一帧中的检测框进行比对，在存在多个同名对象的单个图像数据中选取iou最大的检测框作为检测结果，对所述检测结果进行分割，得到第二分割结果并保存。

11、优选地，在s2的过程中设置抽帧的帧率为2。

12、优选地，所述11维特征包括球谐函数(f_dc_0/f_dc_1/f_dc_2)、透明度(opacity)、缩放(scale_0/scale_1/scale_2)、旋转(rot_0/rot_1/rot_2/rot_3)。

13、优选地，在制作分类器训练集的过程中，所述正样本数据添加label列值为0，所述负样本添加label列值为1。

14、优选地，选取xgboost作为所述二分类模型。

15、优选地，在s2中，采用ffmpeg对所述视频数据进行抽帧。

16、优选地，通过构造数据集训练出所述分类器，用于自动对所述高斯点进行筛选以区分正样本与负样本。

17、与现有技术相比，本发明的有益效果是：

18、1、本发明通过设置多角度采集视频数据，对视频数据利用groundingdino模型和sam模型进行处理，进而可以准确地得到批量图像数据的分割结果。

19、2、本发明通过将分割结果作为输入，通过3d高斯算法进行建模，进而可以快速地得到原始高斯模型。

20、3、本发明通过设置xgboost作为二分类模型，进而可以准确地对高斯点区分正样本与负样本，进而有效地对原始高斯模型进行优化。

21、4、本发明通过设置iou的阈值设置，将视频数据中的后一帧与前一帧相关联，只需保证第一帧中不存在同类物体，即可准确的得到每一帧的分割结果，进而稳定的进行建模。

技术特征：

1.一种物体自动建模的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的物体自动建模的方法，其特征在于，通过groundingdino模型对视频数据中的待建模对象进行检测，通过sam模型对检测后的所述待建模对象进行分割。

3.根据权利要求1所述的物体自动建模的方法，其特征在于，在s3中对所述视频数据进行处理时，输入所述待建模对象的名称作为prompt，对第一帧中的所述待建模对象进行检测得到检测框，将检测后的所述检测框作为检测结果，对所述检测结果进行分割，用于得到第一分割结果并保存。

4.根据权利要求3所述的物体自动建模的方法，其特征在于，在s3中对所述视频数据进行处理时，在处理完所述第一帧后，对第一帧后的每一帧依次进行检测与分割，若任意一帧中存在多个同名对象，将存在多个同名对象的单个图像数据中的检测框与上一帧中的检测框进行比对，在存在多个同名对象的单个图像数据中选取iou最大的检测框作为检测结果，对所述检测结果进行分割，得到第二分割结果并保存。

5.根据权利要求1所述的物体自动建模的方法，其特征在于，在s2的过程中设置抽帧的帧率为2。

6.根据权利要求1所述的物体自动建模的方法，其特征在于，所述11维特征包括球谐函数(f_dc_0/f_dc_1/f_dc_2)、透明度(opacity)、缩放(scale_0/scale_1/scale_2)、旋转(rot_0/rot_1/rot_2/rot_3)。

7.根据权利要求1所述的物体自动建模的方法，其特征在于，在制作分类器训练集的过程中，所述正样本数据添加label列值为0，所述负样本添加label列值为1。

8.根据权利要求1所述的物体自动建模的方法，其特征在于，选取xgboost作为所述二分类模型。

9.根据权利要求1所述的物体自动建模的方法，其特征在于，在s2中，采用ffmpeg对所述视频数据进行抽帧，或，通过代码对所述视频数据进行抽帧。

10.根据权利要求1所述的物体自动建模的方法，其特征在于，通过构造数据集训练出所述分类器，用于自动对所述高斯点进行筛选以区分正样本与负样本。

技术总结
本申请实施例提供了一种物体自动建模的方法，包括以下步骤，对待建模对象从多个角度采集视频数据，且，第一帧中不存在与待建模对象同名的对象；对视频数据进行抽帧，用以得到待建模对象的批量图像数据；对批量图像数据中的待建模对象进行检测，且，对检测后的批量图像数据进行分割，用以得到批量图像数据的分割结果；将分割结果作为输入，通过3D高斯算法进行建模，用于得到原始高斯模型；将原始高斯模型中的高斯点中的11维特征输入分类器的二分类模型中，用于输出高斯点分类结果；若输出高斯点为正样本，保存在原始高斯模型；若输出高斯点为负样本，从原始高斯模型中删除。

技术研发人员：朱瑞
受保护的技术使用者：苏州博特勒机器人有限公司
技术研发日：
技术公布日：2024/9/5