基于神经辐射场的果园三维重建与果树语义分割方法

本发明涉及农业信息化，具体为基于神经辐射场的果园三维重建与果树语义分割方法。

背景技术：

1、在现代农业中，3d重建技术被广泛应用于监测作物生长、分析环境条件以及进行产量预测。作为一种重要的创新手段，3d重建通过生成高精度的三维模型，有效促进了精细化管理和监控的提升。结合虚拟现实(vr)技术，可对复杂的非结构化农业场景进行实时重建，从而为农业机器人在果园或农田中执行各类复杂任务提供远程协助支持。

2、在果园中，3d重建依托图像和点云等视觉数据，创建出精确描绘树木、水果及地形的数字模型，有助于呈现环境中的空间结构及分布特征，进而支持作物表型分析及产量预估。此外，通过将语义信息整合到3d场景中，可以更好地了解果园中各类物体的分布与状态，例如帮助机器人实现自动化采摘水果，或利用无人机进行精准农药喷洒，从而推动农业自动化。

3、无人机凭借其成本低、分辨率高、操作灵活及自动化程度高的优势，广泛用于作物监控工作。结合3d重建技术，无人机能够快速、准确地获取大面积果园的三维数据，为果园的精细化管理、规划设计以及果树健康状况的评估提供独特的技术支持。

4、目前，基于点云的三维重建技术在农业领域得到了广泛应用，但在处理植物的复杂结构细节时，常常受到传感器性能及数据采集条件的限制。而神经辐射场(nerf)技术的出现，为高保真三维重建带来了新的突破，nerf技术通过深度学习方法，从2d图像生成高精度的3d模型，大幅提升了重建的精度和细节表现。

5、但是上述技术在实际使用时，nerf技术目前主要应用于小规模农业场景，在无人机用于大规模果园三维重建时，nerf技术仍面临复杂光照变化条件下重建质量下降、速度减缓以及对数据采集要求较高等技术瓶颈。

技术实现思路

1、本发明的目的在于提供基于神经辐射场的果园三维重建与果树语义分割方法，以解决复杂光照变化条件下重建质量下降、速度减缓以及对数据采集要求较高的问题。

2、为实现上述目的，本发明提供如下技术方案：基于神经辐射场的果园三维重建与果树语义分割方法，包括以下步骤：

3、s1、图像采集：利用无人机对果园进行多视角拍摄，获取用于三维重建的原始图像数据集；

4、s2、预处理：对所述原始图像数据集进行预处理，包括相机位姿估计与去畸变、图像下采样、单目深度估计及语义标注，生成适用于神经辐射场网络训练的rgb图像、深度图和语义图的图像数据；

5、s3、神经辐射场网络构建与训练：

6、s31、对神经辐射场网络原模型的基础上融入输入采样点坐标收缩模块、多分辨率哈希编码与紧凑mlp架构、外观嵌入向量、透明度估计网络及语义mlp模块，并构建改进的神经辐射场网络模型；

7、s32、将步骤s2中预处理后的图像数据集输入步骤s31中改进的神经辐射场网络模型进行训练，生成果园场景的三维重建和语义分割；

8、s4、损失函数设计：采用包含重建损失、深度损失、语义损失、可见性损失、失真损失和层间损失的复合损失函数对步骤s31中改进的神经辐射场网络模型进行网络训练，进一步优化三维重建和语义分割的效果；

9、s5、性能评估：利用峰值信噪比、结构相似性指数、感知图像相似性、每秒渲染帧率、交并比、平均交并比、单类别像素准确率和总像素准确率指标对步骤s32中三维重建和语义分割结果进行性能评估；

10、s6、三维可视化与渲染：将步骤s4中训练好的改进的神经辐射场网络模型应用于三维可视化工具中，实现果园场景的渲染及分割结果的可视化展示。

11、优选的，所述步骤s31中：

12、所述输入采样点坐标收缩模块用于减少计算负担并提升建模精度；

13、所述多分辨率哈希编码与紧凑mlp架构用于捕捉场景的全局与局部信息；

14、所述外观嵌入向量用于编码图像的外观信息；

15、所述透明度估计网络用于优化模型的透明度估计；

16、所述语义mlp模块用于预测场景中每个点的语义标签。

17、优选的，所述步骤s4中复合损失函数具体为：

18、所述重建损失用于衡量生成图像与真实图像之间的差异，基于颜色渲染损失；

19、所述深度损失使用单目深度估计的深度图作为先验，采用均方误差进行计算；

20、所述语义损失通过交叉熵损失衡量预测的语义标签与真实标签的差异；

21、所述可见性损失通过惩罚训练视角中不可见区域的高密度值，移除场景中的漂浮物，优化场景几何结构；

22、所述失真损失用于惩罚远处点的权重分配，确保权重集中在较近位置，保证密度估计更加精确和局部化；

23、所述层间损失用于监督不同层次的体素密度分布，确保透明度估计网络与nerf网络预测结果的一致性。

24、优选的，所述步骤s5中性能评估指标具体为：

25、所述利用峰值信噪比用于衡量生成图像与真实图像之间的相似性；

26、所述结构相似性指数用于评估图像结构信息的保真度，反映重建图像与参考图像在结构上的相似度；

27、所述感知图像相似性：通过深度学习网络计算图像的感知距离；

28、所述每秒渲染帧率用于衡量三维场景的渲染效率；

29、交并比：评估模型预测的分割区域与真实区域的重叠程度。

30、平均交并比：对所有分类的iou进行平均，衡量整体语义分割的准确性。

31、单类别像素准确率：计算每个分类的正确像素比例，评估分割的精度；

32、总像素准确率：计算所有像素中预测正确的像素比例，反映模型在整个图像上的总体分割性能。

33、与现有技术相比，本发明的有益效果是：

34、1、本发明在处理大规模户外环境，尤其是复杂光照条件和地形多变的情况下，通过优化的无人机多视角重建、改进的nerf算法以及引入的语义场，使得本发明在面对大规模果园场景时，能够克服传统方法的局限性，实现更加快速、精细和准确的三维重建，采用多分辨率哈希编码技术，实现了高效的场景表示，通过融合多视角的彩色图像与语义图像，实现了纹理、几何信息与语义信息的联合表示，为果园的精确语义分割提供了支持。

技术特征：

1.基于神经辐射场的果园三维重建与果树语义分割方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于神经辐射场的果园三维重建与果树语义分割方法，其特征在于：所述步骤s31中：

3.根据权利要求1所述的基于神经辐射场的果园三维重建与果树语义分割方法，其特征在于：所述步骤s4中复合损失函数具体为：

4.根据权利要求1所述的基于神经辐射场的果园三维重建与果树语义分割方法，其特征在于：所述步骤s5中性能评估指标具体为：

技术总结
本发明涉及农业信息化技术领域，具体为基于神经辐射场的果园三维重建与果树语义分割方法，包括以下步骤：利用无人机对果园进行多视角拍摄，获取用于三维重建的原始图像数据集；对所述原始图像数据集进行预处理，包括相机位姿估计与去畸变、图像下采样、单目深度估计及语义标注，生成适用于神经辐射场网络训练的RGB图像、深度图和语义图的图像数据。本发明在处理大规模户外环境，尤其是复杂光照条件和地形多变的情况下，通过优化的无人机多视角重建、改进的NeRF算法以及引入的语义场，使得本发明在面对大规模果园场景时，能够克服传统方法的局限性，实现更加快速、精细和准确的三维重建。

技术研发人员：彭红星,郭尚昆
受保护的技术使用者：华南农业大学
技术研发日：
技术公布日：2025/2/27