-
树冠是森林资源调查与监测中重要的树木测量指标之一[1],基于实地调查的树冠测量虽然能够提供可靠的相关信息[2-3],但耗时耗力。因此,迫切需要一种快速、准确地检测树冠的新思路。遥感技术在森林调查中的应用提供了有效准确的树木测量,例如,无人机可以在高空间分辨率下探测到详细的森林信息[4]。史结清等[5]指出,无人机遥感在高郁闭度或植被茂密的林分无法被充分利用,只能通过人工判读获取目标林分的郁闭度,但因为高郁闭度林分中树冠特征复杂,人工判读也会存在一定的偏差。包括局部最大/最小检测[6]、边缘检测[7]、分水岭[8]、区域生长[9]和模板匹配[10]等传统分割方法,无法充分挖掘或提取无人机图像中的所有可用信息,利用新的方法快速、准确、自动测量和监测森林属性越来越引起人们的兴趣。实例分割[11]是基于图像深度学习的一种技术,它不再依赖于一致的光谱特征或基于规则的算法,并已被证明能够超越经典的遥感技术。在林业方面,深度学习已成功应用于单木检测[9]、植物病害和健康检测[12]、森林树种制图[13]等等。Mask R-CNN作为基于掩码区域的卷积神经网络[14],是近年来前沿的模型,它集成了目标检测任务和语义分割任务来执行实例分割。本研究试验了基于无人机RGB影像和Mask R-CNN实例分割的一种适合高郁闭度人工纯林单木树冠提取的模型,比较低郁闭度与高郁闭度林分的树冠提取效果,为高郁闭度单木树冠提取提供新思路。
-
本研究共选择了2个研究区,高郁闭度林分的影像采集点位于福建省三明市将乐县国有林场(26°41′ N,117°27′ E),低郁闭度林分的影像取自于江西省赣州市大余县集体林区(25°21′ N,114°19′ E)。2个研究区均为杉木纯林,其中于福建获取影像总面积13.7 hm2,2021年7月使用大疆悟2无人机拍摄,影像地面采样距离(GSD)为4 cm;于江西获取影像总面积为27.8 hm2,2018年8月使用大疆精灵4Pro无人机拍摄,GSD为4 cm。影像均采用瑞士Pix4d公司的无人机数据处理软件Pix4dmapper进行图像处理,合成的数字正射影像如图1所示。各选取94份512 × 512像素的影像,分别包含3 769、5 170个树冠,利用VIA软件手动勾绘单木树冠边缘以完成树冠标注,输出的标注和影像作为模型的样本,分为训练集40张,验证集24张,测试集30张,示例样本见图1(d ~ g),数据集各参数统计见表1。
Figure 1. Survey map of the study area(b and c are UAV images of high canopy density forest and low canopy density forest, respectively)
参数
Parameters低郁闭度林分
Low canopy density stand高郁闭度林分
High canopy density stand拍摄地 Area 江西省赣州市大余县杉木纯林 福建省三明市将乐县杉木纯林 拍摄工具 Shooting tool 大疆精灵4Pro无人机 大疆悟2无人机 地面采样距离/m GSD 0.04 0.04 平均郁闭度 Average canopy density 0.45 0.75 株数密度/(株·hm-2) Plant density 1 310 976 树冠平均面积/m2 Average crown area 1.01 3.51 Table 1. Parameters statistics of dataset
-
Mask R-CNN作为Faster R-CNN[15]的扩展模型,以Faster R-CNN为基础在目标检测末端框架中加入1个掩膜分支,借助全连接层(FC)使得每个输出建议框实现实例分割。Mask R-CNN的架构分为3个阶段,第一阶段通过主干网络从输入图像中提取特征图,分别选取7种主干网络,如表2所示,第二阶段将特征图传输给区域建议网络(RPN)生成兴趣区域(RoIs),最后阶段由RPN生成的ROIs映射至共享特征图中提取相应的目标特征,经过兴趣区域对齐层(ROIAlign)对齐,然后分别输出到FC和全卷积网络(FCN)中进行目标分类和实例分割,在此过程中生成了分类置信度、边界框和分割实例之间的掩膜。
模型简称
Shortname of model主干
BackboneFPN结构
FPN structureR50-C4 ResNet50-Conv4 × R50-DC5 ResNet50-Conv5 × R50-FPN ResNet50 √ R101-C4 ResNet101-Conv4 × R101-DC5 ResNet101-Conv5 × R101-FPN ResNet101 √ X101-FPN ResNetXt101 √ Table 2. Backbone of model
-
模型训练环境为Windows 10操作系统,显示核心(GPU)为NAVIDIA RTX2070,显存为8 GB,中央处理器(CPU)为英特尔i7-9750,内存为32 GB,基于Python3.6编程平台,利用Pytorch搭建实例分割Mask R-CNN各个模型。各模型参数设置基本一致,学习率设置为0.000 25,各部分损失权重初始值设为1,权重衰减系数设为0.000 1,批量为1,置信度阈值设为0.7。模型输出结果包括每张图像中每个实例的类别预测、边界框预测、置信度以及掩膜预测,模型的训练损失主要包括2个部分:RPN的训练损失和多分支预测网络中的训练损失,训练过程中损失值稳定后代表训练完成,所有模型迭代4 000次后总损失值均达到稳定状态。
-
训练完成后,每个模型对应1个权重文件,将预测图像和权重文件输入至模型中,实例分割结果经过OpenCV工具包的转换,在图像中每个实例绘画掩膜、边界框和标注类别,因为本试验实例只含单个类别而且图像大小较小,在结果后处理过程中将不标注类别。实例分割结果中的掩膜和边界框是以数组的形式展现的,掩膜数组包含所有实例边缘像素的图像空间坐标,边界框数组涵盖4个角点的图像空间坐标,由此可进行林分参数提取。假设模型对一张影像(默认xy像元一致,影像宽高为
$ w $ 和$ h $ )预测出$ n $ 株树,影像的地面采样距离为$ gsd $ ,第$ i $ ($ i\leqq n $ )株单木的树冠预测边界框$ {B}_{i}= ({y}_{1}, {y}_{2}, {y}_{3},{y}_{4}) $ ,类别为$ {C}_{i} $ ($ {C}_{i} $ 值为0或1,0代表背景,1代表杉木),掩膜为$ {M}_{i} $ ($ {M}_{i} $ 内元素个数等于影像的高与宽的乘积,内部元素值为0或1,0元素代表背景像素,1元素代表树冠像素),整张图像的预测结果$ S=(\left({B}_{1},{C}_{1},{M}_{1}\right),\cdots , \left({B}_{i},{C}_{i},{M}_{i}\right),\cdots ,({B}_{n}, {C}_{n}, {M}_{n}\left)\right) $ 。则该影像中单木株树$ N=n $ ,第$ i $ 株单木东西冠幅$ {EW}_{i}=\left|{y}_{3}-{y}_{1}\right|\times {gsd}^{2} $ ,第$ i $ 株单木南北冠幅$ {SN}_{i}= |{y}_{4}-{y}_{2}|\times {gsd}^{2} $ ,第$ i $ 株单木树冠面积$ {G}_{i}={\rm{sum}}\left({M}_{i}\right)\times {gsd}^{2} $ ($ {\rm{sum}} $ 为元素求和函数),整张影像的林分郁闭度$D=\sum_{i=1}^{n}\left({{\rm{sum}}}\left(M_{i}\right)\right) /_{w \times h^{\prime}}$ 。采用交并比(IoU)、边界框平均精度(Box-AP)和分割平均精度(Segm-AP)对树冠实例分割结果进行评价,采用均方根误差和预测决定系数进行单木参数和林分参数提取的评估。 -
7个模型的实例分割结果如图2所示,c ~ i为低郁闭度林分可视化结果,影像中林分稀疏,单木树冠之间边缘可明显区分;l ~ r为高郁闭度林分可视化结果,由于林分密集,树冠与树冠之间重叠比例比低郁闭度林分高,相邻树冠之间较难区分边缘,而且树冠边缘复杂,对树冠分割是一项挑战。各个模型均能够分割相邻树冠,得到较为清晰的树冠边缘。对7个模型进行精度评价,不同郁闭度各模型的Box-AP和Segm-AP值如图3所示,低郁闭度测试集的Box-AP和Segm-AP平均值分别为55.89%、57.29%,比高郁闭度测试集的Box-AP平均值(46.00%)和Segm-AP平均值(44.45%)高出9.89%、12.84%。低郁闭度测试集中,分割性能最优的模型为R50-DC5,Box-AP和Segm-AP值分别为57.63%、58.83%;高郁闭度测试集中,各模型AP值差异不明显,分割性能最优的模型为R101-DC5,Box-AP和Segm-AP值分别为47.93%、47.22%。
-
分别在7个模型测试集中抽取300个IoU≥0.5树冠,进行精度评价(见表3)。低郁闭度林分东西冠幅、南北冠幅和树冠面积参数提取平均RMSE分别为0.161、0.179和0.341,平均R2分别为0.912、0.918和0.957,东西冠幅、南北冠幅和树冠面积参数提取最优模型分别为R101-FPN、R101-C4和R101-C4。ResNet101在树冠提取性能优于ResNet50,更深层次的残差网络对特征的准确提取有着一定的优势,但是在低郁闭度林分中优势不明显。高郁闭度林分东西冠幅、南北冠幅和树冠面积参数提取平均RMSE分别为0.479、0.497和1.256,平均R2分别为0.806、0.762和0.936。随着林分郁闭度的增加,影像中单木特征逐渐复杂,参数提取偏差变大,但是低/高郁闭度林分单木树冠面积提取的R2仅相差0.021,说明实例分割模型在高郁闭度林分仍能够做到较准确提取树冠参数。高郁闭度林分中各参数提取最佳模型均为R101-FPN,RMSE分别为0.369、0.395和1.079,R2分别为0.886、0.861和0.948,R101-FPN更适应于高郁闭度林树冠参数的提取。
林分
Stand参数
Parameter评价指标
Evaluating indicatorR50-C4 R50-DC5 R50-FPN R101-C4 R101-DC5 R101-FPN X101-FPN 低郁闭度
Low canopy density东西冠幅
East-west crown widthRMSE/m 0.156 0.171 0.205 0.138 0.159 0.137 0.160 R2 0.922 0.904 0.859 0.937 0.906 0.933 0.924 南北冠幅
South-north crown widthRMSE/m 0.169 0.177 0.216 0.148 0.178 0.178 0.184 R2 0.924 0.917 0.887 0.943 0.918 0.917 0.917 树冠面积
Crown areaRMSE/m 0.328 0.373 0.350 0.309 0.339 0.331 0.357 R2 0.960 0.950 0.955 0.966 0.956 0.959 0.956 高郁闭度
High canopy density东西冠幅
East-west crown widthRMSE/m 0.390 0.643 0.490 0.397 0.591 0.369 0.476 R2 0.850 0.703 0.818 0.859 0.718 0.886 0.810 南北冠幅
South-north crown widthRMSE/m 0.366 0.672 0.487 0.414 0.620 0.395 0.523 R2 0.856 0.624 0.805 0.821 0.630 0.861 0.734 树冠面积
Crown areaRMSE/m 1.132 1.316 1.195 1.333 1.500 1.079 1.240 R2 0.931 0.940 0.942 0.911 0.924 0.948 0.944 Table 3. Evaluation table of crown width and area extraction of single tree
-
各实例分割模型低、高郁闭度测试集的林分单木株数提取结果如图4所示,纵坐标为单木株数,折线的每个折点代表不同单木株数的等面积样地。低郁闭度林分影像中各模型单木株数提取偏差均比高郁闭度低,且随着林分单木株数的增加偏差也不会呈明显的增加的趋势,反观高郁闭度林分单木株数提取结果,随着林分单木株数的增加偏差呈一定的增加趋势,代表株数密度越大,提取性能呈下降趋势。R101-FPN模型在高郁闭度测试集的表现最好,根据图4(m)中随着样地内单木株数越来越多,参考株数与预测株数的偏差没有呈现越来越大的趋势,因此该模型对各株数密度的林分的提取有着一定的稳定性。如图5所示,在对测试集的林分郁闭度预测中,低、高郁闭度林分郁闭度预测性能最优的模型均为R101-FPN,R2分别为0.873、0.865。综上所述,在7个实例分割模型中,各郁闭度的林分参数提取综合性能最优的为R101-FPN模型。
Tree Crown Extraction of UAV Remote Sensing High Canopy Density Stand Based on Instance Segmentation
- Received Date: 2022-01-23
- Accepted Date: 2022-04-20
- Available Online: 2022-10-20
Abstract: