• 中国中文核心期刊
  • 中国科学引文数据库(CSCD)核心库来源期刊
  • 中国科技论文统计源期刊(CJCR)
  • 第二届国家期刊奖提名奖
Volume 35 Issue 5
Oct.  2022
Article Contents
Turn off MathJax

Citation:

Tree Crown Extraction of UAV Remote Sensing High Canopy Density Stand Based on Instance Segmentation

  • Corresponding author: SUN Yu-jun, sunyj@bjfu.edu.cn
  • Received Date: 2022-01-23
    Accepted Date: 2022-04-20
  • Objective To obtain canopy information in high canopy density forest by remote sensing images. Method A single tree crown extraction method of UAV remote sensing image based on instance segmentation model was tested. Seven residual networks were selected for feature extraction of the model, and the single tree crowns of pure Chinese fir forests with different canopy density were extracted one by one. Result The results showed that the average boundary AP value and mask AP value of seven instance segmentation models for canopy segmentation of low canopy density forest were 55.89% and 57.29%, respectively. The average RMSE of east-west crown width, north-south crown width and crown area parameters was 0.161, 0.179 and 0.341, respectively. The R2 was 0.912, 0.918 and 0.957, respectively. The average boundary AP value of canopy segmentation and the average AP value of canopy cover of high canopy density forest were 46.00% and 44.45%, respectively. The average RMSE of east-west crown width, north-south crown width and crown area parameters was 0.479, 0.497 and 1.256, respectively. The average predicted R2 was 0.806, 0.762 and 0.936, respectively. Conclusion The extraction accuracy of each parameter is higher than the traditional survey accuracy, and this method can obtain crown information automatically, rapidly and accurately.
  • 加载中
  • [1] 潘 磊, 王轶夫, 孙 钊, 等. 基于管道模型理论的长白落叶松叶生物量与径向生长关系研究[J]. 林业科学研究, 2022, 35(2):118-128. doi: 10.13275/j.cnki.lykxyj.2022.02.014

    [2] 孙 钊, 潘 磊, 乔晶晶, 等. 偏冠对树冠垂直投影面积计算的影响[J]. 林业科学研究, 2022, 35(1):166-171. doi: 10.13275/j.cnki.lykxyj.2022.01.019

    [3] 徐志扬, 刘浩栋, 陈永富, 等. 基于无人机LiDAR的杉木树冠上部外轮廓模拟与可视化研究[J]. 林业科学研究, 2021, 34(4):40-48.

    [4] 李 丹, 张俊杰, 赵梦溪. 基于FCM和分水岭算法的无人机影像中林分因子提取[J]. 林业科学, 2019, 55(5):180-187. doi: 10.11707/j.1001-7488.20190520

    [5] 史洁青, 冯仲科, 刘金成. 基于无人机遥感影像的高精度森林资源调查系统设计与试验[J]. 农业工程学报, 2017, 33(11):82-90. doi: 10.11975/j.issn.1002-6819.2017.11.011

    [6]

    Hao Z B, Lin L L, Post C J., et al. Assessing tree height and density of a young forest using a consumer unmanned aerial vehicle (UAV)[J]. New Forests, 2021, 52(5): 843-862. doi: 10.1007/s11056-020-09827-w
    [7]

    Özcan A H, Hisar D, Sayar Y, et al. Tree crown detection and delineation in satellite images using probabilistic voting[J]. Remote Sensing Letters, 2017, 8(8): 761-770. doi: 10.1080/2150704X.2017.1322733
    [8] 孙 钊, 潘 磊, 谢运鸿, 等. 分水岭算法在林业中的应用[J]. 世界林业研究, 2020, 34(3):63-67.

    [9]

    Hao Z B, Lin L L, Post C J., et al. Automated tree-crown and height detection in a young forest plantation using mask region-based convolutional neural network (Mask R-CNN)[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2021, 178: 112-123. doi: 10.1016/j.isprsjprs.2021.06.003
    [10]

    Pollock R. The automatic recognition of individual trees in aerial images of forests based on a synthetic tree crown image model[Z]. University of British Columbia, 1996
    [11]

    Romera-Paredes B, Torr P H S. Recurrent instance segmentation[J]. European Conference on Computer Vision, 2016, 1(1): 312-329
    [12] 李凤迪. 基于深度学习和无人机遥感的松材线虫病树监测系统研究[D]. 泰安: 山东农业大学, 2020

    [13] 业巧林, 许等平, 张 冬. 基于深度学习特征和支持向量机的遥感图像分类[J]. 林业工程学报, 2019, 4(2):119-125.

    [14]

    He K M, Gkioxari G, Dollár P, et al. Mask r-cnn[J]. Proceedings of the IEEE International Conference on Computer Vision, 2017, 13(1): 2961-2969
    [15]

    Ren S Q, He K M, Girshick R, et al. Faster r-cnn: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 39(6): 1137-1149.
    [16] 冯静静, 张晓丽, 刘会玲. 基于灰度梯度图像分割的单木树冠提取研究[J]. 北京林业大学学报, 2017, 39(3):16-23.

    [17] 李明华, 陈雨竹, 周淑芳, 等. 运用分水岭算法对航片数据的单木信息提取与识别[J]. 东北林业大学学报, 2019, 47(9):58-62. doi: 10.3969/j.issn.1000-5382.2019.09.011

    [18] 郭昱杉, 刘庆生, 刘高焕, 等. 基于标记控制分水岭分割方法的高分辨率遥感影像单木树冠提取[J]. 地球信息科学学报, 2016, 18(9):1259-1266.

    [19] 周艳飞, 张绘芳, 李 霞, 等. 基于高分辨遥感数据的胡杨与柽柳树冠提取[J]. 遥感技术与应用, 2015, 30(3):510-517.

    [20]

    Wang L, Tian W X, Zhao X Y, et al. Numerical simulation of the effects of canopy properties on airflow and pollutant dispersion in street canyons[J]. Indoor and Built Environment, 2021, 12: 142-153.
  • 加载中
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

Figures(5) / Tables(3)

Article views(4544) PDF downloads(153) Cited by()

Proportional views

Tree Crown Extraction of UAV Remote Sensing High Canopy Density Stand Based on Instance Segmentation

    Corresponding author: SUN Yu-jun, sunyj@bjfu.edu.cn
  • National Forestry & Grassland Administration Key Laboratory of Forest Resources & Environmental Management, Beijing Forestry University, Beijing 100083, China

Abstract:  Objective To obtain canopy information in high canopy density forest by remote sensing images. Method A single tree crown extraction method of UAV remote sensing image based on instance segmentation model was tested. Seven residual networks were selected for feature extraction of the model, and the single tree crowns of pure Chinese fir forests with different canopy density were extracted one by one. Result The results showed that the average boundary AP value and mask AP value of seven instance segmentation models for canopy segmentation of low canopy density forest were 55.89% and 57.29%, respectively. The average RMSE of east-west crown width, north-south crown width and crown area parameters was 0.161, 0.179 and 0.341, respectively. The R2 was 0.912, 0.918 and 0.957, respectively. The average boundary AP value of canopy segmentation and the average AP value of canopy cover of high canopy density forest were 46.00% and 44.45%, respectively. The average RMSE of east-west crown width, north-south crown width and crown area parameters was 0.479, 0.497 and 1.256, respectively. The average predicted R2 was 0.806, 0.762 and 0.936, respectively. Conclusion The extraction accuracy of each parameter is higher than the traditional survey accuracy, and this method can obtain crown information automatically, rapidly and accurately.

  • 树冠是森林资源调查与监测中重要的树木测量指标之一[1],基于实地调查的树冠测量虽然能够提供可靠的相关信息[2-3],但耗时耗力。因此,迫切需要一种快速、准确地检测树冠的新思路。遥感技术在森林调查中的应用提供了有效准确的树木测量,例如,无人机可以在高空间分辨率下探测到详细的森林信息[4]。史结清等[5]指出,无人机遥感在高郁闭度或植被茂密的林分无法被充分利用,只能通过人工判读获取目标林分的郁闭度,但因为高郁闭度林分中树冠特征复杂,人工判读也会存在一定的偏差。包括局部最大/最小检测[6]、边缘检测[7]、分水岭[8]、区域生长[9]和模板匹配[10]等传统分割方法,无法充分挖掘或提取无人机图像中的所有可用信息,利用新的方法快速、准确、自动测量和监测森林属性越来越引起人们的兴趣。实例分割[11]是基于图像深度学习的一种技术,它不再依赖于一致的光谱特征或基于规则的算法,并已被证明能够超越经典的遥感技术。在林业方面,深度学习已成功应用于单木检测[9]、植物病害和健康检测[12]、森林树种制图[13]等等。Mask R-CNN作为基于掩码区域的卷积神经网络[14],是近年来前沿的模型,它集成了目标检测任务和语义分割任务来执行实例分割。本研究试验了基于无人机RGB影像和Mask R-CNN实例分割的一种适合高郁闭度人工纯林单木树冠提取的模型,比较低郁闭度与高郁闭度林分的树冠提取效果,为高郁闭度单木树冠提取提供新思路。

    • 本研究共选择了2个研究区,高郁闭度林分的影像采集点位于福建省三明市将乐县国有林场(26°41′ N,117°27′ E),低郁闭度林分的影像取自于江西省赣州市大余县集体林区(25°21′ N,114°19′ E)。2个研究区均为杉木纯林,其中于福建获取影像总面积13.7 hm2,2021年7月使用大疆悟2无人机拍摄,影像地面采样距离(GSD)为4 cm;于江西获取影像总面积为27.8 hm2,2018年8月使用大疆精灵4Pro无人机拍摄,GSD为4 cm。影像均采用瑞士Pix4d公司的无人机数据处理软件Pix4dmapper进行图像处理,合成的数字正射影像如图1所示。各选取94份512 × 512像素的影像,分别包含3 769、5 170个树冠,利用VIA软件手动勾绘单木树冠边缘以完成树冠标注,输出的标注和影像作为模型的样本,分为训练集40张,验证集24张,测试集30张,示例样本见图1(d ~ g),数据集各参数统计见表1

      Figure 1.  Survey map of the study area(b and c are UAV images of high canopy density forest and low canopy density forest, respectively)

      参数
      Parameters
      低郁闭度林分
      Low canopy density stand
      高郁闭度林分
      High canopy density stand
      拍摄地 Area江西省赣州市大余县杉木纯林福建省三明市将乐县杉木纯林
      拍摄工具 Shooting tool大疆精灵4Pro无人机大疆悟2无人机
      地面采样距离/m GSD0.040.04
      平均郁闭度 Average canopy density0.450.75
      株数密度/(株·hm-2) Plant density1 310976
      树冠平均面积/m2 Average crown area1.013.51

      Table 1.  Parameters statistics of dataset

    2.   研究方法
    • Mask R-CNN作为Faster R-CNN[15]的扩展模型,以Faster R-CNN为基础在目标检测末端框架中加入1个掩膜分支,借助全连接层(FC)使得每个输出建议框实现实例分割。Mask R-CNN的架构分为3个阶段,第一阶段通过主干网络从输入图像中提取特征图,分别选取7种主干网络,如表2所示,第二阶段将特征图传输给区域建议网络(RPN)生成兴趣区域(RoIs),最后阶段由RPN生成的ROIs映射至共享特征图中提取相应的目标特征,经过兴趣区域对齐层(ROIAlign)对齐,然后分别输出到FC和全卷积网络(FCN)中进行目标分类和实例分割,在此过程中生成了分类置信度、边界框和分割实例之间的掩膜。

      模型简称
      Shortname of model
      主干
      Backbone
      FPN结构
      FPN structure
      R50-C4ResNet50-Conv4×
      R50-DC5ResNet50-Conv5×
      R50-FPNResNet50
      R101-C4ResNet101-Conv4×
      R101-DC5ResNet101-Conv5×
      R101-FPNResNet101
      X101-FPNResNetXt101

      Table 2.  Backbone of model

    • 模型训练环境为Windows 10操作系统,显示核心(GPU)为NAVIDIA RTX2070,显存为8 GB,中央处理器(CPU)为英特尔i7-9750,内存为32 GB,基于Python3.6编程平台,利用Pytorch搭建实例分割Mask R-CNN各个模型。各模型参数设置基本一致,学习率设置为0.000 25,各部分损失权重初始值设为1,权重衰减系数设为0.000 1,批量为1,置信度阈值设为0.7。模型输出结果包括每张图像中每个实例的类别预测、边界框预测、置信度以及掩膜预测,模型的训练损失主要包括2个部分:RPN的训练损失和多分支预测网络中的训练损失,训练过程中损失值稳定后代表训练完成,所有模型迭代4 000次后总损失值均达到稳定状态。

    • 训练完成后,每个模型对应1个权重文件,将预测图像和权重文件输入至模型中,实例分割结果经过OpenCV工具包的转换,在图像中每个实例绘画掩膜、边界框和标注类别,因为本试验实例只含单个类别而且图像大小较小,在结果后处理过程中将不标注类别。实例分割结果中的掩膜和边界框是以数组的形式展现的,掩膜数组包含所有实例边缘像素的图像空间坐标,边界框数组涵盖4个角点的图像空间坐标,由此可进行林分参数提取。假设模型对一张影像(默认xy像元一致,影像宽高为$ w $$ h $)预测出$ n $株树,影像的地面采样距离为$ gsd $,第$ i $$ i\leqq n $)株单木的树冠预测边界框$ {B}_{i}= ({y}_{1}, {y}_{2}, {y}_{3},{y}_{4}) $,类别为$ {C}_{i} $$ {C}_{i} $值为0或1,0代表背景,1代表杉木),掩膜为$ {M}_{i} $$ {M}_{i} $内元素个数等于影像的高与宽的乘积,内部元素值为0或1,0元素代表背景像素,1元素代表树冠像素),整张图像的预测结果$ S=(\left({B}_{1},{C}_{1},{M}_{1}\right),\cdots , \left({B}_{i},{C}_{i},{M}_{i}\right),\cdots ,({B}_{n}, {C}_{n}, {M}_{n}\left)\right) $。则该影像中单木株树$ N=n $,第$ i $株单木东西冠幅$ {EW}_{i}=\left|{y}_{3}-{y}_{1}\right|\times {gsd}^{2} $,第$ i $株单木南北冠幅$ {SN}_{i}= |{y}_{4}-{y}_{2}|\times {gsd}^{2} $,第$ i $株单木树冠面积$ {G}_{i}={\rm{sum}}\left({M}_{i}\right)\times {gsd}^{2} $$ {\rm{sum}} $为元素求和函数),整张影像的林分郁闭度$D=\sum_{i=1}^{n}\left({{\rm{sum}}}\left(M_{i}\right)\right) /_{w \times h^{\prime}}$。采用交并比(IoU)、边界框平均精度(Box-AP)和分割平均精度(Segm-AP)对树冠实例分割结果进行评价,采用均方根误差和预测决定系数进行单木参数和林分参数提取的评估。

    3.   结果
    • 7个模型的实例分割结果如图2所示,c ~ i为低郁闭度林分可视化结果,影像中林分稀疏,单木树冠之间边缘可明显区分;l ~ r为高郁闭度林分可视化结果,由于林分密集,树冠与树冠之间重叠比例比低郁闭度林分高,相邻树冠之间较难区分边缘,而且树冠边缘复杂,对树冠分割是一项挑战。各个模型均能够分割相邻树冠,得到较为清晰的树冠边缘。对7个模型进行精度评价,不同郁闭度各模型的Box-AP和Segm-AP值如图3所示,低郁闭度测试集的Box-AP和Segm-AP平均值分别为55.89%、57.29%,比高郁闭度测试集的Box-AP平均值(46.00%)和Segm-AP平均值(44.45%)高出9.89%、12.84%。低郁闭度测试集中,分割性能最优的模型为R50-DC5,Box-AP和Segm-AP值分别为57.63%、58.83%;高郁闭度测试集中,各模型AP值差异不明显,分割性能最优的模型为R101-DC5,Box-AP和Segm-AP值分别为47.93%、47.22%。

      Figure 2.  Visual segmentation results of low/high canopy density forest images(c ~ i, l ~ r are R50-C4, R50-DC5, R50-FPN, R101-C4, R101-DC5, R101-FPN and X101-FPN instance segmentation results)

      Figure 3.  AP figure

    • 分别在7个模型测试集中抽取300个IoU≥0.5树冠,进行精度评价(见表3)。低郁闭度林分东西冠幅、南北冠幅和树冠面积参数提取平均RMSE分别为0.161、0.179和0.341,平均R2分别为0.912、0.918和0.957,东西冠幅、南北冠幅和树冠面积参数提取最优模型分别为R101-FPN、R101-C4和R101-C4。ResNet101在树冠提取性能优于ResNet50,更深层次的残差网络对特征的准确提取有着一定的优势,但是在低郁闭度林分中优势不明显。高郁闭度林分东西冠幅、南北冠幅和树冠面积参数提取平均RMSE分别为0.479、0.497和1.256,平均R2分别为0.806、0.762和0.936。随着林分郁闭度的增加,影像中单木特征逐渐复杂,参数提取偏差变大,但是低/高郁闭度林分单木树冠面积提取的R2仅相差0.021,说明实例分割模型在高郁闭度林分仍能够做到较准确提取树冠参数。高郁闭度林分中各参数提取最佳模型均为R101-FPN,RMSE分别为0.369、0.395和1.079,R2分别为0.886、0.861和0.948,R101-FPN更适应于高郁闭度林树冠参数的提取。

      林分
      Stand
      参数
      Parameter
      评价指标
      Evaluating indicator
      R50-C4R50-DC5R50-FPNR101-C4R101-DC5R101-FPNX101-FPN
      低郁闭度
      Low canopy density
      东西冠幅
      East-west crown width
      RMSE/m0.1560.1710.2050.1380.1590.1370.160
      R20.9220.9040.8590.9370.9060.9330.924
      南北冠幅
      South-north crown width
      RMSE/m0.1690.1770.2160.1480.1780.1780.184
      R20.9240.9170.8870.9430.9180.9170.917
      树冠面积
      Crown area
      RMSE/m0.3280.3730.3500.3090.3390.3310.357
      R20.9600.9500.9550.9660.9560.9590.956
      高郁闭度
      High canopy density
      东西冠幅
      East-west crown width
      RMSE/m0.3900.6430.4900.3970.5910.3690.476
      R20.8500.7030.8180.8590.7180.8860.810
      南北冠幅
      South-north crown width
      RMSE/m0.3660.6720.4870.4140.6200.3950.523
      R20.8560.6240.8050.8210.6300.8610.734
      树冠面积
      Crown area
      RMSE/m1.1321.3161.1951.3331.5001.0791.240
      R20.9310.9400.9420.9110.9240.9480.944

      Table 3.  Evaluation table of crown width and area extraction of single tree

    • 各实例分割模型低、高郁闭度测试集的林分单木株数提取结果如图4所示,纵坐标为单木株数,折线的每个折点代表不同单木株数的等面积样地。低郁闭度林分影像中各模型单木株数提取偏差均比高郁闭度低,且随着林分单木株数的增加偏差也不会呈明显的增加的趋势,反观高郁闭度林分单木株数提取结果,随着林分单木株数的增加偏差呈一定的增加趋势,代表株数密度越大,提取性能呈下降趋势。R101-FPN模型在高郁闭度测试集的表现最好,根据图4(m)中随着样地内单木株数越来越多,参考株数与预测株数的偏差没有呈现越来越大的趋势,因此该模型对各株数密度的林分的提取有着一定的稳定性。如图5所示,在对测试集的林分郁闭度预测中,低、高郁闭度林分郁闭度预测性能最优的模型均为R101-FPN,R2分别为0.873、0.865。综上所述,在7个实例分割模型中,各郁闭度的林分参数提取综合性能最优的为R101-FPN模型。

      Figure 4.  Scatter plots of single tree number prediction in low/ high canopy density forest (a~g, h~n are low/high canopy density scatterplots, respectively)

      Figure 5.  Scatter plots of canopy density number prediction in low/high canopy density forest(a~g, h~n are low/high canopy density scatterplots, respectively)

    4.   讨论
    • 依托7个Mask R-CNN实例分割模型,利用无人机遥感影像,展示了一种自动化、准确、计算高效的提取杉木纯林单木树冠的方法。与冯静静等[16]对组成结构简单且分辨率为0.2 m的青海云杉成熟纯林进行灰度梯度图像分割方法的树冠提取相比,本研究的高郁闭度复杂特征林分单木树冠面积预测(以R101-FPN为例)R2与简单特征青海云杉成熟纯林灰度梯度图像分割方法相当,均为0.95,本研究的实例分割模型可以实行批量分割,容错率更高,更轻易获得每个单木树冠的冠幅、面积和林分的郁闭度参数。面对无人机影像中树冠之间相互粘连的情况,传统数字图像处理的树冠提取方法的图像分割参数需要多次试验后手动设定,且较难做到精准提取单木和应用于不同的场景。例如李明华等[17]对水杉人工林影像(分辨率为0.3 m)进行分水岭分割,树冠面积预测R2高于0.9的区域只存在单木分布均一、树冠之间有明显间隙、树木冠幅和长势基本一致的林分。面对高郁闭度林分树冠的提取,实例分割模型做到了一定精度的单木树冠提取。影响实例分割模型提取树冠精度的因素除了林分条件外,还有影像分辨率,在林分稀疏且结构组成简单、分辨率为亚米级的影像,各种分割方法[8, 18-19]能够做到单木计数和粗略的树冠边缘描绘,适用于不要求高精度的大范围林分树冠信息获取。但是要求在林分树冠特征复杂的动态变化监测[20]、树冠形态检测、建立以树冠参数为基础的林分模型等高精度研究试验中,性价比高且便捷的无人机则更适合,其分辨率为厘米级的影像与合适的方法能更精准地描绘树冠的边缘,更准确地进行单木计数。无人机厘米级影像可以依靠神经网络提取更多的树冠特征以及更多的树冠边缘信息,神经网络相比其他传统图像处理方法,能提取到更多特征信息从而做到精准单木树冠提取。本研究中也有不少模型对高郁闭度林分存在漏分割的现象,所以在后续工作中,将无人机航拍影像生成的数字表面模型与数字高程模型运算而得的冠层高度模型加入实例分割的运算中,冠层高度模型蕴含丰富的树冠3D信息,与之前的RGB影像2D信息结合或许将得到更高的单木树冠提取精度。

    5.   结论
    • 本研究试验了基于实例分割模型进行从低到高郁闭度的杉木纯林单木树冠提取的方法,实现了高精度、自动化树冠提取。主要结论:1)7个实例分割对单木树冠的提取精度能够达到林业生产实践的需求,所有模型对低郁闭度测试集的Box-AP和Segm-AP平均值分别为55.89%、57.29%,对高郁闭度测试集的Box-AP和Segm-AP平均值分别为46.00%、44.45%;2)低郁闭度林分东西冠幅、南北冠幅和树冠面积参数提取平均RMSE分别为0.161、0.179和0.341,平均R2分别为0.912、0.918和0.957,高郁闭度林分东西冠幅、南北冠幅和树冠面积参数提取平均RMSE分别为0.479、0.497和1.256,平均预测R2分别为0.806、0.762和0.936;3)R101-FPN模型在高郁闭度测试集的表现最好,对各株数密度的林分的提取有着一定的稳定性;4)低郁闭度林分郁闭度预测性能最好的模型为R101-FPN,预测R2可达0.873,高郁闭度林分郁闭度预测性能最好的为R101-FPN模型,预测R2可达0.865;5)综合各评价指标,R101-FPN模型具有树冠提取精度高的特点。

Reference (20)

Catalog

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return