• 中国中文核心期刊
  • 中国科学引文数据库(CSCD)核心库来源期刊
  • 中国科技论文统计源期刊(CJCR)
  • 第二届国家期刊奖提名奖

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于U-Net模型的多时相Sentinel-2A/B影像林分类型分类

杨丹 李崇贵 李斌

引用本文:
Citation:

基于U-Net模型的多时相Sentinel-2A/B影像林分类型分类

    通讯作者: 李崇贵, 864958361@qq.com
  • 中图分类号: X87

Forest Type Classification Based on Multi-temporal Sentinel-2A/B Imagery Using U-Net Model

    Corresponding author: LI Chong-gui, 864958361@qq.com ;
  • CLC number: X87

  • 摘要: 目的 基于多时相Sentinel-2A/B影像,探究深度学习模型在森林植被上的分类效果。 方法 以黑龙江省孟家岗林场为研究区,以多时相Sentinel-2A/B影像、数字高程模型(DEM)为数据源,通过各森林类别的JM距离,确定最佳单一时相。同时,构建多时相植被指数及红边指数特征(DVI、mNDVI、CIred-edge、NDre1)。采用支持向量机和优化的U-Net模型分别对单一时相 + DEM和单一时相 + DEM + 多时相植被指数两种方案进行分类实验。 结果 (1)在单一时相 + DEM基础上,加入多时相植被指数后,U-Net模型精度为77.87%,比单一时相 + DEM精度高6.67%;(2)U-Net模型的总体精度明显优于支持向量机,并且分类效果更好。同时,深度学习U-Net模型能够避免“椒盐”现象,分类结果更细腻。 结论 基于多时相Sentinel-2A/B影像,构建植被指数及红边指数时序特征,同时采用U-Net模型在一定程度上能够提高林分类型分类精度。
  • 图 1  研究区9月20日影像

    Figure 1.  Image of the study area on September 20

    图 2  部分影像及标签

    Figure 2.  Some images and labels

    图 3  U-Net网络结构

    Figure 3.  U-Net network structure

    图 4  差值植被指数时序曲线

    Figure 4.  Time series curve of DVI

    图 5  红边归一化植被指数时序曲线

    Figure 5.  Time series curve of mNDVI

    图 6  红边叶绿素指数时序曲线

    Figure 6.  Time series curve of CIred-ege

    图 7  归一化差值红边指数时序曲线

    Figure 7.  Time series curve of NDre1

    图 8  不同方案分类结果混淆矩阵

    Figure 8.  Confusion matrix of classification results of different schemes

    图 9  分类结果细节

    Figure 9.  Details of classification results

    表 1  各类别之间的JM距离

    Table 1.  JM distance between categories

    林分类型
    Forest type
    JM距离
    JM distance
    樟子松-针阔混交林
    Pinus sylvestris-Mixed broadleaf-conifer forest
    1.814 3
    落叶松-针阔混交林
    Larix gmelinii-Mixed broadleaf-conifer forest
    1.856 4
    阔叶林-针阔混交林
    Broad-leaved forest-Mixed broadleaf-conifer forest
    1.862 0
    阔叶林-落叶松
    Broad-leaved forest-Larix gmelinii
    1.975 6
    阔叶林-樟子松
    Broad-leaved forest-Pinus sylvestris
    1.983 6
    落叶松-其他
    Larix gmelinii-Others
    1.996 4
    落叶松-樟子松
    Larix gmelinii-Pinus sylvestris
    1.998 9
    其他-针阔混交林
    Others-Mixed broadleaf-conifer forest
    1.999 5
    阔叶林-其他
    Broad-leaved forest-Others
    1.999 9
    其他-樟子松
    Others-Pinus sylvestris
    1.999 9
    下载: 导出CSV

    表 2  分类精度

    Table 2.  Classification accuracy

    分类方法
    Classification
    实验方案
    Experimental scheme
    总体精度
    Overall accuracy/%
    Kappa系数
    Kappa coefficient
    支持向量机
    SVM
    方案1:单一时相 + DEM
    Scheme 1: mono-temporal images + DEM
    68.66 0.589 2
    方案2:单一时相 + DEM + 多时相植被指数及红边指数
    Scheme 2: mono-temporal images + DEM + multi temporal
    vegetation index and red edge index
    71.20 0.625 0
    方案3:多时相原始波段 + DEM
    Scheme 3: multi-temporal raw bands + DEM
    70.28 0.607 7
    U-Net模型
    U-Net Model
    方案1:单一时相 + DEM
    Scheme 1: mono-temporal images + DEM
    73.24 0.629 2
    方案2:单一时相 + DEM + 多时相植被指数及红边指数
    Scheme 2: mono-temporal images + DEM + multi temporal
    vegetation index and red edge index
    77.87 0.710 6
    方案3:多时相原始波段 + DEM
    Scheme 3: multi-temporal raw bands + DEM
    74.14 0.664 6
    下载: 导出CSV
  • [1] 赵宪文, 李崇贵, 斯 林, 等. 基于信息技术的森林资源调查新体系[J]. 北京林业大学学报, 2002(Z1):151-159.

    [2] 杨 超, 邬国锋, 李清泉, 等. 植被遥感分类方法研究进展[J]. 地理与地理信息科学, 2018, 34(4):24-32. doi: 10.3969/j.issn.1672-0504.2018.04.005

    [3] 郭瑞霞, 李崇贵, 刘思涵, 等. 利用多时相特征的落叶松人工林分类[J]. 浙江农林大学学报, 2020, 37(2):235-242. doi: 10.11833/j.issn.2095-0756.2020.02.006

    [4] 郭文婷, 张晓丽. 基于Sentinel-2时序多特征的植被分类[J]. 浙江农林大学学报, 2019, 36(5):849-856.

    [5] 刘瑞清, 李加林, 孙 超, 等. 基于Sentinel-2遥感时间序列植被物候特征的盐城滨海湿地植被分类[J]. 地理学报, 2021, 76(7):1680-1692. doi: 10.11821/dlxb202107008

    [6] 于婉婉, 徐凯健, 赵 萍, 等. Sentinel-2影像红边谱段对不同生长期区域优势树种识别的影响[J]. 地理与地理信息科学, 2021, 37(3):42-49. doi: 10.3969/j.issn.1672-0504.2021.03.007

    [7] 李 煜, 李崇贵, 刘思涵, 等. 应用哨兵2A多时相遥感影像对树种的识别[J]. 东北林业大学学报, 2021, 49(3):44-47,51. doi: 10.3969/j.issn.1000-5382.2021.03.008

    [8]

    AGARWAL S, JOSHI P K, SHUKLA Y, et al. SPOT VEGETATION multi temporal data for classifying vegetation in south central Asia[J]. Current Science, 2003, 84: 1440-1448.
    [9] 温一博, 范文义. 多时相遥感数据森林类型识别技术研究[J]. 森林工程, 2013, 29(2):14-20. doi: 10.3969/j.issn.1001-005X.2013.02.003

    [10] 王 斌, 范冬林. 深度学习在遥感影像分类与识别中的研究进展综述[J]. 测绘通报, 2019(2):99-102,36.

    [11]

    SHELHAMER E, LONG J, DARRELL T. Fully Convolutional Networks for Semantic Segmentation [M]. IEEE Computer Society, 2017.
    [12] 苏健民, 杨岚心, 景维鹏. 基于U-Net的高分辨率遥感图像语义分割方法[J]. 计算机工程与应用, 2019, 55(7):207-213. doi: 10.3778/j.issn.1002-8331.1806-0024

    [13] 刘文祥, 舒远仲, 唐小敏, 等. 采用双注意力机制Deeplabv3 + 算法的遥感影像语义分割[J]. 热带地理, 2020, 40(2):303-313.

    [14] 杨建宇, 周振旭, 杜贞容, 等. 基于SegNet语义模型的高分辨率遥感影像农村建设用地提取[J]. 农业工程学报, 2019, 35(5):251-258. doi: 10.11975/j.issn.1002-6819.2019.05.031

    [15] 江 涛, 王新杰. 基于卷积神经网络的高分二号影像林分类型分类[J]. 北京林业大学学报, 2019, 41(9):20-29.

    [16]

    MAGGIORI E, TARABALKA Y, CHARPIAT G, et al. Fully Convolutional Neural Networks For Remote Sensing Image Classification [C]. Geoscience & Remote Sensing Symposium, 2016.
    [17]

    CHEN G, ZHANG X, WANG Q, et al. Symmetrical dense-shortcut deep fully convolutional networks for semantic segmentation of very-high-resolution remote sensing images[J]. IEEE Journal of Selected Topics in Applied Earth Observations Remote Sensing, 2018: 1633-1644.
    [18]

    Cao K, Zhang X. An improved Res-UNet model for tree species classification using airborne high-resolution images[J]. Remote Sensing, 2020, 12(7): 1128. doi: 10.3390/rs12071128
    [19] 许慧敏, 齐 华, 南 轲, 等. 结合nDSM的高分辨率遥感影像深度学习分类方法[J]. 测绘通报, 2019(8):63-67.

    [20] 孙晓敏, 郑利娟, 吴 军, 等. 基于U-net的“高分五号”卫星高光谱图像土地类型分类[J]. 航天返回与遥感, 2019, 40(6):99-106.

    [21] 王雅慧, 陈尔学, 郭 颖, 等. 高分辨率多光谱遥感影像森林类型分类深度U-net优化方法[J]. 林业科学研究, 2020, 33(1):11-18.

    [22]

    BRUZZONE L, ROLI F. An extension of the Jeffreys-Matusita distance to multiclass cases for feature selection[J]. IEEE Transactions on Geoscience Remote Sensing, 1995, 33(6): 1318-1321. doi: 10.1109/36.477187
    [23]

    FRAMPTON W J, DASH J, WATMOUGH G, et al. Evaluating the capabilities of Sentinel-2 for quantitative estimation of biophysical variables in vegetation[J]. Isprs Journal of Photogrammetry Remote Sensing, 2013, 82: 83-92. doi: 10.1016/j.isprsjprs.2013.04.007
    [24]

    FERNANDEZ-MANSO, QUINTANO. SENTINEL-2A red-edge spectral indices suitability for discriminating burn severity[J]. International Journal of Applied Earth Observation and Geoinformation, 2016, 50: 170-175. doi: 10.1016/j.jag.2016.03.005
    [25]

    RONNEBERGER O, FISCHER P, BROX T. U-Net: Convolutional networks for biomedical image segmentation[J]. International Conference on Medical Image Computing and Computer-Assisted Intervention, 2015: 234-241.
  • [1] 韦玮李增元 . 基于高光谱影像融合的湿地植被类型信息提取技术研究. 林业科学研究, 2011, 24(3): 300-306.
    [2] 张连华庞勇岳彩荣李增元范应龙谭炳香车学俭 . TM影像决策树分类中的影响因素研究. 林业科学研究, 2014, 27(1): 1-5.
    [3] 胡圣元庞勇蒙诗栎岳彩荣 . 时间序列Landsat 8 OLI数据森林年扰动检测. 林业科学研究, 2020, 33(6): 65-72. doi: 10.13275/j.cnki.lykxyj.2020.06.008
    [4] 周卫阳 . 专家系统在森林遥感图象分类中的应用. 林业科学研究, 1989, 2(5): 477-482.
    [5] 王雅慧陈尔学郭颖李增元金玉栋赵俊鹏周瑶 . 高分辨率多光谱遥感影像森林类型分类深度U-net优化方法. 林业科学研究, 2020, 33(1): 11-18. doi: 10.13275/j.cnki.lykxyj.2020.01.002
    [6] 凌成星鞠洪波张怀清孙华 . 基于Worldview-2八波段影像改进指数的湿地类型分类研究. 林业科学研究, 2014, 27(5): 639-643.
    [7] 李希菲王明亮 . 杉木种源对立地指数模型的影响. 林业科学研究, 2000, 13(6): 641-645.
    [8] 胡瑞瑞梁军谢宪张英军张星耀 . 昆嵛山腮扁叶蜂虫基指数模型. 林业科学研究, 2020, 33(5): 21-27. doi: 10.13275/j.cnki.lykxyj.2020.05.003
    [9] 李希菲王明亮黄旺志 . 利用线性模型检验杉木不同种源立地指数曲线模型的通用性. 林业科学研究, 1999, 12(5): 505-509.
    [10] 焦一杰黄逢龙丁 辉陈合志陶万强张星耀梁 军 . 杨树林分的胸径特征与溃疡病感病指数的关系. 林业科学研究, 2010, 23(3): 342-348.
    [11] 张宁张怀清林辉蒋娴 . 基于竞争指数的杉木林分生长可视化模拟研究. 林业科学研究, 2013, 26(6): 692-697.
    [12] 唐国勇李昆孙永玉张春华 . 土地利用方式对土壤有机碳和碳库管理指数的影响. 林业科学研究, 2011, 24(6): 754-759.
    [13] 李金垚潘雯王佳薛亮张显松李生 . 土壤活性有机碳及碳库管理指数对石漠化治理措施的响应. 林业科学研究, 2022, 35(5): 156-163. doi: 10.13275/j.cnki.lykxyj.2022.005.017
    [14] 田晓瑞赵凤君舒立福王明玉 . 西南林区卫星监测热点及森林火险天气指数分析. 林业科学研究, 2010, 23(4): 523-529.
    [15] 骆期邦吴志德蒋菊生陈定国肖永林葛宏立 . Richards函数拟合多形地位指数曲线模型的研究. 林业科学研究, 1989, 2(6): 534-539.
    [16] 郑曼陈永富 . 桉树短周期工业原料林立地指数模型研究. 林业科学研究, 2008, 21(3): 415-418.
    [17] 张连金惠刚盈何楚林 . 木麻黄工业原料林多形地位指数模型的研究. 林业科学研究, 2011, 24(2): 218-222.
    [18] 惠刚盈张连金胡艳波赵中华 . Richards多形地位指数模型研建新方法——参数置换法. 林业科学研究, 2010, 23(4): 481-486.
    [19] 李军玲庞勇李增元荚文 . 云阴影区机载高光谱影像森林树种分类. 林业科学研究, 2019, 32(5): 136-141. doi: 10.13275/j.cnki.lykxyj.2019.05.018
    [20] 陆元昌陈敬忠洪玲霞雷相东 . 遥感影像分类技术在森林景观分类评价中的应用研究. 林业科学研究, 2005, 18(1): 31-35.
  • 加载中
图(9) / 表(2)
计量
  • 文章访问数:  4265
  • HTML全文浏览量:  3124
  • PDF下载量:  132
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-11-24
  • 录用日期:  2022-02-10
  • 网络出版日期:  2022-04-30
  • 刊出日期:  2022-08-20

基于U-Net模型的多时相Sentinel-2A/B影像林分类型分类

    通讯作者: 李崇贵, 864958361@qq.com
  • 西安科技大学测绘科学与技术学院,陕西 西安 710054

摘要:  目的 基于多时相Sentinel-2A/B影像,探究深度学习模型在森林植被上的分类效果。 方法 以黑龙江省孟家岗林场为研究区,以多时相Sentinel-2A/B影像、数字高程模型(DEM)为数据源,通过各森林类别的JM距离,确定最佳单一时相。同时,构建多时相植被指数及红边指数特征(DVI、mNDVI、CIred-edge、NDre1)。采用支持向量机和优化的U-Net模型分别对单一时相 + DEM和单一时相 + DEM + 多时相植被指数两种方案进行分类实验。 结果 (1)在单一时相 + DEM基础上,加入多时相植被指数后,U-Net模型精度为77.87%,比单一时相 + DEM精度高6.67%;(2)U-Net模型的总体精度明显优于支持向量机,并且分类效果更好。同时,深度学习U-Net模型能够避免“椒盐”现象,分类结果更细腻。 结论 基于多时相Sentinel-2A/B影像,构建植被指数及红边指数时序特征,同时采用U-Net模型在一定程度上能够提高林分类型分类精度。

English Abstract

  • 传统的森林资源调查成本高、难度大、精度低,难以满足林业的可持续发展[1]。近年来,航天遥感技术的不断发展,获取大尺度、高时效以及高分辨率影像的能力也逐步增强,为森林类型识别提供了新的机遇[2]。目前,学者们结合多种数据源,采用MODIS数据、Landsat系列数据、Sentinel-1/2以及高分数据等对植被进行分类,均表现出不同的优势。其中,哨兵数据具有较高的空间分辨率,以及丰富的光谱信息,同时红边波段对植被具有较强的敏感性。因此,本研究选取哨兵数据进行植被分类。由于植被存在同谱异物等现象,仅依靠单一时相进行森林分类难以取得较好的效果。有学者发现根据森林植被物候特性,并且构建多时相植被指数以及红边指数,能够提高分类精度[3-7]。Agarwal、温一博、刘瑞清等[5, 8- 9]采用多时相的遥感影像,结合植被物候特性,大大提高了植被之间的可分性。目前,分类方法层出不穷,从目视解译到智能提取,再到深度学习,为遥感植被分类提供了广阔的空间[10]。有学者将深度学习的方法引入遥感领域,探究其适用性。该方法通过训练能够自动学习更高维的特征,获得更准确的结果。其中,由Long等[11]在2015年提出的全卷积神经网络(FCN),可以进行语义分割,从而实现像素级分类。基于此,专家学者们开发出一系列深度学习模型(U-Net、DeepLab以及SegNet等)。同时,对模型进行不同程度的改进,使其在遥感分类中得到广泛应用[12-15]。Marggiori E等[16]将FCN应用到遥感影像识别中,取得较好的效果;Guangsheng Chen等[17]基于DeepLab V3对高分辨率影像分类,其在边界以及小目标表现良好;Cao K等[18]基于机载高分辨率影像,提出一种深度学习Res-UNet模型进行树种分类,结果取得较高的分类精度;许慧敏、孙晓敏等[19-20]采用U-Net方法对遥感影像进行分类,其精度高于SVM和CNN;王雅慧等[21]基于高分辨率遥感影像对森林植被分类,并加入NDVI波段,采用优化后的深度学习模型进行训练学习,结果表明该模型加入NDVI的分类精度高于未加入时精度,同时该模型精度高于SVM和RF。因此,基于U-Net模型进行森林植被分类,能够有效提高分类精度,具有一定的研究意义。但是,目前基于U-Net模型的植被分类研究仅采用了单时相影像,未根据植被物候信息结合多时相影像进行研究。本研究以孟家岗林场为研究区,以多时相哨兵影像和DEM为数据源,通过计算各类别的可分性确定最佳单一时相;同时构建植被指数以及红边指数时间序列,分析能够有效区分植被的特征,并将DEM作为辅助信息参与分类,分别采用支持向量机和优化后的U-Net模型对单一时相 + DEM和单一时相 + DEM + 多时相植被指数两种方案进行林分类型分类,为后续森林资源调查及监测提供相应的技术手段。

    • 黑龙江省孟家岗林场位于桦南县东北部,其地理坐标为130°32′42″~130°52′36″ E,46°20′16″~46°30′50″ N(图1)。该林场是以经营落叶松树种为主的人工林基地,总面积约16 733 hm2,林场经营面积为16 274 hm2,主要树种有落叶松(Larix gmelinii (Rupr.) Kuzen.)、樟子松(Pinus sylvestris var. mongolica Litv.)、红松(Pinus koraiensis Sieb. et Zucc.)等。地貌总体表现为东北高,西南低,最高海拔为575 m,最低海拔为170 m,平均海拔为250 m。气候条件为东亚大陆性季风气候,冬长夏短,最高气温为35.6 ℃,最低气温−34.7 ℃,年平均气温2.7 ℃,年平均降水量550 mm。

      图  1  研究区9月20日影像

      Figure 1.  Image of the study area on September 20

    • 采用的Sentinel-2A/B遥感影像来自欧洲航天局(ESA)官方网站,结合林场内植被生长特点,选取了成像日期为5—11月份之间的4景影像,其中2017-05-30、2017-07-22、2017-10-30为Sentinel-2A影像、2018-09-20为Sentinel-2B影像,研究区云量为0。采用ESA提供的SNAP软件中大气校正模块Sen2Cor对影像进行大气校正,并在SNAP中对其重采样为10 m,转为ENVI格式,在ENVI中采用Layer stacking工具将各波段进行合成得到多波段文件。

      由于林场地形起伏影响,导致影像中存在山体阴影,不能准确反映植被情况。同时,植被的生长与海拔也有一定的关系。因此,将DEM作为辅助信息参与到分类中,以此提高分类精度。其中DEM数据来自地理空间数据云,数据集为ASTER GDEM 30M 分辨率数字高程数据,下载覆盖研究区的地形数据(ASTGTM_N46E130),并进行裁剪,将其重采样为10 m。

      采用的辅助数据有孟家岗林场矢量边界,2014年森林资源二类调查数据以及2017年实地补充调查数据。其中实地调查样地共有374个,采用GPS单点定位方式,并记录树种组成、龄组、胸径等属性信息。根据获取的影像以及实地调查数据对比,由于植被生长周期较长,变化幅度小,一定程度上可以忽略不同时期数据对实验的影响。对林场内林分类型进行划分,主要分为落叶松、樟子松、阔叶林、针阔混交林、其他(耕地/农作物等)。

      根据样本数据中的属性字段制作深度学习标签,部分标签如图2所示。在ArcGIS Pro2.3中制作深度学习样本,采用滑动窗口的采样方式将影像及标签裁剪为256*256大小的像元。同时,对于样本不均衡的情况,适当进行过采样或者欠采样。在训练模型之前,将样本数据按照6∶2.5∶1.5的方式划分为训练集、验证集和测试集,各数据集之间应保持独立、不重叠,同时应具有相似的分布,其中845张影像用于训练模型;352张影像用于验证,从而训练超参数;200张影像用于测试模型精度。

      图  2  部分影像及标签

      Figure 2.  Some images and labels

    • 首先对4景不同时相的Sentinel-2A/B影像,计算各类别样本之间的JM距离,选取可分性最高的时相,并加入DEM,采用优化后的U-Net模型对森林植被进行分类。之后,构建植被指数及红边指数时序曲线,选取有利于区分各类别的指数特征。同时采用支持向量机和U-Net模型对比单一时相 + DEM和单一时相 + DEM + 多时相植被指数及红边指数两种方案的分类精度。

    • JM距离(Jeffries-Matusita distance)一般定义为2个光谱类别之间的平均距离,能够定量衡量类别之间的可分离度,取值范围在0~2之间,越接近2,表示样本的可分性好[22]。本研究采用JM距离计算各时相样本类别之间的可分离性,从而得出分类的最佳单一时相或波段。计算公式为:

      $ {J}_{ij}=2(1-{\mathrm{e}}^{-{B}_{ij}}) $

      (1)

      $\begin{array}{c} 其中\text{,} {B}_{ij}=\dfrac{1}{8}{\left({m}_{i}-{m}_{j}\right)}^{T}{\left\{\frac{{C}_{i} + {C}_{j}}{2}\right\}}^{-1}\left({m}_{i} + {m}_{j}\right) +\\ 1/2\mathrm{l}\mathrm{n}\left\{\dfrac{\left|\right({C}_{i} + {C}_{j})/2|}{{\left|{C}_{i}{C}_{j}\right|}^{1/2}}\right\} \end{array} $

      (2)

      式(2)中:$ {m}_{i}、{m}_{j}、{C}_{i}、{C}_{j} $分别表示2个不同的光谱类别的均值和方差。

    • 差值植被指数(DVI)能够反映植被覆盖度变化情况,其公式为:

      $ {I}_{DVI}={B}_{8}-{B}_{4} $

      (3)

      红边归一化植被指数(mNDVI)是基于NDVI改进的指数,它对叶冠变化、衰老非常灵敏,一般用于森林监测等[23],其公式为:

      $ {I}_{mNDVI}={(B}_{7}-{B}_{4})/{(B}_{7} + {B}_{4}) $

      (4)

      红边叶绿素指数(CIred-edge)能够估测出植被中的叶绿素含量[24],其公式为:

      $ {I}_{{CI}_{re}}={B}_{7}/{B}_{5}-1 $

      (5)

      归一化差值红边指数(NDre1)能够反映叶片色素变化并监测叶片衰老[24],其公式为:

      $ {I}_{NDre1}={(B}_{6}-{B}_{5})/({B}_{6} + {B}_{5}) $

      (6)

      式(3)~(6)中:$ {B}_{4} $$ {B}_{5} $$ {B}_{6} $$ {B}_{7} $$ {B}_{8} $分别为红光、红边1、红边2、红边3、近红外波段的反射率。

    • U-Net网络是2015年由Olaf Ronneberger等人[25]基于FCN提出的一种新型的语义分割网络结构,最早应用于医学图像分割,能够在少量样本的情况下达到相对精确的分割结果。它是一种典型的编码解码结构(encoder-decoder)。编码过程主要进行下采样,实现特征提取,解码过程主要是进行上采样,还原像素尺寸,同时精准定位分割位置。

      图3所示,可以看出该网络结构呈现U型对称结构,左半部分为压缩路径,每一层都由两个3*3的卷积层以及步长为2的最大池化层组成。最大池化层在进行下采样时,使得尺寸缩小一半,通道数增加为原来的2倍。右半部分为扩展路径,每一层都是与横向连接的下采样进行拼接,再进行两次2*2的反卷积操作。最后一层为分类层,进行1*1卷积操作,同时将特征图映射到类别数量,使用softmax函数得到各类别的概率。

      图  3  U-Net网络结构

      Figure 3.  U-Net network structure

      本研究是基于Tensorflow2.0 + Keras框架进行的,实验配置为Intel(R) Core(TM) i5-3230M CPU @ 2.60GHz,NVIDIA GeForce GT 740M。由于原始的U-Net网络参数过多,导致训练过程耗费大量的内存和时间,硬件条件要求非常高,因此,对U-Net模型进行优化,减少了一部分卷积核数量,并且在卷积层后加入Batch Normalization正则化,从而降低权重影响,避免过拟合。在训练过程中,采用Adam算法进行训练,其学习率设定为0.001,损失函数为categorical_crossentropy。

    • 支持向量机(SVM)是在满足线性可分的条件下,根据其最优分类超平面提出的,它主要是通过定义适当的核函数将输入空间变换为高维空间,从而在高维空间内求解最优线性分类面。本次实验采用的核函数为径向基核函数。

    • 通过混淆矩阵计算总体精度和Kappa系数,对森林植被分类精度进行评价。结合实地调查数据以及二类数据,将样本和像元建立对应关系,最终获取了69 327个像元计算混淆矩阵精度,其中阔叶林共22 373个,落叶松共8 224个,樟子松共8 414个,针阔混交林13 410个,其他共16 906个。将其作为验证样本,对分类结果进行评定,并比较其精度。

    • 首先对4景不同时相的哨兵影像,计算各类别之间的JM距离,最终得出10月30日的JM距离较其他时相大,各类别可分性较其他时相好。因此,选取10月30日影像并以DEM作为辅助信息,分别采用U-Net模型和支持向量机方法对森林植被进行分类。

    • 经过前人研究以及大量实验进行分析,最终选取差值植被指数(EVI)、红边归一化植被指数(mNDVI)、红边叶绿素指数(CIred-edge)、归一化差值红边指数(NDre1)。

      图4所示,阔叶林在夏季具有较大的DVI值;樟子松随时间的变化范围较小,主要是由于该树种四季常绿,与其他类别有着较明显的差异,7月22日影像中,樟子松能够与其他类别区分;落叶松和针阔混交林趋势类似,仅表现出较小的差异,各时相不易区分。因此,可以选取7月22日的差值植被指数(DVI722),有利于区分樟子松与阔叶林和针阔混交林。

      图  4  差值植被指数时序曲线

      Figure 4.  Time series curve of DVI

      图5为各森林类别mNDVI随时间变化情况,可以看出森林各类别趋势相似,差异较小,对于5月30日影像,阔叶林开始生长,与其他针叶树种有较小差异。夏季阔叶林的值较其他类别高,秋冬季节,其值逐渐减小,主要是由于阔叶树的覆盖度降低,由于针阔混交林中可能包含常绿树种,其值比阔叶树高一些,樟子松由于其属于常绿针叶乔木,覆盖度变化相对较小。因此,可选取5月30日、10月30日的红边归一化植被指数(mNDVI530、mNDVI1030),能够将樟子松、阔叶林以及针阔混交林区分开。

      图  5  红边归一化植被指数时序曲线

      Figure 5.  Time series curve of mNDVI

      图6为CIred-edge随时间变化曲线,可以看出,对于5月份和10月份,由于处在植被生长初期及末期,各森林类别的叶绿素含量非常低,对于夏季,各类别均生长茂盛,其覆盖度及生物量达到最高,相应的叶绿素含量也达到最大,但各类别之间由于其内部机理不同,红边叶绿素指数也存在差异,因此可以选取7月22日和9月20日的红边叶绿素指数(CIred-edge722、CIred-edge920)来区分各类别。

      图  6  红边叶绿素指数时序曲线

      Figure 6.  Time series curve of CIred-ege

      图7为NDre1随时间变化曲线,可以看出从春季到夏季,叶片色素含量呈上升趋势,并在夏季达到最高,进入秋冬季节时,叶片色素含量逐渐下降,叶片进入衰老阶段。同时,春季及秋冬季各类别之间其叶片色素含量的不同,导致其NDre1的值也存在一定的差异。因此,选取5月30日、7月22日和10月30日的归一化差值红边指数(NDre1530、NDre1920、NDre11030)可以区分各类别。

      图  7  归一化差值红边指数时序曲线

      Figure 7.  Time series curve of NDre1

      在单一时相的基础上,加入以上选取的特征指数(DVI722、mNDVI530、mNDVI1030、CIred-edge722、CIred-edge930、NDre1530、NDre1920、NDre11030),计算各类别之间的JM距离(见表1)。可以看出,单一时相 + DEM + 多时相植被指数及红边指数之后,各类别的可分性较好。其中,JM距离越大,可分性越好。

      表 1  各类别之间的JM距离

      Table 1.  JM distance between categories

      林分类型
      Forest type
      JM距离
      JM distance
      樟子松-针阔混交林
      Pinus sylvestris-Mixed broadleaf-conifer forest
      1.814 3
      落叶松-针阔混交林
      Larix gmelinii-Mixed broadleaf-conifer forest
      1.856 4
      阔叶林-针阔混交林
      Broad-leaved forest-Mixed broadleaf-conifer forest
      1.862 0
      阔叶林-落叶松
      Broad-leaved forest-Larix gmelinii
      1.975 6
      阔叶林-樟子松
      Broad-leaved forest-Pinus sylvestris
      1.983 6
      落叶松-其他
      Larix gmelinii-Others
      1.996 4
      落叶松-樟子松
      Larix gmelinii-Pinus sylvestris
      1.998 9
      其他-针阔混交林
      Others-Mixed broadleaf-conifer forest
      1.999 5
      阔叶林-其他
      Broad-leaved forest-Others
      1.999 9
      其他-樟子松
      Others-Pinus sylvestris
      1.999 9
    • 分别采用优化后的U-Net模型及支持向量机对单一时相 + DEM和单一时相 + DEM + 多时相植被指数及红边指数两种方案进行分类,对比U-Net模型和支持向量机的分类精度,同时验证在单一时相基础上加入多时相植被指数及红边指数,分类精度是否提高。为了凸显本研究方案的可行性,在单一时相基础上扩充其他时相影像原始波段(红光波段、红边波段以及近红外波段)进行分类对比实验。

      对U-Net方法进行训练时,将训练集和验证集按批次输入到网络中,其中训练集进行训练,验证集采用交叉验证的方法调整训练超参数,从而降低泛化误差。直到训练集和验证集的loss值趋于稳定,模型训练结束。之后,采用训练好的模型对测试集进行测试,最终计算得到分类精度如表2

      表 2  分类精度

      Table 2.  Classification accuracy

      分类方法
      Classification
      实验方案
      Experimental scheme
      总体精度
      Overall accuracy/%
      Kappa系数
      Kappa coefficient
      支持向量机
      SVM
      方案1:单一时相 + DEM
      Scheme 1: mono-temporal images + DEM
      68.66 0.589 2
      方案2:单一时相 + DEM + 多时相植被指数及红边指数
      Scheme 2: mono-temporal images + DEM + multi temporal
      vegetation index and red edge index
      71.20 0.625 0
      方案3:多时相原始波段 + DEM
      Scheme 3: multi-temporal raw bands + DEM
      70.28 0.607 7
      U-Net模型
      U-Net Model
      方案1:单一时相 + DEM
      Scheme 1: mono-temporal images + DEM
      73.24 0.629 2
      方案2:单一时相 + DEM + 多时相植被指数及红边指数
      Scheme 2: mono-temporal images + DEM + multi temporal
      vegetation index and red edge index
      77.87 0.710 6
      方案3:多时相原始波段 + DEM
      Scheme 3: multi-temporal raw bands + DEM
      74.14 0.664 6

      表2可以看出,对于单时相影像 + DEM分类时,U-Net模型的总体精度为73.24%,Kappa系数为0.629 2;SVM分类的总体精度为68.66%,Kappa系数为0.589 2;在单一时相 + DEM的基础上,加入多时相植被指数及红边指数特征进行分类时,U-Net模型精度为77.87%,Kappa系数为0.710 6;比SVM分类精度高6.67%。对于多时相原始波段 + DEM,U-Net模型和SVM分类的总体精度分别为74.14%和70.28%。从中可以看出,多时相影像分类精度明显高于单时相影像分类精度;然而对于多时相原始波段和多时相植被指数2种方案,加入多时相植被指数的分类精度更高,可能是由于植被指数是通过对波段进行运算,能够增强植被特征,从而使分类效果更好。对比方案1和方案2,加入多时相植被指数及红边指数特征后,考虑了植被的物候特性,分类精度有很大的提高。深度学习U-Net模型能够学习影像内部丰富的光谱和空间特征,并且挖掘深层信息,对比U-Net模型和SVM的分类结果,深度学习U-Net模型均表现出较高的精度。

      图8为不同方案分类结果的混淆矩阵,图9为部分分类结果细节图。从中可以看出,传统的分类方法SVM存在“椒盐”噪声,并且分类边缘呈锯齿状,而深度学习U-Net方法在一定程度上能够避免该现象,其分类结果更加细腻。同时,对比图9中的(a)与(b)、(c)与(d),均可以看出加入多时相植被指数及红边指数特征之后,分类效果更好,减少了像元混分错分的情况。结合图8对比各类别的分类情况,可以看出针阔混交林与其他类别还存在较为严重的误分现象,主要是由于针阔混交林中交错混合生长着其他林分类型,从而被误分到落叶松、樟子松、阔叶林等类别中;落叶松和樟子松之间的误分主要是由于光谱特征相似,而加入多时相植被指数及红边指数后,对比图8(a)(c)和图8(b)(d)可以看出落叶松和樟子松的误分现象大大减小;同时混合像元也可能导致错分现象。综合来看,U-Net模型的分类效果较传统的SVM方法更加细腻,错分情况也大大减小,同时避免了椒盐噪声、边缘锯齿状等现象。

      图  8  不同方案分类结果混淆矩阵

      Figure 8.  Confusion matrix of classification results of different schemes

      图  9  分类结果细节

      Figure 9.  Details of classification results

    • 基于多时相Sentinel-2A/B影像以及数字高程模型(DEM),根据各类别的JM距离确定最佳单一时相。同时,根据多时相植被指数及红边指数时序曲线,选取有利于区分各类别的指数特征。根据单一时相 + DEM和单一时相 + DEM + 多时相植被指数特征2种方案,分别采用支持向量机以及优化的U-Net模型对林分类型进行分类。研究结论如下:

      (1)通过构建多时相的植被指数及红边指数(EVI、mNDVI、CIred-edge、NDre1)时序曲线,结合植被物候特性,最终得出优选特征为:DVI722、mNDVI530、mNDVI1030、CIred-edge722、CIred-edge930、NDre1530、NDre1920、NDre11030。将最佳单一时相与优选的植被指数特征进行组合,采用JM距离判断类别之间的可分性,其各类别之间JM距离均大于1.8。因此,对优选特征进行组合之后,样本可分性更好,能够在一定程度上提高分类精度。

      (2)采用深度学习U-Net模型对林分类型分类时,对比单一时相 + DEM和单一时相 + DEM + 多时相植被指数及红边指数两种方案的分类结果,深度学习U-Net模型能够挖掘影像数据更深层次的特征,其总体精度均高于支持向量机方法。同时,在单一时相的基础上加入多时相植被指数及红边指数时,由于考虑了植被的物候特性,分类精度远高于单一时相的精度。

      (3)根据U-Net模型和SVM的分类结果图,可以看出U-Net模型的分类结果能够避免传统方法中的“椒盐”现象,结果更加细腻,同时在一定程度上减少了像元混分的情况。总体来说,深度学习U-Net模型能够有效的提高分类精度,并且学习到影像丰富的深层特征,与传统的方法相比,具有更高的适用性。

参考文献 (25)

目录

    /

    返回文章
    返回