-
深度学习模型是近年来新兴的一类机器学习算法,已被有效的应用于许多领域当中。其中,在遥感领域,该类方法的应用效果也得到了有效的证明。对于遥感地物分类的应用问题,研究表明全卷积类深度神经网络方法(Fully Convolutional Networks,FCN)可有效的解决该问题。方旭等[1]证明通过将均值漂移分割算法与FCN-8s方法相结合能够有效提高高分辨率遥感影像的分类精度,与传统机器学习分类方法SVM相比提高了10%以上的精度。邓国徽等[2]将FCN-8s应用于高分遥感数据的语义分割,以分割图像中的施工场地为例,结果表明:提出的改进全卷积网络模型能够较为显著的提高了施工场地的识别率。Piramanayagam[3]利用FCN将高分辨率遥感影像的光谱信息与DSM的几何信息有效融合,从而提高了高分辨遥感图像的语义分割能力。条件随机场方法(Conditional Random Field,CRF)作为图像处理中常用的能量优化算法,也已被学者证明可有效的改善FCN网络的分类效果[4-5]。
U-net网络是全卷积神经网络模型中常用的一种,该模型通过一个收缩网络以及一个扩张网络,构成了一个U型结构,与经典的FCN网络相比,该网络在上采样过程中可以结合更多层的不同的特征,能够最大程度地保留下采样过程中的一些重要的特征信息[6]。研究表明,该类网络可有效的进行遥感图像信息提取。陈睿敏等[7]使用UNet深度学习模型对红外遥感影像进行5类地物信息提取,其分类效果与传统机器学习方法相比提高了6%。Li等[8]提出了一种卷积块代替卷积层的深度卷积神经网络DeepUNet,提高了海岸线的分割精度。
有研究表明,通过少量的调整相关遥感特征,可以优化FCN深度学习模型的效果[2,9]。邓国徽等[2]提出了融合蓝板房光谱识别指数和裸土光谱识别指数的改进全卷积网络模型,结果表明:添加的指数可以较为显著的提高了施工场地的识别率;Cao Q等[9]将NDVI与CNN的高级特征进行了融合,该算法对土地类型分类效果良好。
本研究借鉴前人对FCN-8s模型的优化思路,基于U-net网络模型,在模型训练过程中通过在原始波段的基础上加入NDVI特征,并增加CRF后处理过程,以期改善U-net深度学习模型用于森林类型分类的效果。
-
基于U-net-NDVI-CRF方法的分类结果混淆矩阵如表1所示,总体分类精度达84.89%,Kappa系数为0.82。除落叶松和其他地类外,各地类制图精度均在83%以上。其中,其他地类精度较低,易错分为白桦,主要原因在于GF-2多光谱数据成像时间为冬季,其他地类(主要包括榆树、杨树、柞树等植被类型)均属于落叶性植被,他们的光谱曲线和NDVI特征与白桦差异较小,容易导致误分。落叶松存在部分错分为油松的情况,主要原因在于此季节的落叶松已经开始萌芽,且与油松同属于针叶林、人工林,在光谱和纹理上具有一定的相似性,造成部分落叶松错分为油松。
表 1 U-net-NDVI-CRF方法的分类结果混淆矩阵
Table 1. Confusion matrix of U-net-NDVI-CRF classification result
类别名称
Informational classes油松
Pinus
tabulaeformis落叶松
Larix principis-
rupprechtii其他
Other lands白桦
Betula platyphylla耕地
Cultivated land建设用地
Construcuion land总计
Total油松 Pinus tabulaeformis 74 15 1 0 0 0 90 落叶松 Larix principis-rupprechtii 0 51 2 1 0 0 54 其他 Other lands 0 1 29 4 3 0 37 白桦 Betula platyphylla 0 2 13 41 0 0 56 耕地 Cultivated land 0 0 0 0 30 1 31 建设用地 Construcuion land 0 0 1 0 3 39 43 总计 Total 74 69 46 46 36 40 311 制图精度 Producer accuracy/% 100 73.91 63.04 89.13 83.33 97.5 用户精度 User accuracy/% 82.22 94.44 78.38 73.21 96.77 90.7 注:总体精度:84.89%;Kappa系数:0.82。Note:Overall accuracy: 84.89%; Kappa coefficient: 0.82. -
加入NDVI特征前后U-net模型分类精度对比如表2所示。从表中可以看出,加入NDVI特征之后,分类精度得到有效的提高,总体精度提高了2.25%,Kappa系数提高了0.02,其他地类、耕地、建设用地的分类精度有显著提高,其中,其他地类提高了15.22%,耕地提高了13.89%。从分类细节图(图5)中可以看出,加入NDVI特征可有效改善林地分布区域的分类效果。
-
加入CRF前后U-net分类结果的精度对比如表2所示。在加入CRF后,总体精度较之前提高了0.65%,Kappa系数提高了0.01,其中,落叶松和其他地类的精度有所提高。从定量上的分析可见,分类精度提升幅度并不大,但从目视角度分析,各类地物之间的边缘得到细化。从分类细节图(图5)可以看出,在其他和白桦混交的区域,采用CRF后处理分类效果提升的贡献明显。
表 2 加入NDVI特征以及CRF前后U-net分类结果的精度对比
Table 2. Accuracy comparison of U-net classification results before and after adding NDVI features and CRF
项目
Items油松
Pinus tabulaeformis落叶松
Larix principis-rupprechtii其他
Other lands白桦
Betula platyphylla耕地
Cultivated land建设用地
Construcuion land总体精度
Overall accuracyKappa系数
KappaRGB-IR 100% 72.46% 45.65% 100% 69.44% 97.5% 81.99% 0.79 RGB-IR-NDVI 100% 71.01% 60.87% 89.13% 83.33% 100% 84.24% 0.81 RGB-IR-NDVI CRF 100% 73.91% 63.04% 89.13% 83.33% 97.5% 84.89% 0.82 注:所有精度均为制图精度。Note:All accuracy is producer accuracy. -
为了验证本研究所设计的U-net-NDVI-CRF分类方法的有效性,将其与加入NDVI特征的传统机器学习SVM、RF的分类结果,加入NDVI特征和CRF的FCN-8s的分类结果进行了比较分析。这4种分类方法的分类结果如图6所示,分类精度对比如表3所示。深度学习U-net、FCN-8s模型的总体精度和Kappa系数均高于SVM、RF。U-net的总体精度和Kappa系数明显高于其他模型,对油松、白桦、耕地、建设用地和其他的分类精度均较高,尤其是其他地类的分类表现更为突出。对于落叶松,U-net的分类精度较低,主要原因为落叶松与油松同属于人工林,在空间特征上存在一定的相似性,使得油松和落叶松存在一定的混淆。对建设用地,U-net和FCN-8s比SVM或RF改进很多,主要是因为此季节的建设用地和耕地在光谱上存在一定的相似性,且耕地中的大棚与建设用地十分相似,U-net和FCN-8s可以自动提取特征以区分两个地类,而SVM和RF仅靠光谱特征不能完全将建设用地与耕地等地类分出。从分类细节图(图7)可以看出,U-net-NDVI-CRF对油松和落叶松的分类效果要好明显于其他分类方法。
表 3 4种相关分类方法的分类精度对比
Table 3. Comparisons of classification accuracy of four relevant methods
模型
Model油松
Pinus tabulaeformis落叶松
Larix principis-
rupprechtii其他
Other lands白桦
Betula platyphylla耕地
Cultivated land建设用地
Construcuion land总体精度
Overall accuracyKappa系数
KappaRF 95.95% 75.36% 47.83% 67.39% 66.67% 62.5% 72.35% 0.66 SVM 97.30% 91.30% 36.96% 89.13% 58.33% 62.5% 76.85% 0.72 FCN-8s 100% 81.16% 34.78% 86.96% 52.78% 97.5% 78.46% 0.74 U-net 100% 73.91% 63.04% 89.13% 83.33% 97.5% 84.89% 0.82 注:所有精度均为制图精度。Note:All accuracy is producer accuracy. 图 6 分类结果 (a) RF;(b) SVM;(c) FCN-8s;(d) U-net
Figure 6. Classification result (a) RF; (b) SVM; (c) FCN-8s; (d) U-net
图 7 局部区域油松、落叶松4种分类方法的分类结果对比:(a) GF-2 PMS;(b) 优势树种分布图;(c) RF;(d) SVM;(e) FCN-8s;(f) U-net;(g) 图例
Figure 7. Comparison of classification result of the four classification method for some region: (a) GF-2 PMS; (b) Distribution map of dominant tree species; (c) RF; (d) SVM; (e) FCN-8s; (f) U-net; (g)Legend
高分辨率多光谱遥感影像森林类型分类深度U-net优化方法
Deep U-net Optimization Method for Forest Type Classification with High Resolution Multispectral Remote Sensing Images
-
摘要:
目的 使用深度学习全卷积神经网络U-net的自动特征提取,有效地改善遥感目标识别及地物分类的效果。 方法 以内蒙古自治区赤峰市旺业甸林场为研究区,主要数据源包括GF-2多光谱数据、ZY-3 DOM数据、ZY-3 DEM数据、小班数据以及外业实地调查数据等。借鉴前人对FCN-8s模型的优化思路,基于U-net网络模型,在模型训练过程中通过在原始波段的基础上加入标准归一化植被指数(NDVI)构建网络,并增加条件随机场后处理过程,得到最终的分类结果。 结果 表明:(1)优化后的U-net模型的总体分类精度达84.89%,Kappa系数为0.82,分别高于未加入标准归一化植被指数特征的U-net模型以及未使用条件随机场进行后处理的U-net模型的分类精度;(2)优化后的U-net模型与使用相同策略的FCN-8s,支持向量机和随机森林的分类结果相比,提高了8.04%~12.54%,分类精度大幅度提高。 结论 通过少量调整相关的遥感特征以及使用条件随机场后处理方法可改善U-net模型的分类效果,适用于基于U-net的森林类型高分辨率多光谱遥感影像分类。 Abstract:Objective Full convolution neural network U-net can effectively improve the effect of remote sensing target recognition and object classification. Method The test site is located in Wangyedian Forest Farm, Chifeng district, Inner Mongolia Autonomous Region. The GF-2 multispectral data, ZY-3 DOM data, ZY-3 DEM data, subcompartment data and field survey data were employed as the key data sources. Based on the U-net network model and the optimization ideas of the previous FCN-8s model, the standard Normalize Different Vegetation Index (NDVI) was added to the original band in the training process, and the CRF post-processing process was added to construct the network and the final classification results were obtained. Result (1) The overall classification accuracy of the optimized U-net model was 84.89%, and the Kappa coefficient was 0.82, which was higher than that of the U-net model without NDVI feature and U-net model without CRF post-processing; (2) Compared with the classification results of FCN-8s, SVM and RF using the same strategy, the classification accuracy of the optimized U-net model was greatly improved. Conclusion The classification effect of U-net model can be improved by adjusting the relevant remote sensing features and using CRF post-processing method. This method is suitable for the classification of high resolution multispectral remote sensing images of forest types. -
Key words:
- U-net
- / GF-2 multispectral data
- / NDVI
- / CRF
- / forest type classification
-
图 7 局部区域油松、落叶松4种分类方法的分类结果对比:(a) GF-2 PMS;(b) 优势树种分布图;(c) RF;(d) SVM;(e) FCN-8s;(f) U-net;(g) 图例
Figure 7. Comparison of classification result of the four classification method for some region: (a) GF-2 PMS; (b) Distribution map of dominant tree species; (c) RF; (d) SVM; (e) FCN-8s; (f) U-net; (g)Legend
表 1 U-net-NDVI-CRF方法的分类结果混淆矩阵
Table 1. Confusion matrix of U-net-NDVI-CRF classification result
类别名称
Informational classes油松
Pinus
tabulaeformis落叶松
Larix principis-
rupprechtii其他
Other lands白桦
Betula platyphylla耕地
Cultivated land建设用地
Construcuion land总计
Total油松 Pinus tabulaeformis 74 15 1 0 0 0 90 落叶松 Larix principis-rupprechtii 0 51 2 1 0 0 54 其他 Other lands 0 1 29 4 3 0 37 白桦 Betula platyphylla 0 2 13 41 0 0 56 耕地 Cultivated land 0 0 0 0 30 1 31 建设用地 Construcuion land 0 0 1 0 3 39 43 总计 Total 74 69 46 46 36 40 311 制图精度 Producer accuracy/% 100 73.91 63.04 89.13 83.33 97.5 用户精度 User accuracy/% 82.22 94.44 78.38 73.21 96.77 90.7 注:总体精度:84.89%;Kappa系数:0.82。Note:Overall accuracy: 84.89%; Kappa coefficient: 0.82. 表 2 加入NDVI特征以及CRF前后U-net分类结果的精度对比
Table 2. Accuracy comparison of U-net classification results before and after adding NDVI features and CRF
项目
Items油松
Pinus tabulaeformis落叶松
Larix principis-rupprechtii其他
Other lands白桦
Betula platyphylla耕地
Cultivated land建设用地
Construcuion land总体精度
Overall accuracyKappa系数
KappaRGB-IR 100% 72.46% 45.65% 100% 69.44% 97.5% 81.99% 0.79 RGB-IR-NDVI 100% 71.01% 60.87% 89.13% 83.33% 100% 84.24% 0.81 RGB-IR-NDVI CRF 100% 73.91% 63.04% 89.13% 83.33% 97.5% 84.89% 0.82 注:所有精度均为制图精度。Note:All accuracy is producer accuracy. 表 3 4种相关分类方法的分类精度对比
Table 3. Comparisons of classification accuracy of four relevant methods
模型
Model油松
Pinus tabulaeformis落叶松
Larix principis-
rupprechtii其他
Other lands白桦
Betula platyphylla耕地
Cultivated land建设用地
Construcuion land总体精度
Overall accuracyKappa系数
KappaRF 95.95% 75.36% 47.83% 67.39% 66.67% 62.5% 72.35% 0.66 SVM 97.30% 91.30% 36.96% 89.13% 58.33% 62.5% 76.85% 0.72 FCN-8s 100% 81.16% 34.78% 86.96% 52.78% 97.5% 78.46% 0.74 U-net 100% 73.91% 63.04% 89.13% 83.33% 97.5% 84.89% 0.82 注:所有精度均为制图精度。Note:All accuracy is producer accuracy. -
[1] 方 旭, 王光辉, 杨化超, 等. 结合均值漂移分割与全卷积神经网络的高分辨遥感影像分类[J]. 激光与光电子学进展, 2018, 55(2):1-9. [2] 邓国徽, 高 飞, 罗志鹏. 基于改进的全卷积神经网络高分遥感数据语义分割研究[C]//第四届高分辨率对地观测学术年会论文集, 2017: 1-13. [3] Piramanayagam S. Classification of remote sensed images using random forests and deep learning framework[J]. Proceedings of the Spie, 2016, 4: 1-8 [4] Chen L C, Papandreou G, Kokkinos I, et al. DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 40(4): 834-848. [5] 夏 梦, 曹 国, 汪光亚, 等. 结合深度学习与条件随机场的遥感图像分类[J]. 中国图象图形学报, 2017, 22(9):1-13. [6] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation[M]. Medical Image Computing and Computer-Assisted Intervention, 2015: 234-241. [7] 陈睿敏, 孙胜利. 基于深度学习的红外遥感信息自动提取[J]. 红外, 2017, 38(8):1-7. doi: 10.3969/j.issn.1672-8785.2017.08.001 [8] Li R, Liu W, Yang L, et al. DeepUNet: A Deep Fully Convolutional Network for Pixel-level Sea-Land Segmentation[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2018: 1-9. [9] Cao Q, Zhong Y, Ma A, et al. Urban Land Use/Land Cover Classification Based on Feature Fusion Fusing Hyperspectral Image and Lidar Data[C]//IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium. IEEE, 2018: 8869-8872. [10] 郝建亭, 杨武年, 李玉霞, 等. 基于FLAASH的多光谱影像大气校正应用研究[J]. 遥感信息, 2008(1):78-81. doi: 10.3969/j.issn.1000-3177.2008.01.015 [11] 高永年, 张万昌. 遥感影像地形校正研究进展及其比较实验[J]. 地理研究, 2008, 27(2):467-477. doi: 10.3321/j.issn:1000-0585.2008.02.024 [12] 刘怡君, 庞 勇, 廖声熙, 等. 机载LiDAR和高光谱融合实现普洱山区树种分类[J]. 林业科学研究, 2016, 29(3):407-412. doi: 10.3969/j.issn.1001-1498.2016.03.015 [13] 任 冲, 鞠洪波, 张怀清, 等. 天水市近30年林地动态变化遥感监测研究[J]. 林业科学研究, 2017, 30(1):25-33.