数据集论文：面向深度学习的土地利用场景分类与变化检测

高空间分辨率遥感影像能够获取地物的纹理、结构等细节信息，因此广泛应用于土地利用/土地覆盖相关任务，其中土地利用场景分类与变化检测是广受遥感领域研究人员关注的研究热点。

周维勋研究团队在《遥感学报》发表文章“MtSCCD：面向深度学习的土地利用场景分类与变化检测数据集”，该文针对现有土地利用分类与变化检测数据集存在的局限性，利用高分辨率遥感影像构建了面向深度学习的大规模场景分类与变化检测数据集MtSCCD。

1.研究背景

土地利用场景分类与变化检测对于城市发展规划和土地利用优化具有重要的指导意义，二者的关键在于获取表征能力强的图像特征。深度学习通过层次化的深层网络结构能够实现特征的自适应学习，因此面向自然图像的众多方法和模型被借鉴并用于遥感领域，形成一种新的基于数据驱动的遥感信息提取范式。对于一个有效的深度学习模型来说，高质量、大规模的遥感图像标注样本是必不可少的。

目前，不论是遥感场景分类还是变化检测领域，已经构造了多个数据集，但这些数据集不适合数据驱动的信息提取研究。对于土地利用场景分类，目前公开的场景分类数据集仅包含少部分土地利用类别，并且数据集侧重的是场景目标而非土地利用类型，所以不能直接反应土地利用情况；对于土地利用场景变化检测来说，场景内部一些地物像元或对象变化并不会直接导致场景的语义类别发生变化，所以图像级的变化检测数据集更适合土地利用类型监测。

为了推动高分辨率土地利用场景分类与变化检测的研究进展，针对现有土地利用分类与变化检测数据集存在的局限性，本文利用高分辨率遥感影像构建了面向深度学习的大规模场景分类与变化检测数据集MtSCCD（Multi-temporal Scene Classification and Change Detection）。

2.数据简介

为了保证MtSCCD数据集中土地利用场景图像的多样性以便更好地评估土地利用场景分类与变化检测算法，本文选择杭州、合肥、南京、上海和武汉5个城市中心区域的高分影像作为数据源，并且每个城市的数据均包含同区域两个时相的影像。高分辨率影像来自World Imagery (https ://livingatlas.arcgis.com/wayback)，空间分辨率大约为1 m，包括R、G、B这3个波段。参考城市用地分类与规划建设用地标准(GB50137-2011) (http://www.risn.org.cn/XxbzlShowForceStandard.aspa? Guid=61387)和现有公开的城市土地利用数据，确定了MtSCCD数据集中土地利用场景的分类体系，具体包括居住用地、公商用地、教育用地、工业用地、交通用地、农业用地、水体、绿地、林地、裸地共10种类别。MtSCCD包括MtSCCD_LUSC和MtSCCD_LUCD两个子数据集，分别用于土地利用场景分类与变化检测。

（1）MtSCCD_LUSC子数据集

为了增加每个土地利用类别的图像数目且使图像库更具挑战性，将两个时相的数据合并构建MtSCCD_LUSC子数据集，其中，测试集A和测试集B分别为合肥和南京的土地利用数据。表1给出了MtSCCD_LUSC数据集中训练集、验证集以及测试集的划分情况。同时，从下图给出的各土地利用类别的样本图像可以看出MtSCCD_LUSC数据集类内差异较大（如交通用地、公商用地）。

MtSCCD_LUSC数据集各类别图像实例

（2）MtSCCD_LUCD子数据集

MtSCCD数据集中每个城市均包含两个时相的土地利用场景数据，因此可以利用各城市的数据直接构建MtSCCD_LUCD子数据集，其中，测试集A和测试集B分别为合肥和南京的土地利用数据。MtSCCD_LUCD是图像级的变化检测数据集，支持二值变化（即场景类别是否发生变化）和类别变化(即场景的变化类别)两种检测任务。表中给出了MtSCCD_LUCD数据集中训练集、验证集以及测试集的划分情况，各类别变化与未变化图像实例如图所示。

MtSCCD_LUCD数据集各类别变化与未变化图像实例

（3）数据集的特点

图像数量大规模：MtSCCD是目前公开的规模最大的高分辨率土地利用场景分类与变化检测数据集。

高度可扩展性：MtSCCD数据集是根据城市分别划分训练集、验证集以及测试集，因此具有较高的可扩展性。后续对于新增的城市土地利用数据，可以按照一定比例划分到训练集与验证集，或直接作为测试集，实现数据集的灵活扩充。

符合实际应用场景：MtSCCD_LUSC和MtSCCD_LUCD两个子数据集中训练集和验证集与测试集不重合，即模型训练和测试所用的数据来自不同区域，因此更符合实际应用场景。

场景类内差异大：MtSCCD数据集包含5个城市的土地利用数据，而不同城市的同类别土地利用场景受成像条件等因素的影响存在较大的视觉差异。

3.数据集评估

基于MtSCCD数据集，对基于深度学习的土地利用场景分类与变化检测方法进行评估。对于土地利用场景分类任务，本文选择常用的网络，包括AlexNet、VGG网络、GoogLeNet、ResNet系列、EfficientNet、SENet、ViT和SwinT进行分类。对于土地利用场景变化检测任务，本文选择两种变化检测方法，一是常规的基于分类的“先分类后检测”方法CDC（Change Detection after Classification），其中包括CDC_1和CDC_2两种方法：CDC_1是利用场景分类任务中训练的网络提取双时相特征训练SVM进行变化检测或直接用训练好的网络分类进行变化检测，CDC_2是参考手工特征与视觉词袋模型（BoVW）结合的思路，采用BoVW对卷积层特征进行编码得到特征向量用于训练SVM进行变化检测；二是基于场景相似度的变化检测方法，包括CNN特征相似性度量方法CFSM（CNN Feature Similarity Measure）和基于相似性学习的变化检测方法SSCD。

（1）MtSCCD_LUSC数据集实验结果

表3给出了各网络对MtSCCD_LUSC的测试集A和B的分类结果，可以看出网络层较浅的AlexNet在测试集A和B上的效果最差，但简单增加网络深度并不能明显提升分类精度，ResNet之后提出的新型网络结构，如DenseNet和EfficientNet，取得了更好的分类结果，尤其是DenseNet，在两个测试集上的精度最高。

（2）MtSCCD_LUCD数据集实验结果

表4给出了传统分类后检测方法（CDC_1和CDC_2）和基于相似度的变化检测方法（CFSM和SSCD）对MtSCCD_LUCD数据的变化检测结果。由表4中结果可知，对于测试集A和B，基于相似度的变化检测方法优于传统的基于分类的变化检测方法。这是因为基于分类的变化检测方法需要对两个时相的场景各做一次分类，从而导致最终的变化检测结果受两次分类的影响较大。

4.研究结论

(1) 构建了目前规模最大的场景分类与变化检测数据集MtSCCD，能够促进基于深度学习的土地利用场景分类与变化检测新方法的研究。

(2) 该数据集包括MtSCCD_LUSC和MtSCCD_LUCD两个子数据集，两个子数据集均包含10种土地利用类型，共65548幅图像。

(3) 基于上述两个子数据集，评估了多个深度学习网络的场景分类与变化检测效果，为相关研究人员提供了重要参考。