一、UCM-Captions数据集
UCM-Captions数据集[1]由B.Qu等人(2016)基于UCMD创建而成。UCM-Captions数据集中，每幅图像对应5个描述语句，共计10500个描述语句。针对同一图像的5个描述语句是完全不同的，但同一类图像的语句描述差异较小，如图8-13所示。
图8-13 UCM-Captions数据集示例[66](原始图像编号为＃1845和＃2083)
二、Sydney-Captions数据集
Sydney-Captions[2]数据集是B.Qu等人(2016)基于Sydney数据集创建的。Sydney数据集由Google Earth上获取的澳大利亚悉尼地区整幅卫星影像生成，整幅图像尺寸为18000×14000，分辨率为0.5m。创建方法为:首先将整幅图像裁切为1008幅尺寸为500×500的不重叠图像，然后从中挑选7类613幅具有明显类别特征的图像，每幅图像包含一个场景类别标签，如图8-14所示。Sydney-Captions数据集中，每幅图像对应5个描述语句，一共有3065个描述语句，如图8-15所示。Sydney-Captions与UCM-Captions类似，也是只关注句式结构的不同，而没有考虑标注的人不同的问题。
图8-14 Sydney-Captions数据集示例(共7类)[66]
图8-15 Sydney-Captions示例[66](原始图像编号分别为＃36和＃465)
三、RSICD数据集
RSICD[3]是一个用于研究遥感图像描述生成的大规模航空影像数据集，与前两个数据集一样，也是卢孝强教授团队创建的。RSICD的数据来源比较丰富，由包括Google Earth、百度地图、MapABC、天地图等在内的超过10000幅原始图像构成。RSICD数据集的创建过程为:首先将原始图像裁切成10921幅、共30个类别、分辨率不同、尺寸均为224×224的图像，然后由具有标注经验和遥感背景的志愿者对其进行标注，每个类别及数量信息如表8-2所示。在标注RSICD时，充分考虑了遥感图像的尺度模糊、分类歧义、方向模糊等特点，尽量确保高类内多样性和低类间差异性。为了保证标注的多样性，每一位志愿者仅对一幅图像标注1～2个描述语句，共生成24233个描述语句，总词汇量为3323，其中包含5个、4个、3个、2个、1个描述语句的图像数量分别是724、1495、2182、1667、4853；在此基础上，通过扩充生成54605个描述语句，如图8-16所示。
表8-2 RSICD数据集类别(共10921幅图像、30个类别)[68]
四、基于UAVIC的描述生成数据集(www.xing528.com)
UAVIC是MIT的Dhaksha团队提供的无人机图像和视频数据集，其中包含840幅原始图像(6000×3376)和2个原始视频。在此基础上创建的描述数据集共12个类别(如表8-3所示)，每幅图像尺寸为400×400，每一幅图像标注5个描述语句，如图8-17所示；视频数据中每帧图像中包含的有用信息也被标识出来用于创建数据集。与UCM-Captions相比，UAVIC数据集词汇量更丰富。但是作者并未提供该数据集更详细的信息以及下载地址。
表8-3 UAVIC数据集类别[77]
图8-17 UAVIC数据集示例[77]
五、NWPU-Captions数据集
NWPU-Captions是由武汉大学和华中科技大学基于标准遥感图像集NWPU-RESISC45[4]联合创建的遥感图像描述生成数据集。NWPU-Captions由6位具有标注经验和遥感领域相关知识的志愿者历时4个多月标注完成。选择NWPU-RESISC45图像集的原因是:该图像集规模大(31500幅图像)、地物种类多(45个类别)，而且该图像集体现了更丰富的图像变化以及更高的类内多样性和类间相似性，如相同类别的不同视角、平移、物体姿态、外观、空间分辨率、光照、背景、遮挡等方面的变化，以及语义重叠的细粒度类别，如圆形和矩形农田、商业和工业区域、篮球场和网球场等。与RSICD数据集不同的是，NWPU-Captions中每幅图像的5个不同的描述语句完全由人工标注完成，以期最大限度保证句式结构、词汇及语义的多样性(如图8-18所示)，标注语句总计157500，总词汇量为1655。标注时尽量使用综合性的语句对遥感图像进行个性化的标注，且满足以下约束条件；
(1)当图像中有多个对象时，不以“There is”开头；
(2)在没有对比的情况下，不用含糊的概念，例如“large”“tall”“many”；
(3)不使用方向名词，例如“北”“南”“东”和“西”；
(4)句子至少包含6个词。
NWPU-Captions是目前规模最大、最具有挑战性的遥感图像描述生成数据集。
表8-4对以上5种遥感图像描述生成数据集从图像数量、类别数、词汇量、描述语句总量、类别均衡性等方面进行了综合对比。
表8-4 遥感图像描述生成数据集对比
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
