论文精读-Generate Your Own Scotland: Satellite Image Image Generation Conditioned on Maps 2023 NIPSW

Git链接：miquel-espinosa/map-sat: Generate Your Own Scotland: Satellite Image Generation Conditioned on Maps

目录

1.动机 (Motivation)

2.贡献 (Contributions)

3.数据集(Datasets)​编辑

3.1数据集构建

3.2数据质量比较

3.3 动机与实验目标：

4.方法 (Method)

5.实验 (Experiments)

5.1训练和推理细节 (Training and Inference Details)

未来工作 (Future Work)

1.动机 (Motivation)

论文的核心目标是解决扩散模型在地球观测 (Earth Observation, EO) 领域探索不足的问题，特别是如何利用如 OpenStreetMap (OSM) 这样的地图数据。通过条件生成逼真的卫星图像，作者希望提升 EO 分析能力，并支持数据增强、可视化等多种应用场景。

2.贡献 (Contributions)

1. 数据集构建：创建了包含苏格兰（包括苏格兰本岛和中央地带）OSM 和卫星图像配对的大型数据集。
2. 模型训练：使用 ControlNet（一种先进的扩散模型）训练模型，能够从 OSM 地图生成高保真度的卫星图像。
3. 洞见：通过定性分析生成的图像质量，总结了生成模型在 EO 领域的挑战和潜力。

3.数据集(Datasets)

3.1数据集构建

1. 数据类型：
   • 数据集由 256×256 像素的 OpenStreetMap (OSM) 图块 和 256×256 像素的卫星图像（World Imagery 提供） 配对组成。
   • 每对图像中，OSM 提供地理信息（如道路、建筑等），而卫星图像提供真实场景的视觉效果。
2. 固定文本提示：
   • 训练模型时，使用了固定的文本提