使用深度学习预测天气并还原地图

发表于 2019年10 月10日星期四上午 2:25:10

拇指1

预测天气是一项艰巨的任务，涉及统计和数据处理。如今，在天气预报中，机器学习扮演着至关重要的角色。但是，在数值模型中，更常使用ML。

本文是对我所做的一个项目的解释，该项目是使用深度学习根据今天的梯度来预测明天的最高温度梯度的。使用的模型称为Pix2Pix。是GAN的一个版本，用于基于其他人生成图像（链接）。运作方式如下：我们输入今天美国最高温度梯度的图像作为输入，然后模型返回明天最高温度梯度的图像（预测）。

在谈论项目，使用的数据以及训练模型的方式之前，我们必须谈论模型本身。

什么是Pix2Pix？

Pix2Pix是称为“通用对抗网络”（GAN）的更通用模型的版本。在此模型中，我们有两个网络：生成器和鉴别器。生成器网络必须学会精心制作伪造的图像，以欺骗鉴别器，该任务是说图像是真实的还是伪造的（由生成器生成）。换句话说，生成器生成新图像，而鉴别器则将它们区别开来，这就是为什么要这样称呼它们的原因。

但是，生成器如何生成新图像？假设我们要生成花。为了做到这一点，我们必须有一个想要神经网络生成的花朵图像的数据集。在准备好该数据集之后，我们将基于相同的图像生成另一个数据集，但会添加随机噪声。这样一来，我们就不再有花朵，而是花朵模糊了。使用这两个数据集，我们传递花的真实图像和带有模糊图像的输入。使用这两个图像，生成器会尝试精心制作一幅类似于真实图像的图像（从嘈杂的图像开始）。之后，将生成的图像传递到鉴别器，该鉴别器将图像分类为真实或伪造。这就是训练模型的方式。

另外，可以注意到上述任务正在试图相互竞争。我们可以说他们是对抗性的。这为GAN命名。

我们是数据科学家；我们想进一步了解该模型的架构。嗯，如上所述，此模型内部有两个网络。让我们关注发生器。每个人都必须熟悉成交量积神经网络（CNN）（如果不阅读本文的话）。该模型将图像作为输入，并使用成交量积层对其进行处理，直到我们只有分类模型所具有的类的百分比为止。换句话说，我们从图像传递到数字。我们可以使用所谓的反成交量积神经网络（DNN）进行逆运算。它接收数字作为输入，并给出图像作为输出。使用这两个模型，我们构建了Generator。

如果您想进一步了解该模型，可以阅读该论文。

考虑到该模型如何工作和训练，我们将专注于我所做的项目。

使用Pix2Pix预测天气并还原地图

该项目是一个二合一项目，因为使用了相同的模型来预测天气并恢复预测器输出的图像。更准确地说，该模型经过两次训练。第一个包含从NOAA的温度寄存器生成的图像数据集。第二个带有图像，第一个模型作为输出给出。

这两个项目将在不同的部分进行说明。

在进入两个项目之前，有必要说明已完成的数据处理。我从NOAA（https://www.noaa.gov）获得了3.5 GB的数据，其中收集了世界各地不同站点记录的气象数据。从1840年到今天，这些记录按月分发。作为大量数据，由于有错误的记录，一些与记录的日期不匹配的记录，因此我不得不进行大量清理。

对于清洁过程，我使用了C＃。第一步是分离目标变量（最高温度），这将数据集减少到2 GB。然后，利用来自许多气象站的数据，我继续对每个气象站的经度和纬度进行绘图，并查看在哪个区域中有更多数据（每个像素是一个站）：

图1：1840年至2019年之间所有可用电台的K线走势图图2：1840年至2019年之间以美国为界的电台K线走势图。

如您所见，美国的站点最多，因此我决定将TMAX数据集限制为美国的站点。数据集减少到1.6 GB。所有这些都是使用C＃完成的。下一步是按照年，月，日以及与该天相关的温度，将测站及其纬度和经度分开。这在数据中心化生成了许多记录，并将其提高到6 GB。该数据集被引入数据库以更轻松地处理它。上传后，使用“查询”，我一直在清理数据集。我删除了更多不一致的记录，将温度调整到合理的范围，因为有许多温度超过了最高记录温度或低于历史最低记录。我这样做的原因是，那一天可能是一个不好的衡量标准，所以我将寄存器限制在52ºC和-18ºC，这是美国的历史记录。

一旦使用C＃完成所有数据清理，就只索引了1980年至2019年的数据，并将站点给定的TMAX值通过颜色映射到一个映射表中以表示温度梯度。最终结果如下（图像256×256）：

图3：夏季和冬季的示例。