Spatial-Temporal预测是一个既需要考虑时间维度序列变化，又需要考虑空间上节点之间关系的问题，交通领域中的流量预测、速度预测等问题是其典型的应用场景之一。之前的很多做法都是先建立或自动学习一个不同站点之间的邻接矩阵，矩阵每个元素代表两个站点之间的关系（可以是距离、是否相邻、模型自动学习等）。

然而，在交通预测中，一张图可能无法包含所有节点关系信息。例如下面这张图中，节点之间的关系包括3种类型：距离是近还是远、功能是否相似、是否相邻等。一个更合理的做法是：从不同维度构建多个图，每个图都从一个角度建立节点之间的关系。

Long-term Spatio-Temporal Forecasting via Dynamic Multiple-Graph Attention是发表于2022年的一篇时空预测论文，探讨了利用多个维度的图进行时空预测的方法

• 论文标题：Long-term Spatio-Temporal Forecasting via Dynamic Multiple-Graph Attention

• 下载地址：https://arxiv.org/pdf/2204.11008.pdf

1

整体结构

模型整体结构包括多维度构图、节点表征生成（MGSE）、基于attention的多图动态融合、时空网络。其中时空网络部分采用ST-GNN的结构，可以采用任何一种时空预测基础模型，在星球中有很多经典时空预测模型的详细模型原理和代码解析时空预测经典模型STGCN原理和代码解读。由于具体的ST-GNN结构不是本文重点，这里不做重点介绍。本文的核心是多维度构图和基于attention的多图动态融合，下面对这两个部分进行重点介绍。

2

多维度构图

为了从多个角度刻画空间维度上各个节点之间的关系，文中构造了5种类型的图：

• Distance Graph：根据节点之间的欧式距离构图；

• Neighbor Graph：根据两个节点是否在空间上直接相连构图，相连为1，不相连为0；

• Functionality Graph：根据每个地点的功能构图。假设一共有K个功能，每个节点可以得到一个功能向量，计算两两节点功能向量的皮尔逊相关系数，根据该结果构图，功能越相似的地点邻接矩阵对应元素值越大；

• Heuristic Graph：使用全量数据拟合一个直方图分布，横轴为不同时间，纵轴为样本点数量。对于每个节点找到其对应分布的参数，用这两个参数的距离作为邻接矩阵值。

• Temporal Pattern Similarity Graph：利用每个节点的时间序列计算两两之间的相关系数，从时序pattern上建立联系，时间序列长得像节点对的会赋予比较大的值。

通过多种类型graph的构建，实现从多个维度提取节点之间的信息，可以方便后续多角度的时空关系建模。

3

节点表征

由于这里构造了多个图，每个节点在不同的图中有不同的角色。因此本文采用了两个embedding表示一个节点，一部分是节点本身的embedding，另一部分是不同graph的embedding。这两个embedding相加，作为每个节点在每个图的embedding。

4

多图的动态融合

在得到多种类型的图后，下一步就是如何实现每个节点、多个图上的信息融合。文中提出了spatial attention和graph attention两个维度，并利用gate fusion的方式融合二者的信息。

Spatilal attention指的是在每个图的内部，刻画节点之间的关系。它的具体实现方法和其他的spatial-temporal模型比较相似，利用每个节点的表示做内积+softmax计算attention score，然后利用attention score对节点信息进行融合。下图为spatial attention部分的示意图。

Graph attention则是一个节点、多个图之间进行attention。对于每个节点，按照和spatial attention类似的方法计算不同图之间的attention score，并进行融合。下图为graph attention的示意图。

最后，在得到两种attention的结果后，使用一个gate fusion来对二者进行融合。Gate fusion也是比较常见的模型结构了，利用sigmoid函数对输入形成一个取值0-1的gate，对两个输入进行加权，公式表示为：

5

实验结果

本文主要对比了在不同时空预测模型中，引入本文提出的多图构造和融合模块后带来的效果提升。从下面的实验中可以看出，在各类时空预测模型中，引入这种多图的建模方法，都会带来预测效果的显著提升。

6

总结

多图建模其实相当于在Spatial-Temporal维度之上又升了一维，这一维是Graph维，在不同的Graph中从多角度进行Spatial-Temporal建模，再进行融合，实现信息上的增益，进而提升整体预测效果。

推荐阅读：

我的2022届互联网校招分享

我的2021总结

浅谈算法岗和开发岗的区别

互联网校招研发薪资汇总
2022届互联网求职现状，金9银10快变成铜9铁10！！

公众号：AI蜗牛车

保持谦逊、保持自律、保持进步

发送【蜗牛】获取一份《手把手AI项目》（AI蜗牛车著）
发送【1222】获取一份不错的leetcode刷题笔记

发送【AI四大名著】获取四本经典AI电子书