时序预测中的多类型模型组合建模方案

组合模型是时间序列预测中的一个重要研究问题。没有一种模型结构可以完美解决时间序列预测面临的任何问题，通过各类模型结构的组合，让各个模型实现优势互补，可以很大程度上提升时间序列预测模型的性能。

Python编程杰哥

1240人浏览 · 2024-10-15 20:21:46

Python编程杰哥 · 2024-10-15 20:21:46 发布

时间序列建模中很多种类型的结构可以选择，比如Transformer、CNN、RNN，以及最近被验证有效的MLP、Mamba等结构。然而，不同模型都有特定的潜在优势和劣势。因此，现在越来越多的时序预测模型优化工作，采用了多模型组合的建模方式。

今天这篇文章，就给大家介绍一下多模型组合建模的核心思路，以及几篇近期发表的多模型组合时序预测工作，在一个模型中同时使用不同类型的模型结构，实现各个结构之间的优势互补。

1.早期模型组合建模方案

在Transformer应用到时间序列预测建模后，越来越多的模型组合方法被挖掘并应用。例如RNN+Transformer、CNN+Transformer等结构。这主要是因为Transformer和CNN、RNN等模型可以实现比较好的优势互补。Transformer的优势在于长周期的attention建模，但是由于其只通过位置编码获取时序关系，对时序建模的能力并不强。而RNN、CNN则比较擅长时序数据的处理，但是对于长周期的建模能力较弱。因此，RNN/CNN配合Transformer的建模方法逐渐走进研究者视野。

比如在_Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting_这篇文章中，在Transformer底层加一个CNN，利用CNN的序列建模能力让输入的时序样本点感知到上下文信息。Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting也是类似的思路，在Transformer底层加一个RNN，将RNN的序列建模能力和Transformer的长周期建模能力结合起来。

在这里插入图片描述

除了CNN和RNN外，现在很多工作将MLP和Transformer结合在一起。MLP的作用和CNN非常相似，也是将单个样本点的信息，通过临近点的整体编码，形成语义更强的时序表征，再输入到后续Transfomrer模型中。_PatchA Time Series is Worth 64 Words: Long-term Forecasting with Transformers_中提出的PatchTST就是这个建模思路。

2.近期模型组合新工作

接下来给大家介绍2篇近期的时间序列预测多模型组合工作。这两篇文章都融合了包括Transformer、CNN、RNN、Mamba、MLP等结构中的至少3个。

第一篇是_Mamba or Transformer for Time Series Forecasting? Mixture of Universals (MoU) Is All You Need_。这篇文章提出了一种多模型融合的建模方法，实现对时间序列长短期信息的综合利用。模型中引入了包括Mamba、Transformer、CNN等多种模型结构进行不同维度的时间序列信息抽取。

文中的核心优化点包括2个方面，一个是在底层时间序列的patch处理上进行了优化，另一个是模型结构上的多种结构融合思路。在patch处理上，将时间序列分成多个patch后，一般使用一个MLP进行映射，文中进一步使用MoA结构处理patch。MoA是一个多个子模块组成的patch信息处理器，每个子模块使用一个稀疏门控网络，对表征的部分元素进行激活。通过多组这种子模块的融合，每一组实现不同类型pattern的信息提取，最后加到一起，作为patch的表征。

在模型结构方面，整体是Mamba->FFN->CNN->Transformer的组织方式。Mamba用来提取时序相关的基础信息，FFN增加非线性，CNN扩大每个patch的视野，Transformer最终进行长周期的时间序列建模。

第二篇是_PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting_。这篇文章提出了一种融合Transformer、RNN、CNN的时间序列预测模型，其中RNN+CNN用来进行每个变量时间序列的时序维度编码，Transformer用来进行变量间关系的建模，类似iTransformer的形式。

文中的核心是RNN+CNN构建的层次时序编码网络。由于时间序列存在不同粒度的周期性，不同的粒度之间又存在关系着一定的关系。为了刻画这种多频率信息，文中采用了层次CNN的方式进行建模。对于每一层CNN，使用不同的kernel size和stride size，提取不同粒度的信息，并通过CNN起到了缩短序列长度的作用。

在进行每个层次的CNN编码后，每一层的CNN编码输入与上一层CNN编码融合后，输入到GRU中，利用GRU的时序建模能力编码每个粒度的序列。不同粒度的GRU编码结果最后通过加权融合的方式，生成每个变量时间序列的最终表征结果。

在得到单变量的时序表征后，Transformer进行变量间关系建模。将每个变量时间序列的表征看成是一个token，使用self-attention在变量维度计算相关性并进行融合，类似iTransformer中的方式。

在这里插入图片描述

总结

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述