Multi-Horizon Time Series Forecasting with Temporal Attention Learning
论文地址
https://dl.acm.org/doi/10.1145/3292500.3330662
模型结构图
使用注意力机制的时间序列多步预测模型：
- 对离散输入做 Embeding
- 对历史数据用单向 LSTM 提取特征，每一个历史时刻对应一个隐状态，图中的下面部分
- 对未来的输入用双向的 Bi-LSTM 提取特征，图中的上面部分
- 用注意力机制建立未来时刻特征和历史时刻特征的联系，图中的中间部分
注意力机制
从图中可以看出，注意力机制分了两层：
- 季节内的注意力；
- 季节间的注意力。
季节内的注意力
图上中间部分的两种颜色分别对应了两个季节（season），下面公式中： 表示未来时刻 时的 Bi-LSTM 的到的特征， 表示历史某个季节内由 LSTM 得到的特征。
季节间的注意力
或者理解为季节间特征的融合
分位点回归
模型的损失函数为分位数损失（quantile loss）
而且不同的分位点是同时得到的：
分位数的预测：