关于时空数据挖掘的深度学习调查

关于时空数据挖掘的深度学习调查

摘要

随着全球定位系统(GPS)、移动设备和遥感等各种定位技术的快速发展，时空数据日益可用。从时空数据中挖掘有价值的知识对于许多现实世界的应用至关重要，包括理解人类活动轨迹、智能交通、城市规划、公共安全、保健和环境管理。随着时空数据的数量、数量和分辨率的迅速增加，传统的数据挖掘方法，特别是基于统计的处理这些数据的方法变得不堪重负。最近，得益于在自动特征表示学习方面的强大能力，递归神经网络(RNN)和卷积神经网络(CNN)等深度学习模型，在许多领域取得了显著的成功，特别是在 预测学习，异常检测和分类等各种时空数据挖掘(STDM)任务中也得到了广泛的应用。

在本文中，我们提供了一个全面的综述，回顾最近应用深度学习技术的STDM（空时数据模型）。

首先，我们将时空数据分为五种不同的类型，然后简要介绍STDM中广泛使用的深度学习模型。
接下来，我们根据时空数据的类型、数据挖掘任务和深度学习模型对现有文献进行分类，然后介绍了深度学习在运输、按需服务、气候和天气分析、人类活动轨迹、基于位置的社交网络、犯罪分析和神经科学等不同领域的应用。
最后，总结了当前研究的局限性，指出了未来的研究方向。

1.介绍

随着地图、虚拟地球、遥感图像、十年普查和全球定位系统轨迹等大型时空数据集的可用性和重要性的增加，时空数据挖掘(STDM)在大数据时代变得越来越重要。 STDM在环境和气候（例如，风预测和降水预测），公共安全(例如，犯罪预测)，智能交通(例如，交通流量预测)，人类流动(例如。人类轨迹模式挖掘)等领域有着广泛的应用；由于许多原因，经典的数据挖掘技术在应用于时空数据集时往往表现不佳。

首先，ST数据通常嵌入在连续空间中，而事务和图形等经典数据集通常是离散的。
第二，ST数据的模式通常同时呈现空间和时间特性，它们更复杂，而且传统方法很难捕捉到数据相关性。
最后，传统的基于统计的数据挖掘方法中的一个常见假设是数据样本是独立生成的。然而，当涉及到ST数据的分析时，数据样本相互独立的假设通常不成立，因为ST数据往往是高度自相关的。

虽然STDM在过去的几十年中得到了广泛的研究，但一个共同的问题是传统的模型很大程度上依赖于专家特征工程。换句话说，传统的STDM技术以原始形式处理自然ST数据的能力有限，例如，若要从从fMRI数据中分析人类的大脑活动，需要仔细的特征工程和专家提供的大量领域知识来转换原始数据(例如，扫描的fMRI图像的像素值)变成合适的内部表示或特征向量。

最近，递归神经网络(RNN)和卷积神经网络(CNN)等深度学习模型由于具有强大的自动特征表示学习能力，在各种机器学习任务中表现极佳。它们已广泛应用于许多领域，包括计算机视觉、自然语言处理、图形数据挖掘和STDM。与传统方法相比，STDM使用深度学习模型的优点如下：

自动特征表示学习与传统的机器学习方法（需要手工制作的特征）有很大的不同，深度学习模型可以从原始ST数据中自动学习层次特征表示。在STDM中，数据的空间邻近性和长期时间相关性通常是复杂的，难以捕捉。利用CNN中的多层卷积运算和RNN的递归结构，可以从原始数据中自动有效地学习ST数据中的这种空间邻近性和时间相关性。

强大的函数逼近能力；理论上，只要深度学习模型有足够的层数和神经元，它们就可以逼近任何复杂的非线性函数，并且可以拟合任何曲线。深度学习模型通常由多个层组成，每一层都可以被认为是一个简单非线性的模块，具有池化层、dropout和**函数，从而能够将较低层次的特征潜在表示转换为较高层次的更抽象的特征表示。有了足够的这种转换的组成，可以用非常复杂的函数可以近似地表现复杂的STDM任务。

在大数据下表现得更好；传统的机器学习方法，如SVM和决策树，通常在较小的数据集上表现良好。然而，这些方法的性能在击中数百万个训练样本后停滞不前，数据的增加难以再提高性能。然而，在拥有更多的数据后，深度学习模型的性能却可以继续增加。这意味着深度学习模型可以从大量可用的ST数据中学习到更多和更好知识，因为它们具有强大的特征学习和函数逼近能力；

图1显示了为各种STDM任务探索深度学习技术的年度发表论文的数量。可以看出，近年来论文数量有显著的增长趋势。从2012年到2015年，每年仅发表相关论文不到10篇。从2016年开始，论文数量迅速增加，许多研究人员在不同的应用领域尝试不同的STDM深度学习模型。在2018年共发表相关论文约90篇，数量较大。鉴于应用的多样性和问题的丰富性，由于以下原因，迫切需要概述在快速发展的STDM领域探索深度学习技术的现有工作。它可以突出采用深度学习模型来解决STDM问题的异同和一般框架。使得跨不同应用领域的研究问题的方法和思想交叉。例如，它使我们能够选择出为解决其他特定领域的问题而设计的深度学习模型（例如，运输中的交通流量预测)来解决本领域的类似问题(例如犯罪分析中的犯罪预测）。

有关STDM的其他综述

由于STDM已经研究了几十年，一些调查论文从不同的角度回顾了相关文献。

[8]和[133]回顾了STDM算法，重点讨论了遥感、气候科学和社交媒体分析应用领域的计算问题。
[78]侧重于从ST数据中进行频繁模式挖掘（ frequent pattern mining）。它阐述了从ST数据中发现模式的挑战，并将模式分为三类：在多个轨迹上的个体周期模式、成对运动模式和多个轨迹上的聚合模式
[18]回顾了STDM研究和应用的最新进展，重点介绍了预测、聚类和数据挖掘任务， ST数据的可视化。
[123]从计算的角度回顾了STDM，并强调了STDM的统计基础。
[104]回顾了轨迹数据挖掘的方法和应用，这是ST数据的一种重要类型。
[66]提供了一项关于ST数据聚类的全面调查。
[3]对STDM中的问题和方法进行了全面的回顾。然而，这项调查与工作[3]有两大区别。

首先，[3]从传统机器学习方法的角度对STDM进行了回顾，而我们的重点是深度学习方法在STDM上的应用。因此，这两项调查中的涉及论文有很大的不同，重叠很小。

第二，在两篇综述中，传统方法和深度学习方法所解决的问题是不同的。除了一些一般的问题，如预测学习和异常检测，[3]重点回顾了频繁模式挖掘、聚类、变化检测和关系挖掘等问题，传统的机器学习方法可以很好地解决这些问题，而本次调查则集中在估计和推理、分类等任务上。

[106]和[150]提供的调查特别侧重于审查最近关于 利用深度学习模型分析交通数据和执行促进智能交通系统的各种任务的工作。对STDM的深度学习技术的探索还缺乏系统的研究。

本文贡献

与现有的研究成果相比，本文做出了如下显著贡献：

据我们所知，这是第一次回顾最近探索STDM深度学习技术的工作。鉴于近年来相关研究的不断增多，我们首先对ST数据类型进行了分类，然后提出了在STDM中广泛应用的流行的深度学习模型。我们还总结了不同数据类型的数据格式，并总结了哪些深度学习模型适合处理ST数据的什么格式。
综合调查，这项调查提供了一个全面的概述，在STDM任务中使用深度学习技术的最新进展，包括预测学习、分类、估计和推断、异常检测等。对于每个任务，我们在代表的工作做了详细的描述，并进行了必要的比较和讨论。我们还根据交通、按需服务、气候科学、人类流动、基于位置的社交网络、犯罪和天气分析以及神经科学等应用领域对当前的工作进行了分类和总结。
本调查还突出了目前尚未得到很好研究的几个未决问题，并指出了今后可能的研究方向。

本调查的组织本调查的其余部分安排如下。

第二节介绍了ST数据的分类。第三节简要介绍了广泛应用于STDM的深度学习模型，并总结了哪种模型适合于什么类型的ST数据。第四节概述了深度学习模型所处理的各种STDM任务。第5节介绍了跨不同领域的应用程序库。第六节讨论了现有作品的局限性，并提出了未来

2 时空数据的分类

2.1时空数据类型

由于ST数据的收集和表示方式在实际应用中有很大的不同，我们可以将ST数据分类为不同的类型。不同的应用场景和ST数据类型导致不同类别的数据挖掘任务和问题公式，因此需要不同的深度学习模型。例如，CNN主要处理类似图像的数据，而RNN通常用于处理顺序数据。因此，有必要首先对ST数据的类型进行分类，并正确地表示它们。我们遵循并扩展了[3]中的分类，并将ST数据分类为以下类型：事件、轨迹、点参考、光栅和视频。

事件数据。犯罪和交通事故等事件由何时何地何事发生的离散事件组成的。事件一般可以用事件的类型，事件发生的地点，发生时间来三维表示。例如，交通事故可以被描述为这样一个元组(e，l，t)，其中e是交通事故的类型，l是交通事故的位置和t是发生的时间。图2(a)显示事件数据的说明。它显示了由符号的不同形状表示的三种类型的事件。事件数据在许多应用领域是常见的，如犯罪学（例如城市犯罪)、流行病学(例如疾病爆发事件)、交通运输(例如交通事故)和社会网络(例如社会事件和趋势专题）。

轨迹数据。轨迹是物体在空间中随时间的移动路径（例如出租车出行路线）。轨迹数据通常来自安装在移动物体上的位置传感器，例如出租车上的GPS定位系统。传感器定期记录和传输物体的位置。图2(b)说明了两条轨迹。每个轨迹都可以被描述为这样一个序列{(L1，T1)，(L2，T2)....(Ln，Tn)}，其中Li是位置（例如纬度和经度），Ti是移动物体正处于这个位置的时间。随着移动应用和物联网技术的发展，人类轨迹和城市交通轨迹等轨迹数据已经无处不在。

点参考数据。 由一组运动参考点在特定的空间和时间间隔内产生的测量值称为点参考数据。 例如，用漂浮在空间中的气象气球测量的气象数据可视为点参考数据。气象气球连续感知并记录温湿度等气象参数。图3显示了由浮动温度传感器在两个时间戳下测量的海面温点参考数据的例子。如图所示，白色圆圈是温度传感器在一定时间点下的位置。请注意，温度传感器的位置随时间的变化而变化。

栅格数据。在给定空间的固定位置和在规则或不规则时间点收集的测量数据称为光栅数据。栅格数据与点参考数据的主要区别在于，栅格数据的位置固定，而点参考数据的测量位置不断变化。测量的位置和时间可以定期或不定期地分布。给定m个固定位置S={s1，s2，...，sm}和n个时间戳T={t1，t2，...，tn}，光栅可以表示为矩阵Rm×n，其中每个条目r ij是位置si处时间戳Ttj时的量。栅格数据在交通、气候科学和神经科学等许多应用领域也很常见。

例如，空气质量数据(例如PM2.5)可以由部署在城市固定地点的传感器收集，在一个连续的时间段（如一天）收集的数据形成空气质量栅格数据。
在神经科学中，功能性磁共振成像(fMRI)是一种通过检测流过大脑不同活动区域的血液的变化来测量大脑活动的流行技术。扫描的fMRI信号形成光栅数据，用于分析大脑活动和识别某些疾病。
图4展示了一个交通网络交通流栅格的例子。每条道路都部署一个交通传感器来收集实时交通流量。所有道路传感器在一天内测量的交通量或速度形成一个光栅。

视频数据（ Video data.）。由图像序列组成的视频也可以被认为是ST数据的一种类型。在空间域中，相邻像素通常具有相似的RGB值，因此具有较高的空间相关性。在时域中，连续帧的图像通常变化平稳，并呈现出较高的时间依赖性。视频一般可以表示为三维张量，其一维表示时间t，另两维表示图像。实际上，如果我们假设每个像素都部署了一个“传感器”，并且所有传感器从图像帧中连续测量RGB值，则视频数据也可以被认为是一种特殊的光栅数据。具有深度学习技术的视频数据分析极其热门，发表大量论文。虽然我们把视频归类为ST数据，但是我们主要从数据挖掘的角度回顾相关工作。视频数据分析属于计算机视觉和模式识别的研究领域。因此，在这次调查中，我们没有涵盖ST数据类型的视频。

2.2数据实例（Data Instances）和格式（Formats）

我们将数据挖掘或机器学习模型具体执行基本数据单元定义为数据实例，例如一个时间序列或一帧图像。正如我们前面讨论的，ST数据可以分为不同的类型，因此可以表示为不同的数据实例。即使对于相同类型的ST数据，也可以针对不同的数据挖掘任务提取不同的数据实例。

数据实例

一般来说，ST数据的数据实例可以概括为事件、轨迹、时间序列、空间地图和ST光栅，如图5中所示。

事件实例是最简单的数据实例，通常可以表示为由位置、时间和事件类型等附加特征组成的元组。

轨迹数据和点相关数据也可以实例化为事件实例。例如，可以将轨迹分解成几个离散点，来计算在特定时间段中通过特定区域的轨迹数。

在某些应用程序中，轨迹也可以实例化为时间序列实例。如果我们确定某一个位置并计算遍历该位置的轨迹数，则将轨迹实例化为时间序列实例。

空间地图的数据实例包含一个时间段内对整个ST文件的测量。例如，在时间t中部署在高速公路上的所有环路传感器的流量是一个空间地图。 ST光栅的数据实例包含覆盖所有时间戳中的整个ST文件的测量。

根据不同的应用和分析要求，可以从光栅数据中提取不同的数据实例，如时间序列、空间地图实例或ST光栅实例。

对于st光栅数据的处理有多种，可以实例化为多种数据，如下：

可以将所研究空间中单个网格区域的测量视为时间序列，从而可以应用时间序列挖掘技术对数据进行分析；
对于每个时间戳，光栅的测量可以被认为是一个空间地图实例；
还可以考虑所有跨越所有地点和时间戳的测量作为一个整体进行分析，在这种情况下，ST光栅本身可以是一个数据实例。

数据格式（ Data Formats ）

对于上述ST数据实例，一般采用五种类型的数据格式来表示它们，并且作为各种深度学习模型的输入，它们分别是点、序列、图(graph)、二维矩阵和三维张量，如图5右部分所示。不同的深度学习模型需要不同的数据格式作为输入。因此， 如何表示ST数据实例取决于数据挖掘任务和所选择的深度学习模型。

事件非常合适表示为点；

轨迹和时间序列都可以表示为序列。轨迹有时也可以表示为一个矩阵，其两个维度是网格区域的行和列ID。矩阵每个部分的的值表示轨迹是否遍历该网格区域。这样的数据格式通常是用来方便利用CNN模型[58]，[110]；

图（graph）也可以表示为矩阵，但这里我们将拓扑图（graph）和图像矩阵分类为两种不同类型的数据格式。这是因为图节点不像图像那样遵循欧氏距离，因此处理图和图像的方式是完全不同的。稍后我们将讨论处理这两种数据格式的方法的更多细节；

空间地图（ Spatial maps）可以同时使用拓扑图（graph）和矩阵表示，这取决于不同的应用程序。例如，在城市交通流量预测中，城市交通网络的交通数据可以表示为交通流拓扑图[76]、[147]，小区区域级交通流量矩阵[115][130]；

栅格数据通常表示为二维矩阵或三维张量。对于矩阵的情况，两个维度是分别是位置和时间戳，对于张量的情况，三维是网格区域图中单元区域的行、列ID和时间戳。矩阵是一种比张量更简单的数据格式，但它失去了空间信息。矩阵和张量都被广泛用于表示光栅数据。例如，在风预报中，通常将部署在不同位置的多个风速计的风速时间序列合并为一个矩阵，然后输入CNN或RNN模型，用于未来的风速预测[86][197]；在神经科学中，一个人的fMRI数据是扫描的fMRI脑图像的序列，因此可以像视频一样表示为张量。许多工作使用fMRI图像张量作为三维CNN模型的输入，用于特征学习，以检测大脑活动[57]、[67]和诊断疾病[108]。

3 不同类型ST数据的深度学习模型

3.1深度学习模型的初步研究

在本节中，我们将简要介绍广泛应用于STDM的深度学习模型，包括RBM、CNN、graphCNN、RNN、LSTM、AE/SAE和Seq2Seq。

受限玻尔兹曼机RBM

RBM是一种双层随机神经网络[46]， 可用于降维、分类、特征学习和协作过滤。

如图所示。 6(a)，RBM的第一层称为具有神经元节点{v1、v2，..., vn}的可见层，第二层称为具有神经元节点{h1、h2、..., hm}的隐藏层。

作为一个完全连接的二部无向图，RBM中的所有节点通过无向权边{w11，....., wnm}跨层相互连接，但同一层的两个节点没有链接。

RBM的标准类型有二进制值节点和偏置权重。 RBM试图学习二进制代码或对输入向量表示。

根据具体任务的不同，RBM可以使用监督或无监督训练，可为用于后续STDM任务先行处理特征。

CNN 卷积神经网络 —— especially the data types of spatial maps and ST rasters.

经典的CNN模型，包含输入层、卷积层、池层、完全连接层和输出层，一些CNN结构在池化层之后也有归一化层。

原始图像首先输入到卷积层中进行高级特征学习。卷积层通过称为 kernel 的多个滤波器捕获高级隐藏特征。

内核通常是一个k×k平方矩阵，它在输入图像矩阵中从左到右，从上到下移动。由内核对输入图像矩阵的相应位置进行滤波操作，以生成高级别特征。然后将高级特征输入到池化层中，池化层沿空间维数执行下采样操作，以减少参数的数量。

最后，对几个完全连接的层进行叠加，对输入潜在特征进行非线性变换。由于在空间域中捕获相关性的强大能力，CNN现在被广泛应用于从ST数据中学习，特别是空间地图和ST栅格的数据类型。

GraphCNN

图CNN最近被广泛研究，以推广CNN到图结构数据[153]，图6(c)显示graphCNN模型的结构说明；

图卷积操作将卷积变换应用于每个节点的邻居，然后是池化操作。通过叠加多个图卷积层，每个节点的潜在嵌入可以包含来自多个间隔的邻居的更多信息；

在生成图中节点的隐藏嵌入后，每个节点的潜在嵌入可以包含来自多个间隔的邻居的更多信息；

在生成图中节点的潜在嵌入后，可以很容易地将潜在嵌入馈送到前馈网络以实现节点分类或回归目标，或者将所有节点嵌入聚合以表示整个图，然后进行图形分类和回归。

由于其捕捉节点相关性和节点特征的强大能力，graphCNN可以用于挖掘图形结构化ST数据，例如网络状的交通流量和脑网络数据等；

Recurrent neural network (RNN) and Long Short-Term Memory (LSTM) network

RNN主要是用来识别序列特征，并使用以前的特征来预测下一个可能的结果的场景。泛应用于语音识别、自然语言处理和时间序列数据分析等领域；

图6-d显示了RNN模型的一般结构，其中Xt是输入数据，A是网络的参数，ht是学习的隐藏状态；可以看到上一次步骤t-1的输出被输入到下一次步骤t的神经元中。因此，历史信息可以存储并传递给未来。

标准RNN的一个主要问题是，由于梯度消失的问题，它只有短期内存。为了解决这个问题，提出了LSTM网络，它能够学习输入数据的长期依赖关系。

作为RNN的扩展，LSTM可以记住更长的时间输入的历史信息，因为特别设计的内存单元，如图的中间部分所示6(e)。一个LSTM单元由三个门组成：输入门、忘记门和输出门。三个门控制是否让新的输入进入（输入门)，忽略一些不重要的信息(忘记门)或让它影响当前输出(输出门）。 RNN和LSTM都可以处理序列和时间序列数据来学习时间依赖性。

Sequence to Sequence model (Seq2Seq)—— Sequence

Seq2Seq模型旨在由固定长度输入映射到固定长度输出。输入输出的长度可以不同[131]。虽然它最初是为机器翻译任务而设计的，但Seq2Seq是一个通用的框架，可广泛应用于任何序列数据相关的研究问题，如语音识别和在线聊天机器人；

如图所示6(f)，Seq2Seq模型一般由编码器、中间向量和解码器三部分组成。由于Seq2Seq模型在捕获序列数据之间的依赖关系方面具有强大的能力，因此Seq2Seq模型在ST预测任务中得到了广泛的应用，其中ST数据流量和城市交通数据。

Autoencoder (AE)——人工神经网络

AE是一种人工神经网络，旨在以无监督的方式[46]学习输入数据的紧凑数据编码。

如图所示 6(g)，AE首先使用包含一个或多个隐藏层的编码器将输入编码为压缩的潜在表征向量。然后使用解码器从最终隐藏层将压缩的潜在表征向量重建输入。 AE学习隐藏层或瓶颈层中输入数据的压缩表示， 是降维的一种方法。

作为一种有效的无监督特征表示学习技术，AE为许多后续的数据挖掘和机器学习任务，如分类和聚类。 做预处理。

叠加自动编码器(SAE)是由多个叠加AES组成的神经网络，其中当前AE的输出连接到连续AE[6]的输入。

3.2数据准备和深度学习模型选择

数据

给定原始ST数据，首先构造相应的数据实例进行数据存储。正如我们前面讨论的，ST数据实例可以是事件、轨迹、时间序列、空间映射和ST光栅，如图5所示。构造的ST数据实例接下来被描述为适当的数据格式作为深度学习模型的输入。

图7的左边部分，显示ST数据实例及其相应的数据格式。

轨迹也可以表示为一个矩阵，使CNN适用于学习[21]、[58]、[94]、[109]的空间特征。矩阵的每个条目表示所研究空间中的一个单元区域，实体值表示该单元区域是否被轨迹覆盖。

空间地图大多表示为二维矩阵，但有时也可以表示为graph拓扑图。例如，在高速公路上部署的交通传感器可以建模为一个图graph，其中节点是传感器，边是两个邻居传感器之间的路段。对于[76]的所有节点，应用graphCNN处理传感器图，并且预测未来的流量（体积、速度等。）

ST光栅数据可以表示为二维矩阵或三维张量。例如，一个人的fMRI脑图像可以表示为张量，并输入到3D-CNN模型中，用于疾病分类[69]，[108]，而矩阵可以通过提取大脑成对区域之间的时间序列相关性来构建，用于脑活动分析[42]，[105]。

模型

不同格式的ST数据输入到不同的深度学习模型中进行特征学习，如7图右部分所示.。序列数据可以通过RNN、LSTM、Seq2Seq、AE和混合模型进行处理。 RNN、LSTM和Seq2Seq都是适合于预测序列数据的递归神经网络。通常使用RNN和LSTM来预测下一个时隙中的ST测量。它们的不同的是，与RNN相比，LSTM可以捕获输入数据的长期依赖关系。如果需要多步预测，则选择Seq2Seq模型更合适。例如，在流量预测中，可以应用由编码器层中的一组LSTM单元和解码器层中的一组LSTM单元组成的Seq2Seq模型来同时[80]预测下几个时隙中的流量或体积。

作为一种特征学习模型，AE或SAE可以用于各种数据格式，以学习低维特征编码。序列数据可以先用AE或SAE编码为低维特征，然后再用其他模型进一步处理。

graphCNN的设计是为了处理图数据，以捕捉相邻节点之间的空间相关性。如果ST数据表示为graph，如运输网络上的交通流，则可以应用图形CNN；

如果将输入的ST数据表示为一个像图像一样的矩阵，该矩阵是欧氏结构化的，则CNN是一个合适的选择。如果输入是一个类似图像矩阵的序列，则可以[1]、[61]地使用CNN和RNN(如ConvLSTM)相结合的混合模型。

如果将ST数据表示为张量或张量序列，则可以使用3D-CNN[11]、[67]或3D-CNN和RNN的组合[108]来学习数据的复杂时空依赖关系。

在STDM的深度学习模型选择中需要考虑的另一个重要因素是计算效率。对CNN和AE的训练比RNN、Seq2Seq和graphCNN更有效。因此，在实际应用场景中，深度学习模型的选择和设计需要仔细考虑效率和有效性之间的权衡。

表1总结了使用深度学习模型处理不同类型ST数据的工作。

如表所示，CNN、RNN及其变体（例如LSTM和GRU）是最广泛使用的深度学习模型。

CNN主要用于处理空间地图和ST光栅，一些工作还使用CNN处理轨迹数据；

graphCNN是专门用来处理图形数据的；

包括LSTM和GRU在内的RNN模型可以广泛应用于处理轨迹、时间序列和空间地图序列。

CONVLSTM是一个混合模型，结合了cnn和rnn 经常用来处理 spatial maps；

AE SAE模型经常用于时间序列轨迹空间地图等等；

Seq2Seq通常是为顺序数据设计的，因此只用于处理时间序列和轨迹。

混合模型也是常见的STDM。例如，可以将CNN和RNN堆叠起来，首先学习空间特征，然后捕获历史ST数据之间的时间相关性。

其他的模型还有 network embedding【158】、多层感知机【50】【182】、生成对抗网络【83】【184】、深度强化学习【43】

4 用于解决STDM问题的深度学习模型

这一节，分类STDM问题，介绍解决这些问题的深度学习模型；

stdm问题的分布；

准确的预测，在很大程度上依赖于高质量的特征，深度学习模型在特征学习中十分强大；预测类的任务占据整个任务的70%以上；

深度学习也用于分类，检测，估计和推理，推荐等；

接下来介绍这些STDM问题，并总结相应的基于深度学习的解决方案。

4.1 预测任务

对于不同的ST数据类型以及应用领域，ST数据实例不同，使得预测学习中存在各种不同的问题仿真公式。

对于各种工作，本文将 根据它们处理的ST数据实例的类型将他们进行分组；

事件类型的工作

犯罪发生预测[26]，[50]，[49]，交通事故[198]社会事件等通常结合时间域或空间域，形成时间序列或空间地图。

[135]采用ST-Res网络模型预测洛杉矶地区的犯罪分布。他们的模型包含两个阶段。

首先，将城市同一时间段和同一区域发生的所有犯罪事件合并，将原始犯罪点数据转换为犯罪热图。
然后，采用残差卷积单元（ the hierarchical structures of residual convolutional units）的层次结构来训练以犯罪热图为输入的犯罪预测模型。

同样，[50]建议使用GRU模型来预测城市的犯罪事件。 [198]提出使用卷积长短期记忆模型(ConvLSTM)进行交通事故预测。

上述两项工作首先合并交通事故点数据，并将交通事故计数在时空场中建模为三维张量。
张量的每个条目(i，j，t)在时隙t中记录网格单元(i，j)的交通事故计数。将历史交通事故张量输入到CovnLSTM中进行预测。

[38]提出了一种基于深度学习的多任务预测学习框架，有效地预测了未来事件在不同地点发生的潜在类型；

Time series 时间序列

在道路水平交通预测中，道路或高速公路上的交通流量数据可以建模为时间序列。

将深度学习模型用于道路级交通流量预测有论文[95]，[129]。

[95]利用叠加自动编码器（ stacked autoencoder）从交通流时间序列数据中学习特征，用于路段级交通流预测。

[129]将高速公路上的交通流量数据建模为时间序列，并提出利用深度信念网络(DBNs)根据以往时隙的交通流量来预测未来的交通流量。
[119]研究了出租车需求预测问题，并将特定地区的出租车需求建模为一个时间序列，并提出了一个具有完全连接层的深度学习模型，从出租车需求的历史时间序列中学习特征，然后将这些特征与其他上下文特征（ context features）相结合，以预测未来的需求。
[16]提出了一种新的序列-软件分解机(SeqFM)用于时间预测分析。 Seq FM利用一种多层网络结构，以便从时间序列数据中的特征交互中详尽地提取有用的信息。

RNN和LSTM广泛用于时间序列数据预测。风速等天气变量通常被建模为时间序列，然后将RNN/LSTM模型应用于未来的天气预报，这其中包括的论文有[13]、[17]、[48]、[87]、[117]、[175]。

[17]提出了一个集成模型来预测风速。该模型将小波阈值去噪(WTD)和自适应神经模糊推理系统(ANFIS)等传统风速预测模型与RNN相结合。（这里要注意的是，时间序列数据通常不包含空间信息，因此在这种基于深度学习的预测模型中没有明确考虑在不同位置生成的数据之间的空间相关性。）

Spatial map （包含的数据除了类似图片的规则的数据，还包括graph数据）

空间映射通常可以表示为像图像一样的矩阵，因此适合由CNN处理各种预测学习任务[60]、[71]、[180]、[197]。

分别在预测乌鸦流量、风速、手机信号

[180]提出了一种基于CNN的人群流量预测模型，称为城市流量，用于实时城市乌鸦流量预测，城市流量模型的输入是人群流量空间图。
为了预测网约车服务的，[60]提出了一种基于六边形的卷积神经网络H-CNN。不同于以往通常将城市区域划分为一组大小相等的网格单元区域的工作，[60]将城市划分为各种规则的六边形网格。（？？为啥）
CNN模型也可以同时应用于多个站点[197]的风速预测，一个监测站点的风速数据可以建模为时间序列，而多个站点的数据可以表示为空间地图。
[140]提出了跨域卷积神经网络(CD-CNN)从手机信号数据中识别城市居民的本地/移民属性，人们的位置被记录在手机信号数据中，并被表示为空间地图作为CD-CNN的输入。（数据从何而来？）

为了同时捕捉一系列空间地图的时空相关性，许多工作试图将CNN和RNN结合起来进行预测

这个可能是可以学习的点。

一种用于降水预报的卷积LSTM(ConvLSTM)模型，它结合了CNN中的卷积结构和LSTM单元。Conv LSTM是一个序列预测模型，它的每一层都是一个Conv LSTM单元，在输入到状态和状态到状态转换中都有卷积运算，模型的输入和输出都是空间地图矩阵；在此工作之后，许多工作试图将ConvLSTM应用于不同领域的其他空间地图预测任务[1]、[5]、[24]、[61]、[64]、[89]、[143]、[195]。
[143]提出了一种新的跨城市转移学习方法，称为区域转换， 用于不同城市之间的联合时空数据预测。区域Trans包含多个ConvLSTM层，以捕获隐藏在数据中的时空模式。
[64]应用ConvLSTM网络利用多通道雷达数据预测降水。
[195]提出了一种深入的神经网络，以端到端的方式预测按需移动(MOD)服务中乘客叫车/下车需求。采用卷积和ConvLSTM单元组成的编解码框架来学习捕获乘客需求的时空特征和拾取-丢弃交互的特征。城市单元区的乘客需求被建模为空间地图，并表示为矩阵。同样，[1]提出了一个FCL-Net模型，该模型将ConvLSTM层、标准LSTM层和卷积层叠加起来，用于按需乘坐服务中的乘客需求预测。？？？？？
[89]提出了一种（统一的神经网络模块注意力人群流动机）ACFM。 ACFM旨在通过学习不断变化的城市人群流动数据的动态表示来预测城市地区人类流动的演变模式。 ACFM是由两个ConvLSTM层组成，它们与卷积层和注意机制相连。

其他的模型也可以被使用在graph类数据上的预测（这里的拓扑图所使用的的模型，都可以经过改，考虑在频谱数据上使用）

参考文章 76、147

注意，在本文中，我们认为空间地图既包含像图像一样的数据，也包含图形数据。

虽然图也表示为矩阵，但它们需要完全不同的技术，如graphCNN或graphRNN（这是因为他们的数据，不满足欧式距离。）

在道路网络规模交通预测中，交通网络可以自然地建模为一个拓扑图（GRAPH），然后应用GraphCNN或GraphRNN。

[76]认为交通网络上的交通流是在图上传播的信息，并提出了用于预测交通状况的扩散卷积递归神经网络(DCRNN)模型。具体来说，DCRNN采用 双向随机游动来捕获图形上节点之间的空间依赖关系，并使用具有预定采样的编解码结构来捕获时间依赖关系。
[147]提出了一个新的拓扑框架，称为链路网络，以建模道路网络。基于链路网络，建立了一种在线图递归神经网络预测模型，用于学习道路网络上交通流的传播模式。 它同时根据从整个图中收集的信息预测所有路段的交通流量。
[134]引入了一个时空加权图(STWG)来首先表示稀疏的ST数据。然后一个可伸缩的图结构RNN是建立在STWG上，预测未来的ST数据。
[185]首次研究了如何将CNN和对抗性学习结合起来进行城市交通流量预测。

Trajectory

两种类型的深度学习模型，RNN和CNN一般用于轨迹数据预测。

轨迹化为序列：

一个简单的建模轨迹的方法是将其表示为一个位置序列。在这种情况下，RNN和LSTM模型可以应用于预测[32]、[56]、[68]、[79]、[112]、[128]、[156]和[159]的位置序列。

[156]提出了一种用于人类轨迹位置预测的无碰撞LSTM。无碰撞LSTM通过添加斥力池（ repulsion pooling layer）层来扩展经典的LSTM，从而可以共享相邻行人的隐藏状态。
[56]研究了城市地区的人类流动预测问题；考虑到先前访问过的一个人的位置，提出了一个基于RNN的深度序列学习模型来预测他/她下一步会去哪里。
[128]提出了一个深度运输模型，从一组个人的GPS轨迹中预测步行、乘火车、乘公共汽车等运输方式。四个LSTM层用于构造深度传输，用于预测未来用户的出行方式；
[112]研究了公交出行时间预测问题。引入带LSTM单元的RNN模型，学习总线行程轨迹中的远距离依赖关系，用于到达时间预测。

轨迹也可以表示为矩阵。在这种情况下，CNN可以应用于更好地捕捉空间相关性[58]，[94]。

[58]提出了一种基于CNN的方法来学习语义轨迹的表示，然后用来预测未来用户可能访问的位置。在语义轨迹中，每个访问的位置都与语义意义相关联，如家庭、工作、商店等；语义轨迹被建模为一个矩阵，其两个维度是语义意义和轨迹ID。然后将矩阵输入到CNN模型中，以学习下一次访问的语义位置预测的潜在特征；
[94]将轨迹建模为二维图像，其中图像的每个像素表示轨迹中是否访问了相应的位置。然后采用多层卷积神经网络结合多尺度轨迹模式对出租车轨迹进行目的地预测。将轨迹建模为类似图像的矩阵也用于其他任务，如异常检测和推理[103]，稍后将详细介绍。

ST raster

正如我们前面讨论的，ST光栅可以表示为两个维度为位置和时间的矩阵，也可以表示为三个维度为单元区域ID、单元区域ID和时间的张量。 通常对于ST光栅数据预测，应用2D-CNN（矩阵）和3D-CNN（张量），有时也与RNN相结合。

[183]提出了一个多通道三维立方体连续卷积网络，名为3D-SCN，从三维雷达数据中预测风暴的起始、生长和平流。
[115]将连续时隙中道路多个位置的交通速度数据建模为ST光栅矩阵，然后将其输入到深度神经网络中进行交通流量预测。
[99]探索了与大型交通网络上的交通预测[115]相似的思想。
[11]提出了一种预测整个城市的车辆流动的三维卷积神经网络。他们不预测道路上的交通流量，而是试图预测城市每个网格区域的车辆流量。因此，他们将连续时隙中的全市车辆流量数据建模为STRASTER，并将它们输入到所提出的三维CNN模型中。
[124]提出将城市不同时隙中乘客的移动事件建模为三维张量，然后利用三维CNN模型预测乘客的运输供求；
请注意，ST光栅和空间地图的主要区别是ST光栅是多个时隙中的合并测量，而空间地图是仅在一个时隙中的测量；
因此，同一类型的ST数据有时可以表示为空间地图和ST光栅，这取决于实际的应用场景和数据分析的目的。

4.2 Classifification

在分析用于疾病识别的fMRI数据时，主要研究分类任务。

最近，脑成像技术在神经科学领域越来越重要，包括功能性磁共振成像(fMRI)、脑电图(EEG)和脑磁图(MEG)[114]。特别是，深度学习模型已经成为分析fMRI数据的流行工具，用于疾病分类、脑功能网络分类和脑**分类[151]等各种分类任务。

根据不同的分类任务，可以从原始的fMRI数据中提取各种类型的ST数据。 [28]提出使用LSTM模型对自闭症谱系障碍(ASD)和典型对照者进行分类，并从不同脑区产生静息状态fMRI时间序列数据。 [42]，[45]，[47]，[62]，[105]，将fMRI数据建模为空间地图，然后将其作为分类模型的输入。 [42]和[45]不是直接使用每个单独的静息状态fMRI时间序列数据，而是根据不同脑区静息状态fMRI时间序列数据之间的Pearson相关系数计算全脑功能连接矩阵。然后，相关系数矩阵可以看作是一个空间映射，并被输入到一个DNN模型中进行ASD分类。 [105]提出了一种用于功能连接体分类的连接体卷积神经网络(CCNN。通过改变用于训练网络模型的连接描述符的组合，CCNN也可以方便地适应其他分类或回归任务。

一些工作还直接将三维结构MRI脑扫描图像建模为ST光栅数据，然后应用3DCNN模型从ST光栅中学习特征进行分类[55]、[57]、[69]、[108]、[121]、[190]。 [69]提出了两种用于脑MRI分类的三维卷积网络结构，即普通卷积神经网络和残差卷积神经网络的修改。它们的模型可以应用于三维MRI图像，而无需中间手工提取特征。 [190]还使用3D-CNN模型对从脑fMRI数据的三维表示重建的功能性脑网络进行更准确和有效的分类。

4.3 Estimation and Inference

目前ST数据估计和推断的研究主要集中在空间地图和轨迹的数据类型上。

Spatial map

虽然已设立监测站收集污染物统计数据，但由于费用高昂，监测站的数量通常非常有限。因此，推断细粒度的城市空气质量信息正成为政府和人民的一个重要问题。

[19]研究了基于某些监测站空气污染物的任意位置的空气质量推断问题。设计了一个深度神经网络模型ADAIN，对异构数据进行建模，学习复杂的特征交互。一般来说，ADAIN结合了两种神经网络：即前馈神经网络对静态数据进行建模，递归神经网络对序列数据进行建模，然后是隐藏层来捕获特征交互。
[132]研究了基于遥感图像数据的深层神经网络在降水估计中的应用。利用叠加去噪自动编码器，从红外云图像中自动提取潜在特征，估计降水量。考虑到旅行的起源和目的地位置以及出发时间，准确估计旅行时间对许多实际应用程序实际上是有用的。
为了解决这一问题，[74]提出了一种深度多任务表示学习模型来估计旅行的到达时间。利用底层道路网络和时空先验知识来生成更有意义的出行表示，以保留各种出行属性。

Trajectory

[137]，[177]从运动轨迹数据中研究了行程时间估计问题。

[177]提出了一种基于RNN的深度模型DEEPT RAVEL，它可以从历史轨迹中学习来估计旅行时间。
[137]提出了一个端到端的旅行时间估计深度学习框架，称为深度TTE，它直接估计整个轨迹的旅行时间，而不是首先估计单个路段或子路径的旅行时间，然后总结它们。
[103]研究了从轨迹数据推断用户在某一地点访问的目的的问题。他们提出了一种图形卷积神经网络(GCNs)，用于从个人智能手机生成的GPS轨迹数据中推断活动类型(即出行目的）。基于轨迹数据，根据用户的所有活动区域和连接性构造用户的移动性图，然后将时空活动图输入GCNS进行活动类型推断。
[37]研究了轨迹用户链接(TUL)的问题，该问题旨在将轨迹链接到生成轨迹的用户。提出了一种基于RNN的模型，该模型结合了检入轨迹嵌入模型和叠加LSTM来解决TUL问题。确定用户运输方式的分布，例如，自行车、火车、步行等是旅游需求分析和交通规划[21][138]的重要组成部分。
[21]提出了一个CNN模型来推断仅基于原始GPS轨迹的旅行模式，其中模式被标记为步行、自行车、公共汽车、驾驶和火车。
[141]提出了一种新的深度混合轨迹恢复模型，该模型基于自由空间中的低采样轨迹，结合序列到序列生成学习和卡尔曼滤波来恢复高采样轨迹。

4.4 Anomaly Detection

异常检测或异常值检测旨在识别与大多数数据显著不同的罕见项目、事件或观测。目前ST数据异常检测的工作主要集中在事件和空间地图的数据类型上。

Event

[130]试图检测通常由交通事故、社会事件、极端天气等引起的非经常性交通拥堵。提出了一种卷积神经网络来识别这种非重复交通异常。
[186]研究了如何使用深度学习方法用社交媒体数据检测交通事故。他们首先分析了弗吉尼亚北部和纽约市一年内收集的300多万条推文，然后实施了两个深度学习模型DBN和LSTM来识别与交通事故相关的推文。
[196]提出利用卷积神经网络利用交通流数据自动检测城市交通网络中的交通事故。
[15]收集了丰富的异构数据，包括人类流动数据和交通事故数据，以研究人类流动如何影响交通事故风险。提出了一种栈去噪自编码器模型来学习人类移动数据的层次特征表示，并利用特征表示来预测交通事故的风险水平。

Spatial map

[91]介绍了如何将深度学习技术应用于飓风和热浪等气候极端事件的检测。以气候图像数据为输入，对热带气旋、天气锋和大气河流进行分类训练。
[63]从粗糙的气候数据中研究了极端气候事件的检测和定位问题。该方法结合了以下两个深度神经网络模型，（1）用于极端气候事件检测和定位的CNN模型，（2）用于从低分辨率气候数据重建高分辨率气候数据的像素递归超分辨率模型。
为了解决有限标记的极端气候事件的问题，[116]提出了一种用于极端天气事件识别的多通道时空CNN模型。
作为一种半监督的方法，[116]中的模型利用了联合国标记数据以解决数据稀疏问题，提高极端气候事件的定位精度。

4.5 Other Tasks

除了前面讨论的任务外，深度学习模型还应用于其他STDM任务，包括推荐[9]、[72]、[142]、[171]、[189]、模式挖掘[110]、关系挖掘等。

[9]提出了一种用于POI推荐的内容感知层次POI嵌入模型CAPE。从文本内容来看，CAPE不仅可以捕捉POI的地理影响，而且可以捕捉POI的特征;
[189]还提出利用嵌入学习技术来捕获POI推荐的上下文签入信息;
[142]采用了一种基于注意力的RNN和一种用于个性化路线推荐的价值网络;
[110]提出了一种名为“深空”的深结构模型，通过分析人类轨迹的移动数据来挖掘人类的移动模式;
[193]研究了轨迹用户链接(TUL)的问题，该问题旨在将轨迹从地理标记的社交媒体数据链接到相应的用户,提出了一种半监督轨迹-用户关系学习框架TULVAE(TUL通过变分自动编码器)，用于学习神经生成结构中的人类轨迹表示。
[194]提出了一种多上下文轨迹嵌入模型(MC-TEM)，通过探索上下文信息来学习轨迹的分布式表示。应用MC-TEM技术解决了定位推荐和社交链接预测的任务;

5 A PPLICATIONS

在本节中，我们将对不同应用领域的相关工作进行分类和总结，包括运输、 按需服务（ on-demand service)、气候和天气、人类移动、基于位置的社交网络(LBSNs)、犯罪分析和神经科学。

表2将最近的工作分为上述七种类型的应用程序。接下来，我们将详细介绍这些应用程序。

5.1 Transportation

随着从各种传感器收集的运输数据的可用性的提高，如环路检测器、道路摄像机和GPS探测器，迫切需要利用深度学习方法来学习交通数据之间复杂且高度非线性的时空相关性，以促进交通流量预测等各种任务 [ 53 ], [ 115 ], [ 129 ],[ 161], [ 111], [ 185], 交通事故检测[118], [186], [196]，以及交通拥堵预测[100]，[130]。

运输数据通常包含交通速度、体积或交通事故、路段或区域以及时间的信息。传输数据可以是事件、时间序列、空间地图和ST栅格在不同应用场景中的ST数据类型。例如，在道路网络规模交通流量预测中，从多个道路环路传感器收集的交通流量数据可以建模为光栅矩阵，其中一个维度是传感器的位置，另一个维度是时隙[99]。环路传感器也可以根据传感器部署的道路链路之间的连接作为传感器图连接，因此，道路传感器网络的交通数据可以建模为一个图，以便[172][76]地应用图形CNN模型。在道路水平交通预测中，将每条道路上的历史交通流量数据建模为一个时间序列，然后使用RNN或LSTM对单条道路[53]进行交通预测[161]。由于城市交通数据与天气、假日、社会事件和一天中的小时等许多外部环境因素高度相关，所以深度学习模型的设计应该仔细考虑如何将这些外部特征与我们在[15]之前讨论过的与交通相关的ST数据融合在一起[80]。

5.2 On-Demand Service（ 按需服务，需求预测 ） 能不能做一个对pu用户的需求预测

近年来，由于手机的广泛使用，各种按需服务平台，如Uber、Mobike、DiDi、GoGoVan等越来越受欢迎。随需应变服务已经接管了传统的业务，通过实时为人们提供他们想要的东西和地点。许多按需服务产生大量的ST数据， 涉及客户的位置和所需的服务时间。例如，优步和迪迪分别是美国和中国两家流行的搭车点播服务提供商。他们通过智能手机应用程序为用户提供服务，包括打车、私家车打车和搭车。

为了更好地满足客户的需求和改进服务，一个关键的问题是准确地预测不同地点和时间的服务需求和供应 [ 1 ], [ 7 ], [ 119 ], [ 168 ], [ 136 ], [ 71 ], [ 60 ], [ 195 ], [ 61 ], [ 39 ], [ 43 ],[ 77], [ 88].[1]提出了应用深度学习方法来预测无坞自行车共享系统的供需分布。 [82]提出了一个图表CNN模型来预测自行车共享系统中每个自行车站对自行车的每小时需求。当所有自行车站之间的自行车旅行形成一个自行车流图时，[82]使用了一个CNN模型。[119]，[168]提出利用LSTM模型预测不同地区的出租车需求。[136]应用ResNet模型对在线打车服务的供需进行预测。在按需服务的应用中，城市不同地区对服务的需求供给通常被建模为空间地图或栅格张量。然后将它们输入到CNN、RNN和混合模型中，用于特征学习和未来的供求预测。

5.3 Climate & Weather

天气数据通常包含由部署在固定或浮动地点的各种气候传感器测量的大气和海洋条件(例如温度、风速、压力、降水和空气质量）。由于不同地点的气候数据通常具有较高的时空相关性，STDM技术被广泛应用于短期和长期天气预报。特别是随着深度学习技术的最新进展，许多工作试图设计深度学习模型，用于分析各种气候和天气数据[70]，[122]，如空气质量推断[19]，[84]，降水预测[91]，[154]，风速预测[86]，[197]和极端天气检测[91]。与气候和天气有关的数据类型可以是空间地图(例如。雷达反射率图像)[183]，时间序列(例如。风速计)[17]和事件(例如。极端天气事件)[91]。这一应用领域的大多数工作集中在气候或天气预报[19]、[40]、[84]、[86]、[197]、[122]和极端天气探测[91]的任务上。例如，[19]开发了一个基于多个空气质量监测站观测的神经注意模型来预测城市空气质量。[91]提出在气候数据库中使用CNN模型来检测极端天气。 CNN模型也可用于预测[132]遥感图像的降水。

5.4 Human Mobility

大量的人类移动数据与数据挖掘模型相结合，使我们能够定量地研究人类的移动模式，并帮助我们更好地理解人类移动的时空结构和规律。挖掘人类流动数据对于交通预测、城市规划和人类行为分析等应用具有重要意义。应用于人类流动分析的深度学习技术主要集中在轨迹数据挖掘和城市人群流动数据预测等问题上。

对于轨迹数据挖掘，研究的任务包括轨迹表示学习 [ 194 ], [ 73 ], [ 164 ], [ 158 ],[ 37], [ 144], [ 152], [ 12], 轨迹分类 [30]，轨迹预测[58]，[32]，[56]，[156]，[29]，[90]，[163]，[94]，轨迹模式挖掘[110]，[107]，从轨迹[21]，[37]，[128]，以及旅行时间估计[177]、[74]、[137]、[157]。基于不同的应用场景和分析目的，可以将人类轨迹建模为不同的ST数据类型和格式，以便应用合适的深度学习模型。人类轨迹数据挖掘最广泛使用的模型是RNN和CNN模型，有时这两种模型被组合为混合方法，以捕获人类移动数据的时空相关性。

与记录每次出行中一系列地点和时间的轨迹数据不同，人群流量数据只具有一次出行的开始和结束位置，可以统计出某一特定区域的进出人数。最近有许多作品使用深度学习方法进行城市人群流量预测和人群密度估计[181]，[199]，[85]，[179]，[143]，[89]。

5.5 Location-Based Social Networks (LBSNs)—— 基于地点的社交网络

像Fours quare和Flickr这样的LBSN是使用GPS功能定位用户并让用户从移动设备[192]中广播他们的位置和其他内容的社交网络。

LBSN不仅意味着这些位置被添加到社交网络中用户生成的内容(UGC)中，以便人们可以共享他们的位置信息，而且还重塑了个人用户之间的社会结构，这些用户通过他们在物理世界中的位置和他们在虚拟世界中的位置标记的社交媒体内容连接起来。

LBSN包含大量的用户签入数据，这些数据由每个用户的即时位置组成。

目前，设计了各种深度学习模型来分析LBSN中用户生成的ST数据，所研究的任务包括下一次签入位置预测或推荐[58], [9], [189], [68], [72], [90], [188]

[170]第一次将时空维度引入到LBSN的社区检测中
LBSN[158]中的用户表示学习
地理特征提取[23]
用户签到时间预测[159]，[160]

与其他应用的ST数据不同，LBSN中生成的ST数据具有丰富的社会关系信息。

因此，在LBSN中执行STDM任务时，社会关系通常是有帮助的，需要在设计的深度学习模型中考虑。

5.6 Crime Analysis

越来越多的城市将执法机构掌握的犯罪数据公开用于研究目的。犯罪数据通常包含犯罪类型、时间和地点、受害者、罪犯或嫌疑人以及一些其他信息。作为典型的ST事件数据，犯罪发生在城市的不同地点和一天中的不同时段，通常具有较高的时空相关性。深度学习模型与城市的犯罪数量热图作为输入，用于捕捉犯罪预测[26]、[50]、[135]的复杂相关性。例如，[26]提出了一个基于CNN的时空犯罪网络，以预测城市地区每个地区第二天的犯罪风险。 [135]提出利用ST-ResNet模型共同预测洛杉矶地区的犯罪分布。 [50]开发了一个名为“深度犯罪”的深度神经网络模型，用于城市犯罪预测。深度犯罪可以通过考虑犯罪类别之间的依赖关系来预测不同类别的犯罪事件。正如我们前面所讨论的，虽然犯罪数据属于事件的ST数据类型，但通常通过合并空间或时间域中的数据来表示为空间地图，以便深度学习模型可以应用于分析。

5.7 Neuroscience

各种脑成像技术，如功能性磁共振成像(fMRI)、脑电图(EEG)、脑磁图(MEG)和功能性近红外光谱(fNIRS)在神经科学领域得到了广泛的应用。这些技术测量的大脑活动的空间和时间分辨率有很大差异。磁共振成像测量神经活动从数百万个地点，而脑电图只测量从几十个地点。磁共振成像通常每两秒进行一次测量，而脑电图的时间分辨率约为1毫秒。

磁共振成像和脑电图成像数据可以自然地表示为空间地图或栅格，因此适合通过深度学习模型来处理神经科学中的许多研究问题。 [102]，[114]，[151]回顾了最近的工作，应用深度学习技术处理神经成像数据和相关应用在神经科学。正如我们前面所讨论的，深度学习模型主要用于神经科学中的分类任务，如疾病分类或诊断 [ 28 ],[ 42], [ 45], [ 57], [ 69], [ 121], [ 125], 基于脑功能网络的分类[59], [62], [105] 和大脑**分类[55], [178].各种深度学习模型可用于分析这些任务中的神经影像学数据。例如，LSTM用于识别自闭症谱系障碍(ASD)[28]，CNN用于诊断健忘性轻度认知障碍(MCI)[105]FNN用于对精神分裂症[113]进行分类。

6 D ISCUSSIONS

6.1融合多源时空数据 Fusing Multi-Sourced Spatio-Temporal Data

除了正在研究的ST数据外，通常还有一些其他类型的数据与ST数据高度相关。将这些数据与ST数据合并通常可以提高各种STDM任务的性能。例如，城市交通流量数据可能受到天气、社会事件和假日等外部环境的显著影响。最近的一些工作试图将ST数据和其他类型的数据融合到一个深度学习体系结构中，用于联合学习特征，并捕获它们之间的相关性[15]、[19]、[80]、[168]、[174]、[183]、[198]。

在应用STDM深度学习模型时，通常有两种常用的融合方法：原始数据包融合和潜在特征级融合。

最近的一些工作试图将ST数据和其他类型的数据融合到一个深度学习体系结构中，用于联合学习特征，并捕获它们之间的相关性[15]、[19]、[80]、[168]、[174]、[183]、[198]。在应用STDM深度学习模型时，通常有两种常用的融合方法：原始数据包融合和潜在特征级融合。

原始数据级融合（ Raw data-level fusion ）。对于原始数据级融合，首先将多源数据集成，然后输入到特征学习的深度学习模型中。 [198]提出将卷积LSTM(ConvolutionLSTM)应用于交通事故预测。

首先，研究下的区域像城市一样被划分为大小相等的网格单元区域。然后各种特征，包括每个小区区域的交通量、道路状况、天气和卫星图像被提取并映射到相应的单元区域。给定交通事故的数量和每个单元区域的提取特征作为模型输入，提出了一个Hetero-ConvLSTM模型来预测未来每个单元区域将发生多少事故。 [19]提出了ADAIN模型，该模型融合了监测站的城市空气质量信息和城市数据，包括POIs、道路网络和气象学，以推断城市的细粒度城市空气质量。如图9所示，空气质量指数(AQI)数据和城市数据，包括道路网络、POIs、气象数据，通过串联它们的特征进行融合。然后将所有特征输入到FNN和RNN模型中进行预测。

特征级融合（ Feature-level fusion）对于潜在特征级融合，首先将不同类型的原始数据输入到不同的深度学习模型中，分别学习潜在特征表示，然后设计一个特征融合组件，将所有潜在特征融合在一起。

[80]扩展了残差神经网络，并提出了ST-ResNet，对城市不同区域的人群流入和流出进行了综合预测。如图10所示，ST-ResNet融合了两种数据的潜在特征，即人群在城市中流动，以及外部环境，包括天气和假日事件。

如图10所示，ST-ResNet融合了两种数据的潜在特征，即人群在城市中流动，以及外部环境，包括天气和假日事件。设计两个组件分别学习外部特征和人群流量数据特征的潜在特征，然后使用特征融合函数tanh集成两种类型的学习潜在特征。

[168]设计了一个深度多视图时空网络(DMVST-Net)，它将多视图数据结合起来进行出租车需求预测。DMVST-Net集成了三种不同视图的数据：时间视图、空间视图和语义视图。利用CNN和LSTM分别从时空视图中学习潜在特征。应用网络嵌入来学习不同区域之间的语义相关性。最后，三个视图的潜在特征被一个完全连接的层融合在一起，并用于出租车需求预测。

6.2 Attention Mechanism（注意力机制） （添加一个注意力机制）（适用于序列数据）

注意机制最初是为了提高编码器-解码器RNN在机器翻译[4]任务上的性能而设计的。

编码器-解码器RNN一般将输入序列编码为固定长度的内部表示向量。由于输入句子的长度变化很大，如果输入序列很长，Encoder-DecoderRNN可能无法学习到良好的表示向量。为了解决这个问题，开发了注意机制，使模型能够学习输入序列中哪些编码的单词在输出序列中预测每个单词时要注意和注意到什么程度。虽然注意力最初是以词序数据为输入的机器翻译中提出的，但它实际上可以应用于任何类型的输入，如图像，这被称为视觉注意力。由于许多ST数据可以表示为 顺序数据（例如，时间序列和轨迹）和像图像一样的空间地图，因此也可以将注意力纳入深度模型，以提高各种STDM任务[19]、[32]、[33]、[50]、[72]、[79]、[89]和[195]的性能。

在STDM中使用的神经注意机制一般可分为空间域注意[19]、[33]、时域注意[32]、[50]、[72]、[195]和时空域注意[79]【89】。

[33]提出了一种空间域的联合注意模型。它利用“软注意力”和“硬连线注意力”来学习当地邻里地区的轨迹表示，以预测行人未来可能的位置。

[50]提出了一种名为“深度犯罪”的专注层次递归网络模型，用于犯罪预测，采用时域注意机制，从历史数据中捕捉犯罪模式，以促进对未来犯罪事件的预测。在所提出的注意机制中，通过Softmax函数估计以往时隙中发生的犯罪的重要性权重。然后，在不同的前时隙将权重自动分配给模型的相应隐藏状态。[79]提出了一种预测地理感觉时间序列数据的多层次注意网络。这些数据通常是由部署在不同地理空间地点的传感器生成的，用于实时合作监测环境参数，如空气质量指数(AQI)。

具体而言，在第一级注意中，提出了由局部空间注意和全局空间注意组成的空间注意机制，以捕获不同传感器的时间序列数据之间的复杂空间相关性。在第二级注意中，应用时间注意来捕捉时间序列中不同时间间隔之间的动态时间相关性。

6.3 Deep Learning Models vs Traditional Models

我们讨论了STDM中深度学习模型与传统模型的比较。如表3所示，我们从ST特征、ST数据类型、STDM任务、时间依赖、空间依赖、可解释性和领域知识等方面对它们进行了比较。

	深度学习模型	传统模型
st 特征	自动学习	手工提取
st 数据类型	n-to-n	1-to-1
任务	预测，分类，估计等等	预测，分类，估计，聚类，常见的模式挖掘，检测改变
时间依赖性	长期短期皆可	短期
空间依赖性	整体/局部皆可	局部
可解释性	低	高
专业知识需求	低	多

深度学习模型可以在监督[46]和无监督行为[131]中从原始数据中执行自动ST特征学习。如表1所总结的，一种类型的深度学习模型可以处理多种类型的ST数据。

对于一种类型的ST数据，可以选择多种类型的深度学习模型进行特征学习。例如，轨迹可以通过CNN[21]、RNN[29]、LSTM[36]、AE[12]、Seq2Seq[73]和混合模型来处理，而CNN可以用来处理轨迹[58]、空间地图[10]和ST光栅[11]的ST数据类型。

由于特征学习能力有限，一个浅层模型通常可以处理一种类型的ST数据。

对于STDM任务，深度学习模型主要应用于预测、分类和估计任务；

传统模型在STDM中具有更广泛的应用领域。除了深度学习模型所处理的任务外，聚类、频繁模式挖掘、变化检测和关系挖掘等任务也被以往的工作与传统的数据挖掘方法[3]广泛研究。

从学习时间依赖的角度来看，深度学习模型可以捕捉长期和短期的时间依赖。 例如，ST-ResNet可以同时对人类流动数据的时间接近性、周期和长期趋势进行建模，用于全市人群流量预测[179]。利用叠加卷积层和剩余单元，融合短期（时间接近度和周期)和长期(趋势）时间特征。 传统的机器学习方法（如回归模型）很难捕捉多尺度和高度非线性的时间依赖关系。

对于空间域，深度学习模型在捕获ST数据的局部和全局空间相关性方面也更有效。 例如，在交通预测中，交通网络通常被建模为一个图。道路链路之间的局部和全局空间相关性可以由图形CNN的多层卷积聚合器或注意聚合器捕获，用于交通预测[76]。传统的交通预测模型，如耦合隐马尔可夫模型，只能捕捉相邻道路链路[146]之间的局部空间相关性。

在可解释性方面，深度学习模型通常被认为是黑匣子，其设计不依赖于太多的领域知识，因此它们的可解释性低于传统的机器学习模型。 为了解决这个问题，最近的一些工作试图将更多的领域知识注入到深度学习模型中，以提高它们的可解释性。例如，在对医学时间序列数据的分析中，研究人员试图将医学知识嵌入到设计的神经网络结构[35]中，添加特殊的惩罚项对深度学习模型的损失函数进行[97]，并为输入或隐藏层特征[98]设置适当的权重。

7 O PEN P ROBLEMS（开放性问题）

虽然深度学习模型已广泛应用于上述不同应用领域的STDM，但由于ST数据的高度复杂、大容量和快速增长，仍然存在挑战。在本节中，我们提供了一些目前的工作尚未很好地解决的未决问题，需要在未来进一步研究。

可解释的模型。

目前STDM的深度学习模型大多被认为是黑盒，缺乏可解释性。可解释性使深度学习模型能够以可理解的方式向人类解释或呈现模型行为，它是机器学习模型的一个不可缺少的部分，以便更好地为人们服务，为社会[25]带来利益。考虑到ST数据的复杂数据类型和表示，与图像和Word令牌等其他类型的数据相比，设计可解释的深度学习模型更具挑战性。虽然在以前的一些工作中使用了注意机制来增加模型的可解释性，如周期性和局部空间依赖[19]、[50]、[79]，但如何为STDM构建更可解释的深度学习模型还没有得到很好的研究，仍然是一个悬而未决的问题。

深度学习模式选择

对于给定的STDM任务，有时可以收集多种类型的相关ST数据，并可以选择不同的数据格式。 如何正确选择ST数据格式和相应的深度学习模型没有得到很好的研究。 例如，在交通流量预测中，一些工作将道路的交通流量数据建模为一个时间序列，以便RNN、DNN或SAE用于预测[95][129]；一些工作将多个道路链路的交通流量数据建模为空间地图，以便CNN应用于预测[180]；另外一些作品将道路网络的交通流量数据建模为一个图，以便[76]采用graphCNN。对于如何正确选择ST数据的深度学习模型和数据格式以更好地解决所研究的STDM任务，缺乏更深入的研究。

更广泛地应用于更多的STDM任务

虽然深度学习模型已经成功地应用于解决上面讨论的许多类型的STDM任务，但仍然有一些任务没有被深度学习模型完全解决，例如频繁模式挖掘和关系挖掘[3]，[78]。深度学习的主要优点是其强大的特征学习能力，即对于一些STDM任务来说是必不可少的，例如在很大程度上依赖于高质量特征的预测学习和分类。然而，对于一些STDM任务，如频繁模式挖掘和关系挖掘，学习高质量的特征可能没有那么有用。根据我们的回顾，目前很少甚至没有工作利用深度学习模型来完成上述两项任务。因此，如何将深度学习模型单独或深度学习模型与传统模型（如频繁模式挖掘和图形模型）的集成扩展到更广泛的应用和更多的STDM任务，仍然是一个开放的问题。

融合多模态ST数据集（将多种类型的数据结合起来实现更加好的结果）

在大数据时代，多模态ST数据集在神经成像、气候科学和城市交通等许多领域越来越可用。例如，在神经成像中，fMRI和DTI都可以用提供不同时空[54]捕获大脑活动的成像数据。如何利用深度学习模型将它们有效地融合在一起，更好地完成疾病分类和脑活动识别的任务，研究较少。城市的多模态交通数据包括出租车轨迹数据、自行车共享出行数据和公共交通进出数据，都可以从不同的角度反映城市人群流动的流动性。将它们合并和分析在一起而不是分开，可以更全面地捕捉潜在的移动性模式，并做出更准确的预测。虽然最近有尝试应用深度学习模型从不同城市之间的人群流动数据中传递知识的尝试[166]，如何将多模态ST数据集与深度学习模型融合仍未得到很好的研究，今后还需要更多的研究关注。

8 C ONCLUSION

本文对STDM深度学习技术的研究进展进行了综述。我们首先对ST数据的不同数据类型和表示进行了分类，并简要介绍了STDM中常用的深度学习模型。对于不同类型的ST数据及其表示，我们展示了相应的适合处理它们的深度学习模型。然后，我们概述了目前基于ST数据分类和STDM任务的工作，包括预测学习、表示学习、分类、估计和推理、异常检测等。接下来，我们总结了STDM深度学习技术在交通、按需服务、气候和天气、人类移动、基于位置的社交网络(LBSNs)、犯罪分析和神经科学等不同领域的应用。最后，我们列举了一些有待解决的问题，并指出了这一快速发展的研究领域的未来研究方向。

关于时空数据挖掘的深度学习调查

相关推荐