杉数科技添然——时序预测中深度学习介绍 | AI 研习社 155期大讲堂总结

雷锋网AI研习社将其分享内容整理如下：

简单自我介绍一下，我是杉树的算法工程师，主要负责机器学习、数据分析相应的工作，有一定零售业预测的经验，今天在这里主要跟大家分享一下相关经验，这是今天的主要提纲，如图：

首先背景方面，相信大家对深度学习这个词语并不陌生，那什么是深度学习呢？如果结合图的话，他有不同的层，并且不用的层协调处理一些特征筛选，达到最终的目的。

为什么使用深度学习呢？图中这三篇论文奠定了近年来深度学习的基础，不过我把为什么使用深度学习归结为两个点，第一个是大数据，企业中积累大数据为深度学习提供了燃料，第二个就是高性能计算，GPU在深度学习中大放异彩，这两个点在我看来是重要的推动因素。

下面简单过一下一些基本的应用，如图像上的应用：

NLP上的应用：

接下来会简单提一下深度学习两个基础的框架构成，首先就是卷积神经网络，总结下来有五个部分，另一些卷积神经网络的变种，也是万变不离其宗，只是对这五部分做了一些针对性的调整，如下图：

折射到今天的话题，假设要做一个持续预测，那如何利用卷积神经网络呢？一般遇到的预测问题都是偏一维的，比如预测天气、商店的销量等，借鉴这个思路，使用一维的卷积神经网络，据图示output是预测的样本点，可以利用之前的样本点进行输入。作为卷积神经网络，有滑动窗口这样一个概念，所以能够通过滑动序列来产生这样的特征。如何做到能够提取更多特征呢？那就需要叠加更多的卷积层，这样可以获得更多的特征提取能力。简单来说一维卷积神经网络是作为持续预测比较的一种方式，并且也是大家喜欢尝试的一个方向。

接着就是循环神经网络，他天然具有某些时序处理的能力。图中我列的是一个比较复杂的模型，不过原理几乎差不多。

Google提出的Encoder-Decoder模型主要用于语音生成等相关的部分，Encoder将模型储存成context，然后再传给Decoder。这个模型在当时Google翻译中是非常成功的。虽然这个模型很简单，但确实是一个非常经典的预测模型，在实际应用中也很常见。

下面我来介绍一下案例，一个案例就是某大型出行平台的交通预测。要做的是预测给定地理区域未来某个时间段的出行供需缺口，比如北京东城区八点到八点半这段时间会有多少人要打车，订单数据可能是得到的最基础的数据，但还有一些其他数据，例如城市POI信息，交通拥堵信息、天气信息等，这些数据是我们预测时主要考虑的几个方面。

怎么构建深度学习的模型呢？把一些固有的属性用Embedding的方式处理，并将它们连接起来，就构成了Identity Block,Older Block和User Block就是针对订单相关的数据，Supply Block就是对应天气类交通类的特征。右边图示使用的残差连接可以使训练得到更好的收敛性，还可以有效缓解梯度消失这个问题。图示就是整个深度学习的框架。

那么效果如何呢？从这幅图看出，深度学习在一些峰值的预测上效果是非常不错的，有些可能跟机器学习的方式差不多，但在拐点的预测方式上优势还是比较明显。

下一个例子就是件量预测，这也是时序问题，在预测的时候也会得到一些历史数据，方法也与上面的例子类似，因为知道了深度学习一些大的框架，其他细节方面做一些小的调整就行，基本的建模思路跟前者差不多。

来看看结果，这张图的结果可能比上一张更能反映深度学习的一些特性，同样深度学习模型在一些峰值和谷值的预测更准确一些。但从图中可以看出，如果将两种模型进行简单的融合，得到的结果会更准确一些。

总体来看，以上是在实际经验中比较有代表性的例子，在预测拐点这种问题上深度学习可能更容易发现某种规律，不过实际中如果想要一个更准确的模型，深度学习模型和其他模型融合起来的方式会比较好一点。

接下来给大家推荐一些读物，如图示：

今天分享的内容大概就这么多，谢谢大家。