EN|中文

您所在的位置:首页 > 资讯

基于深度迁移学习进行时间序列分类

2019-08-16

        本文是法国上阿尔萨斯大学发表于IEEE Big Data 2018 上的工作。迁移学习和深度学习已经被广泛应用于计算机视觉和自然语言处理领域。但是在时间序列分类方面,至今没有完整的有代表性的工作。

            通常来说,用传统的机器学习方法(例如KNNDTW)进行时间序列分类能取得比较好的效果。但是,基于深度网络的时间序列分类往往在大数据集上能够打败传统方法。另一方面,深度网络必须依赖于大量的训练数据,否则精度也无法超过传统机器学习方法。在这种情况下,进行数据增强、收集更多的数据、实用集成学习模型,都是提高精度的方法。这其中,迁移学习也可以被用在数据标注不足的情况。

         从深度网络本身来看,有研究者注意到了,针对时间序列数据,深度网络提取到的特征,与CNN一样,具有相似性和继承性。因此,作者的假设就是,这些特征不只是针对某一数据集具有特异性,也可以被用在别的相关数据集。这就保证了用深度网络进行时间序列迁移学习的有效性。文章利用大量的时间序列进行了深度迁移学习分类的实验。用众多的实验结果证明了迁移学习对于时间序列分类的有效性。作者还提出了一种简单比较时间序列相似性从而选择源领域的方法。

论文:Transfer learning for time series classification

论文链接:https://ieeexplore.ieee.org/abstract/document/8621990

实验代码:https://github.com/hfawaz/bigdata18

        摘要:深度神经网络的传递学习是首先在源数据集上训练基础网络,然后将学习到的特征(网络权重)传递到第二个网络以在目标数据集上进行训练的过程。这一想法已经被证明可以改善深度神经网络在许多计算机视觉任务中的泛化能力,例如图像识别和对象定位。除了这些应用之外,深度卷积神经网络(CNN)最近也在时间序列分类(TSC)社区中得到普及。然而,与图像识别问题不同,转移学习技术尚未针对TSC任务进行彻底研究。这是令人惊讶的,因为如果从预训练的神经网络微调模型而不是从头开始训练,则可以提高TSC的深度学习模型的准确性。在本文中,我们通过调查如何为TSC任务转移深度CNN来填补这一空白。为了评估转移学习的潜力,我们使用UCR存档进行了大量实验,UCR存档是包含85个数据集的最大公开TSC基准。对于存档中的每个数据集,我们预先训练了一个模型,然后在其他数据集上对其进行微调,得到7140个不同的深度神经网络。这些实验表明,转移学习可以根据用于转移的数据集改善或降低模型预测。因此,为了预测给定目标数据集的最佳源数据集,我们提出了一种依靠动态时间扭曲来测量数据集间相似性的新方法。我们描述了我们的方法如何指导传输以选择最佳源数据集,从而提高85个数据集中71个数据集的准确性。