深圳国际研究生院李星辉团队在时间序列分类器泛化能力提升上取得进展

发布时间: 2024-07-16 09:37:39 浏览次数 : 590 来源:清华大学

清华新闻网7月12日电随着信息技术的发展和算力的提高，深度学习时间序列分类模型的实现变得愈发复杂和精巧。但对于一些特定的领域下的时间序列分类数据集而言，可能存在由于样本较为缺乏而导致训练出的深度学习分类器泛化能力不足的问题，并且时间序列领域的数据由于各时间点间的依赖需要被充分考虑，进而导致相应的数据增强技术在很多场景下存在训练困难的情况。由于不同时间序列分类领域的实验成本、数据采集条件不同，对于一个特定的样本缺乏的目标域分类任务，如果能够借助广泛存在的与之在标签集上、长度、通道数等方面均存在差异的数据集作为源域数据集并尝试进行迁移学习，以增强目标域分类器的泛化能力和分类性能，将会在一些分类场景下发挥一定作用。

近日，清华大学深圳国际研究生院李星辉副教授团队受视觉任务中以CycleGAN为代表的风格迁移以及领域自适应中的条件对抗方法启发，构建了从弱相关时间序列分类数据集进行迁移学习的架构。该架构在考虑源域和目标域间的差异以及因此而可能产生的负迁移的基础上，将源域和目标域分类器分别搭建，通过在不同深度的表征层上进行对齐操作并借助归一化流生成同时带有目标域与源域特征的表征，实现了源域到目标域的迁移。由于在新表征的生成上以及计算的全流程上与风格迁移有相似之处，因而命名方法为特征层风格迁移。

图1.团队所提架构

由于最终面向的是分类任务，在进行目标域表征对齐的过程中，架构采用了条件对抗自适应网络中的方法，将目标域表征以及新生成表征与各自对应的分类结果进行随机多线性映射以捕捉它们之间的依赖，在通过对抗方法拉进表征间距离的同时，对目标域分类器的参数进行修改。此外，针对同一目标域分类数据集，通过选择不同的源域数据集进行迁移学习并对得到的目标域分类器们运用投票机制，实现最终分类结果的确认。

图2.计算流程图

以能够自动适配最佳感受野的OS-CNN为基础分类器，研究团队在此基础上将存在样本缺乏且不存在类别不均衡等其他不利因素的难分类公开时间序列分类数据集作为目标域，并随机选取与之弱相关的时间序列分类数据集作为源域开展实验后可以发现，从弱相关时间序列分类数据集进行迁移的效果可能与从其他角度入手的深度学习分类方法、集成了多种统计学习方法的时间序列分类器达到相匹敌的准确度。此外，通过对现有的时间序列迁移学习架构进行增加尺寸变换等模块并将它们应用于弱相关时间序列分类任务间的迁移学习场景，并把得到的结果与所提架构进行比较，可以进一步论证本架构的有效性。

表1.实验结果以及消融实验结果

图3. 对比实验结果

近日，相关研究成果以“从特征层风格迁移和多源域迁移学习的角度提升时间序列分类器的泛化能力”(Towards the generalization of time series classification: A feature-level style transfer and multi-source transfer learning perspective)为题，发表于《基于知识的系统》(Knowledge-Based Systems，KBS)上。

李星辉为论文的通讯作者，深圳国际研究生院2021级硕士陈柏含为论文的第一作者。论文的共同作者包括深圳国际研究生院博士后李桥林、科研助理马瑞、副教授钱翔和教授王晓浩。研究得到清华大学深圳国际研究生院交叉学科基金、深圳稳定支持项目以及清华大学深圳国际研究生院启动基金的支持。