星空体育超越超出Transformer全体跳级MIT等华人团队颁布通用时序TimeMixer++架构8项职司全体当先

发布时间:2024-10-29 16:31:17    浏览:

[返回]

  星空体育官方TimeMixer++是一个立异的时刻序列判辨模子,通过多标准和多阔别率的措施正在多个职责上超越了现有模子,出现了时刻序列判辨的新视角,正在预测和分类等职责带来了更高的精确性和活泼性超越。

  正在数据驱动的期间,时刻序列判辨成为了很多周围中不成或缺的一局部,例如现象预测、医学症状分类、航天器的十分检测、以及传感器数据中缺失数据的填充等等超越,这些应器械体涉及到时刻序列预测、分类、十分检测、缺失值填充等职责。

  近些年来星空体育,囊括Transformer架构正在内的一系列管事,固然正在细分职责上露出卓绝的机能,但因为缺乏活泼和通用的时序特色的提取本领,无法成为通用的模子架构。

  为了然决这些题目,来自MIT、港科大、浙大以合格里菲斯大学的华人团队联络推出了一种全新的深度模子架构TimeMixer++,正在长程时序预测、短程时序预测、时序分类超越、十分检测等8项时序职责上的出力全部超越了Transformer等模子,竣工了通用的时刻序列筑模和利用。

  TimeMixer++的通用本领得益于其不妨提取通用的时序特色,针对分歧职责,模子自符合地练习了分歧的隐空间表征,露出出壮健的活泼度和有用性。

  论文提出了「时序特色呆板」(Time Series Pattern Machine, TSPM)的观念,举动一个能正在普遍时序职责中显露卓绝的模子,必需能提取各类各样的时序特色,以符合职责的央浼。

  时刻序列是从接续的实际全国中以分歧标准举办采样获得的(如秒、分钟、幼时),而分歧标准下露出的周期性是分歧的。该多标准、多周期性的性情,诱导了模子架构的计划。

  TimeMixer++基于时域(多标准)和频域(多频率/周期)的音讯,将每一条时刻序列转化为多阔别率时序图(Multi-Resolution Time Images),并对每一个时序图正在深度空间中举办解耦和搀和,最终提取多标准、多周期的特色。

  2. Time Image Decomposition (TID):TID通过横轴和纵轴两个轴向的戒备力机造,从每一个时序图中解耦时节-趋向,获得时节图和趋向图。

  3. Multi-Scale Mixing (MCM):MCM担当将分歧标准上的时节图和趋向图差别举办搀和,鉴于图的情势,论文采用了卷积和反卷积的操作。

  MCM以时节和趋向搀和为动力,将时节图由细粒度到粗粒度逐渐蚁合,并诈欺较粗标准的先验学问深刻发现宏观趋向音讯,最终竣工过去音讯提取中的多标准搀和。对趋向图,则采用由粗粒度到细粒度的逐渐蚁合。

  为了验证TimeMixer++的机能,作家正在蕴涵长程预测,短程预测,时序分类,十分检测,填充,少样本/零样本预测等8个时序主流职责长举办测试。实践结果注解,TimeMixer++正在多个目标上全部超越了眼前最前辈的Transformer模子,实在显露如下:

  正在长程时序预测中,TimeMixer++正在9/12的目标上超越了近几年的预测模子。

  正在单变量和多变量的短程预测职责中,TimeMixer++全方位超越了近几年的其他模子。

  正在缺失值填充职责中,TimeMixer++同样保留了当先上风,正在险些整个目标和数据上超越了其他模子。

  正在清贫的分类职责和十分检测职责中,TimeMixer++仍然正在整个模子中获得了最好的成绩,击败了诸多专为该职责计划的时序模子。

  正在零样本预测的树立下,TimeMixer++显露获得了第一,解说提取到通用的时序特色,而并非得益于过拟合。

  通过可视化判辨,注解TimeMixer++将时刻序列解析为多组时节图和趋向图,可能从时域和频域两个角度,全方位提取时序的特色。分歧标准和频率前提下,时节性和趋向性有明显分歧。

  TimeMixer++正在内存占用和磨练时刻上显露出高效性,同时保留了有逐鹿力的MSE分数。正在气象数据填充和ETTm1恒久预测职责中,相较于其他模子,具备更低的内存占用和较疾的磨练时刻,且能有用搜捕长程依赖合联。

  作家举办了融化实践验证TimeMixer++架构的合理性超越。结果注解已有的多组模块计划正在绝大局部数据集上都获得了最优成绩。

  本文先容了一种全新的深度模子架构TimeMixer++,正在8个时刻序列判辨职责中全部超越了Transformer等模子,得胜竣工了通用的时刻序列筑模与利用。TimeMixer++的立异之处正在于将时刻序列转化为图像,并正在时域与频域、多标准、多阔别率下举办特色提取,从而提拔了模子的显露。

  TimeMixer++的得胜不但为时序判辨周围带来了新的思绪,也出现了一种全新的时序贯通视角。另日,跟着更多优化技能和利用场景的引入,确信TimeMixer++将进一步促进时序预测技能的繁荣,为各行业带来更大的价格。星空体育超越超出Transformer全体跳级MIT等华人团队颁布通用时序TimeMixer++架构8项职司全体当先

搜索