ICLR 2025 Oral | 应对随时间变化的分布偏移，西安大略大学等提出学习时序轨迹方法

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

作者曾秋琳，毕业于哈尔滨工业大学，硕士毕业于新加坡国立大学。在王博授和凌晓峰院士的指导下，博士期间主要围绕随机时间变化的分布问题展开理论论证、方法和应用的研究。目前已在iclr/aaai/ieee tnnls发表多篇学术论文。

个人主页：https://hardworkingpearl.github.io/

在现实世界的机器学习应用中，随时间变化的分布偏移是常见的问题。这种情况被构建为时变域泛化（EDG），目标是通过学习跨领域的潜在演变模式，并利用这些模式，使模型能够在时间变化系统中对未见目标域进行良好的泛化。然而，由于 EDG 数据集中时间戳的数量有限，现有方法在捕获演变动态和避免对稀疏时间戳的过拟合方面遇到了挑战，这限制了它们对新任务的泛化和适应性。

为了解决这个问题，我们提出了一种新的方法 SDE-EDG，它通过连续插值样本收集数据分布的无限细分网格演变轨迹（IFGET），以克服过拟合的问题。此外，通过利用随机微分方程（SDEs）捕获连续轨迹的固有能力，我们提出了将 SDE 建模的轨迹通过最大似然估计与 IFGET 的轨迹对齐，从而实现捕获分布演变趋势。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 论文标题：Latent Trajectory Learning for Limited Timestamps under Distribution Shift over Time

• 论文链接：https://openreview.net/pdf?id=bTMMNT7IdW

• 项目链接：https://github.com/HardworkingPearl/SDE-EDG-iclr2025

方法

核心思想

为了克服这一挑战，SDE-EDG 提出了一种新颖的方法，通过构建无限细分网格演变轨迹（Infinitely Fined-Grid Evolving Trajectory, IFGET），在潜在表示空间中创建连续插值样本，以弥合时间戳之间的间隔。此外，SDE-EDG 利用随机微分方程（Stochastic Differential Equations, SDEs）的内在能力来捕捉连续的轨迹动态，通过路径对齐正则化器将 SDE 建模的轨迹与 IFGET 对齐，从而实现跨域捕获演变分布趋势。

方法细节

1. 构建 IFGET：

首先，SDE-EDG 在潜在表示空间中为每个样本建立样本到样本的对应关系，收集每个个体样本的演变轨迹。对于时刻的每个类别 k 的任一样本，我们搜索时刻在特征空间离其最近的为其在的对应样本：

这里是计算两个向量之间的距离，是从下个领域采样的个样本的集合。

然后，利用这种对应关系生成连续插值样本，旨在连接时间戳间隔之间的时间间隙，避免对稀疏时间戳的过拟合，

这里采样自 Beta 分布。通过收集通过以上方式产生的样本的时序轨迹，我们得到 IFGET。

2. 使用 SDE 建模轨迹：

SDE-EDG 采用神经 SDE 来模拟数据在潜在空间中的连续时间轨迹。与传统的基于离散时间戳的模型不同， SDE 天然适合于模拟连续的时间轨迹。SDE-EDG 建模了时序轨迹，可以通过时刻的样本预测任意未来时刻的样本：

灵感PPT

AI灵感PPT - 免费一键PPT生成工具

308 查看详情

这里特征空间变量是由时刻的样本预测得到，是 drift function，是 diffusion function。

3. 路径对齐与最大似然估计：

SDE-EDG 通过最大化 IFGET 的似然估计来训练模型，

最终训练函数是，第一项是预测分类任务误差损失函数。

4. 实验

• 下表展示了 SDE-EDG 与其他基线方法在多个数据集上分类准确率的比较。这些数据集包括 Rotated Gaussian (RG), Circle (Cir), Rotated MNIST (RM), Portraits (Por), Caltran (Cal), PowerSupply (PS), 和 Ocular Disease (OD)。结果显示，SDE-EDG 在所有数据集上的平均准确率均优于其他方法。

• 下图提供了一个直观的比较，展示了 SDE-EDG 算法（左）与传统 DG 方法 IRM（右）在特征表示方面的差异。通过数据特征空间的可视化，我们可以观察到 SDE-EDG 学习到的特征表示具有明显的决策边界，其中不同类别的数据点被清晰地区分开来，以不同形状表示，并且不同域的数据以彩虹条的颜色区分。这表明 SDE-EDG 能够成功捕捉数据随时间演变的动态，并在特征空间中保持类别的可分性。相比之下，IRM 的特征表示则倾向于将数据点坍缩到单一方向，导致决策边界不明显，这反映出 IRM 在捕捉时变分布趋势方面的不足。

• 下图通过一系列子图深入展示了 SDE-EDG 算法在捕捉数据随时间演变的能力方面的优势。子图 (a) 提供了 Sine 数据集的真实标签分布，其中正例和负例用不同颜色的点表示，为后续的比较提供了基准。接着，子图 (b) 和 (c) 分别展示了基于 ERM 的传统方法和 SDE-EDG 算法对同一数据集的预测结果，通过对比可以看出 SDE-EDG 在捕捉数据演变模式上的明显优势。子图 (d) 和 (e) 进一步揭示了 SDE-EDG 学习到的演变路径，其中 (d) 展示了应用了路径对齐损失（最大似然损失函数）后的路径，而 (e) 展示了未应用该损失时的路径。通过这一对比，可以直观地看到路径对齐损失对于确保模型能够正确捕捉和表征数据随时间变化的重要性。

• 下图子图 (a) 展示了在 Portraits 数据集上，使用不同算法进行训练时的准确率收敛轨迹。这个子图提供了一个直观的视角，用以比较 SDE-EDG 算法与其他基线方法（如 ERM、MLDG、GI）在训练过程中性能的变化情况。通过观察训练准确率随时间推移的增长趋势，我们可以评估不同算法的学习能力和收敛速度。SDE-EDG 算法的收敛轨迹尤其值得关注，因为它揭示了该算法在适应不断演变的数据分布时的效率和稳定性。

  下图子图 (b) 和 (c) 分别展示了 RMNIST 和 Circle 数据集上，SDE-EDG 算法在这些数据集上的表现显示出其在处理时变分布时的优越性，即使在面对较大时间跨度的目标域时，也能保持较高的准确率，这表明了 SDE-EDG 算法在捕捉和适应数据演变模式方面的强大能力。

  下图子图 (d) 和 (e) 探讨了最大似然损失（Maximum Likelihood Loss）在 RMNIST 和 PowerSupply 数据集上对 SDE-EDG 性能的影响。通过改变正则化权重 α 的值，这两个子图展示了不同 α 设置对模型性能的具体影响。实验结果表明，适当的 α 值可以显著提高 SDE-EDG 在特定数据集上的性能，这强调了在实际应用中根据数据集特性和任务需求调整超参数的重要性。

结论

论文作者提出了一种新的 SDE-EDG 方法，用于建模时变域泛化（EDG）问题。方法涉及通过识别样本到样本的对应关系并生成连续插值样本来构建 IFGET。随后，作者采用随机微分方程（SDE）并将其与 IFGET 对齐进行训练。文章的贡献在于揭示了通过收集个体的时间轨迹来捕获演变模式的重要性，以及在时间间隔之间进行插值以减轻源时间戳数量有限的问题，这有效地防止了 SDE-EDG 对有限时间戳的过拟合。

以上就是ICLR 2025 Oral | 应对随时间变化的分布偏移，西安大略大学等提出学习时序轨迹方法的详细内容，更多请关注其它相关文章！

# sde-edg  # 工程  # 我们可以  # 这一  # 插值  # 微分方程  # 提出了  # 展示了  # 西安  # type  # git  # 女包seo  # 东南亚免费推广网站  # 松原柳州网站推广  # 泰安网络推广营销  # seo实战教学  # 海外seo优化工作  # 提高关键词排名只选l火27星  # 三亚市网站关键词排名  # 谷歌推广网站有哪些  # 张家港seo外包  # 一言  # 广州  # 量产 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 第四范式“式说”大模型入选《2025年通用人工智能创新应用案例集》  马斯克的幽默“现实”：AR眼镜与20美元“增强现实”哪个真实？  微软推出人工智能模型 CoDi，可互动和生成多模态内容  人工智能如何用于家庭安全  一次购买全年省心，入手科沃斯这几台机器人，省下时间就是金钱  生成式AI对云运维的3大挑战  彭博社：苹果Vision Pro曾测试VR手柄追踪方案  田渊栋新作：打开1层Transformer黑盒，注意力机制没那么神秘  郭帆：AI发展日新月异，或是弯道超车好莱坞的最好机会  全国青少年无人机大赛重庆市选拔赛开赛 1252名中小学生参加  调研海尔智家：AI名，家电命？  剧透！蜜小豆@2025世界人工智能大会多个亮点曝光  南京制造的国产工业机器人：在外资品牌竞争中突围，年销售1.8万台  12页线性代数笔记登GitHub热榜，还获得了Gilbert Strang大神亲笔题词  全新小艺搭载AI大模型，有效提升学生和职场人士的工作效率  生成式人工智能来了，如何保护未成年人？ | 社会科学报  华为将于 7 月发布面向 AI 大模型的新款存储产品  iPhone两秒出图，目前已知的最快移动端Stable Diffusion模型来了  人工智能的变革之路：通过OpenAI的GPT-4漫游  CharacterAI - 也许会成为会话人工智能的未来  华为4G5G通信物联网收费标准公布，多年研发成果，十年花费近万亿  图灵奖得主Hinton：我已经老了，如何控制比人类更聪明的AI交给你们了  优化J*a与MySQL合作：分享批处理操作的技巧  日本演员工会提出AI立法建议 要求建立“声音肖像权”  【搞事】时隔4年 谷歌更新安卓logo 机器人头更饱满了  猿编程参加人工智能高峰论坛，推动人工智能教育解决方案在千所学校推行  航拍无人机怎么选？大疆无人机盘点推荐  有 ARM 和 X86 两个版本，香橙派游戏掌机细节曝光  张勇对话多位诺奖得主 人工智能将无处不在  换流站无线物联网络为新型电力系统铺设“数字之路”  金山办公宣布与英伟达团队合作，加速WPS AI服务  抢占新赛道 加快机器人产业集聚发展  花16000元买四款扫拖机器人！科沃斯追觅石头小米谁能笑到最后？  “图壤·阅读元宇宙”亮相北京国际图书博览会  报道称亚马逊正在测试AI生成产品评价摘要  V社谈AI制作游戏被ban：为确保开发者有素材所有权  国内AI大模型“安卓时刻”到来！阿里云通义千问免费、开源、可商用  工业机器人及非标自动化设备集成服务提供商  618京东3C数码趋势产品备受青睐 AR设备成交额同比增长15倍  机构研选 | 虚拟电厂是电力物联网升级版 智能电网望迎来高速发展  深度学习模型综述：用于3D MRI和CT扫描的应用  特斯拉门店可能启动机器人卖车？也许不是你想的那样  五项人工智能尚未能够实现的任务  新华三集团总裁兼首席执行官于英涛：人工智能时代需要想象力，更需要精耕务实  即时 AI再次升级 30秒生成自带动效的网页 生成速度提升100%  创作音乐/音频的Meta开源AI工具AudioCraft，让用户通过文本提示实现  关于开展“与AI共创未来”——2025年全国青少年人工智能创新实践活动的通知  AI会帮我们把活干完吗？  亲身体验鸿蒙4：AI大模型带来的便利，告别单纯的旁观者状态  超级智能到底是什么？