北大领衔，多智能体强化学习研究登上Nature子刊

aixiv专栏是本站发布学术、技术内容的栏目。过去数年，本站aixiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

近日，由北京大学人工智能研究院杨耀东课题组牵头完成的研究成果 ——「大规模多智能体系统的高效强化学习」在人工智能顶级学术期刊 Nature Machine Intelligence 上发表。

论文第一作者是北京大学人工智能研究院博士生马成栋，通讯作者为人工智能研究院杨耀东助理教授。人工智能研究院多智能体中心李阿明研究员和伦敦国王大学杜雅丽教授为共同第一作者。这一成果首次在大规模多智能体系统中实现了高效的去中心化协同训练和决策，显著提升了人工智能决策模型在大规模多智能体系统中的扩展性和适用性。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

论文链接：https://www.nature.com/articles/s42256-024-00879-7

在大规模多智能体系统中实现高效的可扩展决策是人工智能领域发展的重要目标之一。多智能系统主要以庞大的智能体交互数据为基础，利用大量计算资源驱动每个智能体学习如何与其他智能体合作执行复杂任务，其核心范式是多智能体强化学习。近年来，这一领域取得了显著的进展，诞生了以游戏人工智能为代表的一系列应用。现阶段两种主要的学习范式是中心化学习和独立学习，中心化学习要求每个智能体都具有全局观察能力，这大幅度增加了算法复杂性和通信成本，降低了在大规模系统中的可扩展性，而独立学习虽然降低了系统和算法的复杂性，但学习过程往往不稳定，导致决策性能较差。

值得注意的是，在游戏以外的更加真实的场景中，都存在一些客观的交互限制和不得不考虑成本因素，这使得现有方法难以扩展到大规模真实世界多智能体系统中。一个简单的例子是，当在城市交通系统中控制交通信号灯时，频繁的大规模通信操作容易增加功率损失和被信号干扰的概率，并且计算复杂性将随着交通灯数量的增多而指数级增加。因此，有必要设计能够在有限数据和客观通信约束下，将决策能力扩展到包含大量智能体的复杂真实系统中的多智能体强化学习方法。

这项研究正是以此出发点，降低了现有多智能体学习方法对于全局通信和大量交互数据的依赖性，实现了强化学习算法在复杂的大规模系统中的广泛部署与高效扩展，朝着可扩展到大规模系统的决策范式迈出了重要一步。

                                    ^{图 1，中心化学习和独立学习的区别及该研究的出发点和所涉及到的网络化系统类型}

在这项研究中，研究团队对大规模多智能体系统进行了以智能体为单位的动力学特性的解耦，将智能体之间的关系描述为一种拓扑连接结构下的网络化关系，其中包括线状，环状，网状等各种同构 / 异构节点，降低了系统处理的复杂性。在此之前，也有一些研究者以网络化的形式建模智能体之间的关系从而提升算法扩展性。但这种对于系统的分解具有较强的假设，不一定符合真实世界系统的特性。因此团队进一步提出了一种更通用的网络化系统模型用来刻画解耦后多智能体系统的动力学和真实系统动力学之间的关系，其优势在于它能够处理更广泛的合作多智能体任务。该概念弥合了标准网络系统和一般多代理系统之间的差距，为去中心化多智能体系统的研究提供了必要的理论框架和分析工具。

进一步，基于这种更一般化的网络系统，研究团队将单智能体学习中的模型学习理论扩展到多智能体系统中，使智能体能够独立学习局部状态转移、邻域信息价值和去中心化策略，将复杂的大规模决策难题转化为更容易求解的优化问题。这样，大型人工智能系统即使在样本数据和信息交互受限的情况下，也能实现令人满意的决策性能。早在上世纪 90 年代，强化学习教父 Richard Sutton 就提出了基于模型的方法来学习系统内在的动态特性来辅助策略学习，提升样本效率。在这项工作中，研究团队将本地化模型学习与去中心化策略优化相耦合，提出了一个基于模型的去中心化策略优化方法。该方法是高效且可扩展的，在较小的本地信息大小（当单个智能体与其他智能体之间的信息交互受到限制）下就能近似单调的提升智能体策略。具体而言，智能体能够使用经过充分训练得到的本地化模型来预测未来状态，并使用本地通信来传递该预测。

Remover

几秒钟去除图中不需要的元素

304 查看详情

                                         ^{图 2，网络系统结构关系及多智能体模型学习过程}

为了缓解模型预测的误差问题，研究团队采用了分支推出策略，用许多短时间线推出替换了少数长时间线推出，以减少模型学习和预测中的复合误差，促进了策略学习过程中的近似单调提升能力：

研究团队从理论上进一步证明了系统解耦后所产生的扩展值函数和策略梯度是接近真实梯度的近似值，这在去中心化模型学习和单调策略提升之间建立了重要的理论桥梁。

多项测试结果表明，该方法能够扩展到具有数百个智能体的大规模电网和交通等网络化系统中，在较低的通信成本下实现较高的决策性能。

                                           ^{图 3，研究方法在智能交通控制场景中的效果}

使用了该方法控制的信号灯能够仅通过接收相邻路口的车流信息调控复杂的交通流。这是因为在网络化结构的设计下，整体交通状况已经通过城市路网间接地传递并汇总到相邻路口，通过分析这些相邻路口的观测信息，就能推断和预测整个城市的车流变化，从而做出最优决策。在智能电网上的效果也验证了方法的可扩展性，能够在具有上百个节点的电力网络中实现较低的电能损耗。

                                           ^{图 4，研究方法在智能电网控制场景中的效果}

研究团队负责人杨耀东表示：「未来我们将继续深入推进多智能体学习理论与方法的研究，并赋能具身智能和世界模型等前沿人工智能领域，显著提升更广泛的智能系统在协作、预测和决策方面的能力，使其在复杂动态环境中更加灵活高效的执行任务。同时，我们还将推动这些研究成果在智能交通、智慧电网等领域的应用，促进科技成果的快速转化，为社会创造更大价值。」

以上就是北大领衔，多智能体强化学习研究登上Nature子刊的详细内容，更多请关注其它相关文章！

# 多智能体强化学习  # 猫咪推广营销方案  # 快排seo变现项目  # 定州怎么建设自己的网站  # 网络营销推广方案txt  # gg商户怎么建设网站  # 新泰seo网站优化  # 渝中区企业网站推广  # 营口seo哪个好用点  # seo培训教程推广渠道  # 阿明  # 景中  # 较低  # 就能  # 降低了  # 北京大学  # 这一  # 提出了  # 扩展到  # 北大  # type  # nature  # 工程  # 元氏专业网站推广方案 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 利亚德加码AI战略，与光年无限图灵机器人全面开展AI研发业务合作  城市在采用人工智能方面进展如何？  陈根教授：离人形机器人时代还有10年吗？  小艺将具备大模型能力，鸿蒙4加速AI普及之路  2025VR&AR显示技术峰会视频解析： 歌尔光学展示最新一代VR/AR光学模组  AI大模型时代，数据存储新基座助推教科研数智化跃迁  人工智能在商业中的风险和局限性  自己动手使用AI技术实现数字内容生产  稿见AI助手：提升写作效率与质量的必备工具  日入400万，第一批AI骗子已上岗  长宁这家企业在世界人工智能大会上荣获“蓝鼎奖”  衡水市冀州中学机器人社团在世界机器人大赛中斩获佳绩  两小时就能超过人类！DeepMind最新AI速通26款雅达利游戏  纪录片 《寻找人工智能》全集1080P超清  大厂出品！这个AI网站太顶了，所有功能免费用  全新小艺搭载AI大模型，有效提升学生和职场人士的工作效率  微软面向AI初学者推出免费网络课程  探展WAIC | 第四范式“式说”聚焦toB大模型，布局生成式AI重构企业软件  2025VR&AR显示技术峰会展示歌尔光学最新一代光学模组  精准度可提高 20%：英国九家银行签约使用基于 AI 的“消费者欺诈风险系统”应对*  AI与5G的强强联合：唤醒数字时代的无尽潜能  微软向美国政府提供GPT的大模型，安全性如何保证？  “世界人工智能之都”的新烦恼：AI热潮无法拉动大量就业  谷歌AudioPaLM实现「文本+音频」双模态解决，说听两用大模型  看了天美对AI的布局，我感觉它想得是真明白  生成式人工智能进入产业应用！但再“聪明”仍是工具，最终目的是服务于人  华为昇腾AI原生支持30多种基础大模型，包括GPT  【搞事】时隔4年 谷歌更新安卓logo 机器人头更饱满了  喜马拉雅在国际会议挑战赛中突破语音重叠难题斩获第一 加速AI创新  AI创作广告文案等同2.47年工作经验，且消费者无法区分｜AI营销前沿  数字文明尼山对话 | 在东方圣城与AI潮流梦幻联动，看“智慧大脑”让数字山东更美好  映宇宙集团执行总编辑：元宇宙还是要以人为媒介  生成式人工智能如何改变云安全的游戏规则  厂商陆续公布AI进展 完美世界游戏展示复合应用AI in GamePlay  “上海市民营企业人工智能赋能创新中心”揭牌成立  GPT-4使用混合大模型？研究证明MoE+指令调优确实让大模型性能超群  AI 助手 Copilot 上线，微软 Win11 Dev 预览版 Build 23493 发布  大疆 Air 3 无人机售价和实物照片曝光  亚马逊确认今年不会举办 re:MARS 机器人和人工智能大会  直击上影节 | 光线传媒董事长王长田谈新技术：未来VR放映效果可能媲美影院  聚焦人工智能大模型、AIGC 徐汇十余场重磅论坛等你来  Xreal AR 眼镜用投屏盒子 Beam 发布：分体式设计，到手 699 元  Meta 为打造元宇宙不惜下血本：VR 开发者年薪高达百万美元  元宇宙迈入2.0时代，它和生成式人工智能有何关联吗？  海南省公安机关警用无人机培训班结业并举行警航比武演练  微幼科技晨检机器人：幼儿园健康保障的新伙伴  AI证件照生成器：实际测试中AI软件展现了绝无仅有的强大效能  AI浪潮席卷，时空壶为何能成为AI翻译时代的破局者  联想浏览器引入小乐 AI 助手，成功接入百度文心一言大模型，经过实测证实  吴恩达、Hinton最新对话！AI不是随机鹦鹉，共识胜过一切，LeCun双手赞成