吴恩达团队新作：多模态多样本上下文学习，无需微调快速适应新任务

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本研究评估了先进多模态基础模型在 10 个数据集上的多样本上下文学习，揭示了持续的性能提升。批量查询显著降低了每个示例的延迟和推理成本而不牺牲性能。这些发现表明：利用大量演示示例可以快速适应新任务和新领域，而无需传统的微调。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 论文地址：https://arxiv.org/abs/2405.09798
• 代码地址：https://github.com/stanfordmlgroup/ManyICL

背景介绍

在近期的多模态基础模型（Multimodal Foundation Model）研究中，上下文学习（In-Context Learning, ICL）已被证明是提高模型性能的有效方法之一。

然而，受限于基础模型的上下文长度，尤其是对于需要大量视觉 token 来表示图片的多模态基础模型，已有的相关研究只局限于在上下文中提供少量样本。

令人激动的是，最新的技术进步大大增加了模型的上下文长度，这为探索使用更多示例进行上下文学习提供了可能性。

基于此，斯坦福吴恩达团队的最新研究——ManyICL，主要评估了目前最先进的多模态基础模型在从少样本 (少于 100) 到多样本（最高至 2000）上下文学习中的表现。通过对多个领域和任务的数据集进行测试，团队验证了多样本上下文学习在提高模型性能方面的显著效果，并探讨了批量查询对性能和成本及延迟的影响。

                           ^{Many-shot ICL与零样本、少样本ICL的比较。}

方法概览

本研究选择了三种先进的多模态基础模型：GPT-4o、GPT4 (V)-Turbo 和 Gemini 1.5 Pro。出于 GPT-4o 优越的表现，研究团队在正文中着重讨论 GPT-4o 和 Gemini 1.5 Pro， GPT4 (V)-Turbo 的相关内容请于附录中查看。

数据集方面，研究团队在 10 个跨越不同领域（包括自然影像、医学影像、遥感影像和分子影像等）和任务（包括多分类、多标签分类和细粒度分类）的数据集上进行了广泛的实验。

                                             ^{基准数据集汇总。}

为了测试增加示例数量对模型性能的影响，研究团队逐步增加了上下文中提供的示例数量，最高达到近 2000 个示例。同时，考虑到多样本学习的高成本和高延迟，研究团队还探索了批量处理查询的影响。在这里，批量查询指的是在单次 API 调用中处理多个查询。

实验结果

多样本上下文学习性能评估

总体表现：包含近 2000 个示例的多样本上下文学习在所有数据集上均优于少样本学习。随着示例数量的增加，Gemini 1.5 Pro 模型的性能呈现出持续的对数线性提升，而 GPT-4o 的表现则较不稳定。

数据效率：研究测量了模型的上下文学习数据效率，即模型从示例中学习的速度。结果表明，Gemini 1.5 Pro 在绝大部分数据集上显示出比 GPT-4o 更高的上下文学习数据效率，意味着它能够更有效地从示例中学习。

灵感PPT

AI灵感PPT - 免费一键PPT生成工具

308 查看详情

批量查询的影响

总体表现：在选择最优示例集大小下的零样本和多样本情境中，将多个查询合并为一次请求，不会降低性能。值得注意的是，在零样本场景中，单个查询在许多数据集上表现较差。相比之下，批量查询甚至可以提高性能。

零样本场景下的性能提升：对于某些数据集（如 UCMerced），批量查询在零样本场景下显著提高了性能。研究团队分析认为，这主要归因于领域校准 (domain calibration)、类别校准 (class calibration) 以及自我学习 (self-ICL)。

成本和延迟分析

多样本上下文学习虽然在推理时需要处理更长的输入上下文，但通过批量查询可以显著降低每个示例的延迟和推理成本。例如，在 HAM10000 数据集中，使用 Gemini 1.5 Pro 模型进行 350 个示例的批量查询，延迟从 17.3 秒降至 0.54 秒，成本从每个示例 0.842 美元降至 0.0877 美元。

结论

研究结果表明，多样本上下文学习能够显著提高多模态基础模型的表现，尤其是 Gemini 1.5 Pro 模型在多个数据集上表现出持续的性能提升，使其能够更有效地适应新任务和新领域，而无需传统的微调。

其次，批量处理查询可以在相似甚至更好的模型表现的同时，降低推理成本和延迟，显示出在实际应用中的巨大潜力。

总的来说，吴恩达团队的这项研究为多模态基础模型的应用开辟了新的路径，特别是在快速适应新任务和领域方面。

以上就是吴恩达团队新作：多模态多样本上下文学习，无需微调快速适应新任务的详细内容，更多请关注其它相关文章！

# 广州  # 学习php网站建设技术  # 招商加盟网站推广案例  # seo如何招聘  # 泰州兴化网站推广  # 网站建设模板哪种好  # 政和效果好的seo推广  # 网站建设需要的技术要求  # 贷款网站seo技巧  # 秀禾头饰网站推广怎么样  # 金融营销推广方向怎么样  # 降至  # 排在  # 入门  # 量产  # 尤其是  # 丰田  # 的是  # 多个  # 新任务  # 多模  # type  # gemini  # git  # manyicl  # 上下文学习 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 此「错」并非真的错：从四篇经典论文入手，理解Transformer架构图「错」在何处  NTU、上海AI Lab整理300+论文：基于Transformer的视觉分割最新综述出炉  组建团队，字节跳动要造机器人？  AI+音乐如何“生成”动听旋律？一起揭秘世界人工智能大会开场曲  塑造全能智能管家：华为小艺AI加成应对大模型挑战  鸿蒙4即将支持大规模AI模型  北京市元宇宙产业创新中心筹建工作正式启动  阿里云推出通义万相AI绘画大模型  NVIDIA垄断AI市场90%份额：AMD性能追上80% 软件太不能打  DreamAvatar数字人使用教程  生成式AI爆发，亚马逊云科技持续专注创新，助力企业数字化转型  谷歌推出RT-2视觉语言动作模型，使机器人能够掌握垃圾丢弃技能  小艺将具备大模型能力，鸿蒙4加速AI普及之路  探索人工智能在物联网领域的影响与改变  读创正式上线“读创AI聊”功能  亚马逊CEO：人工智能将成为公司未来战略的重中之重  严打“黑飞”，无人机检测反制设备护航大运会净空安全  史玉柱谈AI：国内最缺是计算数学人才，曾给浙大数学系捐五千万  【澎湃原动力】人工智能产业协同创新中心：全产业链资源在这里汇聚  Meta推出VR订阅服务Quest +：每月免费玩两款游戏，7.99美元/月  国产医疗企业的人工智能  甲骨文与Cohere合作为企业提供生成式人工智能服务  “聚智启新，‘蓉’力同行” 成都市人工智能产业融通对接会成功举办  热点 | 人工智能黄金时代开启  对话无界AI创始人长铗：AI的创业机会在应用层丨创新者Innovator  独家视角：首次展示有人与无人协同打击的7000米高空察打一体无人机  抛媚眼给瞎子看？微软、谷歌的AI广告被广告主抵制  商汤科技：元萝卜 AI 下棋机器人新品发布会 6 月 14 日举行  AI时代，企业需要什么样的员工？  微幼科技晨检机器人：幼儿园健康保障的新伙伴  沐曦首款AI推理GPU亮相：INT8算力达160TOPS！  「社交达人」GPT-4！解读表情、揣测心理全都会  OpenAI CEO 山姆・阿尔特曼呼吁 AI 领域中美应当合作  谷歌新安卓机器人logo曝光：头更大了  腾讯AI首次模拟拼接三星堆文物，工作取得阶段性的成果  Databricks推出人工智能模型共享机制，可令开发者与公司“双赢”  日新月异，脑机接口技术都有哪些新应用？  苹果AI战略与微软谷歌大相径庭，到底是领先还是落后？  人工智能在项目管理中的作用  消息称字节机器人团队已有约50人，计划年底扩充到上百人  谷歌在人工智能领域没有“护城河”？  讯飞听见会写“会议摘要”功能全面升级，AI更懂你的关注点  洞穴探险神器？可自主导航的单旋翼自旋无人机，效率更高！  微软 Azure AI 文本转语音服务升级：新增男性声音和扩展语言支持  AI行业盛会大咖云集！Sam Altam、“AI教父”......一文看懂最新观点  懒人必备的家居清洁好物，石头自清洁扫拖机器人G20  周鸿祎：用超级AI实现室温超导和核聚变，实现能源自由  特斯拉机器人面世 未来将大幅提振磁材需求，引领人工智能时代  微幼科技推出全自动晨检机器人，助力幼儿园校园健康检测  日媒关注中国推进鸟类识别 AI 普及，除监测保护外还可预防传染性疾病