超越GPT-4，斯坦福团队手机可跑的大模型火了，一夜下载量超2k

在大模型落地应用的过程中，端侧 ai 是非常重要的一个方向。

近日，斯坦福大学研究人员推出的 Octopus v2 火了，受到了开发者社区的极大关注，模型一夜下载量超 2k。

20 亿参数的 Octopus v2 可以在智能手机、汽车、个人电脑等端侧运行，在准确性和延迟方面超越了 GPT-4，并将上下文长度减少了 95%。此外，Octopus v2 比 Llama7B + RAG 方案快 36 倍。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 论文：Octopus v2: On-device language model for super agent

• 论文地址：https://arxiv.org/abs/2404.01744

• 模型主页：https://huggingface.co/NexaAIDev/Octopus-v2

模型概述

Octopus-V2-2B+是一种开源语言模型，拥有20亿参数，专为Android API量身定制。它可以在Android设备上无缝运行，并将实用性扩展到从Android系统管理到多个设备的编排等各种应用程序。

通常，检索增强生成 (RAG) 方法需要对潜在函数参数进行详细描述（有时需要多达数万个输入 token）。基于此，Octopus-V2-2B 在训练和推理阶段引入了独特的函数 token 策略，不仅使其能够达到与 GPT-4 相当的性能水平，而且还显著提高了推理速度，超越了基于 RAG 的方法，这使得它对边缘计算设备特别有利。

Octopus-V2-2B 能够在各种复杂场景中生成单独的、嵌套的和并行的函数调用。

数据集

为了训练、验证和测试阶段采用高质量数据集，特别是实现高效训练，研究团队用三个关键阶段创建数据集：

• 生成相关的查询及其关联的函数调用参数；

• 由适当的函数组件生成不相关的查询； 

  Machine Translation

  聚合多个来源的AI翻译

  49 查看详情

• 通过 Google Gemini 实现二进制验证支持。

研究团队编写了 20 个 Android API 描述，用于训练模型。下面是一个 Android API 描述示例：

def get_trending_news (category=None, region='US', language='en', max_results=5):"""Fetches trending news articles based on category, region, and language.Parameters:- category (str, optional): News category to filter by, by default use None for all categories. Optional to provide.- region (str, optional): ISO 3166-1 alpha-2 country code for region-specific news, by default, uses 'US'. Optional to provide.- language (str, optional): ISO 639-1 language code for article language, by default uses 'en'. Optional to provide.- max_results (int, optional): Maximum number of articles to return, by default, uses 5. Optional to provide.Returns:- list [str]: A list of strings, each representing an article. Each string contains the article's heading and URL.    """

模型开发与训练

该研究采用 Google Gemma-2B 模型作为框架中的预训练模型，并采用两种不同的训练方法：完整模型训练和 LoRA 模型训练。

在完整模型训练中，该研究使用 AdamW 优化器，学习率设置为 5e-5，warm-up 的 step 数设置为 10，采用线性学习率调度器。

LoRA 模型训练采用与完整模型训练相同的优化器和学习率配置，LoRA rank 设置为 16，并将 LoRA 应用于以下模块：q_proj、k_proj、v_proj、o_proj、up_proj、down_proj。其中，LoRA alpha 参数设置为 32。

对于两种训练方法，epoch 数均设置为 3。

使用以下代码，就可以在单个 GPU 上运行 Octopus-V2-2B 模型。

from transformers import AutoTokenizer, GemmaForCausalLMimport torchimport timedef inference (input_text):start_time = time.time ()input_ids = tokenizer (input_text, return_tensors="pt").to (model.device)input_length = input_ids ["input_ids"].shape [1]outputs = model.generate (input_ids=input_ids ["input_ids"], max_length=1024,do_sample=False)generated_sequence = outputs [:, input_length:].tolist ()res = tokenizer.decode (generated_sequence [0])end_time = time.time ()return {"output": res, "latency": end_time - start_time}model_id = "NexaAIDev/Octopus-v2"tokenizer = AutoTokenizer.from_pretrained (model_id)model = GemmaForCausalLM.from_pretrained (model_id, torch_dtype=torch.bfloat16, device_map="auto")input_text = "Take a selfie for me with front camera"nexa_query = f"Below is the query from the users, please call the correct function and generate the parameters to call the function.\n\nQuery: {input_text} \n\nResponse:"start_time = time.time () print ("nexa model result:\n", inference (nexa_query)) print ("latency:", time.time () - start_time,"s")

评估

Octopus-V2-2B 在基准测试中表现出卓越的推理速度，在单个 A100 GPU 上比「Llama7B + RAG 解决方案」快 36 倍。此外，与依赖集群 A100/H100 GPU 的 GPT-4-turbo 相比，Octopus-V2-2B 速度提高了 168%。这种效率突破归功于 Octopus-V2-2B 的函数性 token 设计。

Octopus-V2-2B 不仅在速度上表现出色，在准确率上也表现出色，在函数调用准确率上超越「Llama7B + RAG 方案」31%。Octopus-V2-2B 实现了与 GPT-4 和 RAG + GPT-3.5 相当的函数调用准确率。

感兴趣的读者可以阅读论文原文，了解更多研究内容。

以上就是超越GPT-4，斯坦福团队手机可跑的大模型火了，一夜下载量超2k的详细内容，更多请关注其它相关文章！

# 斯坦福大学  # ai 智能体  # gemini  # llama  # follow  # opus  # 产业  # 深州网站优化推广  # 十堰房产网站推广价格  # 全民营销推广图片大全高清  # 泰兴营销推广运营  # 进口红酒如何推广营销  # 龙口建设网站外包  # 网站优化有后台么  # seo中h标签的使用  # 来宾实用的seo渠道  # 龙游刷关键词排名  # 两种  # 多个  # 丰田  # 本田  # 并将  # 设置为  # 火了  # 一夜  # 斯坦福  # 下载量  # type 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： AI 冥想应用 Ogimi.ai 推出，可为用户提供教练级个性化指导  联想创投携手12家被投企业MWC展示元宇宙、机器人等技术  人形机器人打开精密齿轮市场全新空间！受益上市公司梳理  盘古大模型3.0正式发布 AI开发正走向新“工业化开发模式”  利亚德加码AI战略，与光年无限图灵机器人全面开展AI研发业务合作  华为余承东表示：鸿蒙可能拥有强大的人工智能大模型能力  挤爆服务器，北大法律大模型ChatLaw火了：直接告诉你张三怎么判  能抓取玻璃碎片、水下透明物，清华提出通用型透明物体抓取框架，成功率极高  日本演员工会提出AI立法建议 要求建立“声音肖像权”  360°/180°双模式，佳能公布可折叠小体积的VR全景相机  电力人工智能数据集目录首次发布  月薪6万，哪些AI岗位在抢人？  图像生成过程中遭「截胡」：稳定扩散的失败案例受四大因素影响  Gartner发布中国企业人工智能趋势浪潮3.0  物联网“僵尸网络DDos攻击”增长惊人，威胁全球电信网络  美图第二届影像节发布七款AI影像创作工具  调研海尔智家：AI名，家电命？  SnapFusion技术大幅提升AI图像生成速度  探索AI前沿理念 2025全球人工智能技术大会在杭州开幕  调查显示：实际上没有那么多人在用 ChatGPT  探索人工智能在物联网领域的影响与改变  6月14日《星空下的对话》 张朝阳陆川将畅聊人生、电影、心理学与AI  世界人工智能大会（WAIC 2025）点燃魔都，博尔捷数字科技携前沿技术产品亮相  时间、空间可控的视频生成走进现实，阿里大模型新作VideoComposer火了  解决导航“最后50米”难题 高德地图升级AR步行导航找终点功能  插画师对AI绘画软件的态度是怎样的？  人工智能颠覆软件测试四大方式  日媒关注中国推进鸟类识别 AI 普及，除监测保护外还可预防传染性疾病  AYANEO 安卓掌机 Pocket AIR 配置公布：天玑 1200 + 5.5 英寸屏  人工智能助力林草行业高质量发展  Midjourney 5.2震撼发布！原画生成3D场景，无限缩放无垠宇宙  编程已死，AI 当立？教授公开“唱反调”：AI 还帮不了程序员  Transformer六周年：当年连NeurIPS Oral都没拿到，8位作者已创办数家AI独角兽  特斯拉机器人面世 未来将大幅提振磁材需求，引领人工智能时代  发布最新版本的 PICO OS 5.7.0：支持VR头盔录屏并跨平台分享至微信  推动企业数字化转型升级！“松江智造”摘世界人工智能大会重磅奖项  微软在 Build 大会上宣布的新 Microsoft Store AI Hub 现已开始推出  支持跨语言、人声狗吠互换，仅利用最近邻的简单语音转换模型有多神奇  云南首例达芬奇机器人微创心脏手术成功开展  中国移动副总经理高同庆：打造人工智能时代的智能服务运营新范式  陈根：AI冥想教练为用户提供个性化指导  掌阅科技对话式AI应用“阅爱聊”开启内测  消息称 Meta Quest 将推 VR 游戏订阅：每月 7.99 美元，任选两款  「社交达人」GPT-4！解读表情、揣测心理全都会  7/8上海 | 2025世界人工智能大会分论坛:科技与人文-共筑无障碍智能社会  人工智能“Aria”现身 Opera浏览器100版本更新：新功能“标签岛”  洞穴探险神器？可自主导航的单旋翼自旋无人机，效率更高！  智能公司为何纷纷投身机器人领域？  利好来了，AI再起一波？  2025VR&AR显示技术峰会视频解析： 歌尔光学展示最新一代VR/AR光学模组