选择GPT-3.5、还是微调Llama 2等开源模型？综合比较后答案有了

众所周知，对 GPT-3.5 进行微调是非常昂贵的。本文通过实验来验证手动微调模型是否可以接近 GPT-3.5 的性能，而成本只是 GPT-3.5 的一小部分。有趣的是，本文确实做到了。

在 SQL 任务和 functional representation 任务上的结果对比，本文发现：

• GPT-3.5 在两个数据集（Spider 数据集的子集以及 Viggo functional representation 数据集）上都比经过 Lora 微调的 Code Llama 34B 表现略微好一点。
• GPT-3.5 的训练成本高出 4-6 倍，部署成本也更高。

本实验的结论之一是微调 GPT-3.5 适用于初始验证工作，但在那之后，像 Llama 2 这样的模型可能是最佳选择，简单总结一下：

• 如果你想验证微调是解决特定任务 / 数据集的正确方法，又或者想要一个完全托管的环境，那么微调 GPT-3.5。
• 如果想省钱、想从数据集中获取最大性能、想要在训练和部署基础设施方面具有更大的灵活性、又或者想要保留一些私有数据，那么就微调类似 Llama 2 的这种开源模型。

接下来我们看看，本文是如何实现的。

下图为 Code Llama 34B 和 GPT-3.5 在 SQL 任务和 functional representation 任务上训练至收敛的性能。结果表明，GPT-3.5 在这两个任务上都取得了更好的准确率。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

在硬件使用上，实验使用的是 A40 GPU，每小时约 0.475 美元。

此外，实验选取了两个非常适合进行微调的数据集，Spider 数据集的子集以及 Viggo functional representation 数据集。

为了与 GPT-3.5 模型进行公平的比较，实验对 Llama 进行了最少超参数微调。

本文实验的两个关键选择是使用 Code Llama 34B 和 Lora 微调，而不是全参数微调。

实验在很大程度上遵循了有关 Lora 超参数微调的规则，Lora 适配器配置如下：

SQL 提示示例如下：

SQL 提示部分展示，完整提示请查看原博客

实验没有使用完整的 Spider 数据集，具体形式如下

department : Department_ID [ INT ] primary_key Name [ TEXT ] Creation [ TEXT ] Ranking [ INT ] Budget_in_Billions [ INT ] Num_Employees [ INT ] head : head_ID [ INT ] primary_key name [ TEXT ] born_state [ TEXT ] age [ INT ] management : department_ID [ INT ] primary_key management.department_ID = department.Department_ID head_ID [ INT ] management.head_ID = head.head_ID temporary_acting [ TEXT ]

实验选择使用 sql-create-context 数据集和 Spider 数据集的交集。为模型提供的上下文是一个 SQL 创建命令，如下所示：

CREATE TABLE table_name_12 (class VARCHAR, frequency_mhz VARCHAR, city_of_license VARCHAR)

sql 任务的代码和数据地址：https://github.com/samlhuillier/spider-sql-finetune

functional representation 提示的示例如下所示：

functional representation 提示部分展示，完整提示请查看原博客

输出如下所示：

verify_attribute(name[Little Big Adventure], rating[*erage], has_multiplayer[no], platforms[PlayStation])

评估阶段，两个实验很快就收敛了：

functional representation 任务代码和数据地址：https://github.com/samlhuillier/viggo-finetune

Voicepods

Voicepods是一个在线文本转语音平台，允许用户在30秒内将任何书面文本转换为音频文件。

142 查看详情

了解更多内容，请查看原博客。

以上就是选择GPT-3.5、还是微调Llama 2等开源模型？综合比较后答案有了的详细内容，更多请关注其它相关文章！

# 博客  # 深圳营销网站优化哪家好  # 辽宁seo线上营销公司  # 日照市场seo公司  # 甘肃网站建设高端贵不贵  # 日照网站优化哪家强些  # 高明网站建设策划  # 南宁seo推广推荐  # 模板网站建设方法  # 河北网站建设方式分析  # 推广营销实战  # 梦想家  # 数据  # 卖得  # 中国  # 请查看  # 本田  # 是一个  # 所示  # 的是  # 开源  # llama  # ai 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： V社悄悄封禁使用AI生成美术素材的游戏  “三夏”农忙保障用电，无人机高空巡视高压线  智能化解决方案：保障数据安全阻击泄露和丢失  亚马逊确认今年不会举办 re:MARS 机器人和人工智能大会  赋能金融新生态，多家银行创新应用成果亮相世界人工智能大会  常见的五个人工智能误解  田渊栋团队新研究：微调  马斯克称未来机器人数量将多于人类，特斯拉愿共享自动驾驶技术  十个AI算法常用库J*a版  Bing Chat 和 Bing Search 正式引入深色模式  AI教父Bengio：我感到迷失，对AI担忧已成「精神内耗」！  郭帆：AI发展日新月异，或是弯道超车好莱坞的最好机会  Vision Pro 太贵，苹果基于 iPhone 的 VR 头显专利曝光  OpenAI高管：AI能创造新的就业机会 但也会淘汰一些  美图公司影像节或发布AI设计新品  当一个网站的内容被 AI 完全接管  中国最强AI研究院的大模型为何迟到了  爱设计PPT发布第二代AI一键生成PPT产品：智能、个性化、自动化  微软 Azure AI 文本转语音服务升级：新增男性声音和扩展语言支持  旷视入选北京市通用人工智能产业创新伙伴计划  物联网和人工智能的协同作用：释放预测性维护的潜力  Yann LeCun团队新研究成果：对自监督学习逆向工程，原来聚类是这样实现的  AI 作画工具 Midjourney 推出“pan”功能，可平移扩展图片外场景  映宇宙集团执行总编辑：元宇宙还是要以人为媒介  谷歌旗下 DeepMind 开发出 RoboCat AI 模型，能控制多种机器人执行一系列任务  发布最新版本的 PICO OS 5.7.0：支持VR头盔录屏并跨平台分享至微信  ​《流浪地球2》里机器人公司的创始人：未来10年，机器人的崛起！  掌阅科技对话式AI应用“阅爱聊”开启内测  70年前他本想逃避考试，却影响了整个互联网  12页线性代数笔记登GitHub热榜，还获得了Gilbert Strang大神亲笔题词  DreamAvatar数字人使用教程  美图影像节演讲实录：191次提及AI，发布7款影像生产力工具  谷歌在人工智能领域没有“护城河”？  山东机器人编程：Scratch编程基础，认识舞台！~济南机器人编程  LinkedIn 推出生成式 AI 辅助撰写帖文功能，将向所有用户开放  人工智能赋能广西自然资源领域监测监管  创新科学家成功研发FAST激光靶标维护机器人  全新升级的广州麦当劳：面积最大餐厅正式引入智慧机器人  中国移动副总经理高同庆：打造人工智能时代的智能服务运营新范式  支持跨语言、人声狗吠互换，仅利用最近邻的简单语音转换模型有多神奇  AI工具助力公司实施每周4.5天工作制，带来巨大效益  两小时就能超过人类！DeepMind最新AI速通26款雅达利游戏  马克龙密会AI专家，法国加入全球人工智能竞赛  李开复官宣新公司「零一万物」，进军 AI 2.0  面向AI大模型，腾讯云首次完整披露自研星脉高性能计算网络  基于预训练模型的金融事件分析及应用  微软bing聊天推出AI购物工具 可进行比价并查看历史最低价  Snap宣布研发出新技术 可大幅提升AI生成图像速度  意大利警察拟用AI预测犯罪 该算法被指种族歧视严重  人工智能的变革之路：通过OpenAI的GPT-4漫游