7B开源数学模型干翻千亿GPT-4，中国团队出品

7b开源模型，数学能力超过了千亿规模的gpt-4！

它的表现可谓是突破了开源模型的极限，连阿里通义的研究员也感叹缩放定律是不是失效了。

无需借助任何外部工具，它就能在竞赛水平的MATH数据集上达到51.7%的准确率。

在开源模型中，它第一个在该数据集上达到一半的准确率，甚至超过了早期和API版本的GPT-4。

这一表现让整个开源社区震惊，Stability AI的创始人Emad Mostaque称赞研发团队令人印象深刻，潜力被低估了。

它，就是深度求索团队最新开源的7B数学大模型DeepSeekMath。

7B模型力压群雄

为了评估DeepSeekMath的数学能力，研究团队使用了中（MGSM-zh、CMATH）英（GSM8K、MATH）双语的数据集进行了测试。

在未使用辅助工具、仅靠思维链（CoT）提示的情况下，DeepSeekMath的表现均超越了其他开源模型，其中包括70B的数学大模型MetaMATH。

和自家推出的67B通用大模型相比，DeepSeekMath的成绩也有大幅提升。

如果考虑闭源模型，DeepSeekMath也是在几个数据集上都超越了Gemini Pro和GPT-3.5，在中文的CMATH上超越了GPT-4，MATH上的表现也与之接近。

但要注意的是，GPT-4按泄露规格是一个千亿参数的庞然大物，而DeepSeekMath参数量只有7B。

如果允许使用工具（Python）进行辅助，DeepSeekMath在竞赛难度（MATH）数据集上的表现还能再提高7个百分点。

那么，DeepSeekMath优异表现的背后，都应用了哪些技术呢？

基于代码模型打造

为了获得比从通用模型更好的数学能力，研究团队使用了代码模型DeepSeek-Coder-v1.5对其进行初始化。

因为团队发现，无论是在两阶段训练还是一阶段训练设置下，代码训练相比于通用数据训练都可以提升模型的数学能力。

在Coder的基础上，研究团队继续训练了5000亿token，数据分布如下图：

训练数据方面，DeepSeekMath使用的是从Common Crawl提取的120B高质量数学网页数据，得到了DeepSeekMath Corpus，总数据量是开源数据集OpenWebMath的9倍。

数据采集过程是迭代式进行的，经过四次迭代，研究团队收集了3500多万个数学网页，Token数量达到了1200亿。

为了确保训练数据中不包含测试集的内容（因为GSM8K、MATH中的内容在互联网上大量存在），研究团队还专门进行了过滤。

Machine Translation

聚合多个来源的AI翻译

49 查看详情

为了验证DeepSeekMath Corpus的数据质量，研究团队分别用MathPile等多个数据集训练了1500亿token，结果Corpus在多个数学基准上效果明显领先。

对齐阶段，研究团队首先构建了一个776K样本的中英文数学指导监督微调（SFT）数据集，其中包括CoT、PoT和工具集成推理等三种格式。

而在强化学习（RL）阶段，研究团队使用了一种名为“基于组的相对策略优化”（Group Relative Policy Optimization ，GRPO）的高效算法。

GRPO是近端策略优化（PPO）的一种变体，过程中传统的价值函数被替换为一个基于组的相对奖励估计，可以减少训练过程中的计算和内存需求。

同时，GRPO通过迭代过程进行训练，奖励模型会根据策略模型的输出不断更新，以确保策略的持续改进。

曾推出首个国产开源MoE模型

推出DeepSeekMath的深度求索团队，是国内开源模型领域的一名“头部选手”。

此前，该团队就曾推出过首个国产开源MoE模型DeepSeek MoE，它的7B版本以40%的计算量击败了相同规模的密集模型Llama 2。

作为通用模型，DeepSeek MoE在代码和数学任务上的表现就已十分亮眼，而且资源消耗非常低。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

代码方面，该团队推出的DeepSeek-Coder的编程能力在代码生成、跨文件代码补全、以及程序解数学题等多个任务上均超过了同等规模的开源标杆CodeLllama。

同时，它也击败了GPT-3.5-Turbo，成为最接近GPT-4-Turbo的开源代码模型。

如前文所说，此次推出的DeepSeekMath，也正是在Coder的基础之上打造的。

而在X上，已经有人开始在期待Coder和Math的MoE版本了。

论文地址：https://arxiv.org/abs/2402.03300

以上就是7B开源数学模型干翻千亿GPT-4，中国团队出品的详细内容，更多请关注其它相关文章！

# ai  # 抚宁区环保网站建设  # 惠水seo优化  # 长宁区优质营销推广  # 高平网站建设设计公司  # 首个  # 使用了  # 迭代  # 而在  # 本田  # 是在  # 多个  # 数学模型  # 中国  # 开源  # llama  # gemini  # deepseek  # 数据  # 昆山网站制作网站建设  # 外贸推广营销人员职责  # 电商seo优化举例  # 福建营销推广拍摄网站  # 会员关键词排名查询系统  # 邹平英文网站优化多少钱 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 全球首款AI裸眼3D平板 国产的售价破万  “电碳”技术提升碳排放监测精度  重磅！ 捷通华声灵云AICC荣获第二届光合组织AI解决方案大赛二等奖  第二届光合组织AI解决方案大赛赛果揭晓  GPT-4是如何工作的？哈佛教授亲自讲授  央广车联网亮相2025世界人工智能大会  生成式AI爆发，亚马逊云科技持续专注创新，助力企业数字化转型  让AI助手带您轻松愉快地享受写作之旅  洞穴探险神器？可自主导航的单旋翼自旋无人机，效率更高！  MIT开发“PhotoGuard”技术保护图像免遭恶意AI编辑  精准度可提高 20%：英国九家银行签约使用基于 AI 的“消费者欺诈风险系统”应对*  机构：边缘AI或是当前预期差最大的AI方向  自研4D激光雷达L1 + GPT大语言模型 宇树Unitree Go2四足机器人有啥黑科技？  五项人工智能尚未能够实现的任务  AI大模型紫东太初已被注册商标 中科院已注册紫东太初大模型商标  两型无人机完成交付！国家级机动观测业务正式启动  【澎湃原动力】人工智能产业协同创新中心：全产业链资源在这里汇聚  调研海尔智家：AI名，家电命？  人工智能大胆预测：银河系至少有2万个地球，36种外星文明  网易加速行业AI大模型应用，将覆盖100多个应用场景  万兴播爆桌面端上线，支持AI数字人搜索、视频编辑等功能  Meta 发布 Voicebox AI 模型：可生成音频信息，用于 NPC 对话等  破解零碳产业园建设规范和成果评价难题  十个AI算法常用库J*a版  无人机在电力巡检中的应用：全面解析高效巡检流程  中美陷入囚徒困境，人工智能变得不可控？可参考核不扩散条约规范  改变城市交通：智慧城市中的智能交通  IBM与NASA联手开源地理空间AI基础模型，促进气候科学领域进步  你大脑中的画面，现在可以高清还原了  美踏控股推出创新人工智能大数据模型“心乐舞河”：虚拟人音舞社交的新体验  李开复官宣新公司「零一万物」，进军 AI 2.0  美图发布国内首个“懂美学的”AI视觉大模型MiracleVision  全新升级的广州麦当劳：面积最大餐厅正式引入智慧机器人  实践J*a开发，构建高性能的MongoDB数据迁移工具  明略科技发布免费开源TensorBoard.cpp，促进大型模型的预训练工作  英伟达首席执行官黄仁勋：生成式 AI 时代「人类」会是新的编程语言  Win11 AI 助手 Windows Copilot 被吐槽：套皮的 Edge 浏览器  “直击”AI新世界，智能机器人再次“火出圈”了  Meta 开源 AI 语言模型 MusicGen，可将文本和旋律转化为完整乐曲  深企派遣无人机救援队赴京津冀开展防汛救灾任务  热点 | 人工智能黄金时代开启  朱民：普通人炒股炒不过机器人是很正常的 AI已经能理解市场情绪  三星加速AR眼镜进程，预计明年上半年亮相  2025世界人工智能大会成功召开  马斯克回应“人工智能让一切变得更好”：我们已经是半机器人了  特斯拉首发人形机器人“擎天柱”亮相世界人工智能大会  传Meta 2025年推出首款AR眼镜，采用军用级别材料，计划生产1000台  “三夏”农忙保障用电，无人机高空巡视高压线  张朝阳与陆川谈AI：ChatGPT是鹦鹉学舌思维，不可能取代人类 | 把脉AI大模型  曝光HarmonyOS 4的重要新能力：全面升级AI大模型，小艺实现全面进化