发布时间:2023-09-29
点击次数: ai大模型在2025年成为关键词,也是各大科技公司竞争的热门领域。然而,这种象征未来的ai大模型成本过高,甚至让像微软这样财大气粗的公司开始考虑备选方案。最近有爆料显示,在由peter lee领导的微软内部的1500人研究团队中,有一部分人转向研发全新的llm,它的体积更小,运营成本也更低
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
关于微软的小尺寸AI模型,在3个月前已经开始显露端倪。今年6月,微软发布了一篇题为《Textbooks Are All You Need》的论文,使用仅有70亿token的“教科书级别”数据训练了一个13亿参数的模型phi-1,证明即使是小规模的高质量数据也能使模型具备良好的性能。此外,微软研究院还在phi-1的基础上发布了一个名为phi-1.5的全新预训练语言模型,适用于QA问答、聊天格式和代码等场景
根据微软方面的说法,在测试常识、语言理解和逻辑推理的基准下,phi-1.5的表现超出了相当一部分大模型。phi-1.5在带LM-Eval Harness的GPT4AL跑分套件中,可以媲美Meta旗下拥有70亿参数的开源大模型llama-2,在AGIEval得分上甚至超过了llama-2。

为什么微软要突然开发小尺寸的AI模型呢?外界普遍认为,这可能与OpenAI之间的问题有关。微软是OpenAI的主要投资方,因此可以永久使用OpenAI现有的知识产权,但并不能控制OpenAI的决策。因此,对于像微软这样的巨头来说,开发高质量的小尺寸AI模型是必不可少的,无论是出于自身战略安全的考虑,还是为了在与OpenAI的合作中保持有利的地位
当然,AI大模型目前的能源消耗是一个关键因素。在今年年初的设计自动化大会上,AMD首席技术官Mark Papermaster展示了一张幻灯片,比较了机器学习系统的能源消耗和全球发电情况。根据国际能源署的估计,训练大型模型的数据中心的能源消耗越来越大,占全球电力消耗的1.5%至2%,相当于整个英国的用电量。预计到2030年,这个比例将上升到4%

根据Digital Inf
ormation World发布的相关报告显示,数据中心为训练AI模型产生的能耗将为常规云服务的三倍,到2028年数据中心功耗将接近4250兆瓦、比2025年增加212倍。而OpenAI训练GPT-3的耗电量为1.287吉瓦时,大约相当于120个美国家庭1年的用电量。但这还仅仅只是训练AI模型的前期电耗,仅占模型实际使用时所消耗电力的40%。
根据谷歌发布的2025年环境报告显示,训练AI大模型不仅会消耗大量能源,还会耗费大量水资源。据报告显示,谷歌在2025年消耗了56亿加仑(约212亿升)的水,相当于37个高尔夫球场的用水量。其中52亿加仑用于谷歌的数据中心,比2025年增加了20%
Narration Box
Narration Box是一种语音生成服务,用户可以创建画外音、旁白、有声读物、音频页面、播客等
68
查看详情
AI大模型的高能耗是很正常的。用ARM高级技术总监Ian Bratt的话来说,就是“AI计算需求是无法满足的。网络规模越大,结果越好,可以解决的问题也越多,电力使用与网络规模成正比。”

有人工智能从业者表示,在疫情之前,训练一个Transformer模型所需的能量消耗在27千瓦时的范围内。然而,现在Transformer模型的参数数量已经从5000万增加到了2亿,能量消耗也已经超过了50万千瓦时。也就是说,参数数量增加了四倍,但能量消耗却增加了超过18000倍。从某种意义上来说,人工智能大型模型所带来的各种创新功能,实际上都是以高昂的处理性能和能量消耗为代价
更多的电力驱动更多的GPU进行AI训练,又要大量消耗水资源来冷却GPU,这就是问题所在。以至于微软被曝光正在制定一个路线图,希望用小型核反应堆产生的电能来运营数据中心。更何况即便不提ESG(“环境、社会及管治”),单纯从成本层面出发,研究小尺寸模型也是有价值的。

众所周知,搭建了CUDA生态的英伟达是这一轮AI热潮中的最大受益者,更是已经占据了AI芯片市场的70%,如今H100、A100等计算卡更可谓是一卡难求。可现在的情况,是向英伟达购买算力已经成为了一个推高AI厂商成本的重要因素。所以小尺寸模型也就意味着需要的算力资源更少,只需购买更少的GPU就能解决问题。
尽管功能更强大的大型模型确实很出色,但目前大型模型的商业化仍处于初级阶段,唯一赚得盆满钵满的是英伟达公司这个“卖铲子”的角色。因此,在这种情况下,微软自然也有意改变现状
以上就是微软推出小型AI模型,秘密进行“B计划”,与OpenAI无关的详细内容,更多请关注其它相关文章!
# 能源消耗
# 湛河网站优化设计公司招聘
# 关键词排名怎么搜
# 公司培训推广营销方案
# 网络营销推广中心职责
# 网站建设内容管理规范
# seo每天在做什么
# 沈阳网站推广微昕hfqjwl做词
# 厦门营销型网站建设流程
# 谷歌整站seo招聘
# 营销手机推广有用吗知乎
# 解决问题
# ai模型
# 增加了
# 腾讯
# 报告显示
# 万元
# 中国科学院
# 开源
# 关键词
# 微软
# llama
# 微软密谋
# 小尺寸
相关栏目:
【
行业新闻62819 】
【
科技资讯67470 】
相关推荐:
Meta开源文本生成音乐大模型,我们用《七里香》歌词试了下
AI大模型产品集体奔赴高考考场,教育赛道的讯飞星火能赢吗?
如何利用AI工具写好本科论文:科技助你一臂之力
周鸿祎:360智脑开放API接口 AI大模型将赋能百行千业
社区里,孩子们体验“机器人竞技”
Nature封面:量子计算机离实际应用还有两年
OpenAI CEO 阿尔特曼到访日本,对全球 AI 协调合作表示乐观
静安大宁功能区企业云天励飞亮相2025世界人工智能大会,秀出AI硬实力!
刊·见 | 捕捉人工智能领域最新动态?收藏Applied Artificial Intelligence
日入400万,第一批AI骗子已上岗
图灵奖得主Hinton:我已经老了,如何控制比人类更聪明的AI交给你们了
AI证件照生成器:实际测试中AI软件展现了绝无仅有的强大效能
配 3D 机器人头像,谷歌展示全新安卓 LOGO
IBM CEO克里希纳:人工智能潜在创新无法被监管
13 个提高生产力的 AI 工具
AYANEO AIR 1S 掌机 7 月 9 日发布:R7 7840U + OLED 屏
Midjourney创始人:AI应该成为人类思想的延伸
昇思开源社区理事会成立,基于昇思AI框架的全模态大模型“紫东.太初2.0”发布
城市在采用人工智能方面进展如何?
生成式AI对云运维的3大挑战
探展WAIC | 第四范式“式说”聚焦toB大模型,布局生成式AI重构企业软件
英伟达首席执行官黄仁勋:生成式 AI 时代「人类」会是新的编程语言
推动企业数字化转型升级!“松江智造”摘世界人工智能大会重磅奖项
鸿蒙智能座舱的AI大模型革新,引领智能座舱领域的变革吗?
李开复:未来几年,人工智能会革了所有人的命,除非你这么做
机构:边缘AI或是当前预期差最大的AI方向
“具身智能”引爆机器人产业,看绝影Lite3/X20四足机器人有何特别之处?
谷歌将使用公开信息训练 AI 模型,构建更强大的自家产品
此「错」并非真的错:从四篇经典论文入手,理解Transformer架构图「错」在何处
大疆 Air 3 无人机售价和实物照片曝光
张勇对话多位诺奖得主 人工智能将无处不在
微软 Copilot 团队主管呼吁用户与 AI 交流时应使用恰当的礼貌用语
NTU、上海AI Lab整理300+论文:基于Transformer的视觉分割最新综述出炉
深企派遣无人机救援队赴京津冀开展防汛救灾任务
厂商陆续公布AI进展 完美世界游戏展示复合应用AI in GamePlay
抖音在Android平台获得VR|直播|软件著作权
Meta发布"类人"AI图像创建模型,能解决多出手指等Bug
WHEE安装教程
Meta 为打造元宇宙不惜下血本:VR 开发者年薪高达百万美元
中科院自研新一代 AI 大模型“紫东太初 2.0”问世
Meta 人工智能业务落后竞争对手,研究人员大量离职成重要原因
类GPT模型训练提速26.5%,清华朱军等人用INT4算法加速神经网络训练
研究发现AI聊天机器人ChatGPT不会讲笑话,只会重复25个老梗
生成式人工智能如何改变云安全的游戏规则
华为发布大模型时代AI存储新品
零AI含量!纯随机数学无限生成逼真3D世界火了,普林斯顿华人一作
国内首款大尺寸仿鸵双足机器人“大圣”亮相,穿戴红色战袍
英伟达H100霸榜权威AI性能测试 11分钟搞定基于GPT-3的大模型训练
重塑未来生活的五项技术趋势
清华系面壁智能开源中文多模态大模型VisCPM :支持对话文图双向生成,吟诗作画能力惊艳