小扎自曝投入巨资训练Meta Llama 4模型：动用24万块GPU齐头并进，预计于2025年发布。
编辑日期：2024年08月06日
这几天，在第二季度财报会议上，小扎表示Meta将采用比Llama 3大十倍的计算量来训练其下一代多模态模型Llama 4，并预计于2025年发布。
十倍的计算量，具体是指什么概念？
请注意，Llama 3 是在拥有 24,000 块 GPU 的两个集群上完成训练的。这意味着 Llama 4 的训练将需要 24 万块 GPU。
那么，Meta的库存还足够吗？
还记得小扎在年初时宣布，计划到年底部署35万块NVIDIA H100显卡。
他还透露了更多细节，Meta内部将建立两个单一集群来训练LLM，其中一个集群配备22,000块H100，另一个集群则配备24,000块。
有网民曾经回顾了Llama模型在迭代过程中，GPU使用量的增长情况：
可见，训练大型模型是一项成本非常高的工作。
财报显示，Meta 在第二季度对服务器、数据中心和网络基础设施的资本支出增长了将近33%，从去年同期的64亿美元增加到了85亿美元。
现在，预计年度支出将达到 370 亿至 400 亿美元，高于之前预估的 350 亿至 400 亿美元。
一份报告显示，OpenAI在训练模型上投入了30亿美元，并且还以折扣价从微软租赁服务器花费了额外的40亿美元。
可见，训练大型模型所需的算力成本，是多么具有讽刺意味。
然而，其意义在于，Llama 3.1的开源将成为AI行业的一个重要里程碑，标志着开源人工智能开始如同Linux一般成为行业的标准。
Meta正在规划未来几年的计算集群和数据中心，以支持未来几代的人工智能模型。
小扎承认，很难预测未来人工智能技术的发展路径，但基础设施建设不是一蹴而就的事情。尽管存在不确定性，他宁愿冒险提前布局，也不愿因为准备不足而在竞争中落后。
小扎的先见之明曾引领公司在元宇宙的浪潮中坚挺而出。
在2022年公司股价遭受重大打击之时，小扎仍然冒险购入了大量的H100。
当年的第三季度财务报告显示，Meta的资本支出高达320亿至330亿美元。其中很大一部分用于建设数据中心、服务器和网络基础设施，以及在元宇宙项目的巨额投资。
在采访中，小扎解释说：“当时Meta正在大力开发短视频工具Reels，因此我们需要更多的GPU来训练模型。”
因为模型推理对于Meta来说是一项至关重要的任务，它需要为其自家的应用，如Facebook和Instagram等的用户提供服务。
按照小扎的原话来说就是：
前段时间，Meta AI 的科学家 Thomas Scialom 在一篇博客采访中也提到了已于6月开始训练的Llama 4。
他表示，新的模型可能会专注于智能体（agent）技术，并且已经在诸如Toolformer等智能体工具上进行了一些研究。
小扎认为，人工智能体很快会成为在线企业中的“标准配置”。
随着时间的发展，我认为将来每个企业都会拥有一个AI智能体，就像现在每个企业都有网站、社交媒体账号和电子邮件地址一样。这样客户就可以与这些AI智能体进行互动。
Meta的目标是让每一个小企业，乃至最终每个大企业，都能够轻松地将自己的内容和产品整合到AI智能体中。当这项技术被大规模应用时，将会极大地加速商业信息的获取。
尽管投资者对Meta在人工智能和元宇宙领域的高额投资表示批评，扎克伯格仍然坚持他的战略不动摇。
尽管在Meta最近几个季度中，虚拟现实似乎已经退到了次位，但扎克伯格确实指出，Quest 3的销售超过了公司预期。第二季度的数据显示，这个领域的收入增长了22%，达到391亿美元，而利润则增加了73%，达到135亿美元。
对于第三季度，Meta预计营收将在385亿至410亿美元之间。
消息人士表示，该公司将在9月份的Connect大会上宣布推出一款更便宜的耳机。
（或者）
据消息人士透露，在9月的Connect大会上，该公司将宣布推出一款价格更为亲民的耳机。
此外，人工智能助手 Meta AI 的人气日益增长，小扎表示，预计到年底之前，它将成为使用最为广泛的人工智能助手。
参考资料：
本文转载自微信公众号：微信公众号（ID：null），作者为新智元，原标题为《小扎自曝砸重金训练Llama 4，24万块GPU齐上阵！预计2025年发布》。
大家在看
