马斯克豪购十万片H100，打造全球巅峰AI超级计算机，已启动次世代模型训练。
编辑日期：2024年07月24日
造价超过290亿
明敏 报道 自 凹非寺
马斯克建成了全球最强大的AI集群！
这一震撼消息由马斯克本人在推特上宣布。
当地时间凌晨4:20，由xAI、X公司及英伟达等联手打造的孟菲斯超级集群已启动训练。
该集群由10万块H100构成，成为当前全球最强大的训练集群！
这一规模已经远远超越了全球最强超算Frontier。
xAI的创始成员随后表示：
一年前，我们创建这家公司时，旨在实现三大优势：数据、人才与计算。
从今天起，我们实现了这三大优势！
在马斯克的帖子下，与英伟达有着紧密联系且擅长液冷技术的超威（Supermicro）也表达了祝贺。其创始人查尔斯·梁表示：
我们非常荣幸能与马斯克共同创造历史。
此外，马斯克补充道，该集群的建成，为今年内训练出全球最强模型提供了重要支持。
根据之前的报道，训练Grok-3需要10万张H100。
△集群俯瞰图
不仅如此，今年6月，他曾提到为了H100投入1GW电力并不划算。预计到明年夏天，可能会启用由30万块B200组成的集群。
在今年五月，据The Information报道，埃隆·马斯克计划在2025年秋之前构建一个由十万片H100芯片驱动的超级计算集群，这一宏伟目标将与Oracle携手实现。据报道，xAI将斥资十亿美元租赁Oracle的服务器资源。
然而，一些观察家对马斯克为何在来年采用上一代技术表示困惑，鉴于NVIDIA已发布基于Blackwell架构的B100和B200，这两款芯片在训练大型模型方面展现出超越H100的效率。这引发了猜测，或许原报道中提及的时间框架存在误差；若项目是在当前年度启动，则显得更为合理。
近期，针对与Oracle合作终止以建设超级计算集群的传闻，马斯克予以澄清。他确认，xAI已从Oracle获得两万四千片H100芯片用于Grok-2的训练，且双方服务器租赁的合作仍在持续。不过，在十万片H100芯片集群的搭建上，马斯克选择了自主建设的路径，并以惊人的速度推进——据报道，仅耗时19天便完成了全部芯片的安装工作。“我们必须掌控自己的命运。”
随后，Dell和Supermicro浮出水面，成为马斯克新的合作伙伴。两家公司的CEO近日均在Twitter上分享了正在合作的信息，并附上了数据中心的图片作为佐证。
在集群建设的关键时刻，马斯克亲临现场监督。同时，他在Twitter上透露Grok正在孟菲斯进行训练，预计Grok-2将于八月面世。这一系列举动彰显了马斯克对自主技术控制权的坚定信念，以及对项目推进速度的严格要求。
近期，马斯克大手笔购入十万张H100显卡，旨在构建全球顶尖的人工智能平台。此举引发广泛关注，特别是在先前甲骨文曾对项目选址的供电能力表示疑虑的情况下。据评估，十万张H100显卡需电网提供150兆瓦的电力，但马斯克显然已找到解决方案。
最新进展表明，该集群已临时获得8兆瓦电力，且在8月1日签署协议后，电力供应将增至50兆瓦。目前，已有3.2万张显卡上线，预计到第四季度将实现全面运行，足以支撑类似GPT-5规模模型的训练与运行。
毋庸置疑，科技巨头们普遍认同，自持算力更为稳妥，不惜重金投入。以成本计算，每张H100显卡价格大约在3至4万美元间，这意味着马斯克的超级计算机集群价值高达40亿美元，折合人民币逾290亿元。
早前有报道指出，微软与OpenAI正规划一项耗资千亿美金的“星际之门”数据中心项目。另有消息源透露，甲骨文与微软正洽谈涉及十万张B200显卡的交易，预计此集群将于明夏完成部署。
此外，诸如Meta等企业亦曝光了其豪华级超算集群，而包括AWS在内的云服务提供商，在数据中心建设上的投资力度亦显著加大。
参考资料： [1] https://x.com/elonmusk/status/1810727394631950752 [2] https://x.com/elonmusk/status/1815325410667749760 [3] https://x.com/dylan522p/status/1815494840152662170 [4] https://x.com/MichaelDell/status/1803385185984974941
请注意，上述链接为原文引用，未进行翻译。
今日正值周五，日期为十一月十一。 周鸿祎力推：智能防护，安全升级。 特斯拉争议焦点：诚信何在？ 财富蒸发，背后隐忧深探。 六日间，情谊何以冰消瓦解？ 马斯克巨资购入十万个H100芯片，剑指AI颠峰之作。 今夕何夕？周五已至，十二月十六。
大家在看
