著名专家卡帕西极力提倡：以实践项目为学习途径，笃信“一万小时定律”，持续耕耘。

编辑日期：2024年07月05日

热烈的掌声响彻会场！在伯克利的黑客马拉松活动中，Andrej Karpathy的演讲再度成为热门话题。

我们仿佛正踏入一个创新的计算时代，这让人联想到上世纪80年代计算机技术的革新。

在这个崭新的时代，大型语言模型犹如现代的CPU，处理的是Token而非字节，具备了类似RAM的上下文窗口，这就是我们所说的大语言模型操作系统（LMOS）。

在近20分钟的演讲中，Karpathy深情讲述了他自15年前开始涉足人工智能领域的点滴感受。他追溯了自己在OpenAI的工作历程，描绘了这个组织如何从最初八个成员在一间公寓里奋斗，发展成现今估值接近千亿美元的行业领军者。然而，正如众多网友所强调的那样，演讲的精髓在于尾声：通过实践项目学习，寻找到适宜的激励机制，从而使思维进入积极向上的循环。

来吧，让我们共同鉴赏这场被网友们盛赞为“充满实质性内容”的演讲。

非常荣幸能受邀来到这里，大家好。

我对黑客马拉松一直抱有深厚的热情，因为它凝聚了无尽的活力与创新精神。看到青年人在此切磋学习、开拓新知，总让我心生欢喜。我曾多次参与这样的活动，所以此刻能与各位交流，我感到十分愉快。

今天的盛会规模之壮观，确实出乎我的意料。这充分展现了人工智能在近十五年里的飞速进步和广泛影响。

回溯到十五年前我初次涉足人工智能领域，那时的AI还局限于小范围的学术探讨，主要关注数学理论的精研。

我们用MNIST数据集上的小数字来训练神经网络，还会运用受限玻尔兹曼机，并采用对比散度方法来优化网络结构。

如今，人工智能已经翻开了崭新的篇章。GPU制造巨头NVIDIA已晋升为美国最具价值的公司之一，成为行业发展的领头羊。我们正身处一个独特且充满生机的时期，这从众多如火如荼的黑客马拉松竞赛中可见一斑。

这一切的驱动力在于计算方式的根本转变。我们似乎正逐渐迈入一种全新的计算模式，就如同上世纪80年代个人电脑革命那样颠覆性。

如今，我们不再依赖传统的字节指令执行的中央处理器，而是利用能够处理语句片段的大型语言模型。这些模型，结合上下文窗口和存储机制，塑造出一种创新的计算架构——我将其称为大型语言模型操作系统，简称LLM OS。

这是一种创新的编程和学习平台，我们正在深入研究它的潜力和限制，同时探索如何在产品开发中高效利用这一技术。

几周以前，OpenAI推出了GPT-4的展示，这个展示生动展现了与人工智能互动的潜力。它不单能响应语音命令，还具备视觉识别和绘画等多方面的能力。我极力建议你们观看影片《她》，在片中，主人公与一个被视为操作系统的AI展开深入对话，这部电影的情节与现实生活极其贴近。

电影中的AI常常描绘为拥有情感智慧，但在实际生活中，我们更多地运用这些技术来处理数字环境中的各种挑战。这些数字化的存在不仅能执行任务，还能进行沟通与合作，它们能够模拟 Slack 对话，实现数字基础设施的自动化。尽管物理基础设施的自动化目前仍处于初级阶段，但其潜在的影响绝对不可小觑。

此外，我还想提一部2004年的佳片《我，机器人》，由威尔·史密斯倾情出演。该片构想了一个未来世界，其中机器人广泛地承担各种职责。不过，剧情透露出一个令人深思的转折：人类并未因此过上更美好的生活，反而似乎逐渐受制于机器人。这个设定确实引人入胜。

故事背景设定在2035年，仅仅十年之后的未来。或许那时，我们的生活中将充斥着与我们互动、执行各类任务的机器人，无论是在现实还是虚拟世界。

那么，这样的未来将如何呈现？我们又该如何编程来确保它们能按我们的期望行事呢？

审视这些要素，你可能会勾勒出一种全面的人工智能图景。这表示你深切意识到，随着技术的不断进步，我们可能在不久的将来的某个时刻面临重大的转变。

我们或许会在虚拟世界和实体世界中见证大规模的自动化。坦率地说，不知道你们的感受如何，但就我个人而言，对于这样的前景有些忧虑。刚才几分钟的讨论，我用了一个图像生成器根据谈话内容创作了一张图，实话说，这幅画并未赢得我的青睐。

我相信我们有能力实现更大的成就，毕竟我们有数千人同心协力。在座的每一位都将踏入AI领域，你们的作为将直接影响这些技术的演变。我们的理想愿景是人类与大自然和睦共生，自动化技术静默运作，低调而不张扬。

在此，我想与大家分享一些个人见解。我深感理解一个小项目如何演变成现实世界变革的过程。

我领悟到的一个奇妙现象是，有时一个看似微不足道的小项目，就如同小小的雪球，其实能够滚动生成极具影响力的大项目。

我曾参与过一个小型的魔方色彩识别项目。此外，十三年前，我在YouTube上分享了一系列游戏编程教学视频，试图引导他人踏入游戏编程的世界，我制作了大量的视频游戏。我还开发了一个别具一格的神经进化模拟器。

并非所有努力都能立即引发连锁反应，许多只是创新与实验的尝试。诚然，这三个项目并未产生显著的影响。但这并不意味着它们毫无价值，它们依然在某种程度上助力了我的成长。

然而，游戏编程教程却意外地产生了滚雪球效应，引领我转向制作一些热门的魔方教程视频，点燃了我对教育的热忱。

之后，在斯坦福大学攻读博士学位期间，我有幸创立并教授了CS231N课程，这在当时是斯坦福大学首开的深度学习核心课程。

之后，我创建了一个YouTube频道，推出了为深度学习和大语言模型制作的“从零到高手”系列，很多人都喜欢这个。

在此基础上，雪球效应继续，我目前非常感兴趣的一个项目是下一步的课程。我将这个课程命名为LLM 101N，目的是教你创建一个讲故事的工具，类似于你可以用来生成故事的ChatGPT。

该课程的理念是带你逐步探索，从无到有，从基础知识一步步构建一个类似于ChatGPT的故事叙述工具。

我坚信，亲历整个制作过程将既富有洞察力又充满乐趣。就在前几天，我已在GitHub上推出了这个初步的课程，尽管还处在早期阶段，但我对此满心期待。这就像一个不断壮大的雪球，起源于我13年前对小游戏编程的热爱。

在OpenAI的经历也让我亲历了类似的演进。正如之前提及，我曾是OpenAI的创始人和研究员。

时光回溯七年，我在OpenAI任职，这些公开的照片展示出我们八个人在Greg的公寓中工作的场景。

OpenAI的诞生，目标直指与Google一较高下。当时，Google犹如一头坐拥7000亿美元自由现金流的巨猿，几乎垄断了人工智能研究领域的一半人才。

这种局面颇具戏剧性，而我们仅是八名手捧笔记本电脑的挑战者。OpenAI内部孕育了众多项目，我们聚集了一批杰出的人才，尽管不少项目未能取得显著突破，但也有一些实现了真正的进展。

比如，在OpenAI的初创时期，有团队专注于打造一个Reddit的对话机器人。当你看到他们的工作台，可能会疑惑：我们在与Google竞争的道路上，为何要投入资源开发这样的项目？

让我们着眼于更具雄心的计划，这样初创项目就可能被低估，因为它们早期的状态往往很脆弱。实际上，Reddit聊天机器人是什么呢？本质上，它是一个语言模型，巧合的是，它在Reddit平台上受训。但请注意，这样的模型完全可以利用任何数据集进行训练，并非局限于Reddit。

Transformer架构的应用推动了模型的进步，随后它的应用范围超越了Reddit，涵盖了众多其他网站。

于是乎，我们见证了GPT-1、GPT-2、GPT-3、GPT-4，直到如今备受瞩目的GPT-4o的诞生。这个起初看似微不足道的Reddit聊天机器人，最终演变成变革性的GPT-4o，它重塑了我们的计算观念。你可以与之交谈，其回应之精彩让人赞叹不已。

如今，OpenAI的估价恐怕已逼近惊人的1000亿美元大关，这让人难以置信地见证了一个小小成就如何演变成庞然大物的过程。

因此，我要鼓励你持续推动你的计划，让它们步步累积，或许它们也能成长为巨大的雪球。

我深信Malcolm Gladwell提倡的“一万小时定律”，它强调了不断练习和大量努力对成就的重要性。不必过于焦虑自己是否在正确的道路上，或者成功与否，关键在于积累你花费的时间和精力。

举个例子，不久前的一个周末，我创建了一个简单的网站awesomemovies.life，用来分享电影推荐。当时只是因为想看电影，就随手上线了这个项目。有人在社交媒体上惊叹我能在短时间内完成，但我并没有觉得有什么特别。

他们看不到的是，这其实是我第20次构建类似的网站。我对每一个步骤都了如指掌，从设置Linode服务器到运用Flask，编写JavaScript、CSS和HTML，再到整合这些元素。我还需抓取网页数据，计算tf.idf向量，并训练SVM模型。这些工作我都已经重复了二十次，甚至有些旧项目的代码可以直接复用。因此，我能在一个周末内完成这一切，得益于我之前的积累和资源重组。