著名专家卡帕西极力提倡：以实践项目为学习途径，笃信“一万小时定律”，持续耕耘。

编辑日期：2024年07月05日

热烈的掌声响彻会场！在伯克利的黑客马拉松活动中，Andrej Karpathy的演讲再度成为热门话题。

我们仿佛正踏入一个创新的计算时代，这让人联想到上世纪80年代计算机技术的革新。

在这个崭新的时代，大型语言模型犹如现代的CPU，处理的是Token而非字节，具备了类似RAM的上下文窗口，这就是我们所说的大语言模型操作系统（LMOS）。

在近20分钟的演讲中，Karpathy深情讲述了他自15年前开始涉足人工智能领域的点滴感受。他追溯了自己在OpenAI的工作历程，描绘了这个组织如何从最初八个成员在一间公寓里奋斗，发展成现今估值接近千亿美元的行业领导者。然而，正如网民们所强调的，演讲的亮点在于尾声：通过实践项目学习，探索适宜的激励机制，从而促使大脑进入高效的学习循环。

来吧，让我们共同鉴赏这场被网友们盛赞为“充满实质性内容”的演讲。

非常荣幸能受邀来到这里，大家好。

我对黑客马拉松一直抱有深厚的热情，因为它凝聚了无尽的活力与创新精神。看到青年人在此共聚一堂，探索与创造，总让我心生欢喜。我自己也曾多次参与其中，所以今天能与各位交流，我感到十分兴奋。

眼前这座盛大的会场，超乎了我的想象，它充分展现了黑客马拉松的壮观景象。而这种盛况也从侧面印证了过去十五年间人工智能的飞速崛起。

回溯到15年前，我初次涉足人工智能领域，那时的AI还局限于狭小的学术圈子，主要探讨的是数学模型的精微之处。

我们用MNIST数据集中的小数字来训练神经网络，也会运用对比散度来训练受限玻尔兹曼机，那些都是过去的时光。

如今，人工智能已经翻开了崭新的篇章。GPU制造巨头NVIDIA已晋升为美国最具价值的公司之一，成为行业发展的领头羊。我们正身处一个独特且充满生机的时期，这从众多举办的黑客马拉松活动中可见一斑。

在我看来，这一切的推动力在于计算核心的深远变革。我们似乎正在进入一个全新的计算模式，就像1980年代计算机迈入个人电脑时代那样具有颠覆性。

目前，我们不再依赖传统的指令执行中心处理器，而是利用能够处理文本片段的大型语言模型。这些模型，结合上下文窗口和存储机制，塑造了一种创新的计算体系结构，我将其称为大型语言模型操作系统，简称LLM OS。

这是一个全新的编程和学习平台，我们正在深入研究它的潜力和限制，并探索如何有效地将它整合到产品创新中。

几周以前，OpenAI推出了GPT-4的展示，这个展示生动展现了与人工智能互动的潜力。它不单能响应语音命令，还具备视觉识别和绘画等多方面的能力。我极力建议你们观看影片《她》，在片中，主人公与一个被视为操作系统的AI展开深入对话，这部电影的情节与现实生活极其贴近。

电影中的AI常常描绘为拥有情感智慧，但在实际生活中，我们更多地运用这些技术来处理数字环境中的各种挑战。这些数字化的存在不仅能执行任务，还能进行沟通与合作，它们能够模拟 Slack 对话，实现数字基础设施的自动化。尽管物理基础设施的自动化目前仍处于初级阶段，但其潜在的影响绝对不可小觑。

此外，我还想提一部2004年的佳片《我，机器人》，由威尔·史密斯倾情出演。该片构想了一个未来世界，其中机器人广泛地承担各种职责。不过，剧情透露出一个令人深思的转折：人类并未因此过上更美好的生活，反而似乎逐渐受制于机器人。这个设定确实引人入胜。

故事背景设定在2035年，仅仅十年之后的未来。或许那时，我们的生活中将充斥着与我们互动、执行各类任务的机器人，无论是在现实还是虚拟世界。

那么，这样的未来将如何呈现？我们将如何编程来掌控这些机器人？又如何确保它们能准确无误地遵循我们的意愿行事呢？

审视这些要素，你可能会勾勒出一种全面的人工智能图景。这表示你深切意识到，随着技术的不断进步，我们可能在不久的将来的某个时刻面临重大的转变。

我们或许会在虚拟世界和实体世界中见证大规模的自动化。坦率地说，不知道你们的感受如何，但就我个人而言，对于这样的前景有些忧虑。刚才几分钟的讨论，我用了一个图像生成器根据谈话内容创作了一张图，实话说，这幅画并未赢得我的青睐。

我相信我们有能力实现更大的成就，毕竟我们有数千人同心协力。在座的每一位都将踏入AI领域，你们的作为将直接影响这些技术的演进。我们向往的未来图景，是人类与大自然和谐共生，自动化技术悄然运作，不喧宾夺主。

此刻，我想与大家分享一些个人见解，关于如何将项目转化为现实世界中的变革力量。

我感悟到的一点是，有时候，看似微不足道的小项目，就如同小小的雪球，竟然能够逐渐滚动成为巨大的变革力量。

我曾参与过一个小型的魔方色彩识别项目。此外，十三年前，我在YouTube上分享了一系列游戏编程教学视频，试图引导他人踏入游戏编程的世界，我制作了大量的视频游戏。我还开发了一个别具一格的神经进化模拟器。

并非所有努力都能立即引发连锁反应，许多只是创新与实验的尝试。诚然，这三个项目并未给我带来显著的影响。不过，也不能否认它们的价值，它们确实在一定程度上助力了我的成长。

有趣的是，游戏编程教程却意外地产生了滚雪球效应，引领我转向制作了一些关于魔方的热门视频，这点燃了我对教育的热忱。

之后，在斯坦福大学攻读博士期间，我有幸开创并教授了CS231N课程，这是斯坦福大学首开的深度学习核心课程。

之后，我创建了一个YouTube频道，推出了为深度学习和大语言模型制作的“从零到高手”系列，很多人都喜欢这个。

在此基础上，雪球效应继续，我目前非常感兴趣的一个项目是下一步的课程。我将这个课程命名为LLM 101N，目的是教你创建一个讲故事的工具，类似于你可以用来生成故事的ChatGPT。

该课程的理念是带你逐步探索，从基础开始直至构建一个类似于ChatGPT的故事叙述工具。

我深信，亲身体验这个工具的创建过程将既富有洞察力又充满乐趣。就在前几天，我已在GitHub上推出了这个初步的课程，尽管还处在早期阶段，但我对此满心期待。这对我来说就像滚雪球一样，从小到大，不断发展。这一切追溯到13年前我初次涉足小游戏编程的经历。

在OpenAI，我也有幸亲身经历了相似的成长历程。如前所述，我曾是OpenAI的创始人和研究员之一。

时光回溯七年，我在OpenAI任职时，这些公开的照片描绘了我们八个人在Greg的公寓里共同工作的场景。

OpenAI的诞生，目标直指与Google一较高下。Google宛如一只坐拥7000亿美元自由现金流的巨猿，几乎垄断了半壁人工智能研究江山。

这种局势颇为微妙，而我们仅是八名手提笔记本电脑的挑战者。OpenAI内部孕育了众多项目，我们聚集了一批杰出的人才，尽管不少项目未能取得显著突破，但也有一些真正实现了成果。

比如在OpenAI的初创时期，有人专注于打造一个Reddit的聊天机器人。当你看到他们的工作台，不禁会想，我们声称要对抗Google，你却在做Reddit的聊天机器人项目？

让我们着眼于更具雄心的计划，这样初创项目就可能被低估，因为它们早期的状态往往很脆弱。实际上，Reddit聊天机器人是什么呢？本质上，它是一个语言模型，巧合的是，它在Reddit平台上受训。但其实，这样的模型可以利用任何数据集进行训练，并非局限于Reddit。

Transformer架构的应用推动了模型的进步，随后它的应用范围超越了Reddit，涵盖了众多其他网站。

于是乎，我们见证了GPT-1、GPT-2、GPT-3、GPT-4，直到如今备受瞩目的GPT-4o的诞生。这个起初看似微不足道的Reddit聊天机器人，最终演变成变革性的GPT-4o，它重塑了我们的计算观念。你可以与之交谈，其回应之精彩让人赞叹不已。

如今，OpenAI的估价恐怕已逼近惊人的1000亿美元大关，这让人难以置信地见证了一个小小成就如何演变成庞然大物的过程。

因此，我要鼓励你持续推动你的计划，让它们步步累积，或许它们也能成长为意想不到的巨大力量。

我深信Malcolm Gladwell提倡的“一万小时定律”，它强调了不懈的实践与大量努力对成就的重要性。无须焦虑于成败，只需专注于你投入的时间，积累自然会发生。

举个例子，不久前的一个周末，我创建了一个简陋的电影推荐网站awesomemovies.life。那天我只是想看电影，于是便推出了这个项目。

有人在推特上称赞我：“周末就能完成，太厉害了。”但我心里明白，这并没有那么神奇。

他们看不到的是，这已经是我的第20次尝试。每个步骤我都驾轻就熟——从设置Linode服务器到搭建Flask环境，编写JavaScript、CSS和HTML，再到整合它们。我需要抓取网页，计算tf.idf向量，训练SVM模型。

这些工作我都重复了二十遍，手头还有以前项目的代码片段。所以我只是在利用已有的知识和经验进行重组，这就使得我能在短短一个周末内完成。

早些时候，我参与了特斯拉的自动驾驶项目，大约是在七八年前。那时，我被委任为计算机视觉团队的负责人。

加入团队后，我首要的任务之一就是利用PyTorch对计算机视觉深度学习网络训练的代码库进行全面重写。实际上，我几乎是从零开始重建了整个项目，而这个项目后来成为了核心组成部分。

尽管这一举动可能让一些人感到惊讶，但我并不觉得意外。因为在攻读博士学位期间，我花了五年时间从事相关工作，清楚地了解所需的一切。

我知道需要训练集和评估集，需要构建PyTorch中的训练循环，需要配置文件，需要日志存储目录，要集成ResNet，执行检测任务，同时进行回归和分类。

凭借以往的经验，我能预见到每一个步骤，这是经验积累带来的洞察力。

因此，切实投入时间积累你的10,000个小时，这对你的成长至关重要。关键就在这里。

顺便提一下，假如你每天专注六小时，达成这个目标大概需耗时五年。

也就是说，要在一个领域内磨练出专业技能，你可能需要花费类似于攻读博士学位的时间。

我发现激发大脑持续分泌多巴胺十分有益。关键在于洞察自我，理解大脑的运作机制，保持它的活力和创新性。毕竟，大脑本质上是一个寻求奖赏的机制，你需要找到满足这种需求的方法。

那么，如何有效地给予大脑奖励呢？

据我的体验，参与项目并定期公开成果是一种好策略。

首先，项目让你有机会全方位、深入地钻研某个主题。日常上课可能涉及广泛的知识点，而项目则让你按需学习，更加聚焦。

我认为这是一种独特的学习模式，与广义学习相辅相成，至关重要。

原因之一在于，公开项目实则是一种极为有效的策略。当你打算展示作品时，你自然会顾及到每一个可能的观众，包括你的朋友、团队伙伴、家人，甚至是潜在的雇主。这就无形中提升了你对自身工作的标准，激励你付出更多的努力。因为你知道，你的成果将接受他人的评判，低质量的工作可能会让你感到尴尬，而这种外界的压力有时反而是推动进步的动力。同时，当人们关注并赞赏你的项目时，你也会体验到满满的成就感。总的来说，这个过程就像是不断自我挑战的过程。我希望我们能从微小的项目开始，共同努力，共创一个美好的未来。谢谢各位。