Transformer作者Aidan Gomez警告：仅出售模型无法与OpenAI竞争。
编辑日期：2024年08月24日
谷歌的Aidan Gomez是Transformer的作者之一，他对AI领域产生了深远的影响。
现在的Aidan Gomez是Cohere公司的联合创始人兼首席执行官，该公司目前的估值已飙升至55亿美元（此前曾推出Command R系列的开源大型模型）。
在这次与20VC主持人Harry Stebbings的对话中，Aidan Gomez深入讨论了人工智能的发展趋势。
其中的一些话题引起了网友们的关注和讨论，比如：
更多的具体细节，请参阅以下的文字分享~
问：在开始之前，我想问你一个问题，你小时候喜欢玩游戏吗？
艾丹·戈麦斯：我确实非常喜欢游戏，从小我就对科技很感兴趣。
问：也就是说，你绝对不会从一个极其难的第一关开始游戏，让人感觉“这根本完不成，我不想去玩了”。
艾丹·戈麦斯：是的，在机器学习中这被称为“课程学习”。你首先要教导模型做一些非常简单的事情，然后逐渐增加任务的复杂性，基于已有知识逐步构建更复杂的理解。
有趣的是，课程学习在机器学习领域实际上并未取得成功。我们并没有真正实施课程学习的方法，而是将最困难和最简单的材料一并呈现给模型，让其自行处理和理解。
但对人类而言，这种方法非常有效，且是我们学习过程的重要组成部分。看到它在机器学习领域并未取得成功，确实很有趣。
问：你之前提到了直接将所有任务交给模型处理，我想深入讨论这个话题。有人认为只要拥有更多的计算资源，模型性能就能提升。你认为这种说法正确吗？除了计算能力外，是否存在其他因素限制了性能的提高？
艾丹·戈麦斯：确实，如果你给模型增加更多的计算资源，或者扩大模型的规模，它的表现确实会提升。这是提升模型性能最稳妥的方法，但也是最笨拙的方式。
对于资金充裕的人来说，这是一种非常吸引人的策略，且风险极低。你知道情况只会越来越好，只需要扩大模型规模，投入更多资金，购买更强的计算能力即可。我对此深信不疑，只是觉得这样做效率极其低下。
有一种更好的方法。如果我们回顾过去一年半的时间，例如从ChatGPT发布到GPT-4发布这段时间。如果GPT-4真的如其所言拥有1.7万亿个参数，那么它就是一个庞大的混合专家模型（MoE）。
我们现在已经有更优秀的模型超越了这个模型，而且这些模型仅拥有130亿个参数。因此，这种进步的速度，或者说成本迅速下降的程度，简直令人难以置信，甚至有些超乎现实的感觉。
所以是的，你可以通过扩大规模来提升模型的质量，但可能并不应该这样做。
问：这样的进步能持续保持吗？我的意思是，我们是否会继续看到这样规模的进步，还是它最终会遇到瓶颈？
艾丹·戈麦斯：是的，这确实需要指数级的投入。你需要持续不断地翻倍计算能力，才能保持智能上的线性增长。但这种增长可能会持续非常、非常、非常长的时间。
它会逐渐变得更聪明。但你将会遇到经济上的限制。并没有太多人购买了最初的GPT-4，特别是许多企业，因为该模型体量庞大且价格不菲，运行效率也不高，成本昂贵，而其智慧并不足以证明这样的花费是合理的。
因此，市场上存在着巨大的压力，要求模型变得更小巧、更高效。这需要通过数据和算法或方法的创新使模型变得更智能，而不仅仅是依靠扩大规模。
问：在我们当前的世界中，是否存在更小、更高效的垂直专业化模型，这些模型是为特定的应用场景而设计的？或者是否会有一些大型的、全能的模型占据主导地位？又或者这两者都存在？
艾丹·戈麦斯：我们过去几年观察到的一个趋势是，人们倾向于采用一种通用的、智能的模型来进行原型设计。他们不希望使用专门的模型，也不愿意花费时间去对模型进行微调，以使其在他们关注的领域表现卓越。
他们希望获取一个成本高昂的大模型，用来进行原型设计，证明其能够执行任务，随后将其精炼成在一个特定领域表现优异且高效的模型。因此，这样的模式确实浮现了。
因此，我们将会继续生活在一个多种模式共存的世界中，其中一些模式是垂直化和专业化的，而另一些则是完全横向的。
问：比如现在OpenAI已经花费了30亿美元。除非你这样的公司是像微软、Amazon、谷歌或脸书这样的大企业，否则你怎么能在这样的竞争中保持自己的地位呢？
艾丹·戈麦斯：如果你只参与规模化项目的话，那你确实需要成为这些大公司之一，或是它们旗下的子公司。但是，还有很多其他的事情可以做。
如果你不完全依赖于规模化作为唯一的前进方向，如果你相信数据创新或者模型和方法的创新，那么还有许多值得探索的方向。
问：我们可以更深入地讨论一下数据创新以及模型和方法的创新是什么意思吗？
Aidan Gomez：我们在开源领域所见到的几乎所有重大进展都源于数据质量的提升。这包括从互联网获取更高品质的数据、改进网页爬取算法、优化网页解析、抽取关键内容以及增加网络某些部分的权重，因为网络上有大量重复和低质的内容。
通过提取最具价值和知识丰富的部分并加以强调，以及利用生成合成数据的能力，这些方法使我们能够获得大量文本或网页内容，且无需人工参与，因为这些数据是由模型自动生成的。
这些创新，特别是提升数据质量的能力，推动了我们目前所见到的大部分进展。
问：好的，这是关于数据创新，那么模型创新是什么呢？
艾丹·戈麦斯：这涉及到了一些新的强化学习算法。你知道，有很多关于 Q* 的讨论，以及它可能带来的变革。还有关于搜索的思路，比如如何搜索解决方案。
当前的模型状态是，我向你提出一个问题，你的模型就需要立刻给出正确的答案。这对于模型来说是一个极为严苛的要求，对吧？
你不能这样对待人类，你不能给一个人出难题，然后就期待他们立刻给出答案。他们需要时间来思考和处理。
问：他们有时候也需要一些时间来进行头脑风暴。
艾丹·戈麦斯：对，确实需要这样。因此，模型下一步非常明显的发展方向是，我们需要让它们学会思考和解决问题。我们需要让它们经历错误，尝试新事物，即使会失败，也要理解失败的原因，然后重新审视并再次尝试。
目前，模型中并没有包含解决问题的概念。
问：你所说的解决问题，这和推理是同一个概念吗？
艾丹·戈麦斯：是的。
问：为什么推理如此困难？为什么到现在我们还没有掌握推理的概念？
艾丹·戈麦斯：推理本身并不难，难点在于我们在互联网上缺乏足够的训练数据来展示推理的过程。网络上大多只看到推理过程的最终结果。
当你在网上撰写内容时，你呈现的不是你的思考过程，而是直接给出结论或观点。这些结论或观点都是经过深思熟虑、个人经验和广泛讨论后得出的结果。
因此，我们缺少这样的训练数据，而且这些数据并不是免费提供的，你需要自行构建。所以，像Cohere、OpenAI和Anthropic这样的公司正在做的事情就是收集能够展现人类推理过程的数据。
问：说到这，我想了解一下，你怎样看待与OpenAI在用户生成内容方面的竞争呢？
艾丹·戈麦斯：这很困难，尤其是在企业领域，我们面临一个巨大挑战：客户数据的隐私性和机密性。
他们将数据视为知识产权，其中包含了大量机密信息，因此不允许我们使用这些数据来进行训练。我完全理解这种立场。因此，我们将重点转向了合成数据，并在此领域投入了大量的资源。
我们还建立了一支人类标注团队，并与Scale AI合作。尽管这给我们带来了一定的压力，但由于我们并非是一家直接面向消费者的公司，我们必须自己生成所需的数据。
幸运的是，我们的关注范围相对较窄，主要集中在企业需求清晰的领域，比如财务和人力资源功能的自动化。这使我们能够更深入地研究并满足这些特定的需求。
展望未来十年，合成数据市场将会如何演变？这个市场是否会由少数几家供应商主导？从当前的情况来看，大型语言模型的API市场主要由合成数据推动。许多人使用成本较高的大型模型来生成数据，目的是为了优化那些更小且更高效化的模型。
这种模式的可持续性尚未确定，但我相信随着新任务、新问题和数据需求的持续出现，无论这些需求来自于模型还是人类，我们都必须适应并满足它们。
问：那么合成数据市场的形态会是如何？它是否会由两到三家主要供应商主导？
Aidan Gomez：我了解到当前的大模型API市场主要是以合成数据为主导。大多数人都在使用这些大型且昂贵的模型来生成数据，随后利用这些数据对更小型、更高效性的模型进行微调。
因此，他们基本上是在精炼更大规模的模型。我不确定这种模式作为市场是否能持续下去。但我确实相信，总会存在新的任务、新问题或是对新数据的需求，无论这些数据是源自模型还是人类，我们都得设法满足这些需求。
问：有件事让我感到有些忧虑，或者说是让我犹豫不决。您看到了OpenAI在参与价格竞争，同时也看到了像Meta这样的公司免费发布模型，但并没有明确阐述开源和开放生态系统的价值。
我们是否正见证着这些模型价值的实际下滑？这是否意味着价格竞相降低，甚至是趋向于零的竞争？
艾丹·戈麦斯：如果你仅仅出售模型，那么在未来一段时间内，这将会是一个非常艰难的市场竞技。这不会是一个小众市场。
问：会有一些人只卖模型，而有些人则会卖模型以及其它东西。
艾丹·戈麦斯：我不打算点名具体公司，但以Cohere为例，目前他们只销售模型。我们提供了一个API接口，通过这个接口你可以访问我们的模型。
这种情况即将迅速改变。产品结构也将迎来调整，我们会在当前产品的基础上加入新的元素。如果你只销售模型，可能会面临很大的挑战，因为这将演变成一项零利润的生意，价格竞争过于激烈了。现在有许多人都是免费提供模型的。
尽管如此，这仍将是一笔大生意，市场需求正在快速增长。但至少在目前阶段，利润将非常微薄。
这就是为什么在应用层面上有着诸多令人兴奋的发展。市场上的讨论方向是正确的，即真正的价值产生于芯片层之下。起初，大家在芯片上投入巨资来建立这些模型，随后在应用层面看到了价值的实际体现。例如，像ChatGPT这样的应用通过向用户收取每月20美元的费用来实现其价值。
这似乎是目前产生价值的地方。从长远来看，模型层是一项具有吸引力的业务，但短期内，按照现状，它是一个利润极低且商品化的业务。
问：现在很多人觉得初创企业进入人工智能模型领域已经太迟。但是，随着成本障碍的下降，这是否反而让初创企业更容易进入这个领域呢？
艾丹·戈麦斯：确实，每年构建去年的模型成本都会下降 10 倍甚至 100 倍。得益于更高质量的数据和更加低廉的计算资源，进入上一代模型的门槛已经降低了。
但问题在于，没有人真正关心那些过时的模型。与今年的新型号相比，去年的型号几乎一文不值。每一次的技术革新都迅速使得旧技术显得老旧，而人工智能开发的成本正在急剧增加。
开发版本1可能只需要1,000万美元，但若要使版本2有所改进，则可能需要额外投入100万到200万美元。而现在，开发一个新的模型可能需要30亿美元，甚至更新它可能需要50亿美元。
这种增长已不再呈现线性，而是呈现出数量级的变化。我不能确定新一代技术的研发是否总是比前一代更经济。以芯片和其他复杂技术为例，尽管研发成本在持续上升，但我们仍旧坚持进行研发工作，因为这是值得的。
问：所以你的意思是，人们其实并不在乎那些改进是否能持续生效吗？
艾丹·戈麦斯：没错。我的意思是，改进这些模型正变得越来越困难且阻力重重。还有一个有趣的现象，那就是随着模型逐渐变得更智能，普通人——也包括我在内——辨别它们之间差异的能力却在下降。
由于我们在医学、数学、物理学等领域的专业知识有限，我们无法真正感受到这些变化。模型已经在基础知识上表现得非常出色，这正是我们目前所能达到的知识水平。
因此，当我们与这些模型互动时，很难感觉到不同代际模型之间的差异。但实际上，在某些特定的能力或纯粹的智能方面，这些模型已经有了巨大的进步。
关于是否应该继续投入大量资金来推动技术进步，我的答案是肯定的。虽然这些技术可能对普通消费者来说并不那么重要，但它们对某些专业领域内的研究者来说却是极具价值的。
我们通过提供这些工具来帮助他们取得更大的进步。这就像是问我们是否应该继续投资于下一代的技术，例如为太空船开发新型材料以提升其进入轨道的效率。
虽然这可能对大多数人来说并不重要，但对于有需求的人而言却非常关键，且市场上存在这种需求，这正是推动技术不断进步的动力。
问：我们再次回到成本的问题上。很明显，现在的成本很高并且将来还会持续增加。你之前提到了“有效的附属公司”这个概念。
现在有很多公司正在进行收购或合并，同时，云服务作为持续增长的驱动力也备受瞩目。您认为在未来三到五年的时间里，大部分的小型模型供应商会被大型云服务提供商收购吗？
艾丹·戈麦斯：我认为这个领域确实将经历一轮整合，而且这一过程已经开始了。许多模型开发者已经被像亚马逊这样的大型云服务提供商吸纳。
我相信将来这种情形会更加普遍。但需要注意的是，作为云服务供应商的附属机构可能存在风险，这对业务发展来说并不是一个好兆头。
一般而言，为了筹集资金，你必须说服一些只关注资本回报率的投资者。但是，当你从云服务提供商那里获得资金时，情况就大不相同了。
问：那么你认为在过去几年里，风险投资者从模型投资中赚钱了吗？
Aidan Gomez：对于Cohere的投资者而言，他们肯定能够赚取大量的钱。
我为我们所拥有的信任感到高兴。我们的首位投资者Radical Ventures的Jordan Jacobs至今仍留在我们的董事会中，并积极参与公司建设，我甚至可以说他是Cohere的第四位共同创始人。
问：最近有一些媒体报道说公司的估值略高于5.5亿美元，这对你来说会造成压力吗？
艾丹·戈麦斯：这确实带来了一定的压力，但同时也是一种积极的压力。最终，每家公司都必须面对收入倍数的问题，并最终与公开市场上的倍数相接近。
我认为我们的实际状况比许多同业要好得多。因为我们的估值并未像其他一些公司那样疯狂上涨。当然，我们仍需持续壮大发展，但我对市场抱有充分信心。
目前，由于价格竞争和免费模式的存在，利润率面临一定压力，但这种情况会随着时间推移而发生变化。同时，Cohere的产品组合也将持续进化和发展。
问：如果你现在是20VC的投资人，你认为哪里有机会？
Aidan Gomez：产品领域和应用领域依旧充满吸引力。这些技术将会催生出新产品，并且彻底变革社交媒体。人们乐于与这些模型互动，所花费的时间量十分惊人。
问：您认为这是好事吗？我不希望我的孩子生活在一个他们与生成式系统交流、模仿人类行为的世界里。我不希望他们从与一个模型的对话中得到满足感。
艾丹·戈麦斯：你可能错了。你也许希望自己的孩子能与一位极具同情心、非常聪明、知识丰富且安全的智能体进行交流。
它可以教会他们知识，与他们一同玩耍，不会对他们发脾气或生气，也不会欺负他们，更不会让他们感到不安全。
当然，没有任何事物能够取代人类。没有什么可以取代人类的世界，我们不会突然全部开始与聊天机器人约会，导致人类出生率下降。
我认为这种情况不会发生，对吧？我想要个孩子，但我无法和一个聊天机器人生育孩子。
人类伴侣对我的价值远超过任何ChatBot。就像在工作场所一样，我认为我们无法完全替代人类。人工智能会增强人类的能力，使人们更加高效，但这并不意味着就业岗位会减少。
你无法取代人类。就像销售一样，如果我被一个机器人推销，我不会购买的。就是这么简单，我不想和机器对话。
当然，一些简单的采购或许可以由机器人处理，但对于那些对我和我的公司来说非常重要的采购，我还是希望与一个负责任的真人对接。
如果遇到问题，我需要有一个有权进行干预的人。因此，无论是从消费者的角度来看，我们会否过度沉迷于与聊天机器人的对话，还是从工作的角度来看，工作机会的减少可能导致的大规模失业，我都看不出这些情况会发生。
问：我同意你的看法，但我确实担心像客户服务团队这样的低阶职位可能会有大量的人失业，比如可能会有70%到80%的员工失去工作，这肯定会在一定程度上出现职位被取代的情况。
艾丹·戈麦斯：当然会有一些局部的替代出现。但整体来说，这将带来增长而非替代。某些角色确实更容易受到技术的影响，客户服务代表就是其中之一。
但最终，还是需要有人来做这些工作，只不过需求的人数可能比现在少。但客户服务是一个很艰难的岗位，它在心理上是非常耗能的。如果你曾经听过那些通话记录，你就会明白这是一份情感上极度消耗的工作。
问：是的，这有点类似于社交媒体平台上的内容审查，而在很多方面，那也是一种心理创伤。
艾丹·戈麦斯说：每天你醒来去上班，整天被顾客责骂还要不断道歉。因此，或许我们可以让模型来处理这些困难的对话，而让人类去解决那些真正需要人性触觉的客户支持问题。例如，帮助解决一个具体问题，而不是处理情绪化的抱怨，并且有机会真正改善客户的生活。
问：您认为目前AI还无法实现什么，但未来三年内会变成现实并引发重大变革？
艾丹·戈麦斯：人工智能的下一个重大突破将会在机器人领域实现。虽然成本需要进一步降低，但事实上成本已经在逐步下降了。接下来，我们还需要更加强大的模型。
问：您为何认为机器人领域将会有重大突破？
艾丹·戈麦斯：因为现在已经克服了许多障碍。以前，机器人的推理和规划系统非常脆弱，你必须为每个任务单独编程，而且这些程序会被硬编码以适应特定的环境。
因此，你必须拥有一个布局完全相同的厨房，大小一致，没有任何差异，这显得非常脆弱。但在研究领域，通过运用基础模型及语言模型，人们实际上已经研发出更优秀的规划工具，这些工具能更自然地对世界进行推理。
因此，已经有许多公司在这一领域进行研究，也许不久就能有人解开通用人形机器人的难题，使其成本降低且更为稳定。
这将会是一个巨大的转变。我不确定这会在未来五年内发生，还是十年内发生，但可以肯定的是，它一定会在这段时间框架内出现。
问：今天和你聊天真的很有趣。我想玩个快问快答的游戏，我抛出一个话题，你就立刻分享你的看法如何？
在过去的12个月中，你对哪方面的事情有了最大的观念转变？
艾丹·戈麦斯：数据的重要性。我过去严重低估了其价值。我曾以为关键全在于扩大规模，但在Cohere内部发生的许多事情彻底改变了我对构建这类技术时的关键要素的理解。
数据质量极为关键。在数十亿个数据点中，哪怕只有一个错误的数据实例，都可能对模型产生重大影响。这种情况显得有些不现实，但模型对于数据的敏感程度之高，往往被大家低估。
问：到目前为止，你们公司总共筹集了多少资金？
艾丹·戈麦斯：大约 10 亿美元。
问：哪一轮的融资最容易？
艾丹·戈麦斯：可能是第一轮。那时候就像是简单的交谈，他们说：“给你几百万美元，去试试看。”所以我觉得那一轮融资相当轻松。
问：在筹集5亿美元的过程中，肯定会有更多的复杂性。当你看到5亿美元到账时，是否会觉得有些难以置信？
Aidan Gomez：确实如此。比如每年2500万美元，虽然具体的数目我不确定，但这确实是一笔巨款。Cohere让我对经济和金钱有了新的认识，现在5亿美元对我来说已经不是什么天文数字了。
问：这让你感到担心吗？
艾丹·戈麦斯：不，这是我们策略的一部分。如果我们可以接受那样的条件，我们是可以接受的。但我们的策略是保持独立，自行发展。
问：如果你可以选择任何一位世界级的人物加入董事会，你会选择谁？
Aidan Gomez：Mike Volpi 和 Jordan Jacobs，他们现在都是我的董事会成员。
问：您认为Mike为什么能成为一位出色的董事会成员呢？
Aidan Gomez：Mike 非常优秀，他好像经历过了所有的事情。我几乎可以向他询问任何问题，因为他都有相关的经验，并能够提供宝贵的建议。
问：杰夫·欣顿和杨·乐昆，你更倾向于谁？
艾丹·戈麦斯：肯定是杰夫，我和他私人的关系更亲近。
问：您觉得Yann太乐观了吗？
艾丹·戈麦斯：不，我更同意扬对人工智能的观点。杰夫更倾向于末日预言家的角度，而扬则更为乐观。尽管现在扬有点像是埃隆·马斯克的“回应王”，但杰夫确实是一个聪明且有深度思考的人。
问：最后一个问题，你认为有哪些重要的问题是你从未被问过的，但应该被提及的？
艾丹·戈麦斯：人们经常问我关于技术的未来及其潜在风险，但却很少谈论技术所带来的机遇。
问：那么，你希望技术未来的方向是什么样的？
艾丹·戈麦斯：我认为我们应该运用技术来提高全球的生产力，增加供给并让物品更加丰富且价格更低。提高生产力可能听上去不那么吸引人，但如果我们能把5%的生产力提升应用到国家医疗服务体系（NHS）上的话。
这将会对国家的状况、预算以及数百万人的生活产生重大影响。因此，我认为我们的首要任务应该是提升生产力和促进增长。
视频链接：
本文出自微信公众号：量子位（ID：QbitAI），作者：叨乐
