变压器作者警告：仅出售模型无法与OpenAI竞争！
编辑日期：2024年08月24日
预言指出，未来五年内机器人领域将实现重大突破！
Transformer的年轻创作者之一Aidan Gomez，在最新访谈中表示：
单纯销售模型实际上并不盈利！
作为对AI领域产生深远影响的Transformer创造者之一，Google相关的Aidan Gomez，
如今是Cohere这家估值已达55亿美元公司（曾发布Command R系列开源大型模型）的共同创办人兼首席执行官。
在这次与20VC主持人Harry Stebbings的对话中，Aidan Gomez详细讨论了AI的发展方向。
他提及的一些观点引起了网友们的注意和热议，比如：
以下是文字内容的详细分享：
Q： 在正式开始前，我想问你一个问题，你小时候喜欢玩游戏吗？
Aidan Gomez： 我确实喜欢游戏，我对科技充满热情从小就开始了。
Q： 也就是说，你绝不会选择那种从极其艰难的第一关开始的游戏，让玩家觉得“太难了，不想玩了”。
Aidan Gomez： 没错，这在机器学习中称为“课程学习”。首先教会模型处理非常简单的问题，然后逐步增加难度，基于已有知识进行构建。
有趣的是，“课程学习”在机器学习中实际上行不通。我们并非真正实行课程学习，而是将最难和最简单的数据一起呈现给模型，让其自行理解。
但对于人类而言，这种方式非常有效，是我们学习的关键部分之一。很有趣的是，这种方法在机器学习领域并未获得成功。
Q： 刚才你提到直接将所有内容提供给模型，我想深入探讨这个问题。有人认为只要拥有更多的计算能力，性能自然会提高。你认为这个观点正确吗？是否还有其他因素限制着性能的提升？
Aidan Gomez：确实如此，如果你为模型投入更多的计算资源或扩大模型规模，其表现确实会有所提升。这是提升模型效能最稳妥但也最直接粗暴的方法。对于财力充裕的人而言，这是一种极具吸引力且风险极低的策略。因为你清楚这样做会使模型表现更好——只需要扩大模型规模，投入更多资金，购置更强的计算力。我对此深信不疑，只是认为这种方法效率过低。
实际上有更好的途径。回顾过去一年半的发展，从ChatGPT问世到GPT-4的发布这段时间。如果GPT-4真的如他们所说拥有1.7万亿个参数，那它就是一个庞大的混合专家模型（MoE）。
然而，我们现在已有优于该模型的版本，它们仅有130亿个参数。这种进展的速度以及成本下降的程度简直令人难以置信，甚至有些出乎意料。
因此，虽然可以通过扩大规模来提升模型质量，但这或许并非最佳选择。
问：这样的进步能否持续？我的意思是，我们是否会继续见证模型规模上的持续进步，还是最终会遇到瓶颈？
Aidan Gomez：确实，这需要呈指数级的投资。你需要不断翻倍计算能力以保持智力的线性增长。不过这种增长可能会持续非常、非常、非常长的一段时间。
模型会变得越来越聪明。但你也会遇到经济上的限制。最初购买GPT-4的人并不多，尤其是很多企业由于其体积庞大、价格昂贵、运行效率低下、成本高昂，并且其智能程度不足以证明这些成本合理，因此并未采用。
因此，市场上存在巨大的压力，要求模型变得更小、更高效，通过优化数据和算法来提升模型的智能，而不只是依赖于规模的扩张。
问：在未来的世界里，是否会存在专门针对特定用途的小型高效垂直模型？还是会出现几个占据主导地位的大型全能模型？或者两种情况都会出现？
Aidan Gomez：近几年来我们观察到的一个趋势是，人们倾向于使用一个通用且智能的模型来进行原型设计。他们不愿意仅使用特定的模型进行原型设计，也不愿意花费时间去微调模型以使其在特定任务上表现出色。
他们追求的是首先掌握一个成本高昂的大模型，用于原型设计以证实其可行性，随后精炼成在特定领域表现卓越且高效的模型。这种趋势确实已经显现。因此，我们会持续处于一个多模型并存的时代，其中一些模型专注于特定领域，而另一些则具有全面的横向能力。
问：举例来说，OpenAI投入了30亿美元。除非你是一家如微软、亚马逊、谷歌或Facebook这样的巨头企业，否则你怎么可能在这样的竞争环境中立足？
艾丹·戈麦斯（Aidan Gomez）：如果你只关注大规模项目，那你确实需要成为这些大公司之一，或是它们的附属企业。然而，还有许多其他的途径可以探索。
如果你不完全依赖于规模扩张作为唯一的发展道路，而是相信数据创新或模型及方法的革新，那么仍然有许多值得探索的机会。
问：你能详细解释一下数据创新和模型及方法创新具体指什么吗？
艾丹·戈麦斯（Aidan Gomez）：几乎我们在开源领域见到的所有重要进步都源于数据的改进。例如，通过获取互联网上更高质量的数据、改进网页抓取算法、解析网页内容、提取关键信息、调整互联网各部分内容的比重——因为互联网上有大量重复和无用的信息。
通过提取最有价值的知识内容并对模型进行强调训练，以及生成合成数据的能力——这些数据无需人工干预即可由模型自动生成。
这些创新，尤其是提高数据质量的能力，推动了我们当前所见的大部分进展。
问：好的，这是关于数据创新的部分。那模型创新又是指什么呢？
艾丹·戈麦斯（Aidan Gomez）：这包括新型的强化学习算法。有很多关于Q*的讨论及其可能带来的变革。此外，还包括有关解决方案搜索的想法，例如如何寻找最佳方案。
当前模型的工作方式是你向我提出一个问题，我的模型得立刻给出正确的答案。这对模型而言是一个极为严苛的标准，对吧？我们不能这样对待人——不能给某人出个难题然后期待他们马上给出答案。人们需要时间来思考和处理问题。
Q：有时候他们还需要一点时间来进行头脑风暴。
Aidan Gomez：没错，确实如此。因此，模型下一步很明显的进化方向是，我们需要让它们有能力去思考并解决问题。我们需要让它们有机会犯错，尝试不同的方法，经历失败，理解失败的原因，然后再重新尝试。
现在，模型中并没有真正解决复杂问题的概念。
Q：你所说的解决问题是不是就等同于推理能力？
Aidan Gomez：可以这么说。
Q：那么为什么推理会这么难？为什么我们到现在还没有实现推理的能力？
Aidan Gomez：推理本身并不难，难点在于我们在线上找不到足够多关于推理过程的训练数据。网上的内容大多只是推理的结果，而非推理的过程。
当你在网络上分享观点时，你通常只会展示结论，而不是背后的思考过程。这些结论都是经过深思熟虑、经验积累和讨论之后才得出的。
因此，我们缺少这样的训练数据，而且这些数据并不是现成可用的，需要我们自己创造。这就是为什么像Cohere、OpenAI和Anthropic这样的公司正在努力收集展示人类推理过程的数据。
Q：说到这儿，我很想知道你如何看待与OpenAI在用户生成内容方面的竞争？
Aidan Gomez：这很具挑战性，尤其是在商业领域，我们面临的一大难题是客户数据的隐私性和保密性。
客户往往将数据视为知识产权，里面包含了大量敏感信息，因此不允许我们用这些数据来进行训练。我能理解这种立场。为此，我们将注意力转向了合成数据，并在这个领域投入了大量的资源。
我们还建立了一支人类标注团队，并与Scale AI展开了合作。虽然这对我们构成了压力，由于我们并非直接面向消费者的企业，因此需要自己生产数据。幸运的是，我们的关注点相对集中，在那些企业需求清晰的领域，例如自动化的财务及人力资源功能上，这让我们能够深入研究并满足这些特定的需求。
对于未来的十年，合成数据市场将会如何演变？是否会由少数几家公司主导？目前来看，大型语言模型API市场主要依赖于合成数据，人们通过使用成本高昂的大规模模型来生成数据，进而优化那些更小、更高效模型。
这种模式能否持续还有待观察，但我确信随着新任务、新问题以及新数据需求的不断出现——不论是源于模型本身还是人类用户——我们都必须适应并满足这些需求。
问： 合成数据市场的未来形态将是怎样的？它是否会由两三家供应商垄断？
Aidan Gomez： 据我了解，当前的大模型API市场主要是基于合成数据。大多数人都在使用这些大型且昂贵的模型来生成数据，然后用这些数据进一步微调那些更小、更高效的模型。
这样做的实质是提炼大规模模型。我不确定这种模式是否能够在市场上持续下去。但我确实认为，总有新的任务、新的问题或者新的数据需求会出现，无论是模型产生的还是人类产生的，我们都必须去应对和满足这些需求。
问： 有一点让我感到不安，或者说有些犹豫。我们看到OpenAI在进行价格战，同时像Meta这样的公司免费发布模型，却没有明确说明开源和开放生态系统的价值。
这是否意味着这些模型的实际价值正在下降？是否正进入一个价格不断下降甚至趋近于零的竞赛？
Aidan Gomez： 如果仅仅出售模型的话，在未来一段时间内，这将是一场非常艰难的竞争。这不会是一个容易占领的市场。
问： 有些人可能只销售模型，而另一些人则会销售模型加上其他服务。
艾丹·戈麦斯：我不打算点名具体公司，但以Cohere为例，目前我们只销售模型。我们提供了一个API接口，客户可以通过它来访问我们的模型。不过这种情况即将发生变化，我们的产品组合即将调整，并将在现有基础上增添新产品。如果仅仅售卖模型，那将面临巨大的挑战，因为这将成为一个几乎没有利润的行业，价格竞争极为激烈，甚至有许多人免费提供模型。
即便如此，这项业务依然规模庞大，市场需求的增长速度惊人。但在现阶段，利润率将极其微薄。
这也是为什么大家对应用层面感到兴奋的原因所在。市场上的讨论是正确的，指出真正的价值正在芯片层之下产生。最初，大家都投入巨资在芯片上构建这些模型，而现在，在应用层面看到了价值的体现，例如ChatGPT就采取了向用户收费的模式，每月费用为20美元。
这似乎正是当前价值创造之处。虽然长远来看，模型层面仍是一个有吸引力的业务，但从短期看，根据现状，它是一个利润率极低且高度商品化的行业。
问：现在许多人认为对于初创公司而言，进入人工智能模型领域已经太晚。但是，随着成本壁垒的降低，这是否反而为初创公司提供了更好的机会？
艾丹·戈麦斯：实际上，构建去年模型的成本每年都会下降10倍乃至100倍。更高质量的数据和更便宜的计算资源降低了进入上一代模型的门槛。
但问题在于，人们并不真正在意那些已经过时的模型。与今年的最新模型相比，去年的模型几乎毫无价值。每次的技术进步都迅速让旧技术变得过时，而人工智能开发的成本正在急剧攀升。
开发第一个版本可能只需要1000万美元，但为了让第二个版本实现轻微改进，可能又得额外投入100万到200万美元。如今，开发一个新的模型可能需要30亿美元，而更新它甚至可能需要50亿美元。
这种成长已不再呈现线性趋势，而是以数量级跃升。我并不能确信新一代技术的研发总是比前一代更为经济。以芯片及其它复杂技术为例，即便研发成本在攀升，我们仍旧持续投入研发工作，因为这样的投入是值得的。
Q： 你的意思是人们实际上并不在乎这些改进是否持续有效吗？
Aidan Gomez： 没错。我的意思是，改进这些模型变得越来越难，面临的挑战也在加大。还有一个有趣的现象是，随着模型变得更加智能，普通人（包括我自己）辨别它们之间差别的能力却在减弱。
由于我们在医学、数学、物理学等领域的专业知识有限，难以真正感受到这些变化。模型已经在基础学科上表现出色，而这正是我们所能达到的知识层面。
因此，当我们与它们互动时，很难察觉到不同代际模型间的差异。但实际上，这些模型在某些特定能力和纯粹智能方面取得了显著进步。
至于是否值得继续大规模投资推动技术发展，我认为答案是肯定的。即便对普通消费者而言，这些技术可能不那么重要，但对某些专业领域的研究者来说却是极其有价值的。
我们通过提供这些工具帮助他们在研究中取得更多进展。这就像是询问我们是否应该继续投资下一代技术，例如研发新材料来提高航天器进入轨道的效率。
虽然这可能对大多数人来说意义不大，但对于需要它的人来说至关重要，并且存在市场需求，这是推动技术不断进步的动力所在。
Q： 我们再次回到成本的话题。显然，成本高昂并且预计未来还会持续上涨。你之前提到了“高效附属机构”的概念。
当前许多公司被收购或合并，而云服务作为持续增长的动力受到广泛关注。你认为未来三至五年内，多数小型模型供应商会被大型云服务提供商收购吗？
Aidan Gomez: 我认为行业确实正在经历整合，这一过程已经开始。许多模型开发者已被像Amazon这样的大型云服务商吸收。我相信这种趋势将会持续增加。但是，成为云服务商的一部分可能带来风险，这对业务发展并非最佳选择。
通常，为了筹集资金，你需要向只关注投资回报的投资者证明自己。然而，从云服务商那里获取资金则完全不同。
问：您认为在过去几年里，风险投资者通过投资模型获得了回报吗？
Aidan Gomez: 对于投资Cohere的人来说，他们确实会获得丰厚的回报。
我很高兴能够回馈那些信任我们的人。我们的首位投资人，来自Radical Ventures的Jordan Jacobs至今仍是我们董事会的一员，并积极参与公司的建设。我甚至把他视为Cohere的第四位联合创始人。
问：最近有报道说公司的估值略高于5.5亿美元，这会给您带来压力吗？
Aidan Gomez: 这确实带来了压力，但也是一种积极的压力。最终，所有公司都必须面对收入倍数的问题，并逐渐与公开市场的倍数相匹配。
实际上，我们的处境比许多同行都要好。因为我们的估值没有像其他一些公司那样疯狂攀升。当然，我们还需要不断发展，但我对市场有信心。
目前，由于价格竞争和免费模型的影响，利润空间受到了一定压力，但这种情况会随时间而改变。同时，Cohere的产品线也将持续进化和发展。
问：如果现在你是20VC的投资人，您认为有哪些机会？
Aidan Gomez: 产品领域和应用领域依然充满吸引力。这些技术将催生新产品，并改变社交媒体。人们乐于与这些模型互动，其使用时间令人惊讶。
问：您觉得这是件好事吗？我不希望我的孩子生活在一个他们与生成式系统交流、模仿人类行为的世界里。我不希望他们从与一个模型的对话中获得满足感。 Aidan Gomez：您可能误解了。相反，您或许应该希望您的孩子能够与一个极具同情心、非常聪明、知识丰富且绝对安全的智能体交流。
这样的智能体可以教导他们新知识，与他们一同玩耍，而且它永远不会对他们发脾气，不会对他们生气，不会欺凌他们，也不会让他们感到不安。
当然，没有任何事物能够取代人类。我们不会突然全部开始与聊天机器人约会，导致人类出生率下降的情况出现。
我认为这种情况不会发生，对吧？我想要一个孩子，而我无法与一个聊天机器人共同生育孩子。
人类伴侣对我来说远比任何聊天机器人珍贵得多。就像在职场中，我不认为我们能够完全取代人类。人工智能将增强人类的能力，并提高我们的效率，但这并不意味着工作岗位会减少。
您无法取代人类。以销售为例，如果是由一个机器人向我推销，我不会购买。就是这么简单，我不想与机器对话。
当然，一些简单的交易可以由机器人处理，但对于那些对我和我的公司至关重要的重大购买决策，我希望对方是负责任的真实人物。
如果出现问题，我需要有人有权介入处理。因此，无论是从消费者的角度考虑是否会沉迷于与聊天机器人的对话，还是从工作的角度担忧就业岗位会消失导致大规模失业，我都看不到这些情况会发生。
问：我同意您的观点，但我确实担心低端岗位，例如客户服务团队可能会失去70%到80%的工作机会，肯定会有局部的替代现象。 Aidan Gomez：确实会出现局部的替代。但从整体上看，这将是增长而非替代。某些职位确实容易受到技术影响，客户服务就是一个例子。
但最终，仍需有人承担这类工作，只不过需求的人数可能会比现在少。客户服务是个充满挑战的角色，它在心理上极具消耗性。如果你听过那些通话记录，就知道这是一项情感上极其耗竭的工作。问：确实如此，这有些类似于社交媒体平台上进行的内容审核工作，在很多方面这也是一种心理上的考验。
Aidan Gomez：每天醒来去工作，整天被人责骂，还得不断道歉。因此，或许我们可以让模型来处理这些对话，而让人类专注于那些真正需要人类协助的客服问题，例如解决某个问题，而不是处理情绪化的抱怨，而是有机会让这个人的生活变得更好。
问：您认为目前AI还做不到什么，但在未来三年内会成为现实并引发巨大变革？
Aidan Gomez：AI的下一个重大突破将在机器人领域。虽然成本需要进一步降低，但成本已经在逐步下降。接下来我们需要的是更加强大的模型。
问：为什么您认为机器人领域会出现重大突破？
Aidan Gomez：因为许多障碍已经被克服了。以前，机器人的推理器和规划器十分脆弱，你需要为每项任务编程，并且它们被硬编码适应特定环境。
这意味着你必须有一个布局完全相同的厨房，大小一致，没有任何差异，这非常不稳固。但在研究领域，通过使用基础模型、语言模型，人们实际上开发出了更优秀的规划者，它们能更自然地推断世界。
因此，已经有许多公司在此领域进行研究，可能很快就会有人攻克通用人形机器人的难题，使其价格更加亲民且更为稳定。
这将会是一个巨大的变革。虽然我不确定这会在未来五到十年内实现，但我相信它肯定会在这一时间段内到来。
问：今天和你聊天真的很愉快。我想来个快问快答环节，我提出一个观点，你立即分享你的看法。在过去的一年里，你对什么事情的看法发生了最大改变？
Aidan Gomez：我认为是关于数据的重要性。我之前严重低估了它的价值。我一直以为关键是规模化，但是我们团队在Cohere经历的事情彻底改变了我对构建这项技术的关键要素的认识。
数据的质量至关重要。一个错误的数据样本就能对整个由数十亿数据点构成的模型产生重大影响，这一点非常出乎意料。模型对数据的敏感度极高，这一点被大多数人低估了。
问：截至目前，你们公司总共筹集了多少资金？
Aidan Gomez：大约10亿美元。
问：哪一轮融资最顺利？
Aidan Gomez：可能要数第一轮。那时候就像是简单的交谈，他们说：“给你几百万美元，去试试看。”因此我觉得那轮融资相当顺利。
问：筹集5亿美元时，过程肯定更加复杂。当你看到5亿美元进账时，是否觉得有些不可思议？
Aidan Gomez：确实有一点。比如说每年2500万美元，虽然具体的数字我不太确定，但这确实是一大笔钱。Cohere改变了我对经济和金钱的认知，现在5亿美元对我来说已经不是什么天文数字了。
问：这让你感到担忧吗？
Aidan Gomez：不会，这是我们策略的一部分。如果愿意接受相应的条款，我们可以接受。不过我们的策略是保持独立，自主发展。
问：如果你可以选择任何世界级的人物加入董事会，你会选择谁？
Aidan Gomez：我会选择Mike Volpi和Jordan Jacobs，他们现在已经是我的董事会成员。
问：为什么你觉得Mike是一位出色的董事会成员？
Aidan Gomez：Mike非常优秀，他好像什么都经历过。我几乎可以问他任何问题，他都能提供宝贵的建议，因为他有丰富的经验。
问：Jeff Hinton和Yann LeCun，你会更倾向于选择谁？
Aidan Gomez：肯定是Jeff，我和他私交更深。
问：你认为Yann太过乐观了吗？
Aidan Gomez：不是的，我同意Yann对于人工智能的观点。Jeff更倾向于谈论末日预言，而Yann则更为乐观。尽管现在Yann有点像是Elon Musk的回音壁，但Jeff的确是一个非常聪明且有见地的人。
问：最后一个问题，你认为应该被提出但实际上从未被问及的问题是什么？
Aidan Gomez：人们经常问我关于技术未来的风险，却很少谈及技术所带来的机遇。
问：那么你希望技术的未来发展如何？
Aidan Gomez：我认为我们应该运用技术来提高全球生产力，增加供给并让物品变得更加丰富和便宜。虽然提高生产力听起来可能不够吸引人，但如果能把生产力提升哪怕只有5%，应用到比如国民健康服务（NHS）上，都将对国家状况、预算以及数百万人的生活产生深远的影响。因此，我认为首要任务应该是推动生产力的增长。
视频链接：https://www.youtube.com/watch?v=FUGosOgiTeI
2021年谷歌I/O大会亮点回顾
悬崖跳跃行为减少十分之九
这个思路源于线性注意力机制的一个“悖论”点。
从技术优化到团队协作，内容全面。
ChatGPT对此进行了评价。
