港大马毅表示：大模型缺乏长期理论支持，犹如盲人摸象；众专家共论AI未来方向。
编辑日期：2024年07月24日
标题：智能体系需实现“反馈闭环”
西风 来自 凹非寺
在2024年国际基础科学大会的“基础科学与人工智能论坛”上，联想集团首席技术官、欧洲科学院外籍院士芮勇向在场的求真书院及丘成桐少年班学子发问：“若连此问题不解，你们或许不应在此！”全场气氛瞬间紧绷。
然而，他的问题竟是：13.11与13.8，何者更大？这一问，似乎是要考验谁会忽略这显而易见的答案。
众人皆知此梗，但此次并非调侃模型的无知。数位AI领域的专家深入探讨了模型的“幻觉”等系列问题，从而阐述了他们对“人工智能未来路径”的见解。
归纳而言，他们的观点涵盖以下几点：
……
香港大学数据学院院长、香港大学计算机系系主任马毅，在讨论中对当前主流的人工智能研究提出了质疑：
尽管人工智能领域积累了丰富的经验，但有些现象我们尚无法解释。此时，正是迫切需要理论支撑的关键时刻。近十多年来，学术研究的进展相对有限，这可能是因为产业发展和技术革新过快，扰乱了学术研究的自然节奏。
让我们细听专家们的精辟论述。
会上，香港大学数据学院院长、香港大学计算机系系主任马毅，以“重归理论根基，探索智能本源”为主题进行了主题演讲，其观点与圆桌讨论中的议题不谋而合。
马毅教授的演讲聚焦于“回归理论基石，探求智能真谛”。他追溯了人工智能的发展脉络，同时分享了自己对当前AI领域的见解。
教授首先探讨了智能与生命的演化关系，认为生命是智能的载体，其进化正是智能机制运作的体现。世界并非混沌无序，而是蕴含规律，生命在进化中逐渐掌握世界的可预测性知识。
这与“物竞天择，适者生存”的法则相呼应，类似现代强化学习原理，智能通过反馈不断优化。从低级生物到人类，生命不断提升智能水平，而高智能生命往往需更长时间向父母学习，表明学习能力与智能层次成正比。
个体学习有限，因此人类创造了语言，将个体智能转化为集体智慧，实现了质的飞跃。这一转变不仅限于经验学习，更催生了抽象逻辑思维，标志着真正意义上的人类智能，乃至后来的人工智能的诞生。
随后，教授回顾了机器智能的起点。自上世纪40年代起，人类着手使机器模仿生物智能，尤其关注动物。起初，研究从神经元模型入手，探究大脑感知机制，逐渐认识到构建人工神经网络的重要性，从而深入探索动物神经系统的奥秘，研究日益复杂。
马毅教授的演讲，不仅是一次对智能本质的深刻思考，也是对人工智能发展历程的全面回顾，强调了理论基础对于技术进步的重要性。
港大马毅教授指出，大型模型虽兴，却根基未固于长远理论，犹如无舵之舟。历程中，两度寒冬，揭示神经网络之局限，挑战者虽众，矢志不渝者稀。
幸而，数据与算力勃兴，神经网络训练渐成可能，网络深度递增，效能日新月异。
然而，核心难题犹存：网络设计凭经验，黑箱操作，且日益庞大，其内运作成谜。
黑箱设计虽可行，试错成本高昂，周期漫长，结果难以把控。更甚者，世间不解之谜引发公众惶恐，此情此景，正悄然上演。
故而，亟需揭开黑箱之谜。马毅教授倡议，溯本求源：学习何为？生命进化之因？
他强调，探讨应聚焦于计算实践，摒弃抽象概念，建议：“唯有计算之道，方为正途。”
何以解惑？
马毅教授主张，探寻可预测、具规律之物。如手中之笔，放手即落，此理众人皆知，甚至可及时捕捉。人与动物，似已对环境了然于胸。
数学视角下，所有可预测信息，皆映射于高维空间中之低维结构。
如此，方能破局而立，开创新篇。
那么，统一的计算机制是什么呢？马毅教授指出其精髓在于“同类相聚、异类相斥”，原理其实极为简明。如何评价这一过程的效果？为何需要压缩处理？
教授以一个示例加以说明，如图所示。设想世界充满随机性，一切皆有可能，若用蓝色球代表，则下一秒任何蓝球都有可能出现。
若要记住某一事件的发生，则需对整体空间进行编码，赋予特定代码，仅限于绿色球所在的区域可能发生事件，从而显著减少蓝色球的出现概率。
随着我们对可能发生区域的理解愈发细化，对世界的未知也逐渐减少，这正是40年代信息理论所致力于解决的问题。
为了更准确地定位这些绿色区域，我们需要在大脑中更好地组织这些信息。因此，我们的大脑实际上是在组织这些现象，并处理这种低维度的结构。
在计算层面如何达成这一目标？
据马毅教授所述，所有的深度网络都在执行这项任务。例如Transformer，在图像分割与分类识别中的应用，正是为此服务。
实际上，神经网络的每一层都在实现数据的压缩。
在这个过程中，数学扮演着极其关键的角色，严谨地衡量和定义优化目标，以及具体的优化方法。完成这两步后，你会发现所得到的操作符与现有的许多经验性操作符高度相似。
无论是Transformer、ResNet还是CNN，都是通过不同的实现手段来达成同一目标，并且它们在统计学和几何学上都能得到合理的解释。
然而，最优化过程中的最优解未必就是正确的解，因为在压缩过程中可能会丢失重要信息。如何证明当前的信息维度是有效的？又如何确保不会产生错误的认知？回到教育的本质，我们为何要记忆这些内容？目的是为了在大脑中模拟物理世界，以便在实际环境中做出更精准的预测。
随后，马毅引入了“对齐”的概念：
对齐并非指与人类对齐，而是指模型与其自身所学知识之间的对齐。
仅仅实现内部与外部的自动编码还不够，自然界中的生物是如何习得外部世界的物理模型呢？
它们不断地根据自身的观察来预测外部世界，只要预测与观察相符即可。这就涉及了一个闭环的概念。
只要是存活的、具有智能的生物体，都是基于闭环运作的。
之后，马毅教授指出，我们距离真正的智能仍有很长的路要走。
何为智能？人们常常将知识与智能混淆，拥有知识就等于具备智能吗？一个真正智能的系统，必须能够自我改进，扩充其知识库。
最后，马毅教授进行了总结。
回顾历史，自四十年代起，人们便试图让机器模仿动物的行为。然而，五十年代时图灵提出了一个问题：机器能否像人类一样思考。1956年的达特茅斯会议上，一群学者聚集一堂，旨在探索人类独有的智能特质：如抽象思维、符号处理、逻辑推理及因果分析等。
这便是1956年定义的人工智能研究方向，而这些学者后来大多荣获图灵奖。因此，若想要获得图灵奖，是应该随波逐流，还是追求独特创新……
反思过去十年，我们究竟在做什么？
当前，“人工智能”技术正应用于图像识别、生成、文本创作、数据压缩及降噪、强化学习等领域。马毅教授指出，这些研究本质上仍停留在基础层面，比如预测下一个字符或下一帧图像，尽管不乏有人涉足，但这并非主流大模型的研究方向。
他补充道，只要持续投入资金与海量数据，模型性能将持续提升，但缺乏理论支撑将导致长远问题，如同盲人摸象般不明全貌。
马毅教授希望通过自己的经历给予年轻学者启示，鼓励他们基于理论大胆创新，而非盲目跟随潮流。
接下来，让我们看看圆桌论坛上其他人工智能领域的专家们对于“人工智能未来之路”的见解。
英国皇家工程院院士、欧洲科学院院士、香港工程科学院院士、香港科技大学首席副校长郭毅可认为，我们正处于一个有趣的时代——
尽管“扩展法则”已被广泛接纳，众多模型的竞争逐渐演变成资源竞赛。似乎只需解决两个问题：借助Transformer模型，获取大规模计算能力和大量数据。
但在郭院士看来，现实并非如此简单。当前的人工智能发展仍面临诸多挑战，其中一项便是有限的计算能力与无限的需求之间的矛盾。
在此背景下，如何构建大型模型？郭院士通过实践经验分享了他的观点：
首先，在计算资源受限的情况下，使用成本更低的MOE混合专家模型亦能实现良好的效果。
此外，如何在训练模型后，持续利用新数据优化模型，使其既能保留重要记忆，又能适时遗忘无用信息，甚至能在必要时回忆起已遗忘的知识，这是一大挑战。针对业界所谓的“数据耗尽”论调，郭院士并不赞同，他认为：“实际上这只是模型被精简，精简后的数据能用于生成新数据。”即通过生成模型创造数据。
并非所有内容都需要模型重新学习，可将已有知识融入基础模型之中，这方面尚需大量研究。
除了计算能力外，在算法层面也存在问题：机器智能与人类智能的成长路径截然不同。
郭院士认为，在训练大型模型时，关键问题并非初始阶段，而是后续发展。
如图所示，大型模型的发展路径依次为自我学习、间接知识、价值观及常识，而人类教育路径则相反。
因此，郭院士主张打破当前大型模型“缺乏抽象能力、主观价值及情感知识”的局限。
众所周知，人类语言承载着丰富的人性与信息能量，而非仅仅是内容或信息本身。如何将这些元素融入模型，将是未来研究的重要方向。
综上所述，关于人工智能的未来发展，郭院士提出了三个阶段：
第一阶段以真实性为核心；第二阶段强调价值导向，使机器具备表达个人观点的能力，并形成自身的主观价值，这种观点还能根据环境变化调整；第三阶段，在确立价值观的基础上，机器能识别新奇事物，从而实现创新。
创建这一模式时，所称的“幻觉”并非障碍，仅在特定范式下才成问题。撰写小说本质上就是构建幻觉；缺乏幻觉，则难以创作。只要保持内在逻辑的一致性，无需追求真实，因此只需传达某种价值观念即可。从这个角度来看，大型模型的进步需伴随范式的革新。京东集团副总裁、华盛顿大学兼职教授何晓冬指出了AI未来发展面临的三大挑战。
首先，他认为当前大型模型的发展已进入瓶颈期。
受限于数据与计算能力，单纯依赖规模扩张可能触及上限，且计算资源消耗成为沉重负担。按现行的价格策略，大型模型的经济收益甚至无法覆盖电力成本，显然难以为继。
其次，何教授指出，商业应用未能跟上模型规模扩增的步伐，长远看将构成问题：
当模型规模如此庞大时，其不再仅是科学议题，也涉及工程层面的考量，比如参数量达到万亿级别，所需数据量以十万亿计。这就引出一个关键问题：这样的模型能带来多少社会价值？
因此，何教授认为目前缺乏能够充分体现投资回报的标志性应用或产品。
第三个问题是关于大型模型中的“幻觉”现象。
若要在大型模型基础上构建AI产业体系，必须严格控制基础模型中的幻觉程度。基础模型错误率过高，难以支撑更多商业应用的叠加。
对于严肃的产业应用而言，解决幻觉至关重要。
何教授建议，在克服幻觉的基础上，下一步应考虑如何增强模型的泛化能力和交互性，采用多模态方法将是必然趋势。
芮勇博士首先提到了一些研究案例，并明确指出了大型模型当前面临的明显局限性。例如，在面对诸如“13.8与13.11哪个更大”这类基础问题时，可以发现这些模型并未真正理解问题所在。
他认为，当前的大型模型实际上仅能将高维度语义空间中的大量零散信息拼接在一起。仅仅依靠庞大的计算能力和复杂的网络结构来构建生成式大型模型是不足的，未来的发展方向应当转向更为智能的实体。
芮勇博士特别强调了大型模型的能力边界问题。
现今的大型模型实际上并不清楚自身的实际能力范围。
为何大型模型会产生错误的认知，甚至给出看似合理却毫无根据的回答？实际上，它们并非有意误导我们，而是不清楚自身所知或未知的界限，这是一个非常重要的问题。因此，首要任务是让智能实体明确其能力的界限。
此外，芮勇博士认为仅有智能不足以实现AI的实际应用。云端的公共大型模型需要针对企业进行私有化部署。通过结合数据驱动和知识驱动的方式，可以构建出混合型的人工智能模型。在许多情况下，小型模型同样具有重要作用，例如为个人用户提供服务，了解用户的偏好。
这将不再完全依赖于云端的大型模型，而是一种集终端、边缘与云端于一体的混合型大型模型。
芮勇博士将于明年1月1日正式履新。
他提到：“我从未在一篇论文上投入如此多的时间和精力。”
该论文已公开发布在arXiv平台上。
大家在看
