火爆的神经网络架构 KAN 更新 2.0 版本！可进行专属定制，轻松应对经典物理学研究。
编辑日期：2024年08月21日
作者：无法与MLP相互替代
炙手可热的神经网络架构KAN，推出全新版本——KAN2.0！
此次更新进一步深化了与科学问题的结合，能够轻松解决经典物理学中的难题，例如找到描述整个物理系统动力状态的拉格朗日量。
此外，研究者还能根据自身需求定制专属的KAN2.0，将专业领域的知识作为辅助变量加入输入数据之中。
KAN自问世以来，迅速引起科技界的广泛关注。它凭借仅含200万个参数的模型结构，成功重现了DeepMind使用包含30万个参数的MLPs来发现数学定理的研究成果，而后者的研究成果曾荣登《自然》杂志封面。
鉴于KAN表现出色，甚至引发了“是否有可能取代Transformer中的MLP层”的讨论，人们纷纷表示：“Yes We KAN！”
论文的第一作者为麻省理工学院的博士生刘子鸣。
众多行业内的专家学者也纷纷前来表示祝贺。
AI与科学领域面临的一大挑战在于它们之间的内在不兼容性：目前的AI主要基于连接主义，而科学研究则依赖于符号主义。
KAN2.0的新框架着重于实现KANs与科学的无缝对接，这种协同作用是双向的：科学到KAN（将科学知识融入KAN），以及KAN到科学（从KAN中提取科学见解）。
以下是使用中文重写的文本：
具体而言，KAN 2.0在科学发现方面主要发挥了以下三个层次的作用，从较为基础逐步深入至更为复杂的层面：
- 识别关键特征
- 揭示模块结构
- 发现符号公式
这些新功能是在原始KAN的基础上引入的。
- MultKAN：带有乘法节点的KAN。
- kanpiler：一个能将符号公式编译成KAN的编译器。
- 树转化器：将KAN 2.0架构（或其他任何神经网络）转换为树状图。
与之前的版本相比，KAN 2.0的可解释性更加广泛，适用于那些难以用符号方程表达的领域，例如化学和生物学。模块化结构和关键特征可用于描述这些领域。
例如，用户可以在KAN 2.0中构建模块化结构。
然后，通过将KAN 2.0中的模块与多层感知机（MLP）神经元进行交换，可以直接观察到模块化结构。
此外，研究团队还探讨了如何将先验知识融入KAN 2.0中。
以下是重写的中文文本：
基于这些更新内容，研究团队展示了KAN 2.0能够发现各种经典物理定律的能力。
例如，它能够发现二维谐振子的守恒量。
通过使用多层感知器（MLP）和KAN 2.0，他们重现了史瓦西黑洞的隐藏对称性。
此外，还可以通过与KAN 2.0的交互来发现构造定律。
接下来，研究团队计划朝两个方向发展：一是将这一框架应用于更大型的问题上；二是将其扩展应用到物理学之外的其他科学领域。
这项研究由来自麻省理工学院（MIT）、加州理工学院和MIT计算机科学与人工智能实验室（CSAIL）的五名研究者共同完成，其中包括三名华人学者。
与KAN最初的版本相比，许多核心成员仍然参与其中，其中包括MIT的刘子鸣，他仍然是本研究的第一作者。
刘子鸣目前是MIT的一名四年级博士生，他的导师是Max Tegmark。他的研究兴趣集中在人工智能与物理学的交叉领域，具体包括AI科学家、受物理学启发的深度学习、深度学习在科学中的应用以及机械可解释性等方面。
鉴于KAN获得了广泛关注，作为主要作者，他在GitHub页面特别指出：在设计KAN及编写代码时，主要是基于小型的数学与物理实例进行考量，并未充分考虑效率和可重用性的优化。
对于专注于机器学习的用户，他坦承KAN目前可能还不是一个可以直接使用的简单插件。
KAN与MLP各有优劣，它们在不同情境下展现出不同的优势与局限。
有兴趣的朋友可以通过以下链接了解更多信息：
论文链接： https://arxiv.org/abs/2408.10205 参考资料链接： [1] https://github.com/KindXiaoming/pykan?tab=readme-ov-file [2] https://kindxiaoming.github.io/ [3] https://x.com/ZimingLiu11/status/1825731703723405757
在众多明星如周杰伦、甄子丹、李冰冰参与踢瓶盖挑战之后，MIT的机器人也加入其中。
历时九个月精心打造。
以下是转换成纯文本的内容：
火爆的神经网络架构 KAN 更新 2.0：Transformer 还能帮助我们理解大脑。
看有些人的代码就像在读推理小说。
还得从位置编码算法原理说起。
现在的场景简直成了 AI 领域里的大型追星现场。
