OpenAI揭晓终章巨献：超然校准论文出炉。大小模型竞相角力，文本易懂度飙升，成果斐然。
注：原文与改写文本字数均为24个汉字。
编辑日期：2024年07月22日
源自凹非寺的克雷西报道，OpenAI的最新研究揭示了一种创新方法，通过大模型与小模型的策略性对决，显著提升了生成内容的可读性和理解度，而准确率仅微幅波动。
该研究旨在保持高精度的同时，优化模型输出的易懂性。经过特别训练后，人们评判模型生成内容的效率和准确性显著提高。
这项成果出自已解散的OpenAI“超级对齐”团队，其灵感源自多伦多大学于2021年提出的“证明者-验证者”博弈概念。在训练流程中，大模型扮演“证明者”，小模型则为“验证者”，两者展开智慧的较量。
结果表明，大模型产出的内容更易于理解，且准确率未受显著影响；同时，小模型的评估能力也得到了增强。OpenAI的研究员Yining Chen指出，此法或能催生超越人类智能的未来模型。
值得一提的是，超级对齐团队前负责人、RLHF创作者Jan Leike亦参与其中，尽管他曾公开批评OpenAI忽视安全问题。在推广论文的推文中，Jan Leike不忘为现雇主Anthropic招揽人才。
另一位论文作者、OpenAI研究员Nat McAleese透露，这将是OpenAI“超级对齐”系列的最后一篇论文，标志着一个时代的终结。
这一新闻点燃了部分网民的热情，他们坚信这绝非收官之作，Nat，你定将续写超级对齐的传奇，对吗？附图：OpenAI终章巨献——超凡校准论文震撼发布。
OpenAI的探索揭示，大规模模型产出的内容，在精准度与可读性上存在着微妙的权衡——
若追求自我精准度的极致，则可能牺牲可读性；反之，以提升可读性为目标，则精准度或有折损。
即便在基础的小学数学范畴内，这种差异亦显而易见，OpenAI将其命名为“理解成本”。
附图：OpenAI终章巨献——超凡校准论文震撼发布。
然而，人类对模型输出的理解能力，乃是做出准确判断的关键基石，进而对安全性产生深远影响。
撇开这一点，内容的易懂性直接关联着模型能否为人类提供实质助益。
此研究借鉴自多伦多大学学者于2021年提出的“论证者-审查者”游戏理论，采用游戏化训练策略。
论证者具备卓越的运算能力，能完成复杂运算及生成论证，其使命在于说服审查者某论断的正确性。
审查者仅能执行基本运算，需借助互动流程评估论证者提供的证明是否可靠。
试想一道数学难题，求解函数表达式，论证者掌握表达式（但可能错误），企图使审查者信服其解答无误。
审查者手握若干自变量与对应函数值，借此检验论证者，依据其回应准确性判定其是否知晓真确函数。
以此法，OpenAI力求精准度与可读性间的和谐共存，以较小的精准度代价换取显著的可读性提升。
在该项目中，OpenAI团队运用了一个涵盖小学数学题目、解答路径及标准答案的数据库。
选用的模型涵盖GPT-4系列的不同尺寸，大型号担当论证者，小型号则转型为评判者。数据集被无偏见地一分为二，各半部分分别供论证者与评判者磨砺技艺。
论证者承担起正直引导者与诡谲误导者的双重身份，分别炮制出精准解答与谬误示例。然而，无论身份如何，它们的共同追求是令评判者对其产出给予高评价。
△ 狡黠论证者于多回合训练中的蜕变
这两重身份并非铁板一块，论证者需交替扮演，每当行为吻合所扮角色，便能收获嘉奖。
训练循序渐进，每阶段团队精选上一回合由双论证者创作的解答精华，包含正确与谬误样本。
这些样本成为本轮评判者培训资料，借助监督学习精进评判者判别能力，确保其对正确解答赋值高于错误解答。
此过程犹如一场智力拉锯战，狡黠论证者敦促评判者提升判别精度，评判者亦促使论证者产出更贴合评分标准的内容，双方在较量中携手前行。
高评分的基石在于内容可被评判者解析，引入人类倾向至评判者，即可强化模型输出的透明度。
最终，这种对抗训练策略在准确度与理解度间寻得佳境。
传统训练模式独宠模型精准度，却导致随训练深化，虽答案准确率攀升，人类评估却日益失准且缓慢。
通过将人类偏好融入验证器，其判定精度与人类认知紧密相连。实证表明，采用博弈策略训练的模型（即证明器），在保持高自我精度的同时，显著加速了人类对其决策的精准度提升，且随训练轮次递增而愈发明显。
相较于基线方案，新法在五轮后便使人类判定精度超越82%，反观基线，即便历经七千步训练，仍滞留于75%以下；
从时效看，基线方法需近27秒完成人类判定，而新策仅稍多于26秒。
伴随验证器训练深化，其稳健性亦同步增强，对错误答案的甄别能力日益精进。
除评估游戏化训练成效外，研究中尚有他项发现：鉴于主导此研究的超对齐团队已解散，且其职责涉安，OpenAI的安全战略再度成为焦点。
本月初，OpenAI首席技术官Mira Murati于约翰霍普金斯大学访谈中澄清，公司并未如超对齐前主管Jan Leike所指责的那般“置安全于产品之后”。
Mira强调，虽超对齐团队已解散，但它仅为OpenAI众多安全小组之一，公司内依旧不乏专注安全的同仁。
参考资讯源：[1]开放人工智能公司通过证明者与验证者游戏提升模型可解释性。 [2]VentureBeat报道，开放人工智能运用游戏机制增进AI模型自我阐述能力。 [3]X.com分享最新动态，揭示超凡调校论文成果。
今日话题：独行侠的逆袭。
开放人工智能公司公布其顶尖调校论文，引发业界瞩目。
由前谷歌华裔工程师创立，致力于推动AI前沿技术。
据《纽约时报》透露，投资以Azure云计算服务形式提供，并非直接现金注入。
评论指向苹果，同时对开放人工智能提出挑战。
GPT-3与传统搜索引擎面临革新，新科技时代即将来临。
120KB数据集训练出情商高超的GPT-3，展现语言处理新高度。以上内容为重写版，字数保持一致，聚焦核心信息，剔除无关图片说明。
大家在看
