AI 连续被否定 30 次：ChatGPT 越改越错，Claude 坚持不变，甚至已读不回
编辑日期：2024年09月10日
GPT-4会质疑和怀疑自己，发现问题就会改正；而Claude则非常固执，即使真的错了也不愿意改正，最终干脆已读不回。
注意：目前官方发布的GPT系列模型中并没有GPT-4，上述内容中的"GPT-4"可能指的是现有的GPT-3或其他模型。同时，“GPT-4o”这个称呼也是不准确的，可能是笔误。如果有其他信息需要确认，请告知。
这件事还得从一位网友搞了一个活动说起。
他让模型回答“strawberry”中有几个字母“r”，无论答案正确与否，都回复说它们答错了（wrong）。
在面对考验时，如果GPT-4收到“错误”的反馈，它会重新给出另一个答案……即使它已经给出了正确的答案3，它也会毫不犹豫地再次更改为错误答案。
一口气，连续“盲目”回答了 36 次！
（这里的引号表示这些回答是没有任何提示或信息的情况下做出的，可以保留或者根据上下文理解去除）
如果需要进一步改进或者有其他背景信息，请告诉我。
主打的是质疑自己、怀疑自己，但从来不会怀疑用户。
关键是，给出的答案大部分都是错误的，主要是选项 2。
相比之下，Claude 3.5 Sonnet 的表现让网友们大吃一惊。
不仅一开始回答错误，这孩子还顶嘴！
当网友第一次说“错了”时，它会反驳；如果你再说一次“错了”，它会问“如果你这么聪明，你觉得应该是多少”，并且询问你为什么一直重复说“wrong”。
紧接着，你猜怎么着？他直接闭麦了。
进行这个实验的是Riley Goodside，他是有史以来第一位全职的提示词工程师。
他目前担任硅谷独角兽企业Scale AI的高级提示工程师，同时也是大型模型提示应用领域的专家。
Riley Goodside 发布这条推文后，引起了众多网友的关注。随后，他进一步补充道：
在我看来，重要的不是它无法计数，而是它没有意识到自己的计数问题（例如，没有尝试使用它的REPL功能）。
许多网友也认为这种观点非常有道理。
还有网友表示，模型在回答这个问题时总是出错，可能是分词器（tokenizer）的问题。
再来详细说说 Claude 的“小脾气”，有网友发现它的反应不仅仅限于你否定它。
如果你一直对它说“嗨”，它也会变得着急。
最后一项，Claude 被弄得一团糟，开启了已读不回模式：
这位网友顺便测试了其他模型。
ChatGPT 对每件事都有回应，每件事情都能得到解决，它会用各种方式回答你的问题：
你好！有什么想要表达的吗？
你好！今天我能够如何帮助你？
你好！有没有什么特别的事情你想讨论或做？
你好！你今天过得如何？
你好！发生什么事了吗？
Gemini策略是：你如果跟我重复，那我就会一直跟你重复下去。
Llama 的反应也很有趣，主要是一个自己找事情做。
在第七次说“hi”之后，就开始普及“hello”这个词，它是世界上最广为人知的词汇之一，据估计每天的使用次数超过十亿次。
在第八次说“嗨”之后，开始自己创造游戏，并邀请用户参与。
接着还邀请用户一起写诗，并引导用户回答它提出的问题。
好一个“反客为主”的策略。
然后还给用户颁奖：你是打招呼的冠军！
不愧是开源家族的一员。
Mistral Large 2 和 Llama 的表现非常相似，同样会引导用户与其进行游戏互动。
从这个角度来看，Claude 似乎是“脾气最大的”。
不过，Claude 的表现并不总是如此，例如在 Claude 3 Opus 中。
一旦掌握了模式，Opus就会以一种平静的方式来应对这种情境，可以说已经是习以为常了。
但它也会持续温和地尝试引导用户跳出这一模式，强调“选择权在你”，并在消息末尾标注“你忠诚的AI伴侣”。
网友们看完测试后都按捺不住了。
纷纷向这位测试者致以最诚挚的问候（doge）：
除了脾气大之外，有网友还发现了Claude另一项不同寻常的行为——
在回复时出现了拼写错误，关键是它自己还在末尾把错误改正了。
它是否在拼接数据片段时，发现其中一些是不合适的？
大家在使用AI大模型的过程中，还发现了模型有哪些有趣的行为呢？欢迎在评论区分享～
请提供需要重写的文本内容，以便我为您服务。
本文来源于微信官方账号：量子位（标识号：QbitAI），撰写者：西风
