LLM首次取代的编程语言竟是SQL？网友热议不断
编辑日期：2024年08月27日
一年前，人工智能领域的知名专家 Andrej Karpathy 预言，最炙手可热的新编程语言将是英语。
一年后，Abacus.AI 的首席执行官 Bindu Reddy 表示：“大型语言模型（LLM）首先用英语取代的编程语言是 SQL。LLM 生成 SQL 的准确率超过了 95%，甚至高于人类 SQL 程序员平均 92% 的准确率。目前，大多数数据库产品都提供了一个聊天界面来进行数据查询。”
Bindu Reddy 所提到的“Chatbox”是一个开源的桌面应用程序，它是一个用于调试和管理 Prompt 的工具，并支持 OpenAI 模型、Claude 和 Google Gemini 等。
自从大型语言模型问世以来，不仅文字和图像生成领域发生了变化，编程领域也受到了影响。这些 AI 助手可以基于简单的提示自主学习新技术、构建和部署应用程序，甚至自动查找和修复代码中的错误。这引发了关于 AI 是否会取代程序员的广泛讨论。虽然这一观点尚存争议，但不可否认的是，AI 已经对每位开发者产生了实际影响。
连 Karpathy 本人都表示，他已经很难回到三年前那种没有 AI 辅助的编码状态。
英伟达首席执行官黄仁勋也在一次关于人工智能未来的演讲中提到，在过去的 10 年或 15 年里，人们会告诉自己的孩子学习计算机科学非常重要。但现在情况似乎有所改变，人工智能带来的便利使得每个人都能成为程序员。
可以看出，黄仁勋的观点与 Reddy 的言论不谋而合。
然而，当Bindu Reddy发表这一观点后，也引发了不少质疑声：“你声称LLM生成的SQL准确率达到了95%，有什么文献或统计数据可以支持这一点吗？”
Bindu随即进行了回应，她分享了两个示例片段，展示了其公司的一款AI工具的功能。在其中一个例子中，要求AI筛选出同时满足特定条件的店铺和销售数据，但不包括店铺关闭期间的数据：
这个AI工具自动生成了所需的代码，只需将其复制到数据库中即可完成工作。
对于稍微复杂一些的任务，该AI工具同样能应对自如。例如，只要明确说明所需数据不包括某个特定时间段内的信息，并要求计算每个港口的平均出发延误时间，AI助手便能够自行分析问题并生成相应的SQL代码来过滤数据及进行表格间的关联计算。
看完这些演示后，有部分网友认为，AI生成SQL的效果如此出色，确实合乎情理。相较于Java或Python等编程语言，SQL中大约90%的内容是英文，主要用于与数据库进行交互，其格式相对固定，需要填入的内容较少，因此模型产生“幻觉”的空间也比较有限。
（注：原文中的图片链接无法在此显示，故未在重写内容中保留。）
有网友表示，在日常工作中使用大型语言模型生成SQL代码时遇到了一些问题：“截至目前，ChatGPT或Perplexity生成的SQL查询没有一个是不需要大量修改的。”
这种体验与使用AI编写代码类似：“确实可以节省时间，但远远不能替代开发人员。”
这是因为大型语言模型常常出错，并且“记不住”教训，总是在相同的地方出现问题。常见的错误包括：语法问题，混淆了SQL Server、Postgres等不同平台的语法；使用了某些平台上无效的函数；缺少别名；在不同平台间迁移代码时表现不佳。尽管如此，这位网友依然认为AI编写SQL的能力有所价值：“尽管如此，它仍然比手写要好。”
然而，这位网友已经被Bindu拉黑，这不禁让人怀疑Bindu可能只是在推广自家的产品。
此外，该网友进一步质疑道：“一旦脱离了基准测试中的简单任务，需要执行较为复杂的查询时，所有的AI工具是否都会失效呢？”
评论区中，许多同样经常使用SQL的网友也表达了类似的观点：
“AI能够编写SQL与编写高效且性能优良的复杂SQL是两回事。”
“编写SQL查询相对容易，但要优化查询，则需要在实际工作中积累经验和具备真实世界的知识，这正是AI尚未实现的。”
“我每天都在使用大模型，但是它们无法处理复杂的查询。只要查询稍微复杂一些，超出一个CTE（公用表表达式），我就不得不手动拆分。这就要求你具备一定的编程能力，否则只能白白浪费几天时间。”
甚至引来了Hacker News官方的评论：“SQL的核心并不在于语言本身，而在于其能够查询和操作复杂的数据结构。”在他看来，提出正确的问题和理解数据结构可能比语法本身更为重要。
除了从个人经验角度对Bindu的观点提出质疑外，还有一些专业人士提供了现成的数据。在基础测试集Text-To-SQL on Spider中，当前最佳的Sota模型的准确率为87.6%。
数据来源：https://paperswithcode.com/sota/text-to-sql-on-spider
在另一个侧重于大规模数据库的基准测试集中，最佳方法的准确率仅为72.28%，距离95%的目标还有较大差距。
图源：https://bird-bench.github.io/
目前，许多科技公司也推出了利用大型模型来增强数据处理和查询分析能力的产品，例如火山引擎数智平台 VeDI—AI 助手、Kyligence Copilot AI 和 ThoughtSpot 等。然而，这些企业级解决方案主要针对专业用户和团队，而像 Abacus.AI 这样的个人 SQL 助手则更侧重于帮助初学者快速入门。
大家在看
