国内12家主流大模型，谁是地表最强？亲测后发现是它！
编辑日期: 2024-11-25 文章阅读: 次
大模型GPT-3.5，2022年11月发布。
可谓春风化雨，雨后春笋一般。
到现在2024年，国产大模型工信部注册的，已有几百家。
国产大模型崛起速度之快，令人惊叹。
在如此之多的大模型里面，如何选择好用的，还真是个问题。
结合GPT4o和Claude3.5，加上自身的一定使用，总结了如下12家国产大模型：
下面表格，排名不分先后：
各自产品对应的logo如下：
文字版介绍：
1 百度：推出了“文心一言”大模型，具备强大的自然语言处理能力，广泛应用于搜索、对话等领域。
2 阿里巴巴：发布了“通义千问”大模型，支持多种语言理解和生成任务，应用于电商、云计算等场景。
3 腾讯：研发了“混元”大模型，强调多模态融合，应用于社交、游戏等领域。
4 华为：推出了“盘古”大模型，专注于自然语言处理和计算机视觉，应用于云服务和智能设备。
5 科大讯飞：发布了“星火认知”大模型，强调语音识别和自然语言理解，广泛应用于教育和办公领域。
6 商汤科技：推出了“日日新”大模型，专注于计算机视觉和多模态融合，应用于安防和自动驾驶等领域。
7 智谱AI：研发了“GLM-4”大模型，具备强大的语言理解和生成能力，应用于科研和教育领域。
8 字节跳动：推出了“豆包”大模型，应用于内容创作和推荐系统。
9 360公司：发布了“360智脑”大模型，强调安全性和信息检索，应用于搜索和安全领域。
10 昆仑万维：天工AI，双千亿级大语言模型，国内首个AI搜索产品“天工AI搜索”。
11 快手：推出了“可灵AI”大模型，应用于短视频内容创作和推荐。
12 月之暗面科技：研发了“Kimi”大模型，专注于对话式服务和智能助手。
看到这里的老铁，可能会有问题，哪家最强呢？
就要看如何评价一个大模型的能力，有三个最重要的指标。
一般来说，衡量指标有三个：第一：文本生成能力；第二：任务推理能力；第三：通用和泛化能力。
文本生成能力：文本生成能力指模型在自然语言生成中的流畅性、语义相关性和多样性。常用评估方法包括困惑度（Perplexity）、BLEU和ROUGE等指标。
推理能力：推理能力反映模型在逻辑推导、知识应用和因果推理任务中的表现。强推理能力使模型能够理解上下文并完成复杂问题的解答。
泛化能力：泛化能力体现模型在未见过的数据或任务上的适应性。优秀的泛化能力意味着模型能跨领域、跨语言和多模态高效工作。
而数学推理能力又是重中之重，它体现了模型的智力水平，推理能力强，才能应对复杂任务。
而咱们平时的需求，主要也是以复杂任务为主，否则我们也不会使用它们，简单的任务，咱们自己就能做了；重复的任务，咱们写几行代码，就自动化了。
目前openAI的o1推理能力公认最好的，我询问了它，给出数学推理能力前三强：
但是它的知识目前只学习到了2023年10月，所以排名只能参考。
为了进一步客观，我又询问了数学推理能力很强的Claude3.5 ，它的回答如下：
总结来说，智谱GLM-4，文心一言，通义千问，KIMI，是o1和claude3.5给出的答案。
第一轮筛选过后，我再亲测上面上榜四个大模型。
测试方法，选择一个标准数学数据集，就拿GSM8K吧，先找一道典型题目，逐一询问它们。
选择下面这道：
为什么选择这道题目呢，因为GPT-4o这道题目都无法给出准确答案。
如下所示，给出答案8，这是错误的：
这就热闹了，看看国产大模型能否答对。
先提问智谱GLM-4，答案10，回答正确：
再提问文心一言，使用3.5，得到答案是8，回答错误。已开通会员的可以试试文心4回答是否正确：
再提问通义千问2.5，结果10，回答正确：
最后提问KIMI，结果8，回答错误：
经过第二轮一道题测试，发现回答正确的大模型，剩下两个，分别是GLM-4、通义千问。
最后一轮测试，选择一道2024年全国卷高考数学题，找一道我还会的选择题：
我做了下，答案是B：
先提问GLM-4，回答B，结果正确：
再提问通义千问，回答A，结果错误：
顺便提问了下GPT-4o，它选了C，又错了：
经过三轮数学测试，就剩 GLM-4。
国产大模型的智力水平，目前已经有超越GPT-4o的趋势，让人惊艳！
期待国产大模型和厂家们再接再厉，不断突破。
备注：要想得出更加客观全面的智力水平，请参考基于不同整个数据集、不同推理水平测试维度的全面评价，本测试限于篇幅，只做初步测试。
开源教程推荐
AI免费学习网
2 普通人学习AI
1）应该先从AI工具使用开始
2）应该先了解AI基础名词
普通人了解AI大忌：
1）不应该上来就学AI理论
2）不应该排斥AI，认为AI无用
基于上面，我也花费不少时间，做了一个详细的开源教程：《普通人学AI指南》.PDF
咱们先别弄那些高深的AI理论，先玩熟AI基本概念、AI工具、自己电脑搭建AI和知识库。
这个《普通人学AI指南》PDF，一共42页，站长编写，完全开源，在下面公众号回复：AI，直接拿走。
