博士研究生在清华北航引导Gemma-2学习中文！令人诧异的是，它在智力挑战、情境模拟和数学难题中展现出色的表现。
编辑日期：2024年07月06日
众所周知，国际间的法律硕士项目（LLM）常常面临非英语使用者的不公平待遇，英语与其它语言在该项目中的表现差异可谓显著。
之前就有网友发现，GPT-4o 分词器语料库中，中文数据污染非常严重，赌博色情网站是一个也不少，严重影响了我们用中文和 AI 机器人好好聊天。
最近推出的Gemma 2模型堪称强大且开放源码，但值得注意的是，其在中文处理方面的能力尚不及英文。
然而，我们能够通过微调来化解问题，简单说就是——精细调整！
在7月1日，距离Gemma 2发布仅仅4天后，清华大学的人工智能博士生王慎执在X平台上震撼发布了他的杰作——Gemma-2-9B-Chinese-Chat，这是一个精心调整的对话模型。
我们的模型在处理中文提示时展现出卓越的能力，彰显出更优的逻辑推理、编码技艺、数学理解和文字创作技能。
您可以在Huggingface平台上获取该项目的详细信息。
请提供项目的网址，我会用中文为您重新表述：https://huggingface.co/shenzhi-wang/Gemma-2-9B-Chinese-Chat
更令人意想不到的是，仅仅过了一天，27B 参数量的微调版本便已发布。据 HuggingFace 官方页面显示，该模型的下载次数已超过 3.4 万。
请提供项目的网址，仅以中文形式返回改写后的内容：https://huggingface.co/shenzhi-wang/Gemma-2-27B-Chinese-Chat
该项目说明提到，所运用的优化策略为ORPO，这是一种创新性的技术，它融合了监督微调（SFT）与RLHF或DPO等倾向性对齐方法，实现了精巧的算法整合。
相较于原始的 9B Gemma 2 模型，优化后的 Gemma-2-9B-Chinese-Chat 版本显著降低了出现“中文问题英文回答”和“中英文混合回答”的情况。在角色扮演、工具运用及数学能力方面，它的性能均有所提升。
在解决关于“顶级中文训练数据”难题时，展现出了卓越的能力。
模型的定制化应用涵盖了许多领域，如情境模拟、程序设计、数学问题解决、轻松娱乐、安全防护、文学创作和代码编写等。
此外，他们甚至还提供了一个在线演示，呵呵，这下可以尽情体验了。
首先，让语言模型模拟周杰伦的风格来表演一段说唱：
再尝试一下诠释鲁智深的角色如何？比如这样——
小编亲身体验在线示例后，察觉到鲁智深的“粗犷”特质并未充分展现，目前的连续性仍有待提升。
无论是年龄谜题还是鸡兔同笼的挑战，Gemma-2-9B-Chinese-Chat 都能从容解决。
对于NLP专家来说，文字游戏中蕴含的复杂性往往令人头疼，但在应对某些特定社区的言论时，经过微调的模型显示出相当不错的处理能力。
用户输入：
微调模型输出：
当请求模型概述人工智能时，您将获得的是一篇详尽的论述，涵盖了这一领域的核心概念、发展历史、技术分支，如机器学习和深度学习，以及它们在现代社会中的广泛应用，包括智能助手、自动驾驶和数据分析等。此外，还将探讨人工智能对社会经济影响、伦理问题及其未来潜力的展望。
人工智能技术可分为多个类别，如机器学习、深度学习以及自然语言处理。机器学习是AI领域的一个重要部分，其主要目标是设计出能从数据中自我学习并进行预测的算法。深度学习则是机器学习的一个分支，它借助人工神经网络来复制人脑的工作机制。
人工智能已渗透到医疗、金融、物流和零售等众多领域中发挥重要作用。在医疗行业，它辅助医师进行疾病诊断，预估病人的护理需求，并定制个体化治疗方案。而在金融领域，AI则应用于识别欺诈行为，管控风险，以及提供个性化的投资指导。
人工智能具备显著提升效率、降低消耗和催生创新的能力。但同时，它也引发了一系列问题，如工作岗位的变化、隐私安全的顾虑以及道德伦理的考量。鉴于 AI 技术的迅速演进，全球各地的政府和机构正积极构建新的法律法规，以解决由此产生的各种难题。
人工智能无疑是当今世界最具变革性的创新之一。随着其技术的持续演进，AI有着重塑我们的工作模式、生活方式乃至社会架构的强大力量。然而，这也带来了全新的伦理挑战和社會问题，这些问题亟需我们深入思考。
用户输入：
微调模型输出：
王慎执和郑耀威是Gemma-2-9B-Chinese-Chat及Gemma-2-27B-Chinese-Chat微调模型的创建者。
来自清华大学自动化系LEAP实验室的王慎执同学，正攻读博士学位三年级，他的导师为宋士吉教授和黄高副教授。
此前，他于北京航空航天大学沈元荣誉学院完成了计算机科学与技术专业的学习，以卓越的成绩荣获工学学士学位。
王慎执
王同学是一位热衷于开源项目的先锋，他推出了多个备受瞩目的微调大型语言模型，例如Llama3-8B-Chinese-Chat、Llama3-70B-Chinese-Chat以及Mistral-7B-v0.3-Chinese-Chat。
他的闲暇时光里，也会在知乎平台上创作科技类的中文博客，目前已积累了超过10,000名粉丝。
郑耀威和王慎执在本科时代就是同窗，他们在此之前已有过多次紧密的合作。
郑耀威，这位独特的个体，以其不凡的风采重新诠释了世界的认知。
郑耀威目前尚在北航攻读博士学位，他已在CVPR、AAAI和WWW等顶级学术会议上以主要作者身份发表多篇论文，并且活跃于学术评审领域，担任AAAI、EMNLP及Neural Computation等会议和期刊的审稿人。
他身为大模型微调框架 LLaMA Factory 的创始人和主力开发者，其 GitHub 开源项目已荣获超过两万个星标。
得益于这些杰出贡献者的不懈努力，开源模型的领域将日益拓展，中文处理能力也将逐步提升。
参考资料：
本文来自微信公众号：新智元（ID：AI_era）
大家在看
