全国首发 | 腾讯云部署Llama 3.1模型，现已支持TI平台上的微调与推断功能。

编辑日期：2024年07月24日

7月23日，Meta推出了Llama 3.1模型，提供8B、70B及405B三种参数版本。405B版本是当前最大的开源模型之一，拥有4050亿参数，支持多语言处理，在复杂计算与即时内容创作方面表现卓越。

为满足企业和开发者对多样化模型的需求，腾讯云TI平台迅速行动，率先在国内完成Llama 3.1的集成与上线工作，支持一键微调和推理。经过全面测试验证，确保该系列模型在智能对话、文本生成与写作等场景下的实用性与便捷性。

腾讯云TI平台不仅集成了自研的腾讯混元大模型和行业大模型，还接入了包括Llama 3、Baichuan、Falcon、Dolly、Vicuna、Bloom在内的主流开源模型，便于快速启动训练任务或部署推理服务，简化操作流程，提高开发效率。企业和开发者可根据具体业务需求灵活选用这些模型，有效降低成本。

聚焦实战应用，腾讯云TI平台正构建一套高效的大模型微调工具链，帮助企业加速智能化转型，缩短模型开发周期，优化研发效率与资源利用。

在数据筹备阶段，平台以卓越的灵活性和效能，提供数据构造与标注服务，涵盖三大数据管理流程：多轮对话监督学习、单轮问答与非监督预训练，以及五大精细处理步骤，诸如数据初探、净化、去重等。平台源码开放，允许用户依据需求自由调整。基于腾讯云实战心得，我们积累了逾百万条针对12类LLM场景的精心校准数据，智能调节数据比例，避免过度拟合或技能遗忘，显著优化模型表现。数据标注方面，腾讯云TI平台创新引入Schema定义标注架构与组件，打造定制化操作界面，实现行业领先的多模态数据标注弹性。

于微调训练期，腾讯云TI平台供应便捷、稳固、高能的训练工具。内置流行开源巨模型及自研混元模型，一键启动微调作业。三层防护机制确保大型训练平稳运作：硬件容错、容器编排、任务恢复训练。依托自创Angel训练框架，整体提速30%，特定模型如baichuan2相较deepspeed快70%，大幅提升任务完成率与资源利用效率。

模型验证阶段，平台遵循实际算法流程，提供体验、客观与主观三阶段评估服务。体验评估透过在线问答检验模型效能，确保训练无重大偏差；客观评估运用主流开源测试集自动评分；主观评估由业务专家人工评判，确保模型品质。

为简化开发流程，腾讯云TI平台开放API与多样SDK，便于开发者无缝整合Llama 3.1等模型至应用中，免去繁复设置，显著增强开发效率与产品迭代速率，促进大模型生态系统繁荣，加速模型商用进程。

腾讯已在大型模型领域构筑起全面的产品生态，覆盖从底层坚实基础设施至顶层多样化的智慧应用，包含自主研发的通用大型模型、模型开发平台、智能体开发平台，及为特定场景设计的智能应用解决方案。我们通过这些产品与方案，助力企业客户迅速整合大型模型技术于实际业务流程，实现快速实施与价值变现。

在医疗领域，腾讯云与上海市数字医学创新中心联手研发医疗大型模型，现于瑞金医院成功应用于总检报告与电子病历生成项目。举例而言，平均5秒内可自动生成一份总检报告，有效节省医生超过50%的撰写时间。

于文化娱乐产业，阅文集团长期运用大型模型技术提升用户创作与插图制作效率，却遭遇模型更新频繁、操作复杂及推理成本高等挑战。腾讯云TI平台的介入，简化了模型训练配置，通过加速框架显著提高推理速度，并提供直观的管理工具，持续破解以上难题。

在大型模型时代，算力、网络、数据共同构建底层基础设施的“三驾马车”。除一站式AI大型模型服务外，腾讯云亦提供HCC高性能计算集群、星脉高性能计算网络及向量数据库等基础设施服务。

腾讯云不仅致力于为各行各业打造专属的大型模型解决方案，也积极投身于行业大型模型标准的制定。在金融界，腾讯云联合信通院发布国内首份金融行业大型模型标准，为智能发展与大型模型的安全合规奠定基础；在医疗健康领域，腾讯参与编撰的《人工智能大型模型赋能医疗健康产业白皮书（2023年）》已面世，旨在促进医疗健康大型模型的发展并提出标准化建议。

在最新的进展中，腾讯荣幸地当选为全国信标委人工智能分委会委员及副秘书长单位，扮演着关键角色，致力于标准制定与技术领航。展望未来，腾讯云将不断精进技术，倾力构建大模型生态系统，加速行业解决方案的实施，为各行各业的数字化进程注入强劲动力。

腾讯秉持开放合作的精神，旨在汇聚社会各界之力，共同推进科技公益事业的长足发展。

腾讯云携手北京大学光华管理学院，开创性地推出了AI通识课程，旨在培养具备跨学科视野的未来领袖。

在技术创新方面，腾讯引领潮流，首次提出了新型数据结构设计与AI智能参数调优等前沿概念，彰显其在业界的领导地位。

经过长时间的潜心研发，腾讯的大模型终于揭开神秘面纱，展现出令人瞩目的成果，为行业树立了新的标杆。

（字数：247）