豆包大模型的日均 Tokens 使用量已突破 5000 亿,模型家族再度升级。
编辑日期:2024年07月26日
已有50多个业务部门采用了豆包大型模型。
7月25日在成都举行的火山引擎2024“AI创新巡展”的首场活动中透露了豆包大型模型(ByteDance的模型)的最新进展:截至7月,豆包大型模型的日均Tokens使用量已经超过了5000亿,而每家企业的日均Tokens使用量相较于5月15日模型发布时,平均增长了22倍。
豆包大型模型是由字节跳动自主研发,最初名为“云雀”,是首批通过算法备案的大型模型之一。目前该模型通过火山引擎——字节跳动旗下的云服务平台,为企业提供服务。从发布之初,豆包大型模型就以庞大的使用量和广泛的应用场景为特点。
根据火山引擎副总裁张鑫的介绍,在字节跳动内部,已经有超过50个业务部门在使用豆包大型模型,涵盖了协同办公、数据分析、文案创作、辅助编程、内容审查、客户服务、游戏NPC互动、角色对话以及教育等多个领域。基于豆包大型模型构建的新技术引擎正加速推动业务创新。此外,豆包大型模型的外部客户已经扩展到包括手机、汽车、金融、消费、互联网娱乐在内的30多个行业,并与OPPO、vivo、荣耀、小米、三星、华硕等知名终端制造商以及吉利汽车、长城汽车、捷途汽车、赛力斯、智己汽车等20多家汽车制造商合作,共同建立了智能终端大型模型联盟和汽车大型模型生态联盟。
在这次活动中,作为豆包大型模型西南地区的代表性企业用户,蓝领招聘平台鱼泡科技和智能客服企业晓多科技分享了他们接入豆包大型模型后实现业务增长的经验案例。其中,鱼泡科技的日均豆包模型调用量已经超过1亿Tokens,应用场景包括岗位需求识别、工作类型识别、求职意向识别以及推荐系统的相似度识别等。
火山引擎大模型服务算法架构师孙帆指出,企业在使用大模型时,面临的关键挑战就是“模型效果”、“使用成本”和“落地难度”三个方面。豆包大模型和火山引擎正是从“更强模型”“更低价格”“更易落地”出发,帮企业解决难题。 据悉,豆包模型家族在5月正式发布时,提供的就是一个有多模态能力的模型家族,主要包括通用模型pro、通用模型lite、语音识别模型、语音合成模型、文生图模型等九款模型。主力模型豆包通用模型pro自5月发布以来,在多个公开评测集以及专业的第三方评测中表现出众,是得分最高的国产大模型。
本次,豆包模型家族升级了文生图模型和语音模型。升级后的豆包·文生图模型具备更精准的中英文长文本理解能力,能够生成图文一致的高美感图片;豆包·语音合成模型在升级后实现了智能识别文本情绪并对语速、语调动态调整,使之情绪更加饱满;声音复刻模型仅需5秒就能高保真复刻人声,并支持多种小语种。
值得一提的是,豆包模型家族此次官宣了一位新成员——豆包·图生图模型。基于文生图模型打造,豆包·图生图模型能实现高度还原人物特征,50多种风格场景自由转换,并提供多种富有创意的延展编辑。该模型能力已经在抖音、剪映、豆包、星绘等字节系App中落地,并通过火山引擎服务了三星、努比亚等企业客户,目前日均图生图数量达到数千万张。
在模型定价方面,公开报道显示,豆包主力模型的推理输入价格只有0.0008元/千Tokens,比行业便宜99.3%。火山引擎总裁谭待此前接受采访时曾对此表示,大模型的超低定价,来自对技术的信心,火山引擎能通过技术手段实现大模型推理成本的优化。
谭待指出,“如今,如果创业者需要花费一万元来使用大型模型,可能会觉得成本偏高。但如果我们能把费用降至仅一百元,即总成本的1%,那么他们就更愿意尝试自己的创意。”他认为,企业在进行人工智能转型时面临许多不确定因素,因此必须尽可能降低试错成本,以便更快、更广泛地推动大型模型的实际应用,最终使整个行业从中受益。豆包大模型不仅价格亲民,还提供远超同级模型的每分钟处理Tokens数量限制,大大增强了服务的承载能力。
孙帆解释道,豆包通用模型Pro为客户提供业界领先的初始TPM(每分钟处理的Tokens数量)和RPM(每分钟请求次数),这有助于企业在高并发场景下实施业务计划。
字节跳动正持续加大在大型模型技术研究上的投入,并在视觉、语音等领域取得了一系列显著成果,其中一些成果已经应用于豆包大模型的相关产品中。
孙帆强调,“我们的目标是利用强大的技术实力为企业提供更好的选择,减轻他们的成本负担,鼓励他们更加积极大胆地尝试和迭代,推动大型模型应用的快速发展。”
火山引擎还对其插件服务进行了升级,新增了网页解析和计算器等功能,进一步扩展了模型的能力范围,以满足企业的多样化需求。此外,还推出了扣子专业版、HiAgent平台等一系列新产品及云基础设施的最新进展。
张鑫表示,火山引擎正在快速自我迭代,朝着更加智能化、行业化和区域化的方向发展。“我们相信,未来将有越来越多的西南地区企业通过豆包大模型和火山引擎实现业务创新,为经济发展增添新动力。”
“文科强理科弱”的原因找到了
图片显示了豆包大模型的日均Token使用情况。
提供了两种使用形式:AI编程助手和Cloud IDE。
以豆包的主要模型pro-32k为例,其价格比业内其他模型低99%,而TPM限制则是同类规格模型的2.7至8倍。
另有一张图片标题似乎在提到减少对Chrome的依赖,
另一图片则提到了AI插件成为新的竞争焦点。