国内首个端到端通用语音大模型——心辰Lingo,现已开放内测预约。
编辑日期:2024年08月30日
实时打断、实时指令控制、超级拟人、能说会唱
国内首个端到端通用语音大模型——心辰Lingo现已开放内测预约。
在技术上,心辰Lingo具备实时打断、实时指令控制、超级拟人、能说会唱等能力,其中文语音效果超越了GPT-4o。9月5日,西湖心辰将在外滩大会上正式发布这一模型,该技术的突破或将对多个领域产生深远影响,并有望引领人机交互进入一个全新的时代。
访问「心辰Lingo」语音大模型官网(🔗 https://lingo.xinchenai.com),即可立即预约内测。
传统的语音交互需要先将语音转换成文字,再理解文字,生成回复文字,最后再将文字转回语音。每次交互中,“语音-文本”和“文本-语音”的转换难免会丢失信息,尤其是语音中的情绪表达和“言外之意”。
端到端语音对话模型就像一位“高情商”的朋友,能够捕捉语气的变化、情绪的波动,甚至是犹豫和停顿。它不仅能“倾听”和“引导”,还能与你“共情”,提供情绪价值。
心辰Lingo作为国内首个端到端通用语音大模型,融合了语音识别、自然语言处理、意图识别、对话管理和语音合成等多项前沿技术,具备实时打断、实时指令控制、超级拟人、能说会唱等能力。研发团队在多个领域和中文方面进行了增强,使Lingo的中文语音效果优于GPT-4o。与其他语音大模型相比,Lingo拥有以下三个技术特征:
-
原生的语音理解:不仅精准识别语音中的文字信息,还能捕捉情感、语气、音调乃至环境音等重要特征,帮助模型更全面地理解语音内容,从而提供更加自然和生动的交互体验。
-
多种语音风格表达:根据交互上下文和用户指令,自适应调整语音的速度、高低、噪声强度等,并生成对话、歌唱、相声等多种风格的语音响应,有效提升模型在不同应用场景下的灵活性和适应性。
-
语音模态超级压缩:利用压缩比达数百倍的语音编解码器,能够将语音内容压缩至极短的长度,大幅降低计算和存储成本,同时帮助模型生成高质量的语音内容。端到端语音技术以其强大的交互能力和智能化处理方式,不断拓展在各行各业的应用边界。作为行业先锋,心辰Lingo也在积极探索相关的应用场景。
-
具身智能:心辰Lingo可以扮演不同的助手角色,根据用户需求和指令提供个性化的语音服务。通过与具身智能技术的深度融合,智能机器人能够大幅提升意图识别和沟通理解能力,让用户不仅享受到智能生活的便捷,还能感受到科技的温情与贴心。
-
心理疗愈:心辰Lingo可以根据用户的情感状态,模拟“朋友”或“亲人”的沟通方式,通过定制化的语音提供安慰和鼓励,帮助用户缓解压力和焦虑。此外,它还可以模拟心理咨询师,以专业而温暖的态度与用户进行语音交流,提供倾听、理解和引导,帮助用户走出情绪低谷。
-
客户服务:心辰Lingo卓越的即时响应能力,确保在与用户交流时提供无任何体感延时的语音服务。它不依赖于传统的决策树结构,避免了因未预见情况导致的响应障碍。无论用户提出何种问题,Lingo都能凭借其先进的算法和强大的语言理解能力,提供恰当且及时的答复。此外,心辰Lingo还能精准识别用户的烦躁、生气、高兴、舒缓等不同情绪,并快速调整语音语调和音量,提供更具人性化和同理心的服务。
儿童教育
孩子的丰富想象力和不成熟的语言表达能力给人机沟通带来了挑战。心辰Lingo通过分析上下文、语气和语调等多方面因素,深入理解儿童的语音内容,并围绕“爱商教育”的理念,以积极的鼓励和表扬与孩子们建立情感联系,激发他们的表达能力。此外,它还能通过说唱的方式讲述故事情节和知识,增加学习的趣味性和吸引力,真正做到寓教于乐。
岁月档案
人类的大脑存储空间有限,而心辰Lingo作为端到端的AI语音大模型,具备长期记忆的能力,能够提供无限存储服务。它可以自动从对话中提取有效信息并记录存档,支持随时提取。利用这些存档数据和AI克隆技术,可以实现与亲友的“复活”交流,因为它记录了你们之间的共同回忆,能够更好地与你共情对话。
从智能家居到医疗健康,从客户服务到教育辅助,再到记忆存档,端到端语音系统以其便捷性、高效性和个性化服务,引领人机沟通进入一个全新的时代。随着技术的不断成熟和创新,我们有理由相信,该技术将在未来的智能世界中发挥更加核心和关键的作用,为人们的生活和工作带来更多便利和可能性。
心辰Lingo端到端语音大模型的问世,标志着西湖心辰在语音技术领域的深耕细作取得了重要成果,也是智能语音应用发展的一个重要里程碑。
9月5日,西湖心辰将在外滩大会正式发布这一模型。目前,心辰Lingo端到端通用语音大模型已开放测试预约,欢迎各位前来预约体验。
国内首个端到端通用语音大模型——心辰Li 罕见公开训练详情
他表示将在年底前完成B站视频更新(咕咕.gif)
下肢能力大升级
去人能去的地方,做人能做的事情。
8月8日,“2024科技创变者大会”在北京中关村盛大启幕。