全球首款transformer专用ai芯片sohu登场每秒可处理50万个tokens比英伟达h100快20倍
据公开信息显示,Etched 公司是由两位哈佛大学的肄业生,加文・乌伯蒂(Gavin Uberti)和克里斯・朱(Chris Zhu),共同创办的。目前,这家公司成立尚不足两年。
Sohu 的芯片引人注目的特色在于其创新地将 Transformer 架构一体化集成到硬件设计中。据乌伯蒂所述,该芯片运用了台积电先进的4纳米工艺技术,其推断效能显著超越了GPU和其他常规人工智能芯片,且在能效比方面展现出更优的表现。
在Llama 70B的处理能力下,Sohu能每秒处理超过50万枚令牌,赋能用户创建出超越GPU技术限制的创新产品。
Sohu 拥有实时语音代换技术、能在眨眼间处理海量文本、强化的代码森林探索功能、能并行对比数百种响应、实施多路推理解码以及动态创造新颖内容的能力,这一切都为运行万亿级参数模型的未来开辟了可能性。
以下是官方网址,感兴趣的朋友可以进一步探索了解。
大家都在看
Python小白教程:点击学习
数据分析练习题:点击学习
AI资料下载:点击下载
大家在看
AI安装教程
AI本地安装教程
微软AI大模型通识教程
微软AI大模型通识教程
AI大模型入门教程
AI大模型入门教程
Python入门教程
Python入门教程
Python进阶教程
Python进阶教程
Python小例子200道练习题
Python小例子200道练习题
Python练手项目
Python练手项目
Python从零在线练习题
Python从零到一60题