家庭AI工作站,集成PC与平板,轻松驾驭400亿参数巨模,GitHub热度飙升,摘星2.5K。
编辑日期:2024年07月22日
拥抱MLX及tinygrad,llama.cpp正紧锣密鼓地适配中。无需H100加持,仅凭三台苹果电脑,便能驱动400B参数的庞然大模。这一切,皆归功于GitHub上一颗冉冉升起的新星——一款开源的分布式AI推理框架,已揽获2.5K赞许之星。
借助该框架,日常设备如iPhone、iPad,只需几分钟,即可编织成个人专属的AI计算集群。
名为exo的框架,独树一帜,采用p2p互联,设备一经上线,即刻无缝融入集群。
两台MacBook Pro搭配一台Mac Studio,在exo的助力下,计算力飙升至110TFLOPS。开发者信心满满,静候Llama3-405B的到来。
exo官方承诺,Llama3-405B发布首日,即刻提供支持。
不仅如此,exo让iPhone、iPad乃至Apple Watch,均能无缝接入本地计算网络,共同构建家庭AI工作站。
随着更新的步伐,exo框架已非苹果专属,突破了初期仅限MLX的局限,现在连结了安卓手机与4090显卡,构建出更为多元的计算集群。
有别于传统的分布式推断框架,exo摒弃了主从结构,采用点对点(P2P)方式,让设备间直接互联。
只需在同一局域网下,设备即可无缝融入exo的运算网络,即刻执行模型任务。
在模型跨设备分配时,exo提供多样化的分割策略,预设采用环内存权重划分,
即在环状网络中执行推断,各设备依据内存大小,承载相应数量的模型层。
这一切几乎无需人工干预,安装后系统自动识别局域网内的设备,未来更将兼容蓝牙连接。
据演示视频,仅需一分钟,便能在两台新MacBook上完成配置,迅速进入后台运行状态。
此外,exo支持tiny chat图形界面与OpenAI API兼容性,但此功能仅限于集群的终端节点。
当前,exo兼容苹果MLX与开源tinygrad框架,并正着手整合llama.cpp,拓展其应用边界。
遗憾之处在于,iOS系统的更新滞后于Python的发展步伐,由此引发了一系列技术难题,迫使作者不得不暂时将exo应用从手机及iPad平台下架。若你仍怀揣浓厚兴趣欲一探究竟,可直接向作者发送电子邮件索取相关资源。
在HackerNews上,这种在本地设备上运行大型模型的做法激起了热烈讨论。
本地部署的优势显而易见:一来,用户数据安全得到更严密保护;二来,即使在无网络环境下,模型也能正常工作,且允许用户根据个人需求进行定制。
有观点提出,相较于云端服务,利用手头设备构建计算集群,长远来看,其成本更为经济。
然而,对于exo项目本身,质疑之声亦此起彼伏。
一位网友直指要害:老旧设备的计算能力与专业云服务商相比,差距犹如天壤之别。出于好奇心小试牛刀尚可,若追求极致性能,与大型平台的成本效益对比则显得力不从心。
另有声音补充道,作者展示的设备均为顶级配置,譬如一款配备32GB内存的Mac设备,售价可能高达2000美元以上,这足以购买两块高性能显卡3090。在提及苹果产品时,性价比似乎成了一个遥远的话题。
这就引发了一个疑问——exo框架究竟适配了哪些硬件?难道仅限于苹果产品?网友的询问更为直截了当,直接质问是否兼容树莓派。
作者回应称,理论上是可行的,但尚未进行实际验证,下一步计划进行相关测试。
除了硬件的计算能力,有评论指出,网络传输速率的瓶颈也可能制约集群效能。
对此,框架开发者详细解释道:
在exo中,传输对象为轻量级的激活向量,而非庞大的模型参数。以Llama-3-8B为例,激活向量大小约10KB;而Llama-3-70B则约为32KB。通常情况下,局域网延迟极低(<5ms),对性能影响微乎其微。
开发者透露,当前框架已兼容tinygrad,因此尽管主要测试是在Mac上完成,但从理论上讲,所有能运行tinygrad的设备都能使用此框架。
目前,该框架仍处于试验阶段,长远目标是让其操作如同Dropbox般简便。
顺便一提,exo官方列出了若干待优化的问题,并公开悬赏,成功解决者将获得100至500美元的奖励。
GitHub仓库现可访问: https://github.com/exo-explore/exo 参阅详情: https://x.com/ac_crypto/status/1814912615946330473
智能家庭工作站,融合PC和平板,操作自如。
“OpenAI敞开怀抱”
智能家庭工作站,整合PC和平板,操控便捷。
技术现已公开共享。
智能家庭工作站,兼容PC与平板,使用随心。
戏言者称:在GitHub找代码,犹如执行秘密任务。
智能家庭工作站,集PC和平板于一体,操控自如。
对开发搜索、推荐系统等深度学习应用更显亲和。
智能家庭工作站,结合PC及平板,操作轻松。
开源小模型组合,直击工具调用痛点。
智能家庭工作站,汇聚PC与平板,使用畅快。
或许胜过当前GPT-3,潜力无限。