家庭AI工作站，集成PC与平板，轻松驾驭400亿参数巨模，GitHub热度飙升，摘星2.5K。
编辑日期：2024年07月22日
拥抱MLX及tinygrad，llama.cpp正紧锣密鼓地适配中。无需H100加持，仅凭三台苹果电脑，便能驱动400B参数的庞然大模。这一切，皆归功于GitHub上一颗冉冉升起的新星——一款开源的分布式AI推理框架，已揽获2.5K赞许之星。
借助该框架，日常设备如iPhone、iPad，只需几分钟，即可编织成个人专属的AI计算集群。
名为exo的框架，独树一帜，采用p2p互联，设备一经上线，即刻无缝融入集群。
两台MacBook Pro搭配一台Mac Studio，在exo的助力下，计算力飙升至110TFLOPS。开发者信心满满，静候Llama3-405B的到来。
exo官方承诺，Llama3-405B发布首日，即刻提供支持。
不仅如此，exo让iPhone、iPad乃至Apple Watch，均能无缝接入本地计算网络，共同构建家庭AI工作站。
随着更新的步伐，exo框架已非苹果专属，突破了初期仅限MLX的局限，现在连结了安卓手机与4090显卡，构建出更为多元的计算集群。
有别于传统的分布式推断框架，exo摒弃了主从结构，采用点对点（P2P）方式，让设备间直接互联。
只需在同一局域网下，设备即可无缝融入exo的运算网络，即刻执行模型任务。
在模型跨设备分配时，exo提供多样化的分割策略，预设采用环内存权重划分，
即在环状网络中执行推断，各设备依据内存大小，承载相应数量的模型层。
这一切几乎无需人工干预，安装后系统自动识别局域网内的设备，未来更将兼容蓝牙连接。
据演示视频，仅需一分钟，便能在两台新MacBook上完成配置，迅速进入后台运行状态。
此外，exo支持tiny chat图形界面与OpenAI API兼容性，但此功能仅限于集群的终端节点。
当前，exo兼容苹果MLX与开源tinygrad框架，并正着手整合llama.cpp，拓展其应用边界。
遗憾之处在于，iOS系统的更新滞后于Python的发展步伐，由此引发了一系列技术难题，迫使作者不得不暂时将exo应用从手机及iPad平台下架。若你仍怀揣浓厚兴趣欲一探究竟，可直接向作者发送电子邮件索取相关资源。
在HackerNews上，这种在本地设备上运行大型模型的做法激起了热烈讨论。
本地部署的优势显而易见：一来，用户数据安全得到更严密保护；二来，即使在无网络环境下，模型也能正常工作，且允许用户根据个人需求进行定制。
有观点提出，相较于云端服务，利用手头设备构建计算集群，长远来看，其成本更为经济。
然而，对于exo项目本身，质疑之声亦此起彼伏。
一位网友直指要害：老旧设备的计算能力与专业云服务商相比，差距犹如天壤之别。出于好奇心小试牛刀尚可，若追求极致性能，与大型平台的成本效益对比则显得力不从心。
另有声音补充道，作者展示的设备均为顶级配置，譬如一款配备32GB内存的Mac设备，售价可能高达2000美元以上，这足以购买两块高性能显卡3090。在提及苹果产品时，性价比似乎成了一个遥远的话题。
这就引发了一个疑问——exo框架究竟适配了哪些硬件？难道仅限于苹果产品？网友的询问更为直截了当，直接质问是否兼容树莓派。
作者回应称，理论上是可行的，但尚未进行实际验证，下一步计划进行相关测试。
除了硬件的计算能力，有评论指出，网络传输速率的瓶颈也可能制约集群效能。
对此，框架开发者详细解释道：
在exo中，传输对象为轻量级的激活向量，而非庞大的模型参数。以Llama-3-8B为例，激活向量大小约10KB；而Llama-3-70B则约为32KB。通常情况下，局域网延迟极低(<5ms)，对性能影响微乎其微。
开发者透露，当前框架已兼容tinygrad，因此尽管主要测试是在Mac上完成，但从理论上讲，所有能运行tinygrad的设备都能使用此框架。
目前，该框架仍处于试验阶段，长远目标是让其操作如同Dropbox般简便。
顺便一提，exo官方列出了若干待优化的问题，并公开悬赏，成功解决者将获得100至500美元的奖励。
GitHub仓库现可访问： https://github.com/exo-explore/exo 参阅详情： https://x.com/ac_crypto/status/1814912615946330473
智能家庭工作站，融合PC和平板，操作自如。
“OpenAI敞开怀抱”
智能家庭工作站，整合PC和平板，操控便捷。
技术现已公开共享。
智能家庭工作站，兼容PC与平板，使用随心。
戏言者称：在GitHub找代码，犹如执行秘密任务。
智能家庭工作站，集PC和平板于一体，操控自如。
对开发搜索、推荐系统等深度学习应用更显亲和。
智能家庭工作站，结合PC及平板，操作轻松。
开源小模型组合，直击工具调用痛点。
智能家庭工作站，汇聚PC与平板，使用畅快。
或许胜过当前GPT-3，潜力无限。
大家在看
