在微软Windows 11中发现了国产开源大模型 RWKV！RWKV官方表示：没人给我经费啊？现在捐款还来得及。
编辑日期：2024年09月07日
可能会用于本地Copilot？
微软正在尝试将国产开源大模型 RWKV 集成到 Office 中！
RWKV 官方甚至直接发了一条推文表示：
RWKV.cpp 现已在全球五亿系统中部署。
之所以这么说，是因为他们在最新版 Windows 11 系统的 Office 文件夹中发现了以 rwkv 命名的 DLL 文件，包括 GPU 和 CPU 版本。
对这些二进制文件进行反编译检查后，结果显示这就是 GitHub 上的 RWKV.cpp 项目的一个变体。
每个人都可以将 Windows 11 更新到最新版本，并通过以下路径自行验证：
C:\Program Files\Microsoft Office\root\vfs\ProgramFilesCommonX64\Microsoft Shared\OFFICE16
或者，也可以在任何 IT 商店的 “Copilot Windows 11” 设备上搜索系统文件中的 rwkv。
消息一出，引发了网友们的热烈讨论，不少网友呼吁微软赶紧支付费用。
如果他们没有给予支持或引用你们的贡献，那就有点说不过去了。
希望这项工作能得到丰厚的报酬。
RWKV团队推测，微软可能会将RWKV模型应用于正在测试的本地Copilot以及记忆召回等功能。此前，在微软发布的新一代Copilot+PC中曾提到，专为人工智能重新设计的Windows 11操作系统上的许多功能都是实时的。
为了实现这一目标，微软引入了一种全新的系统架构，将CPU、GPU与高性能神经处理单元NPU相结合。NPU负责在后台实时运行AI程序，记忆召回功能实际上是AI对屏幕上的所有内容进行分类处理的结果。
RWKV模型具有以下优势：
- 支持超过100种语言，便于全球部署；
- 相较于传统的Transformer模型，其运行能耗更低，可以在包括树莓派在内的各种设备上高效运行。
下图显示，在生成更多token时所需的计算资源随着token数量的增加而线性增长，而cuda_rwkv-4-pile-3b模型在整个过程中表现出较低的曲线，这意味着在相同数量的token下，该模型的GPU资源消耗更为高效。
能耗对于设备电池寿命至关重要。
当然，这些都仅仅是猜测。关于微软的真实意图，RWKV团队表示将会持续关注后续发展。
RWKV的设计灵感来源于苹果公司在2021年的研究《An Attention Free Transformer》。团队意识到，通过在公式中使用循环矩阵（circular matrices），可以将网络结构简化为RNN形式。
与GPT系列的时间复杂度O(n^2)相比，RNN的时间复杂度仅为O(n)，空间复杂度为O(1)。这意味着生成内容的速度不会随着长度的增长而急剧增加，并且显存占用保持恒定。
论文的一位共同作者彭博在接受36氪采访时曾这样描述：
“GPT每写一个字就需要重新回顾一遍前面的所有文字，效率非常低。而RWKV就像人类在阅读完资料后，无需再查看资料就可以直接回答问题。”
这项研究自去年发布以来，在学术界引起了广泛关注。
RWKV的开创性论文是由来自27所大学、研究机构和公司的30名研究人员共同完成的。
共同作者彭博（Peng Bo）毕业于香港大学物理系，拥有超过20年的编程经验，曾在全球最大的外汇对冲基金之一Ortus Capital任职，负责高频量化交易工作。
他还撰写了一本关于深度卷积网络的书籍《深度卷积网络·原理与实践》。
彭博的主要关注点和兴趣在于软硬件开发，特别是在之前的公开访谈中，他明确表示自己对AIGC（人工智能生成内容）特别感兴趣，尤其是小说生成。
但他最主要的公开身份是一家名为禀临科技的灯具公司的联合创始人，该公司主要生产阳光灯、吸顶灯和便携台灯等产品。
此外，彭博显然是一位资深的猫奴，无论是在GitHub、知乎、微信头像还是灯具公司的官网上，都能看到一只橘猫的身影。
今年，RWKV团队又推出了两种新的架构模型：Eagle (RWKV-5) 和 Finch (RWKV-6)。
这两种序列模型以RWKV-4架构为基础，在多头矩阵值状态和动态递归机制方面进行了改进，提升了RWKV模型的表达能力，同时保留了RNN的高效推理特性。新架构还引入了一个包含1.12万亿个token的多语言语料库。
此外，团队开发了一种基于贪心匹配的快速分词器，以增强RWKV模型的多语言处理能力。
参考链接： [1] https://x.com/RWKV_AI/status/1831000938120917336 [2] https://github.com/RWKV/rwkv.cpp
通过语音控制一切，部分功能已达到L3级别
适用于任何仅解码器架构的模型
“AI搜索之火”烧向另一个战场
你的下一个Linux发行版可能是WSL
根据《纽约时报》的报道，这笔资金实际上是通过Azure云资源抵扣，并非实际支付的10亿美元现金。
在微软Windows 11中发现了国产开源系列模型，其中3个将进行开源。
注：提供的图片链接似乎不完整或有误，因此未包含在重写的内容中。如果有关国产开源系列模型的具体名称或其他详细信息，请告知以便更准确地重写文本。
