腾讯推出游戏视频模型GameGen-O，可一键生成“类黑神话”风格的游戏！
编辑日期：2024年09月14日
业内人士：游戏工作室的ChatGPT时刻
什么？大模型也许很快就能生成《黑神话·悟空》这样的3A大作？！
《西游记》这就上桌，搭配BGM，有内味儿了（doge）。
这就是腾讯近日推出的GameGen-O，一个专门用于生成开放世界视频游戏的Transformer模型。
简而言之，这个模型能够模拟各种游戏引擎的功能，生成游戏角色、动态环境、复杂动作等。
此外，它还支持交互控制，用户可以通过文本、操作信号和视频提示来控制游戏内容。
消息一公布便在社交媒体上引发了热议，网友们纷纷惊呼：
游戏工作室Azra Games的联合创始人兼CTO更是直言：
“GameGen-O将成为游戏工作室的ChatGPT时刻。”
具体来说，这个项目是由腾讯联合香港科技大学和中国科技大学共同推出的。
其目标是利用AI模型替代部分游戏开发环节，例如游戏角色创建、游戏环境生成、动作生成、事件生成以及各种交互控制。
下面我们逐一来看一下吧~
现在，通过GameGen-O就可以一键生成各种角色，如西部牛仔、太空人、魔法师、警卫等。
腾讯推出了游戏视频模型GameGen-O，
由于经费不足导致难以进行实景拍摄的情况，现在也有备选方案了！
给队友展示炫酷操作，无论是哪种人称视角的动作生成都能轻松搞定。
游戏中的必备环节——偶尔给玩家带来亿点点难度，比如海啸、龙卷风、火灾等事件（doge）。
同时，GameGen-O还支持开放域生成，即不限制风格、环境和场景。
最后，通过文本、操作信号和视频提示即可实现互动，无论是向左、向右还是走向黎明……
要知道游戏开发是多么烧钱，而现在，普通玩家也能用GameGen-O来制作游戏了。
一位AI架构师网友甚至断言：
为了开发这个模型，团队主要进行了两项工作：
具体来说，团队首先提出了一种数据集构建流程。
腾讯推出了游戏视频模型 GameGen-O。为此，团队从互联网上收集了32,000个原始视频，这些视频来自数百款开放世界游戏，时长从几分钟到几小时不等，涵盖的角色扮演游戏、第一人称射击游戏、赛车游戏和动作益智游戏等多种类型。
随后，由人类专家对这些视频进行识别和筛选，最终保留了大约15,000个可用视频。接下来，团队利用场景检测技术将筛选后的视频切割成片段，并根据美学、光流和语义内容对这些视频片段进行严格的排序和过滤。
之后，使用GPT-4对超过4,000小时的高质量视频片段进行了详细的注释，这些片段的分辨率从720p到4K不等。为了增强交互控制性，团队从已注释的数据集中挑选出最高质量的片段并进行了解耦标签（decoupled labeling）处理。这种标签设计用于描述片段内容状态的变化，以确保训练模型的数据集更为精细和互动。
这种由人类专家与GPT-4协同工作的模式，被一些网友视为一种递归自我改进的形式。人类专家保证了注释的准确性，并通过反馈机制帮助GPT-4进行自我改进。
完成数据准备工作后，团队通过基础预训练和指令调整两个步骤来训练GameGen-O模型。在基础训练阶段，GameGen-O模型采用了一个2+1D VAE（变分自编码器，例如 Magvit-v2）来压缩视频片段。为了使VAE更好地适应游戏领域，团队还对其解码器进行了特定领域的调整。
团队采用了一种混合训练策略，利用不同帧速率和分辨率的数据来增强模型在不同帧率和分辨率下的泛化能力。此外，该模型的整体架构遵循了Latte和OpenSora V1.2框架的原则。
通过引入掩码注意力机制，GameGen-O具备了从文本生成视频以及继续生成视频片段的双重功能。
团队表示：
这种训练方法，结合OGameData数据集，使模型能够稳定且高质量地生成开放领域的视频游戏内容，并为后续的交互控制能力打下了坚实的基础。
预训练后的模型被固定，然后通过可训练的InstructNet进行微调，从而使模型可以根据多模态结构指令生成后续帧。
InstructNet主要负责接收各种多模态输入，包括结构化文本、操作信号和视频提示。
在调整InstructNet分支的过程中，当前内容作为条件，建立了当前片段与未来片段之间的映射关系，这一过程是在多模态控制信号下进行的。
因此，在推理阶段，GameGen-O允许用户基于当前片段持续生成并控制下一个片段的内容。
目前，GameGen-O已经在GitHub上建立了官方仓库，不过代码尚未上传。
感兴趣的同学可以先关注一波了~
每个角色都有其独特的性格
