达摩院的寻光平台在WAIC大会上惊艳亮相，开创性地解决了AI视频制作的全程操控难题，引领创新潮流。
编辑日期：2024年07月05日
在AIGC时代，视频制作的工作流程正经历革新。
只需轻巧一划，选定对象即刻独立成图层，随后流畅地融入各种背景视频，场景切换变得轻而易举。
只需轻轻一点，AI就能帮你轻松调整镜头视角：
可轻松实现目标的删除与修改：
从此告别连续加班导致的手部疲劳（doge）。关键点来了！这不是单纯的实验室技术展示，而是一个即将开启内测的全方位AI视频创作平台——“寻光”，准备让创作者们大展身手。
这意味着，以往需要在各个不同环节进行的剧本构思、故事板绘制、视频素材剪辑等工作，现在都能在AI的支持下，在同一平台上无缝整合、高效完成。
这就是阿里巴巴达摩院在世界人工智能大会上海分会场释放的最新创新震撼。
一经演示，现场观众无不为之振奋。
达摩院官方展现了在AI视频领域的雄心壮志：
不模仿Sora，他们决心走出独特的道路，力求让AI的创造力迅速适应人类的想象力边界。
“寻光”寓意着“在梦想与光影之间探索”：
其目标是运用人工智能技术，开创前所未有的视频制作新方式。
不同于今年众多引人注目的AI视频创作模型如Sora，我们更聚焦于“Sora之后，视频制作流程的革新”。
阿里巴巴达摩院指出，虽然Sora等AI模型为视频制作方式带来了革命性的想象空间，但目前的技术仍面临重大挑战，例如如何精准控制AI生成的视频内容，包括理解复杂的故事情节和保持生成对象的一致性。
此外，目前行业缺乏一个集中的AI视频编辑平台，能够使创作者全面体验到从头至尾由AI辅助的视频创作过程。
以OpenAI的创始人Andrej Karpathy为例，他近期也尝试了AI视频制作，创作出了一部人工智能版本的《傲慢与偏见》。
在创作这部短片时，他运用了一系列工具，如Claude、Ideogram、Luma、ElevenLabs和VEED。然而，他坦诚地表示：
工作流程实在过于复杂，频繁的复制粘贴操作使得制作一个只有三个片段的小视频竟然耗时约一小时。这无疑揭示了一个巨大的创新空间。有谁正在构建一个完全基于AI的视频制作平台呢？
为此，达摩院推出了“寻光”，它被定位为一个面向PUGC的一站式AI视频创作平台，旨在解决上述挑战，利用AI技术改革整个传统的视频制作流程。
具体而言，“寻光”能够协助用户编写剧本、设计分镜，并提供多种AI增强编辑功能，如角色管理、场景切换、镜头运动控制、对象添加、移除或修改等超过十种功能。
在用户体验上，我们致力于实现“视频编辑如同操作PowerPoint一样轻松直观”。
以镜头规划阶段为例，用户上传至“寻光”的原始视频会通过算法智能分解为一系列独立的镜头。
在创新的工作环境中，用户能便捷地浏览每个镜头，并通过简单的拖放动作进行定制化编辑。
在创建的新空白场景中，除了整合现有素材，用户还能利用“寻光”平台提供的多元模态生成工具，创作出全新的内容。
在编辑特性上，寻光侧重于精准的编辑与操控体验：借助AI技术，它能理解用户的意图，从语义层面执行编辑，而非局限于像素级操作。此外，无论是人体、人脸、前景还是背景等视频中的任何特定区域，都能实现细致入微的编辑调整。
陈威华，达摩院视觉技术实验室的资深算法专家，在现场特别强调了基于视频图层的编辑功能。以前景图层功能为示例，用户只需输入文字描述，系统便能生成具有透明背景、符合描述的视频片段，并能轻松一键将其无缝融入其他背景视频。
寻光具备独特的图层分解功能，用户只需在视频起始帧挑选要提取的对象，智能算法便会自动追踪并将其从整个视频中分离出来，生成带有透明背景的独立视频图层，即便是细微如飘动的头发也能精细地抠取。
此外，寻光平台在视频整体风格编辑方面，提供了超过20种独特的风格转换选择。
在镜头移动操作方面，它涵盖了水平左右滑动、垂直上下滑动、缩放推进与拉远以及环形左右移动等多种技巧。
除了能够消除目标，寻光平台在视频局部编辑方面还能够实现对人脸的精细调整和控制。
柔和的操纵实现动态掌控：
来自国风武侠动画《少年白马醉春风》第三集的精彩瞬间：
寻光堪称整合了最全面的AI编辑特性，将完整的视频制作流程交由人工智能处理，显著提升了便捷性和效率，避免了在各类工具间切换的传统工作方式中AI功能的碎片化应用。
目前，工业界和学术界共同聚焦于研发更能洞察物理世界、能生成更长时间且效果更为出色的多模态模型。
然而，随着更强大的AI出现，人们能否迅速适应并驾驭这种新生产力，也是一个引人关注的讨论点。
Karpathy引发讨论后，许多网友赞同其观点：
切换不同工具会打断工作流程，实则限制了效率提升的空间。AI视频制作亟需一个统一的用户界面。
在WAIC大会上，陈威华指出，我们正处于AI驱动的视频制作革命前沿。“要办好一件事，必须先有锐利的工具”，他设想寻光视频创作平台将成为每个人的得力助手，成为一个定制化的个人视频工作室。在这个平台上，AI将与创作者形成更紧密、更高效的协同。
为了实现这一目标，达摩院的视觉技术实验室已积累了丰富的技术基础。
该实验室专注于多模态视觉信号的理解和生成技术，目前主要研究领域涵盖了精确的图像/视频/3D内容生成、可控的编辑技术、高效的生成架构以及多模态的理解-生成框架等。
全球范围内，AIGC已掀起热潮，关键在于它预示着生产力根本性变革的可能性。
如今，释放生产力的第一步正在变为现实，你是否满怀期待？
官方网站：https://xunguang.damo-vision.com/
—— 完 ——
近期，中文搜索引擎领域再度引发热烈关注
不同的个性在数学中找到共鸣
今年，女性候选人中已有两位成功当选。
如今，钉钉已化身阿里AI等先进技术的交互界面
中国的人工智能领域呈现出了前所未有的壮大规模。
以上全文，欢迎继续阅读学习
