AI斗图神器：瞬间将普通视频变为梗图，轻松融入手绘动画
编辑日期：2024年08月14日
还好手中的咖啡只洒了一点点。
来自一个开源项目叫做 VideoDoodles，最近两天在外网上的讨论热度直线上升。
这个项目的特点在于能够为视频添加手绘风格的涂鸦，无论是可爱的还是奇特古怪的涂鸦都可以。
这就像是人工一帧一帧画上去的一样。
这对当前市面上大部分的2D视频编辑软件来说，仍是较大的挑战。若要达到同样的效果，通常创作者需要真正地一帧一帧地绘制上去，相当耗时费力。
但VideoDoodles能通过在视频中重建3D场景，然后在其中置入平面画布来产生这种效果。
许多人表示，可以使用它来装饰视频，添加卡通效果或字幕，然后再进一步制作成梗图/表情包。
搞笑视频也在安排中，正在路上！
VideoDoodles 是这样描述自己的效果的：
真的吗？一起来看看吧。
就像给鸭鸭添加手臂一样，VideoDoodles 可以为任何物种添加四肢。
火烈鸟可以拿着自己摇晃的红酒杯，在水里悠闲地泡脚。
小火车从远处驶来，挥舞着双手，嗖的一下从镜头里开过去了。
（注：原文中的"xiu"似乎是拟声词，表示快速通过的声音，常用字应为"嗖"）
当然，如果想要在视频片段中添加一个四肢健全的动物，也是没有问题的。
就像肩上的这只小松鼠：
可以发现，无论这位女士如何行走，小松鼠都乖乖地待在她的肩膀上。
除了肢体动作之外，您还可以使用 VideoDoodles 为视频片段添加类似于综艺节目中常见的后期制作的文字效果。
静态文本：
移动的文字：
都有良好的生成效果。
此外，借着最近刚结束的奥运会的热度，VideoDoodles 可以为各种大幅度的动作添加手绘效果。
或者是箭头指向：
或者是超人卡通特效：
为视频内容添加手绘动画的常规做法是将视频本身作为基底，然后通过人工一帧一帧地绘制出2D动画效果。
这种方法效率相对较低，并且需要确保手绘动画效果能够跟踪动态，处理透视变形，以及适应遮挡物。
可以搞定，但是耗时耗力。
那么，VideoDoodles 是如何处理动态物体的追踪以及动画同步的呢？
它提供了一个简易的界面，帮助大家进行视频涂鸦——“简单”意味着无论是老手还是新手都能轻松上手画画。
该项目的背后，运用了3D场景重建技术来实现涂鸦与视频场景的自然融合，涵盖了追踪、透视变形及遮挡等复杂的视觉效果。
具体来说，VideoDoodles首先对视频内容进行3D重建，随后在视频中置入平面画布，并在3D场景中追踪这些画布，之后再逐帧添加手绘动画。
通过定制的追踪算法，VideoDoodles锁定视频场景中对应画布的物体，实现画布跟随物体的运动进行移动和旋转。
在VideoDoodles的用户交互界面中，用户能够通过设定关键帧的位置和方向，在2D图像空间的界面中精细地控制画布。
而系统则是通过追踪视频中移动对象的运动，来精确定位并插入关键帧。
简而言之，VideoDoodles 依据用户通过关键帧表达的意图，采用专有算法处理遮挡和透视变换问题。它能在视频的任意帧上渲染场景感知画布，并让该画布紧密跟随移动物体。
并且关键帧可以有任意数量的位置和方向。
如下面这张图所示，VideoDoodles 是通过第一帧中标记的红色部分的方向与位置，以及最后一帧中标记的绿色位置，在整个视频中连续地渲染出相应的画布。
在具体操作中，流程大致如下：
最后，来简单介绍以下：
VideoDoodles这项研究是由Adobe研究院、蔚蓝海岸大学和代尔夫特理工大学的研究人员共同完成的。
研发团队的负责人表示：
这种新兴的混合媒介艺术形式融合了视频内容与手绘动画，可用于娱乐或教育目的。
通过使用 VideoDoodles，我们希望更多人能够轻松地实现“将想象力注入现实世界”。
参考链接：
注意：您未提供需要重写的具体内容，仅重写了“参考链接”部分。若需重写其他内容，请提供详细信息。
本文来源于微信公众号“量子位”（ID：QbitAI），作者衡宇，原标题为《AI斗图神器：一键将普通视频转化为meme，轻松融合手绘动画，想了解一下吗？》
