AI 画动漫

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 16px;letter-spacing: normal;text-align: left;text-wrap: wrap;line-height: 26px;">前段时间分享了 AI 画漫画，今天分享一个 AI画动漫。感觉可以串起来了。

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 16px;letter-spacing: normal;text-align: left;text-wrap: wrap;line-height: 26px;">可以做几件事情：

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 16px;letter-spacing: normal;text-align: left;text-wrap: wrap;">
• Cartoon Interpolation 卡通动画中间帧

  

  

• Cartoon Sketch Interpolation 卡通素描ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 16px;letter-spacing: normal;text-align: left;text-wrap: wrap;color: black;">中间帧

  

  

• Reference-based Sketch Colorization 基于参考的素描上色

  

  中间的素描动画

  

  最后结果
  

  

• Sparse Sketch Guidance 疏松素描指导

  

  疏松素描参考：
  

  

  最后结果
  

  

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: normal;text-align: left;text-wrap: wrap;">体验

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 16px;letter-spacing: normal;text-align: left;text-wrap: wrap;line-height: 26px;">在 Huggingface 上可以运行 Demo：https://huggingface.co/spaces/Doubiiu/tooncrafter

输入图片：

输入 Prompt：an anime scene

输入图片：

输入 Prompt：walking man

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: normal;text-align: left;text-wrap: wrap;">技术细节

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: normal;text-align: left;text-wrap: wrap;">ToonCrafter 概述

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: normal;text-align: left;text-wrap: wrap;">

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 16px;letter-spacing: normal;text-align: left;text-wrap: wrap;line-height: 26px;">给定两个动漫图像 ?¹和?^?，ToonCrafter 利用图像到视频生成扩散模型作为生成器，生成中间帧的潜变量 ?₀。这些潜变量随后通过提出的细节注入解码器解码到像素空间，并以 ?¹和 ?^?作为细节指导。可选地，可以通过稀疏素描指导来控制插值。

细节注入 3D 解码器的说明

给定帧潜变量 ? 作为输入，我们通过浅层的交叉注意力注入来自编码器 ℰ 的输入图像 ?¹和 ?^?的中间特征，同时通过残差学习，即在深层将 1 帧和 L 帧的特征相加。

示例

不同素描指导模式的示例：（顶部）二等分（n=1）和（底部）随机位置。

对比

ToonCrafter 与 AnimeInterp、EISAI、FILM、SEINE 的动漫插值结果的视觉对比。