|
近日，由香港科技大学、腾讯混元已经清华大学联合推出了Follow-Your-Emoji，一种基于扩散的肖像动画框架，它使用目标地标序列为参考肖像制作动画。 肖像动画的主要挑战是保留参考肖像的身份并将目标表情转移到此肖像上，同时保持时间一致性和保真度。 为了克服这些挑战，Follow-Your-Emoji采用了两项精心设计的先进技术，以增强其稳定扩散模型的性能。 该团队引入了一种新颖的表情感知地标，这是一种显式的运动信号，用于指导动画过程。 
通过使用地标编码器提取表达感知地标序列的特征，并首先将这些特征与多帧噪声融合，然后利用渐进策略随机屏蔽输入潜在序列的帧。 最后，我们将此潜在序列与融合的多帧噪声连接起来，并将其馈送到 Denoising UNet 以进行视频生成的去噪过程。 外观网络和图像提示注入模块帮助我们的模型保留参考肖像的身份，并且时间注意力保持时间一致性。 这种地标不仅确保了推理过程中肖像与目标运动之间的精确对齐，还有助于提高模型在描绘夸张表情（例如大瞳孔运动）方面的能力，同时避免了身份泄露的风险。 其次，该团队还提出了一种面部细粒度损失函数，它利用表情和面部掩码来提高模型对微妙表情变化的感知能力，并改善对参考肖像外观的重建效果。 
这使得该方法在控制各种风格肖像的表情方面展现出卓越的性能，包括真实人物、卡通角色、雕塑作品，甚至是动物形象。 通过实施一种简单而有效的渐进式生成策略，该团队将模型扩展到了稳定的长期动画领域，从而进一步提升了其应用潜力。为了填补该领域基准测试的空白，他们创建了EmojiBench，这是一个综合性的基准测试集，包含了各种肖像图像、驱动视频和地标数据。EmojiBench 的示例，在肖像图像中具有高表情多样性、夸张性和多种视觉风格 通过在EmojiBench上进行了广泛的评估，以充分验证Follow-Your-Emoji方法的优越性。这些评估结果表明，最新方法在处理复杂表情和动画任务时具有显著的优势。而为了训练最新模型，他们引入了一个新的表情训练数据集，其中包含来自 115 个受试者的 18 个夸张表情和 20 分钟真人视频。
| 
