FantasyTalking运营中

FantasyTalking 介绍

让蒙娜丽莎开口唱歌，让家里的宠物开口说话，这不再是天方夜谭。由阿里巴巴、高德地图与北京邮电大学联合研发的 FantasyTalking 项目，正在让静态图片拥有鲜活的生命。与市面上大多数只能动动嘴的“照片说话”工具不同，FantasyTalking 不仅能实现精准的口型同步，更能根据音频驱动生成自然的微表情、丰富的肢体动作，甚至连背景里的花草树木都能随之产生微妙的动态，让整个画面都“活”了过来。

FantasyTalking 需求人群

游戏开发者：为游戏角色快速生成高质量的对话动画和过场表演，极大地提升NPC的生动性和游戏的沉浸感。
影视制作团队：在前期预览或最终制作中，低成本、高效率地生成虚拟角色的表演动画，为视觉创作提供更多可能。
虚拟主播与内容创作者：仅需一张图片和一个音频文件，就能打造出一个动作自然、表情丰富的专属虚拟形象，用于直播或短视频创作。
VR/AR开发者：为虚拟现实和增强现实应用注入更真实、更具互动性的虚拟角色，提升用户的交互体验。

FantasyTalking 主要功能

音频驱动全身动画：不仅仅是嘴唇在动，角色的头部姿态、身体摇摆、手势动作都会根据音频的节奏和情绪自然地生成。
全场景动态生成：突破了传统数字人工具只聚焦于角色的限制，能够让背景和环境也随之产生连贯的动态效果。
风格与视角全覆盖：无论是真人写实照片还是二次元卡通画，无论是大头贴、半身像还是全身照，FantasyTalking 都能完美适配。
可控的运动强度：内置了运动强度调制模块，用户可以像调节音量一样，自由控制角色表情和动作的幅度大小。

FantasyTalking 产品特色

双阶段对齐策略：独创性地采用“先整体，后局部”的训练方法。第一阶段先让画面整体的动态（包括人物和背景）与音频的节奏对齐；第二阶段再用唇部追踪掩码精雕细琢口型细节，保证了全局的自然和局部的精准。
面部专注交叉注意力：摒弃了传统方案中容易导致面部僵硬或身份特征丢失的参考网络，通过一个专门“盯着脸”的交叉注意力模块，在给予模型充分运动自由度的同时，牢牢锁住角色的身份一致性。
顶尖模型基座：构建于强大的 Wan2.1 视频扩散模型之上，从基因层面就保证了生成视频的高保真度和视觉连贯性。