MagicAvatar

MagicAvatar是由字节跳动开发的多模态框架，它能够将各种输入模式（如文本、视频和音频）转换为运动信号，进而生成或激活一个虚拟形象（Avatar）。然后基于这些信号生成以形象为中心的视频。 以下是几种模式场景： 文本引导的形象生成： 用户可以通过简单的文本提示来创建形象。例如，输入“一个在火山里踢踏舞的宇航员”就能生成一个相应的虚拟形象。 视频引导的形象生成： 用户可以提供一个源视频，然后框架会创建一个跟随给定动作的形象。这意味着你可以录制一个动作，然后让虚拟形象模仿这个动作。 多模态形象动画： 这个功能允许用户激活一个特定主题的形象。例如，你可以选择一个已经存在的虚拟形象，并通过多模态输入来激活它。 音频引导的形象生成（即将推出）： 这个即将推出的功能将允许用户通过音频输入来创建形象。这意味着你可以通过说话或唱歌来生成一个动作。