emote,emotes

IT之家3 月1 日消息，阿里巴巴研究团队近日发布了一款名为“EMO(Emote Portrait Alive)”的AI 框架，该框架号称可以用于“对口型”，只需要输入人物照片及音频，模型就能够让照片中的人物开口说出相关音频，支持中英韩等语言。据悉，EMO 基于英伟达的Audio2Video 扩散模型打造，号等会说。衡宇梦晨发自凹非寺量子位| 公众号QbitAISora之后，居然还有新的AI视频模型，能惊艳得大家狂转狂赞！有了它，《狂飙》大反派高启强化身罗翔，都能给大伙儿普法啦(狗头)。这就是阿里最新推出的基于音频驱动的肖像视频生成框架，EMO(Emote Portrait Alive)。有了它，输入单张参考图像说完了。

一、emote

用照片+ 音频生成唱歌视频EMO(Emote Portrait Alive)是一个由阿里巴巴集团智能计算研究院开发的框架，一个音频驱动的AI 肖像视频生成系统，能够通过输入单一的参考图像和语音音频，生成具有表现力的面部表情和各种头部姿势的视频。阿里云日前宣布，通义实验室研发的AI 模型——出品|虎嗅科技组作者|齐健编辑|王一鹏头图|EMO 2月28日，阿里巴巴智能计算研究所发布了一款全新的生成式AI模型EMO(Emote Portrait Alive)。EMO仅需一张人物肖像照片和音频，就可以让照片中的人物按照音频内容“张嘴”唱歌、说话，且口型基本一致，面部表情和头部姿态非常自然。