阿里开源Wan2.2-S2V模型:静态图与音频合成电影级数字人视频
创始人
2025-08-28 01:19:53
0次

近日,阿里巴巴正式推出了其最新的多模态视频生成模型——通义万相Wan2.2-S2V。这款模型凭借其强大的功能,引起了业界的广泛关注。用户只需提供一张静态图片和一段音频,Wan2.2-S2V便能生成面部表情自然、口型与音频完美同步、肢体动作流畅如电影级别的数字人视频。尤为其单次生成的视频时长可达分钟级,这在业界尚属领先。

为了方便用户体验,该模型已在Hugging Face和魔搭社区上架,用户可以直接下载,或在通义万相官网进行体验。从真人、卡通到动物、数字人,Wan2.2-S2V支持多种类型的图片,无论肖像、半身还是全身画幅,只需上传一段音频,模型就能让图片中的主体形象活灵活现地说话、唱歌或表演。

不仅如此,Wan2.2-S2V还引入了文本控制功能,用户可以通过输入Prompt,进一步对视频画面进行个性化调整,使视频中的主体运动和背景变化更加丰富多样。例如,用户上传一张人物弹钢琴的照片、一段歌曲以及一段描述性的文字,模型就能生成一段完整且充满情感的钢琴演奏视频。视频中的人物形象不仅与原图保持一致,其面部表情、嘴部动作与音频的同步也极为精准,甚至连手指的动作、力度和速度都能完美匹配音频的节奏。

在技术层面,Wan2.2-S2V融合了多项创新技术。它基于通义万相的视频生成基础模型,结合了文本引导的全局运动控制和音频驱动的细粒度局部运动,实现了复杂场景下音频驱动视频的高效生成。同时,通过引入AdaIN和CrossAttention两种控制机制,模型实现了更为准确和动态的音频控制效果。为了保障长视频的生成质量,Wan2.2-S2V采用了层次化帧压缩技术,大幅降低了历史帧的Token数量,从而将历史参考帧的长度从数帧拓展到了73帧,确保了长视频生成的稳定性和高质量。

在模型训练方面,阿里巴巴团队构建了包含超过60万个片段的音视频数据集,通过混合并行训练进行全参数化训练,充分挖掘了模型的性能潜力。模型还支持多分辨率训练与推理,能够满足不同分辨率场景的视频生成需求,无论是竖屏短视频还是横屏影视剧,都能轻松应对。

实测数据显示,Wan2.2-S2V在视频质量、表情真实度和身份一致性等核心指标上均取得了同类模型中的最佳成绩。自今年2月以来,通义万相已陆续开源了多款视频生成模型,包括文生视频、图生视频、首尾帧生视频等,受到了开源社区和第三方平台的热烈欢迎,下载量已超过2000万次,成为开源社区中最受欢迎的视频生成模型之一。

相关内容

新浪供应链热点小时报丨20...
  1、“China Buy” 全球升温:华商加紧备货,电商出海告...
2026-11-11 22:47:37
隋文静对韩聪结婚有什么回应...
  截至韩聪2026年11月11日晒出婚纱照宣布结婚,公开信息中尚...
2026-11-11 22:45:57
董明珠谈格力业绩下滑:不降...
  转自:晓评财经  2026年11月10日下午,格力电器董事长董...
2026-11-11 21:48:07
新浪科技热点小时报丨202...
  1、平头哥拟分拆上市:阿里的芯片棋局,走到了哪一步?  11月...
2026-11-11 21:47:55
新浪美联储热点小时报丨20...
  1、金价为何跌不深?高利率压顶,四重需求托底  来源:@证券市...
2026-11-11 21:47:49
新浪供应链热点小时报丨20...
  1、找钢网集团获首钢基金加码 产业资源与资本协同有望进一步深化...
2026-11-11 21:47:48
新浪数码热点小时报丨202...
  1、Fable 5.2生视频也火了!一句话生成3D短片,建模、...
2026-11-11 21:47:45
新浪综艺热点小时报丨202...
  1、邓家佳肌肉线条流畅,小姨妈平时爱运动  #邓家佳肌肉线条#...
2026-11-11 21:47:44
新浪半导体热点小时报丨20...
  1、超威半导体美股盘前涨超6%  超威半导体美股盘前涨超6%,...
2026-11-11 21:47:44

热门资讯

新浪科技热点小时报丨2026年...   1、平头哥拟分拆上市:阿里的芯片棋局,走到了哪一步?  11月10日晚,阿里巴巴(9988.HK...
新浪综艺热点小时报丨2026年...   1、邓家佳肌肉线条流畅,小姨妈平时爱运动  #邓家佳肌肉线条#邓家佳肌肉线条好流畅,小姨妈平时就...
新浪斯诺克热点小时报丨2026...   1、冠中冠两大夺冠热门出局,赵心童、吴宜泽和常冰玉的机会来了  北京时间11月11日凌晨,斯诺克...
新浪AI热点小时报丨2026年...   1、靠整合中国AI的日本“独角兽”要上市?网友发觉不对劲  据《日本经济新闻》等日媒11月9日报...
新浪英伟达热点小时报丨2026...   1、英伟达市值两日蒸发掉一个甲骨文,财报发布前机构态度分化  11月11日盘前,英伟达(NVDA...
新浪CBA热点小时报丨2026...   1、辽BA单场爆砍73分!杨鸣组织养生球局分组点名丛明晨:有你就行  北京时间11月11日,前辽...
新浪机器人热点小时报丨2026...   1、从进博会窥见物理AI未来  转自:中国经营网中经记者 杨让晨 李正豪 上海报道在进博会新闻中...
新浪信息安全热点小时报丨202...   1、多家医疗机构泄露患者信息,被罚43万!  (来源:诊锁界)编辑:棂星封面来源:pixabay...
新浪国际热点小时报丨2026年...   1、俄方公布本轮俄美乌三方会谈成果  转自:财联社【俄方公布本轮俄美乌三方会谈成果】财联社11月...
新浪天气热点小时报丨2026年...   1、中央气象台发布大雾预警:今晚至明天,北京、河北、江苏、辽宁等地有浓雾,局地有能见度低于200...