阿里开源Wan2.2-S2V模型:静态图与音频合成电影级数字人视频
创始人
2025-08-28 01:19:53
0

近日,阿里巴巴正式推出了其最新的多模态视频生成模型——通义万相Wan2.2-S2V。这款模型凭借其强大的功能,引起了业界的广泛关注。用户只需提供一张静态图片和一段音频,Wan2.2-S2V便能生成面部表情自然、口型与音频完美同步、肢体动作流畅如电影级别的数字人视频。尤为其单次生成的视频时长可达分钟级,这在业界尚属领先。

为了方便用户体验,该模型已在Hugging Face和魔搭社区上架,用户可以直接下载,或在通义万相官网进行体验。从真人、卡通到动物、数字人,Wan2.2-S2V支持多种类型的图片,无论肖像、半身还是全身画幅,只需上传一段音频,模型就能让图片中的主体形象活灵活现地说话、唱歌或表演。

不仅如此,Wan2.2-S2V还引入了文本控制功能,用户可以通过输入Prompt,进一步对视频画面进行个性化调整,使视频中的主体运动和背景变化更加丰富多样。例如,用户上传一张人物弹钢琴的照片、一段歌曲以及一段描述性的文字,模型就能生成一段完整且充满情感的钢琴演奏视频。视频中的人物形象不仅与原图保持一致,其面部表情、嘴部动作与音频的同步也极为精准,甚至连手指的动作、力度和速度都能完美匹配音频的节奏。

在技术层面,Wan2.2-S2V融合了多项创新技术。它基于通义万相的视频生成基础模型,结合了文本引导的全局运动控制和音频驱动的细粒度局部运动,实现了复杂场景下音频驱动视频的高效生成。同时,通过引入AdaIN和CrossAttention两种控制机制,模型实现了更为准确和动态的音频控制效果。为了保障长视频的生成质量,Wan2.2-S2V采用了层次化帧压缩技术,大幅降低了历史帧的Token数量,从而将历史参考帧的长度从数帧拓展到了73帧,确保了长视频生成的稳定性和高质量。

在模型训练方面,阿里巴巴团队构建了包含超过60万个片段的音视频数据集,通过混合并行训练进行全参数化训练,充分挖掘了模型的性能潜力。模型还支持多分辨率训练与推理,能够满足不同分辨率场景的视频生成需求,无论是竖屏短视频还是横屏影视剧,都能轻松应对。

实测数据显示,Wan2.2-S2V在视频质量、表情真实度和身份一致性等核心指标上均取得了同类模型中的最佳成绩。自今年2月以来,通义万相已陆续开源了多款视频生成模型,包括文生视频、图生视频、首尾帧生视频等,受到了开源社区和第三方平台的热烈欢迎,下载量已超过2000万次,成为开源社区中最受欢迎的视频生成模型之一。

相关内容

从滨海湾到植物园:新加坡旅...
一座城市的魅力,往往体现在它能够为不同类型的游客提供多样化的选择。...
2025-08-28 00:45:27
阿森纳晒埃泽酋长球场亮相视...
阿森纳晒埃泽酋长球场亮相视频:完美的欢迎
2025-08-28 00:42:50
原创 ...
引言 历览前贤国与家,成由勤俭破由奢。何须琥珀方为枕,岂得珍珠始是...
2025-08-28 00:35:20
原创 ...
在我国南海北部湾,有三个由海水泥沙冲击形成的冲积岛。 最南边靠近海...
2025-08-28 00:34:46
原创 ...
有些电视剧里面会出现那种打更人,在夜晚的特定时间点敲打木梆子,告诉...
2025-08-28 00:34:36
《三国志·战棋版》PK5官...
哈喽大家好啊,夺宝奇谋玩法已经进入了倒计时,马上就要迎来PK5官渡...
2025-08-28 00:34:29
原创 ...
这位将军是人民武装中大名鼎鼎的“三星少将”,他先后3次被授予少将军...
2025-08-28 00:34:28
原创 ...
人之所以迷信,只是由于恐惧;人之所以恐惧,只是由于无知。——霍尔巴...
2025-08-28 00:34:17

热门资讯

8.8亿元!元启“重启”首月网... 北京进深 徐迪 8月初,调规后的中建壹品元启重新开始网签。 截至8月26日,已签约165套,目前排在...
4年合作1.75亿美元,天伦燃... 【大河财立方 记者 王鑫 文 马腾飞 摄影】8月26日,亚洲开发银行(ADB)(以下简称亚行)执行董...
原创 帮... 家人们,今天A股又见证历史了!寒武纪盘中股价冲上1464.98元,一度把茅台甩在身后,坐上“股王”宝...
头部基金代销机构上半年业绩大不... 随着2025年上市公司半年报的陆续公布,独立基金销售机构的上半年业绩也逐渐浮出水面。在这一轮业绩比拼...
碧桂园服务上半年营收增10.2... 出品 | 搜狐财经 作者 | 王泽红 8月27日,碧桂园服务(6098.HK)披露2025年中期财报...
商务部:指导电商平台在上合组织... 商务部电子商务司副司长侯斌27日在上海合作组织经贸合作专题吹风会上表示,中国担任上合组织轮值主席国以...
股市行情火热,近20家银行发声... 向纭嬉 金融投资报记者 吉雪娇 A股市场近期“火力全开”,居民投资热情被点燃的同时,违规资金入市的风...
第一创业2025年半年报:归母... 北京商报讯(记者 郝彦)8月27日,第一创业证券发布半年报,上半年实现营业总收入18.32亿元,同比...
阿里开源Wan2.2-S2V模... 近日,阿里巴巴正式推出了其最新的多模态视频生成模型——通义万相Wan2.2-S2V。这款模型凭借其强...
深夜!黄金白银跳水!美联储官员... 晚间(8月27日),美股三大股指开盘涨跌不一。不过截至发稿已悉数翻红。 中概股突现调整 中概股方面,...