Seedance 2.0全量上线 字节跳动入局春节模型竞争

1小时前
字节跳动提前推出Seedance 2.0,该模型支持多模态输入,最长可生成15秒视频。

此前预热期间就备受用户关注的Seedance 2.0提前发布,字节跳动正式参与到春节模型大战中。


按照原计划,字节跳动本打算在2月14日推出视频模型Seedance 2.0、图像创作模型Seedream 5.0 Preview以及豆包大模型2.0。


据字节跳动公布的信息,Seedance 2.0采用统一的多模态音视频联合生成架构,可接收文字、图片、音频、视频四种模态的输入,整合了当前行业内较为全面的多模态内容参考与编辑功能。


字节跳动称,Seedance 2.0支持混合模态输入,用户能够同时输入最多9张图片、3段视频、3段音频和自然语言指令。


该图片可能由AI生成



多模态参考能力演示:提示词:@图片1 女孩打破次元壁,连续穿越多幅名画世界,保留真实质感,油画世界呈现3D高饱和度动画风格。她站在@图片2的旋转星空下神情激动;接着好奇看着@图片3的情侣拥抱,情侣不好意思地用被子将头遮住;随后与@图片4戴珍珠耳环少女一起自拍;紧接着进入@图片5在两名武士中间穿过;与@图片6一起扮鬼脸呐喊;跑到@图片7蒙娜丽莎身旁,被摸头贴脸;在@图片8女人面前转身换装,二人互行礼;随后与@图片9中的梵高一起画画;最后背对镜头看夕阳,随即转身甜美一笑。对比度高,电影质感,转场丝滑无缝,人物鲜活。


实测显示,用户可直接在交互界面选择“全能参考”生成模式,还能在提示词里用@符号标记参考图,以确保生成内容的一致性。


根据平台提示,生成5秒视频需扣除40个点数,因大量用户排队,5秒视频生成预计需2小时,系统提供2次免费加速机会,但受版权等因素限制,部分名人相关图片无法生成内容。



和之前的1.5版本相比,Seedance 2.0有几个主要特点:生成质量更高、复杂交互和运动场景下可用性更强、更符合物理学规律等。


字节官方表示,Seedance 2.0解决了物理规律遵循、长效一致性的难题,核心依靠海量世界知识、稀疏架构的效能优势,以及多模态联合训练涌现的泛化能力。


该图片可能由AI生成



生成内容物理规律遵循能力演示:提示词 竞技级双人花样滑冰现场。开场低机位跟随冰刀滑行,冰屑与反光细节清晰。进入旋转段,男选手轴线微偏出现失误,旋转节奏短暂塌陷。女选手迅速调整重心,眼神冷静并示意“Stay with me”,主动引导男选手重新对齐节奏。随后无缝衔接托举动作,线条干净稳定。高潮为同步跳跃组合,空中姿态笔直,落冰果断,音画完美对齐。女选手身着深蓝花滑裙,男选手为竞技运动装。整体呈现从紧张失误到冷静完成比赛的完整叙事,体现顶级双人花样滑冰中的技术能力与心理强度。


此外,在生成过程中,用户可利用Seedance 2.0的视频编辑能力,对指定片段、角色、动作或剧情进行定向修改。


字节跳动还强调,Seedance 2.0最长支持15秒的多镜头视频生成,这提升了它在影视、广告等领域的实用性,有助于降低内容制作成本。


需要注意的是,目前即梦的APP端和PC端虽都整合了Seedance 2.0模型,但功能存在一定差异。


例如在移动端,“出镜”功能默认使用Seedance 2.0,需录制真人并完成校验,创作功能中则提供了Seedance 2.0 fast及之前的模型。



而在PC端,用户可在视频生成的全能参考、首尾帧两个入口使用Seedance 2.0。


对此,字节跳动一内部人士解释,这主要是基于不同设备应用场景的差异,为创作者提供了不同的创作能力。



字节跳动透露,在文生视频和图生视频涉及的运动稳定性、指令遵循、音画同步等基准测试(如上图)中,Seedance 2.0大幅领先于OpenAI的Sora 2 Pro、快手可灵3.0等产品。不过同时也指出,模型在细节稳定性、拟真度以及多人口型匹配等方面仍需持续改进。



在多模态任务方面(如上图),和生数的Vidu Q2 Pro、快手的可灵3.0等相比,Seedance 2.0在提示词指令遵循、多模态遵循两个维度表现最为突出,在编辑一致性、参考对齐和动态质量上,也处于行业第一梯队水平。


字节跳动表示,Seedance 2.0在多模态任务处理上,指令响应更完整,生成画面更真实。在一致性表现上,模型在主体形象与声音还原方面相对较好,但也提到模型在多主体一致性、文字还原精度及复杂编辑效果上仍有优化空间。


本文来自“腾讯科技”,作者:苏扬,36氪经授权发布。


本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。

免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com