(资料图)
腾讯混元大模型团队宣布开源最新视频生成模型 HunyuanVideo 1.5,这是一款基于 Diffusion Transformer(DiT)架构、参数为8.3B的轻量级视频生成模型,支持生成5-10秒的高清视频。
模型已经抢先在「元宝」上线,可通过两种方式即可体验:一是输入文字描述(Prompt),直接实现“文生视频”;二是上传图片配合Prompt,轻松将静态图片转化为动态视频。
HunyuanVideo 1.5模型能力全面,支持中英文输入的文生视频与图生视频。
其中,图生视频能力展现出图像与视频的高度一致性,生成的视频在色调、光影、场景、主体和细节等方面都能与原图较好匹配。
模型还具备强指令理解与遵循能力,能够精准地实现多样化场景,包括运镜、流畅运动、真实的物理规律遵循、写实人物和人物情绪表情等多种指令。
同时,HunyuanVideo 1.5支持写实、动画、积木等多种风格,并可在视频中生成中英文文字,满足多样化内容创作需求。
在画质方面,模型可原生生成480p和720p高清视频,并可通过超分模型提升至1080p电影级画质。 此前,视频生成领域的开源SOTA旗舰模型至少有20B,需要超过50GB显卡方可部署。
HunyuanVideo 1.5定位为“开源小钢炮”,显著降低了使用门槛可在14G显存的消费级显卡上流畅运行,真正让每一位开发者和创作者都能“玩起来”。
HunyuanVideo1.5通过多层次的技术创新,实现了生成效果、性能与尺寸上的平衡。HunyuanVideo 1.5创新的SSTA稀疏注意力机制(全称Selective and Sliding Tile Attention, 选择性滑动分块注意力)在保证高质量生成的同时显著提升推理效率,配合多阶段渐进式训练策略,在运动连贯性、语义遵循等关键维度均达到商用水平。
目前模型已上传至Hugging Face和Github社区。