昆仑万维开源国内首个面向AI短剧创造的视频生成模型SkyReels-V1

技术特点

• 数据基础：针对表演细节做了打标，对情绪、场景、表演诉求等进行处理，利用 “千万级别、高质量” 的好莱坞级别数据进行训练微调。
• 功能优势
  • 影视化表情识别体系：可实现 11 种针对影视戏剧中的人物表情理解，如不屑、不耐烦、无助、厌恶等。
  • 人物空间位置感知：基于人体三维重建技术，能实现对视频中多人的空间相对关系理解，助力生成影视级人物站位。
  • 行为意图理解：构建超过 400 种行为语义单元，可实现对人物行为的精准理解。
  • 表演场景理解：能够实现人物 - 服装 - 场景 - 剧情的关联分析。
  • 多模态生成支持：不仅支持文生视频，还支持图生视频，是开源视频生成模型中参数最大的支持图生视频的模型，在同等分辨率下各项指标实现开源 SOTA。

性能表现

• 推理速度：在自研推理优化框架「SkyReels - Infer」的加持下，可实现 544p 分辨率，推理基于单台 4090 用时 80s，还支持分布式多卡并行，支持 Context Parallel、CFG Parallel 和 VAE Parallel。
• 显存优化：采取 fp8 quantization 以及 parameter - level offload，满足低显存用户级显卡运行需求。
• 延迟优化：支持 flash attention、SageAttention，模型编译优化等，进一步优化延迟，基于开源 diffuser 库，提升易用性。

开源意义

• 推动行业发展：当前全球 AI 视频生成模型和产品存在不开源、用不到、费用高、不好用等痛点，SkyReels - V1 的开源将面向 AI 短剧创作的技术成果回馈给开源社区和 AIGC 用户，有望引导行业向更加开源、透明的方向发展。
• 降低创作门槛：创作者无需再为传统影视制作中剧本创作、选演员、场景布置等环节耗费大量时间与成本，只需通过普通电脑，依靠该开源模型，就能生成影视作品，使创作短剧不再是专业团队的专属。