首页 / 资讯详情
Seedance 2.5 上线后，LibTV 先帮创作者「学会」了新模型
摘要
作者｜甘德 编辑｜ 郑玄 Seedance 2.5 发布的时候，身边几乎所有 AI 视频或者 AI 影视相关的朋友都很兴奋。 「模型能力已经溢出了」。 一位在做 AI 短剧导演的朋友这样评价。他的体验是，现在有一个好故事，有专业的电影制作经验，或者一支足够专业的抽卡师团队，以及比较充足的资金，Seedance 2.5 已经能够稳定制作出业界工业水准之上的视频内容了。 但这样专业而无后顾之忧的创作者仍然是少数。 过去一年，视频模型的生成能力大幅提升。但这些变化还没有能够完全兑现到视频整体质量的提升上。 答案或许在那位 AI 短剧导演的后半句里。Seedance 2.5 是一块金子，但对于大多数人来说，需要一套更完整的专业创作工具，让模型能力得以最大化的兑现出来。LibTV 最近的更新，就是在更好地 leverage 前沿模型的迭代。 01 把模型的新 feature 做成工作流 Seedance 2.5 最大的变化之一，是它对参考素材的容量比 Seedance 2.0 大了很多。在 Seedance 2.0 最多可以同时处理 9 张图片、3 段视频和 3 段音频的素材容量上限上，Seedance 2.5 把全模态素材容量扩展到了 50 个。 模型吃得下更多上下文，但这些参考素材本身需要被生产、整理和匹配。这正是 LibTV 的切入点。 LibTV 的智能拉片（Shot Breakdown），旨在帮助创作者解决参考素材的生产和调用问题。 在传统影视生产里，拉片是一项前置于创作的基本功。导演、摄影甚至美术、剪辑都会从成熟作品中把影像拆解成一些独立的镜头片段来作为创作时的参考。「智能拉片」把这件事从手工拆解变成一个几乎一键完成的工作流。 整个智能拉片的操作很简单，你只需要把参考的完整影片放进去，然后就能得到「分镜」、「动态」和「音乐」三个模块的拉片结果。比如用一段岩井俊二的电影片段作为拉片素材，很精准的得到了拆分这段片段中具体场景的三个分镜组。 「智能拉片」提供的的拆解方式有「分镜」、「动态」和「音乐」三种。刚才提到的是「分镜」，除此之外，「动态」部分可以提供对于参考影片运镜的分析参考。而参考影片的 BGM 也能够在「音乐」中被准确的整理出来。 这个拉片的过程对算力积分的消耗是 0。 解决参考素材的自动化生产后，下一个更头疼的问题是，这么多不同维度的素材要如何在创作过程中做整理和匹配？ 角色正面或是侧面、远景或是特写、行动轨迹、道具、服装、情绪和声音......一个 AI 视频创作在实际进入生成阶段前，往往已经有剧本、人物、风格和大量参考图，但这些东西并不会自然变成模型可用的输入。对于创作者来说，如果这些工作都靠人工完成，AI 省下来的时间很快会被另一种劳动吃掉。过去耗在拍摄和剪辑上的成本，可能只是转移到了素材整理、提示词修改和反复试错上。 好的参考素材变得更多，也更难管理了。LibTV 的智能引用（AutoLink）解决的就是「素材匹配」的问题。 当项目里包含大量角色、场景、道具和风格参考时，LibTV 会理解剧本内容，从画布素材中匹配相应参考，并把它们插入提示词中正确的位置。 对于参考素材的归纳和整理能力，难点并不在视频生成模型的能力本身，更像是视频创作里的「工程问题」。但当对 AI 视频作品的细节质量和时长要求更严苛，智能拉片（Shot Breakdown）和智能引用（AutoLink）或许会是 AI 视频创作者的生产力提升里，最容易被低估的一步。 对于 ai 视频创作最重要的视频生成环节，LibTV 也在 Seedance 2.5 的基