AI生成视频时为什么会悄然记错画面？一个被忽视2比特量化陷阱

你有没有玩过"传话游戏"？十个人排成一队，榜首个人小声说一句话，传到后一个人嘴里，内容往往现已面目全非。有意思的是，这个游戏里简单犯错的往往不是那句话自身的内容，而是传话时的"语气和要点"被悄然改动了，接收者了解错了对方想强调什么。

这篇论文讲的故事，本质上也是一场视频生成模型里的"传话游戏"，只不过犯错的不是内容，而是"注意力"。

**让AI生成视频记住前史画面的价值**

先说说问题的起点。现在的视频国际模型，比方LingBot-World-v2、HY-World 1.5这些系统，能依据你的指令生成长达几十秒乃至几分钟的连接视频，还能响应你的操作和镜头移动。

视频国际模型：一种能依据用户的动作和镜头指令，继续生成传神、连接画面的AI系统，能够了解为"会听指挥的虚拟摄影师兼场景构建师"。

它们是怎样做到"记住"之前生成的内容，保证画面不穿帮的？靠的是一种叫KV缓存的机制。

KV缓存：Transformer模型在生成每一帧新画面时，会把之前一切帧的要害信息（Key和Value）存下来，后续生成时能够"回头看"这些前史信息，从而坚持画面的连接性。

问题是，这个缓存会越存越大。论文里给了个具体数字：LingBot-World-v2生成一段5秒、93帧的视频，KV缓存居然要吃掉超过21GB显存。这意味着什么？意味着普通显卡底子跑不动，想在手机或许轻量设备上布置这类模型，简直是天方夜谭。

所以大家想到了一个常见思路：量化。把存储这些前史信息用的数字精度降低，比方从16比特紧缩到2比特，这样存储空间能省下八倍。这个思路在大言语模型领域现已很成熟了，像KIVI、KVQuant这些办法都能把KV缓存压到很低的比特数还坚持功能。

量化：把高精度的数值（比方16位浮点数）转换成低精度表示（比方2位整数）的紧缩技能，献身一点精度换取存储空间和核算功率。

视频生成领域也跟进了，一个叫Quant-VideoGen（简称QVG）的办法把2比特量化用到了自回归视频生成上，并且在VBench这类标准视频评测基准上简直看不出功能损失。

听起来很完美对吧？研讨团队却发现了一件让人意外的事：这些在跑分榜上看起来"无损"的量化办法，一旦用到真实的视频国际模型上，生成的画面却呈现了显着的闪耀、含糊和伪影。换句话说，评测分数说"没事"，但你肉眼一看，画面是在"骗你"。

这便是这篇论文的起点：为什么VBench看不出问题，眼睛却能看出问题？

**凶手不是Value，是Key**

研讨团队做的榜首件事，是把KV缓存拆开来看，Key和Value分别量化会怎样。

Key和Value：Transformer注意力机制里的两种要害信息，Key适当于"索引标签"，决议当时生成的内容应该去重视前史的哪一部分；Value则是"具体内容"，是被重视之后实际拿来用的信息。

成果很清楚，只量化Key（坚持Value精度不变）会让画面严峻劣化，呈现显着闪耀；反过来只量化Value，画面质量基本坚持得住。论文里用PSNR、SSIM、LPIPS这几个图像质量目标做了量化比照，比方在Matrix-Game-2模型上，只量化Key的PSNR是18.47，只量化Value的PSNR是21.58，差了整整3个点，这不是小数字。

PSNR、SSIM、LPIPS：三种常见的图像/视频质量评价目标，数值越好代表生成画面和真实画面的距离越小，其间LPIPS是反过来的，数值越低越好。

更让人困惑的工作发生了。研讨团队测量了Key和Value各自的"重建差错"，也便是量化后的数值和原始数值之间差了多少。按理说，差错越大，应该形成的后果越严峻才对。但数据显示，Key的重建差错其实比Value更小，可它形成的终究输出差错却更大。这彻底不符合直觉。

这就好比你以为一个人说话声响越小越简单被听错，成果发现有个人声响很清楚，但他只要略微改一个词的语气，整个房间的人就都了解错了方向。声响巨细（差错起伏）不是要害，要害的词说错了方向（信息的"指向性"被损坏了）才是丧命的。

**注意力的"挑选权"被悄然篡改了**

这个反直觉现象背面究竟发生了什么？研讨团队回到Transformer的注意力机制自身去找答案。

注意力机制里有个核心运算叫QK的点积，决议了当时生成的画面（Query，也便是"提问者"）应该把目光投向前史缓存里的哪些内容。

Query：Transformer注意力机制里代表"当时需求什么信息"的向量，能够了解为"提问"，模型拿着这个问题去前史缓存里找答案。

数学上看，Key一旦被量化，哪怕差错很小，也会直接改动QK点积的成果，这个成果叫注意力逻辑值（attention logits），它决议了每个前史方位被重视的权重排序。一旦这个排序被打乱，模型挑选去"看"哪一帧、哪个空间方位，就全变了。

注意力逻辑值：Query和Key做点积运算后得到的一组分数，分数高低决议了模型在生成当时内容时，会优先参考前史缓存里的哪些方位，适当于一份"重视度排行榜"。

论文里给出了非常直观的可视化证据。他们追寻了同一个Query，在BF16（原始精度）和2比特Key量化两种情况下，分别会选中前史缓存里的哪个"相关"的方位（Top-1 token）。成果发现，量化后选中的方位和本来彻底不是同一个当地。比方在HY-World 1.5里，BF16选的是第8帧的(7,11)方位，量化后选到了第12帧的(8,11)，画面直接从一个场景"跳"到了另一个场景。

这就解说了为什么仅仅Key的差错，却能形成比Value差错更大的灾难性后果。Value犯错，顶多是拿回来的"内容"有点误差，画面略微含糊一点；Key犯错，是"去哪找内容"这件事自身犯错了，模型或许把当时这一帧的某个部分，过错地关联到了前史中彻底不相关的一帧，所以画面前后对不上，看起来便是闪耀和跳变。

这就像你去图书馆查资料，管理员（Key）本该依据你的问题（Query）精准地把你指向正确的书架，成果由于管理员记错了索引编号，把你带到了彻底不相关的书架前。你拿到的书（Value）自身印刷质量没问题，可是内容压根不是你要的，整个查找进程就白费了。假如管理员仅仅把书的某几页印得含糊一点（Value犯错），你至少还能勉强读懂大意；但假如他把你带错了书架（Key犯错），你拿到的是一本彻底无关的书，这种过错是更丧命的。

**QuantWM：既要省内存，也要保住"注意力的方向盘"**

搞清楚了病根，研讨团队就开始对症下药，提出了QuantWM结构，核心目标就一个：在紧缩KV缓存的同时，尽量保住注意力逻辑值不被损坏，也便是不让Query"找错当地"。

QuantWM用了两个互补的技能手段。

榜首招叫量化灵敏度感知聚类（QSAC）。

QSAC：一种改善的Key量化办法，在给每个Key分配"代表值"（也便是聚类中心）时，不只看数值距离，还要考虑这个Key对前史Query的灵敏程度，以及量化差错的实际分布规模，从而挑选出对注意力影响小的代表值。

原来的办法（比方QVG）给Key分配代表值时，用的是朴素的K-means聚类，只看数值上谁离谁近。但论文里现已证明了，数值上离得近不代表对注意力的影响小。QSAC的做法是，先计算前史Query在每个通道上的"活泼程度"，也便是哪些数据通道是Query更关心的，然后给这些通道的量化差错加权重，让量化进程优先维护这些"要点通道"不出大错。同时还会考虑残差的动态规模，综合这两个要素选出真实"量化友好"的代表值。

这个思路放到生活里去了解，有点像考试阅卷时的"按权重扣分"。一张考卷有十道题，每道题占的分值不相同。假如阅卷老师不管三七二十一，对每道题的过错都一视同仁地扣相同的分，那很或许一个人把占分重的大题做错了，总分却由于错的都是小题而显得还不错，这个分数就失真了。QSAC做的工作，便是先搞清楚"这道题值多少分"（也便是这个数据通道对注意力有多重要），再决议怎样分配有限的量化精度预算，保证精度优先用在刀刃上。假如不这么做，量化器或许会把宝贵的精度浪费在Query底子不关心的通道上，而真实要害的通道却被粗暴地紧缩，这正是QVG的问题所在。

第二招叫主子空间注意力补偿（PSAC）。

PSAC：在Key量化完成后，针对还残留的量化差错，专门沿着前史Query重视的几个"主方向"做一次低秩修正，用很小的存储价值拯救大部分注意力偏移。

即便用了QSAC精挑细选了代表值，2比特这么极点的紧缩份额下，差错仍是不或许彻底消除。PSAC要做的是"亡羊补牢"，但补得很聪明。研讨团队发现，前史Query的"能量"并不是均匀分布在一切维度上的，而是高度集中在少数几个主方向。论文里给了个具体数字：在LingBot-World-v2的某一层，只需求前8个方向，就能覆盖超过71%的Query总能量。

这意味着什么？意味着你不需求对差错的一切维度都做补偿，只要捉住那几个Query在意的方向去修正，就能花很小的价值拯救大部分的注意力偏移。具体做法是对前史Query的二阶计算矩阵做特征值分化，取出能量大的前8个特征向量作为"主子空间"，把残留的Key差错投影到这个子空间上，量化存储下来，推理时再加回去补偿注意力逻辑值。

这有点像给一个总是在后关头犯错的新手司机配一个导航提示系统。你不或许把路上一切或许呈现的误差都纠正一遍，那样本钱太高也没必要；但你能够聚集在几个前史上简单出事故的路口（Query重视的几个方向），专门在那里加强提示。假如不做这种"抓大放小"的补偿，要么全盘不补偿导致差错继续累积形成画面崩坏，要么企图补偿一切维度导致存储开支暴升，失去了量化紧缩的含义。PSAC挑选的是一个功率和作用的平衡点。

论文里也做了详细的消融实验验证这两招各自的贡献。单独用QSAC，HY-World 1.5上的token挑选偏移率（也便是前面说的"选错前史方位"的份额）从61.36%降到了38.17%；单独用PSAC，能降到22.9%；两者合用，降到了13.92%。PSNR也从16.118一路涨到18.449。这说明两个技能是真实互补的，一个管"源头少犯错"，一个管"犯错后能纠正"。

**实测作用：画面更稳，内存还更省**

说了这么多原理，实际作用究竟怎样样？研讨团队在五个模型上做了系统评测，包含三个视频国际模型（LingBot-World-v2、Matrix-Game-2、HY-World 1.5）和两个视频生成模型（LongCat-Video、Causal-Forcing）。

成果是全面胜出。以LongCat-Video为例，PSNR从QVG的20.683提升到25.508，LPIPS从0.0784降到0.0332，这是个适当显着的改善。在前面说到的token挑选偏移率这个要害目标上，QuantWM把平均偏移率从51.55%压到了15.31%，证明它确实在源头上维护住了注意力的正确性。

有意思的是，在VBench这个标准评测基准上，几个办法的分数其实都差不多，乃至QVG在闪耀这类目标上数字看起来还不错。但论文反复强调，这正是问题所在：VBench这类打分系统，捕捉不到人眼能马上察觉的闪耀和细节劣化。这也是整篇论文值得记住的一个提示，跑分好看不代表真的好用。

内存紧缩作用同样亮眼。QuantWM在不同模型上完成了高6.20倍的KV缓存紧缩，比方LongCat-Video的缓存占用从21.709GB压到了3.625GB。推理延迟方面，大多数模型只增加了5%左右的开支，LongCat-Video乃至由于减少了数据搬运量，反而延迟降低了17.78%。

论文还额定测试了1分钟长视频生成的场景，这是对量化办法更严苛的考验，由于差错会随着生成步数累积。成果显示QuantWM依然坚持优势，比方HY-World 1.5的Image评分从QVG的0.4756提升到0.6242，距离适当显着。

Q&A

Q1：QuantWM是什么？

A：QuantWM是一个练习免费的2比特KV缓存量化结构，专门针对视频国际模型设计，经过维护注意力逻辑值来避免量化带来的画面闪耀和视觉退化，高能完成6.20倍的显存紧缩。

Q2：为什么Key量化比Value量化更简单导致画面质量下降？

A：Key决议了模型该去重视前史缓存里的哪个方位，即便Key的量化差错数值很小，也或许改动注意力的排序成果，让模型"找错"该参考的前史帧或空间区域，而Value犯错仅仅内容自身稍有误差，影响相对较小。

Q3：VBench这类视频评测基准为什么测不出QuantWM要解决的问题？

A：VBench这类基准主要衡量整体视频质量和时序一致性的计算特征，但关于部分的闪耀、含糊、细节跳变这类肉眼可见的瑕疵不行灵敏，导致量化办法即便引发显着画面问题，分数依然或许挨近无损水平。