首页 / 资讯详情
GLM-5.5 要来了？唐杰最新论文，曝出智谱神秘模型
摘要
图像生成正确率 54%，文字问答仅 14.57%。 作者丨郑佳美 编辑丨岑 峰 智谱内部的 GLM-Omni，先在一篇论文里露了面。这篇研究由清华大学与智谱 AI 联合完成，唐杰担任通讯作者。模型名称刚刚出现在论文中，社交平台上就有人把它与 GLM-5.5 联系起来。虽然论文并没有披露版本对应关系，但给出了 GLM-Omni 的技术底座，以及它在统一视觉理解和图像生成方面的一组实验结果。参考链接：https://arxiv.org/pdf/2610.21459其中一组数据尤其扎眼：经过图像生成训练，GLM-Omni 在数字任务中，把指定号码正确画在球衣上的比例达到 72%，研究人员拿走图片，改用文字询问球衣号码，正确率却只有 2%。模型已经能在画面里复现的知识，换成一句问话，竟然几乎答不上来。这恰好戳中了统一多模态模型的一处技术瓶颈。过去，图像理解负责看，图像生成负责画。如今两种能力逐渐进入同一套架构，模型在学习生成物体、地图和文字图案时，也会接触大量未被语言描述的视觉信息。可图像里学来的东西，究竟能有多少被语言推理使用，光看生成效果很难知道。而智谱的这篇文章正是试着沿着知识进入模型、再被调用的过程，把这个问题拆开来看。01KTP：把答案留在图片里要确认生成训练有没有教给模型新知识，先得绕开它已有的记忆。让模型生成现实球队的球衣，即使号码画对了，也可能只是因为它早在文字资料中读到过。雷峰网研究人员因此搭建了一个虚构世界 MagicWorld，给从未存在过的实体安排颜色、号码和空间关系，让目标知识尽量只从此次训练的图片里进入模型。例如，一件虚构球衣叫 Arvenbrock，号码设为 10。训练时，文字提示只要求生成这件球衣，数字 10 只出现在目标图像中。等模型完成训练，研究人员再直接问它 Arvenbrock 的球衣号码。如果能回答 10，就有理由认为它把图像里的实体属性关联带进了文字回答。这套数据并不只有球衣。团队设计了颜色、数量、形状、空间排列、相对大小、数字和文字 7 类任务，每类 50 条知识，共 350 条，再为每个实体制作不同背景和视角的图像，筛选后留下 8552 组训练样本。训练文本还经过检查，尽量排除答案泄漏和属性分布不均造成的干扰。不同任务也能拉开知识类型的差别：形状与颜色往往属于有限类别，空间排列要求理解对象之间的位置关系，球衣号码和书籍标题则需要记住具体的字符序列有了这批受控知识，研究人员分别测试两条路径：一条让模型重新生成目标图片，再检查图中的属性，另一条不提供图片，只用文字提问。前者衡量模型能否在生成过程中复现关联，后者衡量它能否直接把关联转成语言答案。这样就能区分模型根本没学会某项属性，还是已经会画，却无法从文字端调用。参与实验的三种模型采用不同架构。BAGEL 将理解和生成放在相对独立的专家分支中，SenseNova-U1 直接建模图像像素，GLM-Omni 则从 GLM-4.1V-Thinking 的预训练模型出发，接入基于 X-Omni 的离散图像 Tokenizer。研究还加入 10000 条与目标知识无关的文字问答，让模型熟悉回答形式，却不提前得到答案。02会画却不会说，问题卡在哪里直接测试出来的差距，比球衣案例更普遍。BAGEL 的平均视觉正确率为 31.43%，文字回答只有 8.86%，G