Being-VL的视觉BPE路线：把「看」和「说」真正统一起来

多模态模型里，CLIP-style encoder往往把视觉表征过早地拉近到文本空间：对于抽象层面的问答，如总结图片大致内容，这样的表征其实是没有什么问题的，但一旦追问与语言无强依赖的细节，模型就更易出现幻觉。根本原因之一，是在文本空间对齐之前，原生视觉结构已被不可逆地压缩 / 丢失，而语言模型不得不「二次解码」来自他模态的 embedding，导致对齐脆弱、推理链条变长。

为此，北大、UC San Diego 和 BeingBeyond 联合提出一种新的方法——Being-VL 的视觉 BPE 路线。Being-VL 的出发点是把这一步后置：先在纯自监督、无 language condition的设定下，把图像离散化并「分词」，再与文本在同一词表、同一序列中由同一 Transformer 统一建模，从源头缩短跨模态链路并保留视觉结构先验。

Being-VL 的实现分为三步。首先用 VQ（如 VQ-GAN）把图像量化为离散VQ tokens；随后训练一个视觉版 BPE，不只看共现频次，还显式度量空间一致性，以优先合并那些既常见又在不同图像中相对位置稳定的 token 对，得到更具语义与结构的BPE tokens；最后把视觉 tokens 与文本 tokens 串成同一序列，进入同一个自回归 LLM 统一建模，不再依赖额外 projector 或 CLIP 对齐。整个 BPE 词表学习仅依赖图像统计，不看文本，真正把「语言对齐」留到后续阶段。