图像理解、视频理解，以及图像和视频生成，能不能在同一套视觉表示里训练和运行？
许多统一多模态模型会组合不同的视觉路径：例如用独立视觉编码器提取图像语义，再用VAE把图像压进潜空间供生成模型处理。这样有利于复用成熟模块，但同一张参考图可能要经过两类编码，视觉上下文和系统接口也更复杂。PixelUMM尝试省去独立视觉编码器与VAE，在模型里直接处理分块后的像素。
这不是把整张高分辨率图片不作处理地塞给语言模型。图像先切成16×16像素的patch；视频切成每块覆盖4帧、空间尺寸为16×16的tubelet。每个块经过单层线性投影，映射到Transformer的隐藏维度，再进入基于Qwen3-8B的decoder-only骨干网络。
PixelUMM采用Mixture-of-Transformers（MoT）。理解与生成有各自的任务参数和专家路径，文本及干净视觉输入走理解路径，带噪的视觉目标走生成路径；不同类型的token进入统一的多模态注意力序列。也就是说，它统一了视觉接口和注意力交互方式，不是让所有任务共用完全相同的一套参数。
文本自回归，像素用Flow Matching，任务仍有分工
理解任务接收干净的图像patch或视频tubelet，由模型输出文字；生成任务则根据文字提示生成带噪的像素块，再逐步还原成图像或视频。文本侧采用自回归预测，图像和视频生成侧采用像素空间的Flow Matching。两类目标在同一个模型里协同训练，但保留各自的任务参数。
这也说明“encoder-free”不是没有任何视觉处理。patchify和tubelet切分仍然把像素组织成token，线性投影负责把它们映射进模型维度，输出端还要把预测结果还原为像素。它取消的是独立预训练视觉编码器、VAE和离散视觉tokenizer等中间表示，不是取消Transformer，也不是让像素绕过模型结构。
视频输入还有两种模式。论文的dense mode会按较高帧率把多帧组成tubelet；sparse mode则按约1 FPS采样、逐帧编码，最多处理96帧。两种模式适配输入帧率不同的情况，并不意味着模型能不受时长限制地理解任意视频。
评测有具体成绩，但统一架构没有带来全面领先
论文在图像理解、视频理解、图像生成和视频生成基准上测试PixelUMM。图像理解部分，8B版本在MMMU得分41.67；论文表格列出的Qwen3-VL-Inst 8B为69.60，LLaVA-OV-1.5 8B为55.40。PixelUMM在AI2D得分80.12，低于Qwen3-VL-Inst 8B的85.70；在ChartQA得分82.96，也低于Qwen3-VL-Inst 8B的89.60。
视频理解部分，PixelUMM在Video-MME无字幕设置下得分57.33，评测最多稀疏采样96帧；同表Qwen3-VL 8B为71.40，LLaVA-OV-2 8B为71.90。在LongVideoBench上，PixelUMM为59.61，Qwen3-VL为68.00。不同模型沿用各自公开的评测协议，不能把这些分数当成完全同条件的复测。
论文作者的总结是整体结果与基线具有可比性，并特别提醒：不同模型训练数据并不相同，这些表格不能用来证明哪种架构更优或收敛更快。PixelUMM的实验贡献在于展示统一像素接口可以覆盖理解和生成任务，而不是在上述理解基准上击败专门模型。
生成侧也要分开看。图像生成的DPG-Bench总分中，PixelUMM原始提示为85.74，低于表中TUNA的86.76；使用改写提示的PixelUMM结果另列在GenEval，不能与原始提示混成一项。视频生成的VBench总分为83.24，低于表中TUNA的84.06；两者使用的提示处理方式也需留意。论文展示出图像和视频生成能力，但各基准结果并不支持“质量全面领先”。
像素直出仍有网格瑕疵，修复方案也要付出算力
论文专门分析了像素空间生成的patch伪影。在低纹理区域，例如天空或墙面，线性输出头会在patch边界附近产生轻微亮度变化，画面可能显出与网格对齐的痕迹。视频中还会观察到与4帧tubelet边界相关的时间变化。
研究团队测试了卷积解码器和PixelShuffle等替代输出头。它们可以减轻边界伪影，但会增加计算量：论文所测96帧、176×320视频下，线性头约133 GFLOPs；几种替代头约为747至2274 GFLOPs，约为线性头的5.6至17.1倍。团队报告PixelShuffle在伪影抑制与训练损失之间取得较好折中。
重要的是，公开默认模型、论文基准结果和演示图仍使用线性输出头。换句话说，瑕疵并非只出现在早期实验里；要把它压下去，目前的替代方案还要增加解码成本。取消VAE并不会自动解决像素生成的画质问题。
代码可以研究和修改，权重不能直接商用
“开源PixelUMM”需要拆开看许可。GitHub仓库的多数源代码采用Apache-2.0，但仓库也保留了个别第三方文件的不同许可声明；不能把每个文件都笼统归为Apache-2.0。
Hugging Face上的PixelUMM模型权重另用NVIDIA One-Way Noncommercial License，限定于非商业研究或评估用途。代码许可证和权重许可证不是一回事：可以查看、修改代码，不代表可以把已发布权重直接用于商业产品。若要做商业部署，需要另行确认授权条件。仓库还说明推理需要Linux、NVIDIA GPU和CUDA环境，当前模型没有经过生产或高风险用途验证。
这让PixelUMM更适合作为一项可复现实验与架构研究，而不是拿到权重就能上线的商业组件。它公开了代码、推理入口和小规模训练示例，但权重使用范围、硬件门槛和质量表现都划出了现实边界。
它的行业意义，是让多模态架构多一个可验证的选择
PixelUMM没有证明VAE或ViT可以退休。独立视觉编码器和VAE在语义抽取、图像重建、编辑保真及计算效率上仍然有成熟价值；论文自己也指出，参考图编辑等任务对细节保留有要求。PixelUMM展示的是另一种取舍：让视觉内容以原始像素块进入统一的Transformer序列，减少多套中间表示之间的转换。
对AI视频生成而言，4帧tubelet和像素空间Flow Matching让模型把空间与时间信息放进同一套生成接口；对视觉理解而言，模型可以沿用图像和视频生成时的像素表示。长远看，这可能让编辑、问答、视频理解和生成在同一系统里共享更多组件，降低任务间接口差异。
但要让这条路线进入生产，仍要同时过三关：理解质量能否接近专用视觉模型，视频生成的网格伪影能否在合理算力下消除，以及权重许可能否支持商业部署。眼下的实验给出了清晰答案：统一可以做，能力尚未全面追平，质量修复有额外成本，公开权重也限于非商业研究评估。
因此，PixelUMM真正值得看的不是“VAE与ViT还要不要”，而是视觉模型能否减少中间表示、同时保住任务表现。它把这个问题做成了可运行、可评测的模型；但离证明像素空间会成为多模态模型的默认架构，还有距离。
参考来源
-
PixelUMM论文（arXiv HTML） -
PixelUMM论文PDF -
NVIDIA研究团队GitHub仓库 -
NVIDIA Hugging Face模型卡与权重许可