英伟达的技术报告一般细节都比较多，本次开源的12B的参数模型-Nemotron Nano V2 VL专为文档理解、长视频理解及推理任务而设计。下面来快速过一下。
模型架构
遵循“视觉编码器+MLP投射器+语言模型”架构。
-
视觉编码器：基于RADIOv2.5的c-RADIOv2VLM-H版本初始化，负责提取图像/视频的视觉特征。 -
MLP投射器：作为跨模态桥梁，实现视觉特征与文本特征的对齐。 -
语言模型：基于Nemotron-Nano-12B-V2（混合Mamba-Transformer架构），提供强文本推理能力，支持最长311296 tokens的上下文长度。
图像视频输入处理策略上：
与英伟达之前的一个模型（《【多模态&LLM】英伟达NVLM多模态大模型细节和数据集》）相似，采用动态分辨率分块（tiling）策略，按长宽比 resize 后分割为512×512非重叠块，通过像素洗牌下采样将每个块的视觉token从1024缩减至256，最多支持12个块，同时保留单块缩略图捕捉全局信息。
-
视频处理：每秒提取2帧，最长视频限制128帧（超过64秒则均匀采样），每帧按单块处理，结合高效视频采样优化推理效率。
数据集
很有开源精神，Nemotron VLM Dataset V2（涵盖图像描述、VQA、OCR、文档提取等多任务）大部分已公开。
数据增强手段
-
对无明确标注的数据集，用Qwen2.5/Qwen3系列模型从OCR结果或描述中生成问答对。 -
补充推理轨迹：融合人类标注和模型生成（Qwen2.5-VL-32B、GLM-4.5V等）的推理轨迹，强化复杂任务推理能力。 -
多语言扩展：包含 Wikimedia 多语言语料和翻译后的文档数据，支持跨语言 multimodal 任务。
训练方法
采用“多阶段递进优化”策略，在保留文本推理能力的同时，逐步提升视觉理解和长上下文处理能力。训练一览表如下：
|
|
|
|
|
|
|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
参考文献：NVIDIA Nemotron Nano V2 VL,https://arxiv.org/pdf/2511.03929v2