当前大模型面试竞争日趋激烈，考察范围涵盖从 Transformer 基础到 LoRA 微调，从 RAG 应用到 ZeRO 分布式训练等全链路知识。本文基于《大模型面试题.pdf》提炼核心考点，梳理为一份系统的 LLM 知识地图，助求职者高效备考。
一、基础篇：Transformer 架构与核心组件
1. 主流开源模型体系辨析
面试中需清晰区分“框架生态”与“模型库工具”：
-
• Transformer 体系：Google 提出的基础架构，BERT、GPT 均为此变体。 -
• PyTorch Lightning：基于 PyTorch 的轻量级框架，侧重快速实验。 -
• TensorFlow Model Garden：TensorFlow 官方预训练模型库。 -
• HuggingFace Transformers：NLP 领域最流行的开源模型库。
专业解读：前两者属于开发框架或生态，后两者提供具体的模型资源。面试时应明确它们在大模型研发链路中的不同定位。
2. PrefixLM、CausalLM 与 Encoder-Decoder 差异
-
• PrefixLM：在输入前添加可学习前缀以引导生成。优势在于减少参数修改及过拟合风险，但前缀长度受限。 -
• CausalLM：自回归语言模型（如 GPT），仅利用左侧历史信息预测下一 Token。优势是生成灵活，劣势是无法访问未来信息。 -
• Encoder-Decoder：编码器理解输入，解码器生成输出（如 T5、BART）。适用于翻译、摘要等输入输出长度不一致的任务，但结构复杂且计算量大。
记忆要点：PrefixLM 类似“提示后写作”，CausalLM 类似“续写”，Encoder-Decoder 类似“先理解再翻译”。
3. 涌现能力（Emergent Ability）
指模型规模突破临界点后，突然展现出小规模模型不具备的能力。其成因主要归结为参数量增加带来的更强表示能力，使其能捕捉更复杂的抽象模式。需注意，学术界对“涌现”是否存在争议，部分观点认为这是评测指标非线性导致的错觉，但面试中应强调规模、数据与任务复杂度的共同作用。
4. LLM 架构解析
主流架构基于 Transformer，包含多层编码器/解码器，每层由多头自注意力机制和前馈神经网络（FFN）组成。FFN 通过激活函数引入非线性，支持反向传播训练。大模型参数量通常在数十亿至数千亿级别，能够并行处理序列并捕获长距离依赖。
5. 常见开源大模型及其结构
-
• GPT 系列：解码器结构，主打生成式预训练。 -
• BERT 系列：编码器结构，主打转换式预训练。 -
• T5 系列：编码器-解码器结构。 -
• Transformer：支持编码器、解码器及编码器-解码器三种形态。
6. 模型幻觉（Hallucination）及解决方案
幻觉指模型生成不准确、无关或虚构内容。本质并非故意撒谎，而是模型在不确定性下的“编造”。常见解决策略包括：
-
• 提升训练数据的质量与多样性； -
• 引入外部知识库及事实检查工具； -
• 强化模型的推理与逻辑能力； -
• 结合 RAG（检索增强生成）、工具调用及约束解码技术。
7. Tokenizer 与 BPE 编码
大模型普遍采用 BPE（字节对编码）：通过不断合并高频字节对构建词表，将文本转换为 Token 序列。ChatGLM3 在此基础上进行了优化，采用基础词表配合训练中动态更新及分段更新策略，以提升泛化能力。
8. LayerNorm 在各模型中的应用差异
-
• GPT-3：Post-LayerNorm（先计算后归一化），有助于训练稳定。 -
• LLaMA：Pre-LayerNorm（先归一化后计算），泛化性与鲁棒性更优。 -
• ChatGLM：类似 GPT-3，采用 Post-LayerNorm。
面试提醒：现代大模型多倾向于 Pre-LN 或 RMSNorm，回答时需注明“具体取决于模型版本”。
9. 常用激活函数
-
• ReLU：结构简单，缓解梯度消失，加速训练。 -
• GeLU：ReLU 的改进版，Transformer 常用，性能与泛化更佳。 -
• Swish：自门控激活函数，平滑且非单调。
10. MQA 与 GQA 注意力机制
-
• MQA (Multi-Query Attention)：多个 Query 共享一组 Key/Value，显著减少 KV Cache，提升推理速度。 -
• GQA (Grouped-Query Attention)：Query 分组，每组共享对应的 Key/Value。在保持效果的同时降低计算复杂度，兼顾效率与性能。
重点：面试常考 KV Cache 优化，需重点掌握这两者对显存和速度的影响。
11. 多模态大模型
具备处理文本、图像、音频等多种模态数据的能力。典型案例如 DALL·E 结合 GPT-3 实现文生图，以及 Google Multimodal Transformer 用于图像字幕生成和视觉问答。
二、进阶篇：训练、微调与对齐
1. LLaMA 输入长度限制
理论上输入长度可无限延伸，但实际受限于硬件内存、计算资源及模型位置编码设计。实际应用中需根据场景确定合适长度。
2. LLM “复读机”问题
表现为重复生成已出现内容，缺乏多样性。成因包括训练数据重复、长序列注意力失效及过度依赖历史上下文。解决手段包括数据增强、改进注意力机制、调整采样策略及引入随机性。
3. BERT 与 LLaMA/ChatGLM 选型建议
-
• BERT：适用于文本分类、命名实体识别（NER）等需要深层语义理解的判别式任务。 -
• LLaMA/ChatGLM：适用于对话交互、内容生成及复杂语言理解的生成式任务。
4. 垂直领域大模型建设
通用模型在特定领域往往表现不足，需构建领域大模型。训练数据应来源于专业文献、行业报告等高质量源，并注意避免偏见。继续预训练是提升领域知识的有效手段。
5. 灾难性遗忘应对
领域微调可能导致通用能力下降。应对策略包括：
-
• 多任务联合学习； -
• 控制微调强度（如降低学习率）； -
• 定期混入通用数据进行回炉训练； -
• 应用知识蒸馏、数据增强及多模态预训练。
6. 自建大模型流程
-
1. 确定预训练目标与任务； -
2. 收集与清洗数据； -
3. 选择模型架构与规模； -
4. 定义训练流程； -
5. 执行训练并监控指标； -
6. 评估与调优； -
7. 针对场景进行微调适配。
中文大模型需特别关注高质量中文语料、词序语法特性、特殊字符处理及架构适配。
7. SFT（指令微调）核心考点
-
• 优势：提升特定任务性能，减少对标注数据的依赖，快速适配场景。 -
• 基座选择：对话场景选 Chat 版，理解生成选 Base 版，最终以实验结果为准。 -
• 数据构建：构建指令-数据对，进行清洗、增强及格式化。 -
• 学习内容：领域术语、任务策略、对话连贯性及指令遵循能力。 -
• SFT 后性能倒退：可能由过拟合、数据质量差或微调不当引起。解法包括使用低学习率、LoRA、多任务学习及混合数据回炉。
8. 参数高效微调（PEFT）技术
-
• Prompt Tuning：在输入末尾添加可学习提示向量。 -
• Prefix Tuning：在输入开头添加连续前缀向量。 -
• P-tuning v2：引入更多、更长的前缀，效果优于 v1 但资源消耗更大。 -
• LoRA：低秩分解，仅训练小矩阵，节省显存，支持插拔及推理合并。关键技巧包括初始化、低秩分解、逐步学习及正则化。 -
• AdaLoRA：自适应调整 LoRA 参数分配。 -
• LLaMA-adapter：在每层添加小型适配器，通过初始化、正则化等手段稳定训练。
9. 全参微调与显存优化
全参微调显存需求巨大。OOM（显存溢出）解决思路包括增加 GPU、减小 Batch Size、使用模型/数据并行及动态批处理。省内存技术涵盖剪枝、蒸馏、量化、ZeRO、梯度累积等。
10. 量化、评测与对齐
-
• 量化：FP16/INT8/INT4 可降低显存占用并提升速度，但可能损失精度。 -
• 评测：维度包括准确性、泛化性、效率、安全性等。常用指标有 BLEU、ROUGE、METEOR、F1 及人类评估。 -
• RLHF 优化：SFT→RM→PPO 流程较慢，可通过减少数据量、优化流程、并行计算、早停及蒸馏加速。 -
• DPO：Direct Preference Optimization，直接偏好优化，相比传统 RLHF 更稳定高效。面试时需确认语境。
三、RAG 与应用框架
1. RAG（检索增强生成）价值
RAG 相当于为大模型提供“外挂知识库”，优势包括：
-
• 提高生成内容的准确性与质量； -
• 增强上下文关联性； -
• 提升系统鲁棒性与泛化能力； -
• 减少对大规模训练数据的依赖。
常见开源框架包括 Hugging Face RAG、Microsoft RAG 等。
2. LangChain 与 LlamaIndex
两者均具备易用、灵活、高效及集成性好等特点，拥有活跃的开发者社区，是构建 LLM 应用的主流选择。
3. 向量库 vs 向量数据库
-
• 计算库：如 TensorFlow、PyTorch、NumPy，侧重底层计算。 -
• 向量数据库：如 Milvus（开源可扩展）、Faiss（高性能库）、Vespa（分布式强）、Pinecone（托管易用）、Weaviate（REST API 友好）。需根据业务规模、运维成本及技术栈进行选择。
4. 文档分块与噪声处理
分块大小需平衡查询需求、检索效率与用户体验。面对噪声数据，可采用上下文修剪、知识蒸馏、过滤去噪及强化学习等方法。标准流程为：文本分块→索引构建→查询处理→上下文检索→结果生成。
四、LangChain：Agent 工作流核心
LangChain 是构建大模型应用的标准化框架，核心组件包括：
-
• Components：可重用模块（如 API 接口、数据库连接器）。 -
• Chains：将组件串联成执行流程。 -
• Prompt Templates：结构化提示词模板。 -
• Output Parsers：解析模型输出格式。 -
• Indexes and Retrievers：数据存储与检索模块。 -
• Agents and Toolkits：智能代理与工具集，支持自主决策。 -
• Chat Message History：管理对话历史上下文。
Agent 能够根据输入和上下文自主选择工具、制定策略并执行复杂任务。常见问题包括 Token 消耗高、文档缺失、概念混淆等，可通过优化模板、统一 API 标准及规范数据类型来解决。
五、分布式训练与推理优化
1. 常用分布式框架
包括 TensorFlow、PyTorch、Horovod、Ray、Hugging Face Accelerate、DeepSpeed 及 FairScale。
2. 并行策略
-
• 数据并行：复制模型，切分数据，同步参数。 -
• 张量并行：切分模型层或参数，适用于超大模型。 -
• 流水线并行：按层切分模型，设备间流水执行，降低单卡内存压力。
3. FlashAttention 与 PagedAttention
-
• FlashAttention：优化内存读写，加速注意力计算，特别适合长序列。 -
• PagedAttention：借鉴操作系统虚拟内存理念，对注意力分页管理，支持超长序列和高吞吐量推理。
4. ZeRO 与 Offload 技术
-
• CPU-offload：将部分计算或数据移至 CPU，减轻 GPU 负载。 -
• ZeRO-offload：将参数、梯度、优化器状态卸载至 CPU 或 NVMe。 -
• ZeRO 阶段：ZeRO-1 切分优化器状态；ZeRO-2 增加梯度切分；ZeRO-3 增加参数切分。
5. 混合精度与 DeepSpeed
混合精度（FP16+FP32）可提速省显存，但需注意数值稳定性。Megatron-DeepSpeed 结合了 Megatron-LM 的模型并行与 DeepSpeed 的数据并行及优化器技术。DeepSpeed 核心技术涵盖数据/模型/管道并行、优化器并行及 ZeRO。
6. 推理优化要点
-
• 显存增长原因：模型规模、激活值、优化器状态及内存泄漏。 -
• GPU 推理速度远优于 CPU。 -
• INT8 量化更省资源，FP16 精度更高。 -
• 生成参数调整：温度（Temperature）、Top-k、Top-p 及最大长度。 -
• 合规化处理：过滤、提示工程、后处理及强化学习。
六、总结：面试官考察体系与学习路线
大模型面试本质上考察以下六大体系：
-
1. 基础架构：Transformer、注意力机制、Tokenizer、LayerNorm、激活函数。 -
2. 训练与微调：预训练、SFT、LoRA、P-tuning、灾难性遗忘。 -
3. 对齐与评测：RM、PPO、DPO、幻觉消除、安全评估。 -
4. 应用落地：RAG、LangChain、向量数据库、Agent 开发。 -
5. 工程优化：分布式并行、ZeRO、混合精度、量化。 -
6. 推理部署：FlashAttention、PagedAttention、KV Cache、生成参数调优。
趋势展望：行业重心正从“炼模型”转向“用模型”，PEFT、RAG、Agent 及推理优化成为高频考点。
学习建议：先深入理解 Transformer 原理，再掌握 SFT/LoRA 微调技术，进而熟悉 RAG/LangChain 应用开发，最后补齐分布式训练与推理优化的工程短板。
结语
知识地图仅为指引，实战能力才是关键。面试中不仅要知晓答案，更要阐明设计原理、适用场景及潜在陷阱。祝各位求职者顺利拿下大模型 Offer。
