随着技术发展，人工神经网络（ANN）衍生出多种适应不同任务的变体：
多层感知机（MLP）：基础ANN结构，全连接（每层神经元与下一层全连接），常用于简单分类（如垃圾邮件识别）、回归（如房价预测）。
卷积神经网络（CNN）：含“卷积层”，擅长提取空间特征，常用于图像识别（如人脸识别、车牌识别）、图像生成。
循环神经网络（RNN/LSTM）：含“循环层”，擅长处理时序数据（有前后依赖），常用于自然语言处理（如机器翻译、文本生成）、语音识别。
最近两年最火的Transformer（基于自注意力）：用“自注意力机制”捕捉数据全局关联，常用于大语言模型（如GPT、BERT）、多模态任务。
今天我们来介绍一下Transformer。
Transformer是一种基于自注意力机制（Self-Attention）的深度学习模型，由Google在2017年论文Attention Is All You Need中提出。它完全抛弃了RNN和CNN的结构，仅依靠注意力机制和全连接网络来建模序列数据，在自然语言处理（NLP）、计算机视觉（CV）等领域取得了革命性突破。
Transformer之所以重要，是因为它：
并行计算能力强
相比 RNN的序列化计算，Transformer可以一次性处理整个序列，训练速度更快；
捕捉长距离依赖更有效
自注意力机制能直接建立序列中任意两个元素的联系；
可扩展性好
可以轻松堆叠多层，形成大型预训练模型（如BERT、GPT、ViT）。
Transformer最经典的应用是机器翻译，其结构分为两大部分：
编码器（Encoder）
接收源语言序列（如英文句子），输出一个上下文编码表示；
解码器（Decoder）
根据编码器输出和已生成的目标语言序列（如中文句子），一步步生成翻译结果。
Transformer是一种基于自注意力机制的神经网络架构，它通过多头注意力、位置编码等创新设计，解决了RNN并行性差和长依赖捕捉弱的问题。
自2017年提出以来，Transformer已成为NLP的主流架构，并在计算机视觉、语音处理等领域取得突破，是BERT、GPT、ViT等革命性模型的基础。
全文配图由AI生成
扫码关注｜清艾科技