神经网络是一类模仿人脑结构的算法，旨在识别模式。通过机器感知方式对图像、声音、文本等感官数据进行标注或聚类，其处理对象为数值向量，因此所有现实世界的数据需先转化为向量形式。
需要注意的是，K-Means和高斯混合模型不属于神经网络，而是无监督学习中的聚类算法。
工作原理
神经网络由多层相互连接的节点（即神经元）构成。
神经元（节点）
每个神经元接收前一层的输入，结合权重与偏置，并通过激活函数决定输出信号强度，再传递至下一层。
网络分层结构
神经网络通常分为三层：输入层、隐藏层和输出层，层数与每层规模决定了模型复杂度。
- 输入层：接收原始数据。
- 隐藏层：进行加权计算与特征提取。
- 输出层：输出最终结果。
常见神经网络架构
针对不同类型任务，神经网络发展出多种架构，如前馈网络、卷积网络、循环网络等，以适应图像、语音、序列等多样化数据。
学习机制
神经网络的核心能力在于从数据中学习。该过程称为训练，通过优化器调整权重以最小化预测误差（损失函数）。
- 训练：使用训练数据反复迭代，每次完整遍历称为一个轮次（epoch），逐步优化模型参数。
- 反向传播：从输出层反向传播误差，逐层调整权重，有效降低整体误差。
边缘AI中的神经网络应用
在边缘AI场景中，设备计算资源有限且对能效要求高，神经网络需经过专门优化，在保证精度的同时提升推理速度并减小模型体积。常用技术包括：
- 特征提取：从原始数据中提取关键特征，降低处理复杂度。
- 神经网络架构设计：选用适配边缘处理器的轻量化结构，满足内存与算力限制。
- 迁移学习：基于预训练模型，使用少量领域相关数据微调，加快训练效率。
- 量化：降低参数精度（如从32位浮点转为8位整数），减少存储与计算开销。
- 模型剪枝：移除冗余连接或神经元，压缩模型规模。
综上，边缘AI中的神经网络需在准确性与运行效率之间取得平衡，通过系统性优化实现高性能低功耗部署。
参考资料：《Neural networks》：https://docs.edgeimpulse.com/knowledge/concepts/machine-learning/neural-networks
文章来源：边缘人工智能