关注上方“公众号”，有福利哦！
小伙伴们好，我是阿旭。专注于人工智能、AIGC、python、深度学习相关分享研究。欢迎共同学习交流！
《------往期经典推荐------》
一、AI应用系统实战项目
《------正文------》
定义
在深度学习中，batch、batch_size和 epoch 是训练过程中的核心概念，其中文专业术语及详细解释如下：
1. Batch Size
-
中文术语：批次大小或批量大小 -
定义：每个批次中包含的样本数量，是训练前需设定的超参数。 -
选择依据： -
大批次（如256）：梯度估计更准确，但可能陷入局部最优。 -
小批次（如16）：训练随机性高，可能提升泛化能力，但收敛慢。 -
硬件限制：GPU内存较小需选择较小的 batch_size（如32）。 -
性能权衡： -
常见值：通常为2的幂次（如32、64），以优化硬件计算效率。
2. Batch（批次）
-
中文术语：批次 -
定义：指数据集中数据集大小除以Batch Size。通过将数据集划分为多个批次，可以实现高效的内存利用和并行计算。 -
作用： -
计算效率：利用GPU的并行计算能力，加速训练过程。 -
梯度稳定性：多个样本的平均梯度比单样本梯度更稳定，减少训练震荡。 -
示例：若数据集有1000个样本， batch_size=100，则共有10个批次。
3. Epoch（周期）
-
中文术语：周期或轮次 -
定义：模型完整遍历整个训练数据集一次的过程，为1个epoch。通常我们需要训练多个Epoch来使模型达到收敛。 -
作用： -
训练进度衡量：例如10个epoch表示数据集被训练10轮。 -
学习率调整：通常随epoch增加动态调整学习率以优化收敛。 -
计算关系： -
若数据集有1000样本， batch_size=100，则1个epoch需10次迭代。
三者的关系与训练流程
-
数据划分：数据集 → 多个epoch → 每个epoch划分为多个batch。 -
参数更新：每个batch计算一次梯度并更新模型参数，完成所有batch即结束一个epoch。 -
示例： -
数据集：60000样本， batch_size=1000→ 每个epoch包含60次迭代，10个epoch共600次迭代。
常见问题
批次如何计算以及权重
如果我们有一个包含1000张图像的图像数据集，在情况1中：假设批量大小为10，在另一种情况下批量大小为100，它们对模型训练的影响是什么，权重会在每个批次或每个epoch后更新吗？
一个包含1000张图片的数据集：
案例 1： 批量为 10
每个epoch的批次数量： 1000/10 = 100 个批次。权重更新：模型的权重将在每个批次后更新。 这意味着在一个 epoch 内，权重将被调整 100 次。
案例 2： 批量为 100
每个时期的批次数量： 1000/100 = 10 个批次。权重更新：模型的权重将在每批处理后更新。 在这种情况下，每个 epoch 将有 10 个权重更新。
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
概念说明
模型训练： 在 一个epoch 期间，模型批量处理训练数据。在每个批次之后，模型计算该批次的损失，并使用它通过反向传播和优化算法（如 Adam 或 SGD）更新模型的权重。
Epoch 结束： 一旦模型处理完训练数据集中的所有批次，则表示一个 epoch 就完成了，通常模型会训练多个epoch。
模型验证（在epoch之后）： 通常在一个epoch训练完成之后，会在验证数据集上进行模型评估验证，以查看模型的性能收敛情况。
下一个 Epoch 的开始： 如果继续训练，模型将在下一个 epoch 中再次遍历训练数据集。 下一个 epoch 中的权重更新将基于在该新 epoch 的训练批次上计算的损失，而不是来自前一个 epoch 的验证步骤的损失。
总结
-
模型权重的更新是在每个batch之后，而不是每个epoch之后； -
批次大小batch_size决定在一个epoch中，权重的更新次数，batch_size越大，权重更新次数越少； -
一般情况下，batch_size越大，模型收敛速度越快。
好了，这篇文章就介绍到这里，喜欢的小伙伴感谢给点个赞和关注，更多精彩内容持续更新~~
end
福利！！！本公众号为粉丝精心整理了超级全面的python学习、算法、大数据、人工智能等重磅干货资源，关注公众号即可免费领取！无套路！
看到这里，如果你喜欢这篇文章的话，
点击下方【在看】【转发】就是对我最大支持！
如果觉得有用就点个“赞”呗