现在，我们已掌握二项分布、泊松分布、正态分布和指数分布等分布的核心特征，能够运用逆变换法、Box-Muller 变换法等样本生成技术，从已知参数的总体分布中构建符合要求的样本数据。但在实际统计建模与数据分析场景中，我们往往仅能获取一组观测数据（该数据可视为某含未知参数总体分布的随机样本），而无法直接获知其背后总体分布的参数。例如，通过传感器采集某工业设备的运行温度数据（依据检验可知其近似服从正态分布）时，需明确该分布的均值 （作为设备正常运行的温度基准阈值）与方差 （量化温度波动的风险水平），但这两个关键参数通常无法通过直接测量获得。
参数估计是基于样本数据中蕴含的统计信息，通过科学的推断方法，对总体分布的未知参数（如正态分布的 和 、二项分布的成功概率 、泊松分布的强度参数 等）进行合理估计。我们知道，样本生成是由已知总体分布推导样本特征，而参数估计可以理解为其逆过程，即由样本信息反推总体分布的参数。
总体参数与样本统计量
在介绍参数估计前，我们需要先理解总体参数与样本统计量这两个基本概念。
总体参数描述总体分布固有特征的固定常数，通常记为 （可表示单参数或参数向量）。由于总体往往包含大量个体（或无限个体），难以实现全面观测，因此总体参数的真实值通常未知但客观存在。常见的总体参数包括：正态分布的均值 与方差 、二项分布的成功概率 、泊松分布的强度参数 、指数分布的率参数 等。
样本统计量基于可观测样本数据构造的不含未知参数的随机变量，通常记为 ，是推断总体参数的核心工具。由于样本统计量的取值依赖于具体抽取的样本，而样本具有随机性，因此其结果具有随机波动性。常用的样本统计量包括反映数据集中趋势的样本均值 、反映数据离散程度的样本方差 、描述比例特征的样本比例 等。
我们通过一个例子来理解这两个概念。假设某品牌手机的续航时间服从正态分布 ，我们采用简单随机抽样方法抽取 20 台该品牌手机进行续航测试，得到 20 组续航数据。其中总体平均续航时间 和总体续航时间方差 是需要估计的总体参数。通过计算这 20 台手机的续航数据，得到样本均值 小时、样本方差 （小时²），这两个样本统计量是推断 和 的关键依据。
样本均值和样本方差是参数估计中最基础的样本统计量。 假设我们得到一组包括 个样本的观测样本数据 ，样本均值 的计算公式为：
样本均值的核心作用是估计总体均值 ，反映样本数据的集中趋势。
样本方差 的计算公式为：
样本方差的核心作用是估计总体方差 ，反映样本数据的离散程度。为消除估计的系统性偏差，计算时需采用自由度 （而非样本量 ）进行修正。
点估计
点估计是参数估计的基础方法，其核心思想是通过样本构造一个具体的统计量取值，作为总体未知参数的单一估计结果。该方法具有直观简洁、计算简便的特点，能为实际问题提供明确的参数参考值，适用于需要快速获取参数近似值的场景（如产品规格标注、合格率快速预估、初步数据分析等）。下面我们介绍矩估计和极大似然估计两种经典的点估计方法。
矩估计
矩估计法（Method of Moments, MOM）是一种经典的点估计方法。其核心理论依据是样本矩与总体矩的一致性：当样本量充分大时，样本矩会依概率收敛于对应的总体矩。基于这一性质，可通过样本矩替代总体矩建立方程组，求解得到总体参数的估计值。
下面我们以均匀分布 为例说明矩估计的应用。均匀分布的总体一阶原点矩 ，二阶原点矩 。对应的样本一阶原点矩 （样本均值），样本二阶原点矩 。将样本矩代入总体矩的表达式，得到方程组：
求解可得参数 和 的矩估计值： ， 。
矩估计法无需预先明确总体分布的具体类型，仅通过样本矩即可完成参数估计，计算过程简便高效，对数据的要求较低。其缺点为小样本情况下估计精度较低，对极端值较为敏感，且估计结果可能不唯一。矩估计法更适用于总体分布类型不明确、样本量较大的场景。
极大似然估计
极大似然估计法（Maximum Likelihood Estimation, MLE）是目前应用最广泛的点估计方法。它基于下列概率最大化原则：
在所有可能的参数取值中，选择使当前观测样本出现概率（或概率密度）最大的参数值作为估计结果。
假设样本 独立同分布，其概率密度函数或概率质量函数为 。其中待估参数 的取值空间为 。样本的联合概率密度（或质量）函数 称为似然函数。若存在 ，使得 ，则称 为参数 的极大似然估计量，其观测值称为极大似然估计值。
极大似然估计的具体实施步骤可概括为三步：
-
构造似然函数 ：根据总体分布的概率密度（或质量）函数，结合样本独立性构建联合概率表达式；
-
转换为对数似然函数 ：由于似然函数为乘积形式，取自然对数可将其转化为求和形式，既不改变极值点的位置，又能简化后续求导运算；
-
求解极值：对对数似然函数关于 求导，并令导数等于0（即似然方程），解出极值点即为参数的极大似然估计值。
我们以正态分布为例说明极大似然估计的应用。正态分布的概率密度函数为
结合样本独立性构建似然函数：
对其取自然对数得对数似然函数：
分别对 和 求偏导并令偏导数为0，求解似然方程可得：
极大似然估计法具有良好的大样本性质，大样本情况下估计精度最优，能充分利用总体分布的先验信息，估计结果更具统计学意义。其局限性在于需要预先明确总体分布类型，对于复杂分布（如多参数分布、非参数分布），可能需要通过数值方法求解极值，计算难度相对较大。尽管如此，极大似然估计仍是目前参数估计领域的主流方法，广泛应用于统计建模、机器学习、工程优化等领域。
区间估计
点估计仅能提供总体参数的单一估计值，无法量化估计结果的误差范围与可靠程度。这一局限性在工程质量控制、医疗效果评估、金融风险预测等需要精确推断的场景中尤为突出。为解决这一问题，区间估计方法应运而生。其核心思想是基于样本数据构造一个包含总体参数的置信区间，并明确该区间包含真实参数的置信水平，从而实现更严谨、更全面的参数推断。
设总体参数为 ，基于样本 构造两个统计量 （区间下限）与 （区间上限），且 。若对给定的显著性水平 （通常取0.05或0.01），满足 ，则称区间 为参数 的置信水平 的置信区间。其中， 反映区间的可靠性，称为置信水平； 反映区间不包含真实参数的风险水平，称为显著性水平。
置信水平 并非总体参数 落在区间 内的概率，而是在重复抽样框架下，若多次构造置信区间，约有 比例的区间会包含真实参数 。实际应用中常用的置信水平为95%（对应 ）和99%（对应 ），分别表示区间包含真实参数的可靠性为 95% 和 99%。
置信区间的核心结构可表示为点估计值 ± 边际误差，其主要构成要素包括点估计值、边际误差和置信区间。点估计值作为置信区间的中心锚点，通常采用样本均值
、样本比例
等点估计量，确保区间能够围绕总体参数的真实值波动，提升估计的准确性。
边际误差（Margin of Error）决定置信区间宽度的核心要素，计算公式为 。其中，标准误（Standard Error, SE）反映样本统计量的抽样波动程度（如样本均值的标准误为 ）；临界值（Critical Value）由置信水平与抽样分布共同确定（如标准正态分布的z临界值、t分布的 t 临界值等）。z临界值适用于总体标准差已知或大样本（n≥30）的场景，t 临界值适用于总体标准差未知且小样本（n<30）的场景，核心区别在于总体标准差是否已知和样本量大小。
置信水平反映区间的可靠程度，与区间宽度呈正相关关系。置信水平越高，所需临界值越大，区间越宽，虽提升了包含真实参数的可靠性，但降低了估计的精度；反之，置信水平越低，区间越窄，精度越高但可靠性下降。实际应用中需根据具体场景在可靠性与精度之间寻求平衡。
下面我们用一个例子说明置信区间的构造流程。某电商想估计用户平均单笔消费金额（总体均值 ），随机抽取100名用户（样本量 ，大样本可适用 分布），得到样本平均消费 元，已知总体标准差 元，要求构造 95%置信水平的置信区间。构造步骤如下：
-
确定点估计值。直接用样本均值作为中心锚点，即点估计值=500元。
-
计算边际误差：按
临界值×标准误计算。样本均值的标准误 元。临界值：95%置信水平对应标准正态分布的双侧临界值 （常用置信水平的临界值可直接查表，如90%对应1.645、99%对应2.58）。边际误差为 元。 -
拼接置信区间。点估计值±边际误差，即 500±15.68，最终置信区间为（484.32元，515.68元）。
这个区间意味着我们有 95% 的把握认为，该电商所有用户的平均单笔消费金额，落在 484.32 元到 515.68 元之间。