大数跨境
0
0

小白学习笔记之交叉验证法

小白学习笔记之交叉验证法 AI大模型智能体前沿
2024-08-27
0
导读:数据不足的时候我们该怎么办呢?

点击下方卡片,关注「AI计算机视觉CV深度学习DL」公众号
选择星标最新技术干货每日准时送达

AI|图像处理|计算机视觉CV|机器学习ML|深度学习DL


前言

 

交叉验证(Cross-validation)主要用于建模应用中,例如PCR、PLS回归建模中。在给定的建模样本中,拿出大部分样本进行建模型,留小部分样本用刚建立的模型进行预报,并求这小部分样本的预报误差,记录它们的平方加和。


交叉验证(Cross Validation),有的时候也称作循环估计(Rotation Estimation),是一种统计学上将数据样本切割成较小子集的实用方法,该理论是由Seymour Geisser提出的。

在给定的建模样本中,拿出大部分样本进行建模型,留小部分样本用刚建立的模型进行预报,并求这小部分样本的预报误差,记录它们的平方加和。这个过程一直进行,直到所有的样本都被预报了一次而且仅被预报一次。把每个样本的预报误差平方加和,称为PRESS(predicted Error Sum of Squares)。


如果给定的样本数据充足,进行模型选择的一种简单方法是随机地将数据集切分成三部分,分别为训练集(training set) 、验证集(validation set)和测试集(test set)。

其中:

训练集用来训练模型;

验证集用于模型的选择;

测试集用于最终对学习方法的评估。



在学习到的不同复杂度的模型中,选择对验证集有最小预测误差的模型。由于验证集有足够多的数据,用它对模型进行选择也是有效的。


但是,在许多实际应用中数据是不充足的。为了选择好的模型,可以采用交叉验证方法



—THE END—

一个专注于开放知识分享的公众号,努力将分享变成一种习惯!

后台回复「加群」加入互助群。

回复图像处理计算机视觉机器学习深度学习PythonC/C++PyTorchCVPR2024ECCV2024 获取相应资料(不定期更新)。

点这里👇关注我,记得标星哦~

文章仅做学术分享,如有侵权请联系删除,非常感谢!


【声明】内容源于网络
0
0
AI大模型智能体前沿
分享AI大模型智能体前沿知识,探寻多元应用,洞察未来趋势,带你一路 “卷” 赢行业!🔥
内容 1069
粉丝 0
AI大模型智能体前沿 分享AI大模型智能体前沿知识,探寻多元应用,洞察未来趋势,带你一路 “卷” 赢行业!🔥
总阅读159
粉丝0
内容1.1k