经验｜概念联想之学习的PAC

今天给大家推荐一篇来自于小伙伴的机器学习经验分享，让我们一起来看一看，在学习的路上，有什么样的好方法值得我们借鉴～

你是否有过对不理解的知识进行死记硬背，或者有过对记不住的知识进行梳理解释。

学习离不开记忆，但更注重理解，尤其是理工科知识。我的记性很不好，可上学时数理化成绩不错，一个原因就是数理化知识是层层相扣，彼此关联，可以从掌握知识点推理出新知识，也可以用新知识验证旧知识点，这样学习起来弥补了记忆力的不足，总不能在考试时全忘了吧，只要记起一个线头，一丝丝就把题剥解开了。

也正是这个原因，题量越少越难，相对成绩越理想，题量越大越基础，就玩完喽。

再就是我的语文成绩确实很烂，背写题很难满分，高考作文更是跑题（这倒跟记忆无关，主要可能当时难为阅卷师姐了）。

对于我这种自动化背景的中年大叔而言，开启机器学习之路纯属信仰（当然在编撰本稿时，我的数据分析能力仍处在初级中的幼稚阶段），而且是空降在机器学习知识领域，根本没有精准的关联知识积累支撑新概念推演掌握。

举例而言就是大牛看目录冥想，科班人员是一段段内容浏览，而我是一个字一个字的查字典阅读。

差点又跑偏，言归正传，正文《概念联想之学习的PAC》如下：

学习是可能近似正确的（probably approximately correct, PAC），是一种基于大数定理（霍夫丁不等式①）延伸的机器学习可行性判断的思维架构。

联想：有这么一个容器，里面有很多很多球，球有黑或白两种颜色，我们想知道白球占比，统计学思维引导我们抽样寻找答案，不难认可如下结论：只要抽取（容器不是无穷时还是重复抽样吧）的样本足够大，那抽到白球的机率就很可能近似等于标准答案（只有上帝知道）。

假如上面这个容器内球的颜色是由球的其它属性决定的（例如直径、材质、质量、重心三维等等），那么对于这个容器内的球（已经摆在那了），其颜色和其它属性都已经定论，肯定有（至少上帝有）一个假设H(x)（我觉得映射更好理解），能够通过球的其它属性准确推断出它的颜色。

好了，怎么能够让机器得到这个假设，而且这个假设是否能和上帝的标准答案十分接近，这是否可行。

      机器的学习材料是数据，但容器里的球太多了（只有上帝能取完），机器（再牛逼的计算机）只能取一部分球（当这个部分很大时，就能牵扯到大数据了），通过上文知道，取的这一部分越大，样本中白球的占比越接近总容器占比，且根据霍夫丁老家伙的公式，这个接近程度是可量化的（错误率有上限）。

如果机器通过对取出的这部分样本的“学习”，最后在假设簇（上帝字典）中找到这么一条假设，它可以在给出球其它属性时“准确”（为了使问题不再复杂）的给出颜色，那这个假设就基本等价于（表达、表示、形容）这一次容器采样，而这次采样中的白球占比与全集中的白球占比会存在差异。

但根据上文可知这个差异是有上限的，因此机器找到的这个假设是否适用于容器全集，我们心里就有了谱，最差能差到哪去（差异上限）。

这样想来，有限样本得到无限容器中球的知识（球其它属性得到颜色）是可以预估的。

样本越大，结果越好，极端的，取无限多个球得到的结果就是上帝的标准答案，取无限-1个球也基本是标准答案，可抽象公式表示接近的程度，d=f(N)，N越大越接近。

但是，理想终究是理想，取得数毕竟不是“很”大（多少算大？），因此现实很残酷，样本得到的假设与上帝标准答案间的差异在上帝视角看，却超过了上限（可能还不算大数定理中的大吧），这就涉及到假设的泛化能力了。

所谓言多必失，当描述一项事物越详尽时，它的越难以表达同一大类范畴下的知识。

又例如箱子里放的是动物，你牵出来十只猴子，你要说箱子里放的是猴子，那显然该知识是错的，你要说箱子里放的是带毛的，那么比上一个答案好点，你要说箱子里放的是活的，可能这个答案离上帝答案较为接近了。

假设越复杂，样本描述吻合度可能会越高，但它也许会和看到全集后的最终描述（知识）差距越大。

（作者：昊峯，风电领域机器学习爱好者）

想与作者联系获得更多经验的伙伴，可以后台留言给小瓦君✌️✌️

“瓦特和比特”致力于打造国内最专业有趣的能源电力&数据分析学习社区，集结能源行业优秀的业务专家和数据分析大咖，为数据分析从业者和能源从业者提供一种全新的能源电力&数据分析交流方式。

历史消息：

案例｜电力系统基于大数据的短期负荷预测

从大数据分析角度，探讨电力设备状态检测与评估

小瓦君提示：关注“瓦特和比特”，学习最新的电力数据技能，为你热爱的工作打开新的视野～同时也欢迎从事不同岗位的电力人，公众号留言，跟小瓦君一起分享你的“电力人生”😊

瓦特和比特

有趣的分析在等你

长按扫码可关注