心电图心跳信号分类 模型调参
概述
本任务的核心是机器学习模型超参数的调整。
贪心调参方法
采用贪心策略,每次只调节一个参数,固定其他参数,按次依次更新所有要调节的参数。
网格调参方法
即通过网格搜索进行调整,该方法只是穷举参数组合,参数一多直接爆炸。
随机搜索调参方法
随机抓取超参数组合进行训练,一般要比网格搜索效果好。
贝叶斯调参方法
相关 Python 库:from bayes_opt import BayesianOptimization
首先算法会先取几个点(参数组合)作为开始, 之后根据先验,估计其他所有超参数组合的均值和方差, 均值代表该点的期望,方差表示估计的可信度。 然后就是据此根据一定策略选择下一个点进行测试,这样我们就得到一个 新的参数组合的实际效果,之后像这样不断迭代优化。
以下为只调节一个超参数(随机森林中树的数量)的情况演示, 黑色线为实际的模型表现,是未知的,其中的圆点是我们已经测试过的组合, 紫色区域代表了均值和方差。
图片来源: https://en.wikipedia.org/wiki/File:GpParBayesAnimationSmall.gif
参考
Links: heartbeat-classification-4