心电图心跳信号分类 模型调参

Tag: 数据竞赛 Datawhale Posted on 2021-03-25 21:27:48 Edited on 2021-03-25 22:51:04 Views: 125

概述

本任务的核心是机器学习模型超参数的调整。

贪心调参方法

采用贪心策略,每次只调节一个参数,固定其他参数,按次依次更新所有要调节的参数。

网格调参方法

即通过网格搜索进行调整,该方法只是穷举参数组合,参数一多直接爆炸。

随机搜索调参方法

随机抓取超参数组合进行训练,一般要比网格搜索效果好。

贝叶斯调参方法

相关 Python 库:from bayes_opt import BayesianOptimization

首先算法会先取几个点(参数组合)作为开始, 之后根据先验,估计其他所有超参数组合的均值和方差, 均值代表该点的期望,方差表示估计的可信度。 然后就是据此根据一定策略选择下一个点进行测试,这样我们就得到一个 新的参数组合的实际效果,之后像这样不断迭代优化。

以下为只调节一个超参数(随机森林中树的数量)的情况演示, 黑色线为实际的模型表现,是未知的,其中的圆点是我们已经测试过的组合, 紫色区域代表了均值和方差。

GpParBayesAnimationSmall.gif

图片来源: https://en.wikipedia.org/wiki/File:GpParBayesAnimationSmall.gif

参考

  1. https://zhuanlan.zhihu.com/p/29779000
  2. https://en.wikipedia.org/wiki/Bayesian_optimization

未经允许,禁止转载,本文源站链接:https://iamazing.cn/