机器学习笔记之十五——lightgbm之直方图算法

  lightgbm使用时有一个参数“max_bin”一直在用,但是一直比较模糊,于是想搞它一搞。

  max_bin官方文档的解释:

max number of bins that feature values will be bucketed in
small number of bins may reduce training accuracy but may increase general power (deal with over-fitting)
LightGBM will auto compress memory according to max_bin. For example, LightGBM will use uint8_t for feature value if max_bin=255

 要明白max_bin必须明白直方图算法,复习一下。

直方图算法

  机器学习笔记之十五——lightgbm之直方图算法

 

那么max_bin就可以理解了,如果len(bins) 大于 max_bin,那么较小梯度和的bins们就会被抛弃,这样一定程度上提高了泛化能力。