决策树如何防止过拟合？

剪枝算法
随机森林

一般情况下，如何防止过拟合？

数据集扩增（Data Augmentation）:从数据源头采集更多数据；复制原有数据并加上随机噪声；重采样；根据当前数据集估计数据分布参数，使用该分布产生更多数据等。
正则化方法
提前终止训练（Early stopping）
Dropout，只用于深度学习中。
Batch Normalization。

正则化项L1和L2的区别？

L1更容易得到稀疏解：

For more detail, please refer to: https://blog.****.net/Left_Think/article/details/77684087

决策树和逻辑回归有什么优缺点？分别适于解决什么问题？

逻辑回归适用于处理接近线性可分的分类问题。它可以得到一个与每个观测样本相关的概率列表。


如果边界是非线性的，并且能通过不断将特征空间切分为矩形来模拟，那么决策树是比逻辑回归更好的选择。


SVM通过把你的特征空间映射到核空间，使得各个类别线性可分。这个过程更简单的解释就是SVM给特征空间又额外增加了一个维度，使得类别线性可分。这个决策边界映射回原特征空间后得到的是非线性决策边界。

有哪些求解参数的方法？

梯度下降法（Gradient Descent）
牛顿法

有哪些梯度下降算法？

批量梯度下降算法（Batch Gradient Descent）
随机梯度下降算法（Stochastic GradientDescent）
小批量梯度下降算法（Mini-batch Gradient Descent）

梯度下降算法和牛顿法有什么区别？