百面机器学习笔记
百面机器学习笔记
1 特征工程
特征工程，顾名思义，是对原始数据进行一系列工程处理，将其提炼为特征，作为输入供算法和模型使用。从本质上来讲，特征工程是一个表示和展现数据的过程。在实际工作中，特征工程旨在去除原始数据中的杂质和冗余，设计更高效的特征以刻画求解的问题与预测模型之间的关系。
问题 为什么需要对数值类型的特征做归一化？
数据归一化并不是万能的。在实际应用中，通过梯度下降法求解的模型通常是需要归一化的，包括线性回归、逻辑回归、支持向量机、神经网络等模型。但对于决策树模型则并不适用，以C4.5为例，决策树在进行节点分裂时主要依据数据集D关于特征x的信息增益比（详见第3章第3节），而信息增益比跟特征是否经过归一化是无关的，因为归一化并不会改变样本在特征x上的信息增益。
问题 在对数据进行预处理时，应该怎样处理类别型特征？
问题 在图像分类任务中，训练数据不足会带来什么问题？如何缓解数据量不足带
来的问题？
当训练数据不足时，说明模型从原始数据中获取的信息比较少，这种情况下要想保证模型的效果，就需要更多先验信息。先验信息可以作用在模型上，例如让模型采用特定的内在结构、条件假设或添加其他一些约束条件；先验信息也可以直接施加在数据集上，即根据特定的先验假设去调整、变换或扩展训练数据，让其展现出更多的、更有用的信息，以利于后续模型的训练和学习。
具体到图像分类任务上，训练数据不足带来的问题主要表现在过拟合方面，即模型在训练样本上的效果可能不错，但在测试集上的泛化效果不佳。根据上述讨论，对应的处理方法大致也可以分两类:
- 基于模型的方法，主要是采用降低过拟合风险的措施，包括简化模型（如将非线性模型简化为线性模型）、添加约束项以缩小假设空间（如L1/L2正则项）、集成学习、Dropout超参数等；
- 基于数据的方法，主要通过数据扩充（Data Augmentation），即根据一些先验知
识，在保持特定信息的前提下，对原始数据进行适当变换以达到扩充数据集的效果。
具体到图像分类任务中，在保持图像类别不变的前提下，可以对训练集中的
每幅图像进行以下变换。
问题 在模型评估过程中，过拟合和欠拟合具体是指什么现象？
简而言之，过拟合即为模型不够复杂，欠拟合为模型太过于复杂。复杂是指x特征太少。
问题 logisitic回归相比于线性回归，有何异同？
决策树
聚类
算法流程：
问题 K均值算法的优缺点是什么？如何对其进行调优？
K均值算法有一些缺点，例如受初值和离群点的影响每次的结果不稳定、结果通常不是全局最优而是局部最优解、无法很好地解决数据簇分布差别比较大的情况（比如一类是另一类样本数量的100倍）、不太适用于离散分类等。但是瑕不掩瑜，K均值聚类的优点也是很明显和突出的，主要体现在：对于大数据集，K均值聚类算法相对是可伸缩和高效的，它的计算复杂度是O(NKt)接近于线性，其中N是数据对象的数目，K是聚类的簇数，t是迭代的轮数。尽管算法经常以局部最优结
束，但一般情况下达到的局部最优已经可以满足聚类的需求。
调优的方法：
手肘法是一个经验方法，缺点就是不够自动化，因此研究员们又提出了一些
更先进的方法，其中包括比较有名的Gap Statistic方法 。
3. 采用核函数
采用核函数是另一种可以尝试的改进方向。传统的欧式距离度量方式，使得K均值算法本质上假设了各个数据簇的数据具有一样的先验概率，并呈现球形或者高维球形分布，这种分布在实际生活中并不常见。面对非凸的数据分布形状时，可能需要引入核函数来优化，这时算法又称为核K均值算法，是核聚类方法的一种 。核聚类方法的主要思想是通过一个非线性映射，将输入空间中的数据点映射到高位的特征空间中，并在新的特征空间中进行聚类。非线性映射增加了数据点线性可分的概率，从而在经典的聚类算法失效的情况下，通过引入核函数可以达到更为准确的聚类结果。
K均值算法的主要缺点如下。
（1）需要人工预先确定初始K值，且该值和真实的数据分布未必吻合。
（2）K均值只能收敛到局部最优，效果受到初始值很大。
（3）易受到噪点的影响。