机器学习课程总结

参考文献：

1. 国科大周晓飞老师机器学习教学课件.
2. 周志华，机器学习，清华大学出版社，2016.

课程内容

• 线性分类
  • 感知机
  • 线性鉴别分析（LDA）/Fisher鉴别分析
    • 严格来说，LDA与Fisher判别分析稍有不同，前者假设了各类样本的协方差矩阵相同且满秩
  • Logistic模型/对数几率回归/逻辑回归
• 非线性分类
  • 决策树
  • 最近邻方法
  • 集成学习
    • Bagging，随机森林
    • Boosting
  • SVM
• 回归分析
  • 最小二乘估计
  • 最大似然估计
  • 最大后验估计
• 聚类分析
  • 序贯方法
  • 层次聚类
  • K均值聚类
• 特征降维
  • 特征选择
    • Relief算法
  • 特征提取
    • PCA
• 信息论模型
  • 熵、最大熵
  • 互信息
  • 信息论优化模型
• 概率图模型
  • 有向图模型：贝叶斯网络
  • 无向图模型：马尔科夫随机场
  • 学习与推断
    • 学习：结构学习、参数学习
    • 推断：变量消去、信念传播
• 神经网络与深度学习
  • 多层感知机
  • CNN
  • RNN
  • DNN

研究数据
• UCI Machine Learning Repository : http://archive.ics.uci.edu/ml/
• 数据堂
• 不同领域会议的Cup数据
• 不同领域论文中获取
• 网络爬取

工具
• Weka: http://www.cs.waikato.ac.nz/ml/weka/downloading.html
• http://mallet.cs.umass.edu/index.php
• Python机器学习工具包milk：https://github.com/luispedro/milk
• 开源的机器学习框架：Apache Mahout Framework
• Apache OpenNLP: http://opennlp.apache.org/
• OpenCV: http://opencv.org/
• OpenAI: https://www.openai.com/
• Github: https://github.com/
• 深度学习开源汇总：http://deeplearning.net/software_links/

重点笔记