您的位置: 首页  >  文章  >  机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)

机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)

分类: 文章 • 2024-11-10 16:21:25

这篇文章介绍一下机器学习算法中比较基础的回归算法

1 回归算法

  • 回归算法
    • 有监督算法，常用的机器学习算法
    • 建立“解释”变量(自变量X)和观测值(因变量Y)之间的关系；
    • 构建一个算法模型(函数)来做属性(X)与标签(Y)之间的映射关系
    • 试图寻找一个函数机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)使得参数之间的关系拟合性最好
    • 回归算法(函数)的最终结果是一个连续的数据值，输入值(属性值)是一个d维度的属性/数值向量

1.1 线性回归

1.1.1 线性回归公式及求解

  • 公式

    • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)

    • 最终要求是计算出机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)的值，并选择最优的 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)值构成算法公式

  • 误差
    • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)
    • 误差机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)是独立同分布的，服从均值为0，方差为某定值机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)的高斯分布「中心极限定理」。
  • 似然函数
    • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)
    • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)
    • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)
  • 对数似然函数
    • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)
  • 最小二乘法（目标函数）
    • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)
  • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)求解
    • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)
    • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)
    • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)
    • 最小二乘法要求机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)可逆，为防止不可逆或过拟合问题，增加额外数据影响，使最终矩阵可逆
      • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)

1.1.2 线性回归的过拟合

为防止过拟合，在目标函数上增加一个正则项（norm）

  • L1-norm
    • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)
    • 又称为LASSO回归
    • 高求解速度
  • L2-norm
    • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)
    • 又称为Ridge回归（岭回归）
    • 高准确性、鲁棒性、稳定性
  • Elasitc Net
    • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)

1.1.3 模型效果评估

1.1.4 模型优化调参

 

1.2 逻辑回归

1.2.1 线性回归公式及求解

  • 公式
    • Logistic函数
      • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)
    • sigmoid函数

      • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)

      • 导数

        • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)

  • 似然函数

    • 假设

      • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)

      • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)

      • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)

    • 似然函数

      • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)

    • 对数似然函数

      • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)

  • 目标函数

    • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)

  • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)求解

    • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)

 

 

1.3 softmax回归

逻辑回归的一般化，适用于机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)分类问题，第机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)类的参数为向量机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)，组成的二维矩阵为机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)

  • 本质
    • 将一个机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)维的任意实数向量压缩（映射）成另一个机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)维的实数向量，其中向量中的每个元素取值都介于（0，1）之间。
  • 公式
    • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)
  • 损失函数
    • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)
    • 其中机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)
  • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)求解
    • 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

相关推荐