机器学习中回归分析(单变量算法实现)

简单线性回归(单变量实现)
1.自动生成数据:
 这里我们使用make_regression生成回归模型数据。几个关键参数有n_samples(生成样本数), n_features(样本特征数),noise(样本随机噪音)和coef(是否返回回归系数)。例子代码如下:

import numpy as np
import matplotlib.pyplot as plt
#%matplotlib inline
from sklearn.datasets.samples_generator import make_regression
# X为样本特征,y为样本输出, coef为回归系数,共10个样本,每个样本1个特征
X, y, coef =make_regression(n_samples=10, n_features=1,noise=10, coef=True)
# 画图
plt.scatter(X, y,  color='black')
plt.plot(X, X*coef, color='blue',
         linewidth=3)
plt.xticks(())
plt.yticks(())
plt.show()

显示如下:机器学习中回归分析(单变量算法实现)
自动生成效果图如上,自动生成相关数据,并且画出回归方程。

2.算术法求解
算术法即为:最小二乘法,梯度下降法
最小二乘法:最小二乘法是一种数学优化技术,它通过最小化误差的平方和寻找数据的最佳函数匹配。
梯度下降法:
机器学习中回归分析(单变量算法实现)
这个代价函数是 x(i) 的估计值与真实值 y(i) 的差的平方和,前面乘上 1/2,是因为在求导的时候,这个系数就不见了。

最小二乘法算法:

import numpy as np
def fitslr(x,y):
    n=len(x)
    dinominator=0
    numerator=0
    for i in range (0,n):
        numerator +=(x[i]-np.mean(x))*(y[i]-np.mean(y))
        dinominator+= (x[i]-np.mean(x))**2
    print("numerator",numerator)
    print("dinominator",dinominator)
    b1=numerator/float(dinominator)
    b0=np.mean(y)/float(np.mean(x))
    print(b1)
    print(b0)
    return b0,b1
def predict(x,b0,b1):
    return b0+x*b1

x=[1,3,2,1,3]
y=[14,24,18,17,27]
b0,b1=fitslr(x,y)

x_text=6
y_text=predict(6,b0,b1)
print("x_text",y_text)

梯度下降法算法:

import numpy as np
import random


def gradient_descent(alpha, x, y, ep=0.0001, max_iter=10000):
    converged = False
    iter = 0
    m = x.shape[0]  # 数据的行数

    # 初始化参数(theta)
    t0 = np.random.random(x.shape[1])
    t1 = np.random.random(x.shape[1])

    # 代价函数, J(theta)
    J = sum([(t0 + t1 * x[i] - y[i]) ** 2 for i in range(m)])

    # 进行迭代
    while not converged:
        # 计算训练集中每一行数据的梯度 (d/d_theta j(theta))
        grad0 = 1.0 / m * sum([(t0 + t1 * x[i] - y[i]) for i in range(m)])
        grad1 = 1.0 / m * sum([(t0 + t1 * x[i] - y[i]) * x[i] for i in range(m)])

        # 更新参数 theta
        # 此处注意,参数要同时进行更新,所以要建立临时变量来传值
        temp0 = t0 - alpha * grad0
        temp1 = t1 - alpha * grad1
        t0 = temp0
        t1 = temp1

        # 均方误差 (MSE)
        e = sum([(t0 + t1 * x[i] - y[i]) ** 2 for i in range(m)])

        if abs(J - e) <= ep:
            print('Converged, iterations: ', iter, '!!!')
            converged = True

        J = e  # 更新误差值
        iter += 1  # 更新迭代次数

        if iter == max_iter:
            print('Max interactions exceeded!')
            converged = True

    return t0, t1

3.向量法求解(直接调用函数法)
1.最小二乘法:

from sklearn.linear_model import LinearRegression
import numpy as np
x = np.array([1,3,2,1,3])
y = np.array([14,24,18,17,27])
# 定义线性回归模型
model = LinearRegression()
model.fit(x.reshape(len(x),1), y) # 训练, reshape 操作把数据处理成 fit 能接受的形状
print(model.coef_)
print(model.intercept_)

2.梯度下降法:

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
import matplotlib.pyplot as plt


dataset = pd.read_csv('Salary_Data.csv')
X = dataset.iloc[:,0].values
Y = dataset.iloc[:,-1].values

#将数据分成训练集和测试集,训练集用于训练模型,测试集用于测试训练的模型的效果
X_train,X_test,Y_train,Y_test = train_test_split(X,Y,test_size = 0.3,random_state = 0)
X_train = X_train.reshape(-1,1)
Y_train = Y_train.reshape(-1,1)

regresor = LinearRegression()
regresor.fit(X_train,Y_train)
#根据模型得出的对应训练集的预测Y值
predict = regresor.predict(X_train.reshape(-1,1))

plt.figure(figsize=(10,12)) #设置画布大小
figure = plt.subplot(211)  #将画布分成2行1列,当前位于第一块子画板

plt.scatter(X_train, Y_train,color = 'red')  #描出训练集对应点
plt.plot(X_train,predict,color='black')  #画出预测的模型图
plt.xlabel('YearsExperience')
plt.ylabel('Salary')
plt.title('Train set')

#将模型应用于测试集,检验拟合结果
plt.subplot(212)
plt.scatter(X_test, Y_test,color = 'red')
plt.plot(X_train,predict,color='black')
plt.xlabel('YearsExperience')
plt.ylabel('Salary')
plt.title('Test set')

4.算术法与向量法比较
Sklearn 是基于Python的机器学习工具模块。里面主要包含了6大模块:分类、回归、聚类、降维、模型选择、预处理。根据Sklearn 官方文档资料,下面将各个模块中常用的模型函数总结出来。 、

  1. 回归及分类(监督学习)
    1.1 广义线性模型 (fromsklearn import linear_model)
    最小二乘法:拟合一个线性模型, 使得数据集实际观测数据和预测数据(估计值)之间残差平方和最小。
    clf=linear_model.LinearRegression(), clf.fit(X,y)
    岭回归:改良的最小二乘,解决共线问题。
    clf=linear_model.Ridge(alpha=0.5),clf.fit(X,y)
    逻辑回归:
    clf=linear_model.LogisticRegression()
    1.2 朴素贝叶斯
    高斯模型: from sklearn.naive_bayes import GassianNB
    Gnb=GassianNB(),gnb.fit(data, target).predict(data)
    多项式模型:MultinomialNB
    伯努利模型:会把输入数据二元化BernoulliNB
    1.3 决策树 from sklearn import tree
    决策树分类器:clf=tree.DecisionTreeClassifier()
    回归分类器(y 值为float非int):
    clf=tree. DecisionTreeRegressor()
    1.4 支持向量机
    from sklearn import svm
    clf=svm.SVC()2. 聚类
    K-means:
    from sklearn.cluster import KMeans
    kmeans= KMeans(n_clusters=2, random_state=0).fit(X)

  2. 降维
    PCA:
    From sklearn.decomposition import PCA
    pca = PCA(n_components=2)
    method:
    fit(X[y])
    get_covariance()
    get_params([deep])
    get_precision()
    score(X[y])

  3. 特征选择
    树特征:
    From sklearn.ensemble import ExtraTreesClassifier5 .数据预处理
    From sklearn import preprocessing
    标准化:preprocessing.scale(x)
    规范化:preprocessing.normalize()
    二值化: preprocessing.Binarizer()
    处理缺失值:fromsklearn.preprocessing import Imputer
    imp=Imputer(missing_values=‘NaN’,strategy=‘mean’,axis=0)

基于Sklearn库能够更快的得出我们所需得数据,因为它包含了机器学习的各个模块,能够简单方便的处理数据,它拥有高性能的有点,但在算术法中,性能较低,但是所有的分析都是比较全面,在机器学习这一块,需要将两种模式结合,才能得出最优解。