零基础入门深度学习(1)----感知器
刚开始接触深度学习,对与它大概的印象就是:我们想利用机器来做好多事,比如预测未来的天气,识别语音中的文字,辨别图片中的动物等等。最开始它是不会的或者说错误率非常高的,那我们就像训练小狗似的训练机器,让它去做我们所设想的事情。那又怎么来实现呢?我们需要给机器一个模型,让它通过这个模型来达到目的,这个模型中有好多参数或者说很多不定变量。开始的时候模型并不会做,我们需要去训练模型也就是改变模型中的参数,让模型的输出更加接近真实的答案。
感知器:
上图中就是一个简单的单层感知器。包含输入,权重,**函数,输出。x为输入,比如语音识别中,语音就是模型的输入。w为权重,也就是开始说的模型中的参数,优化模型时就是通过改变权重来获取最佳模型。权值对于模型的实际意义就是调整输入的重要程度,比如挑西瓜的时候色泽可能比敲击的声音更加重要,所有输出中色泽所占的比例就相对高一些。标记 ∑ 符号的节点为输入加权和,该节点的输入为 x1*w1 + x2*w2 + ·····+ xn*wn + 1 * w0 ,通常用net表示。最后一项1*w0称作偏置项,用来调整被**的难易程度。step function为模型的**函数,通过该函数得到的值就是上图感知器的输出out。
感知器可以用来解决线性分类,线性回归等问题。
感知器的训练:
在感知器中w,b的初始值都为0,用 w ← w + Δw , b ← b + Δb 来更新w,b的值已达到最佳模型状态。
Δw = η(t - y) x 【式中t为真实值,y为模型的输出,t-y意味着模型输出与真实的差距】
Δb = η(t - y)
下列代码实现里一个简单的“and”操作:0 and 0 = 0,1 and 1 = 1,1 and 0 = 0,0 and 1 = 0
from functools import reduce
class Perception(object):
def __init__(self,input_num,activator):
'''
初始化一个感知器,
定义感知器的输入个数input_num,
以及**函数activator
'''
self.activator = activator
self.weights = [0.0 for _ in range(input_num)]
self.bias = 0.0
def __str__(self):
'''
打印学习到的权重/偏置项
'''
return 'weight\t:%s\nbias\t:%f\n'%(self.weights,self.bias)
def predict(self,input_vec):
'''
输入向量,输出感知器的计算结果
'''
#把input_vec[x1,x2,x3...]和weight[w1,w2,w3...]打包在一起
#变成[(x1,w1),(x2,w2)...]
#然后利用map函数计算x1*w1,x2*w2....
#最后利用reduce求和
return self.activator(
reduce(lambda a,b:a+b,
map(lambda x:x[0] * x[1],
zip(input_vec,self.weights))
,0.0) + self.bias)
def train(self,input_vecs,labels,iteration,rate):
'''
输入训练数据:一组向量,与每个向量对应的lable,以及训练轮数,学习率
'''
for i in range(iteration):
self._one_iteration(input_vecs,labels,rate)
def _one_iteration(self,input_vecs,labels,rate):
'''一次迭代,把所有的训练数据过一遍'''
#把输入和输出打包在一起,成为样本的列表[(input_vecs,label),...]
#而每个训练样本是(input_vec,label)
samples = zip(input_vecs,labels)
#对每个样本,按照感知器的规则更新权重
for (input_vecs,labels) in samples:
#计算感知器在当前权重下的输出
output = self.predict(input_vecs)
self._update_weight(input_vecs,output,labels,rate)
def _update_weight(self,input_vec,output,label,rate):
delta = label - output
self.weights = list(map(
lambda x:x[1] + rate * delta * x[0],
zip(input_vec,self.weights)))
self.bias += rate * delta
def f(x):
# 定义**函数f
if x > 0:
return 1
else:
return 0
def get_training_dataset():
# 构建训练集数据
input_vecs = [[1,1],[0,0],[1,0],[0,1]]
label = [1,0,0,0]
return input_vecs,label
def train_and_perceptron():
# 创建一个感知器,并训练,返回一个训练好的感知器
p = Perception(2,f)
input_vecs,labels = get_training_dataset()
p.train(input_vecs,labels,10,0.01)
return p
and_perception = train_and_perceptron()
print(and_perception)
print("1 and 1 = %d"%and_perception.predict([1,1]))
print("0 and 0 = %d"%and_perception.predict([0,0]))
print("1 and 0 = %d"%and_perception.predict([1,0]))
print("0 and 1 = %d"%and_perception.predict([0,1]))
以上程序出自于:https://www.zybuluo.com/hanbingtao/note/433855
上面的文字为自己的看教程之后的理解