机器学习面经笔记-第一天

一、好玩题

(1)人生路上,会遇到很多合适的人,笔者也相信着有情人终将眷属。只是在做出一生一世承诺前,我们是否应该多一些理性思考?一个男生从头走到尾,试图找到一个最适合自己的女生,一旦找到就不能选择其他的女生,错过也不能回头,问,他最大可能和那个最合适的女孩走到一起的最好的策略是什么?

#机器学习的入门概念+概率论+极限+积分(有点难)
假设总共遇到女生数量是n,前面k个女生做为训练集合,后n-k个女生作为测试样本。策略为:前k个女生只交往不结婚(无论多合适),后n-k个女生只要一遇到比前面k个女生都合适的,立马结婚,一生一世,绝不背离。问题在于k的选取。
对于一个固定的k,想要选到最合适的女生,必须满足两个条件:
1、最合适的女生是后n-k之中一个
2、最合适女生前所有女生(不包括她自己)合适度最高的那个必须在训练集合里面,而不在测试集合里面。
遍历条件一(每个发生的概率都是1/n),乘上条件二发生的概率f(k)=i=k+1n1nki1=kni=k+1n1i1=kn1k+1k+1+1k+3+......1nf(k)=\sum_{i=k+1}^n \frac{1}{n}* \frac{k}{i-1}=\frac{k}{n}\sum_{i=k+1}^n \frac{1}{i-1}=\frac{k}{n}*( \frac{1}{k}+\frac{1}{k+1}+\frac{1}{k+3}+......\frac{1}{n})
f(k)f(k)表示在训练集数量为k的时候,选到最合适女孩的概率。令x=kn,k=nxx=\frac{k}{n},k=nx代入,得f(k)=x1nx+1nx+1+1nx+2+......1n)=x1n1x+1x+1n+1x+2n+......+1)=xx11tdt=xln(x)f(k)=x*( \frac{1}{nx}+\frac{1}{nx+1}+\frac{1}{nx+2}+......\frac{1}{n})=x* \frac{1}{n}( \frac{1}{x}+\frac{1}{x+\frac{1}{n}}+\frac{1}{x+\frac{2}{n}}+......+1)=x*\int_x^1 { \frac{1}{t}} \,{\rm d}t=-x*ln(x)
对x求导得ln(x)1x1e-ln(x)-1当x取\frac{1}{e}时函数取极大值。所以应该以前1en\frac{1}{e}*n个女生作为训练集合,可以保证最大可能和最合适女生厮守一生。

(2)、某大公司有这么一个规定:只要有一个员工过生日,当天所有员工全部放假一天。但在其余时候,所有员工都没有假期,必须正常上班。这个公司需要雇用多少员工,才能让公司一年内所有员工的总工作时间期望值最大?

纯概率论
设公司n个人,考虑每一天,要么所有员工都上班,要么全部放假。全部上班=没有人过生日=每个人都在一年的其他日子过生日。p()=364365)np(这一天公司上班)=(\frac{364}{365})^n则对于每天公司所有人工作总时长的数学期望(一年就*365)是:E=p()n+0p()=(364365)nnE=p(这一天公司上班)*n+0*p(这一天公司不上班)=(\frac{364}{365})^n*n直接求导不方便,取对数求导。可得n=1ln365364=364.4998n=\frac{1}{ln\frac{365}{364}}=364.4998时函数取极大值,所以公司364或者365人时可以达到最大工作时间期望。

(3)一根棍子长度为N劈成三段,求这三段可以拼成三角形概率。

线性规划(较简单)
设第一段长度为x,第二段长度为y机器学习面经笔记-第一天
只有如图所示面积可以组成三角形,概率是0.25.

(4) 一个袋子,只有蓝色球和红色球,有放回抽球,抽到蓝色结束,问抽球次数的数学期望。

概率论(简单题)
设抽到蓝色球概率为p,红色球概率q,p+q=1.抽球次数分布列如下:

次数 1 2 3 n
概率 p qp q2pq^2p qn1pq^{n-1}p

数学期望为E=1p+2qp+3q2p+...+nqn1p=p(1+2q+3q2+...+nqn1)E=1*p+2*qp+3q^2p+...+nq^{n-1}p=p(1+2*q+3q^2+...+nq^{n-1}),令s=1+2q+3q2+...+nqn1sdq=q+q2+q3+...+qn=q1qs=1+2*q+3q^2+...+nq^{n-1},\int{s}{\rm d}q=q+q^2+q^3+...+q^{n}=\frac{q}{1-q},则E=p1(1q)2=1pE=p*\frac{1}{(1-q)^2}=\frac{1}{p}

二、概念题

(1)贝叶斯学派和经典学派区别

这个我有一篇论文,回头单独写一篇介绍

(2)欧拉公式

最美的公式:eix=cosx+isinxe^{ix}=cosx+isinx

(3)概率和似然的关系

笔者认为,二者都是经典概率学派的观点,概率是事情未发生前,人们假定上帝已经规定好了这个时间发生的可能性,称为概率。
似然是事件已经发生,根据发生的结果,反过来推断参数,找到参数取哪一个值最有可能导致已经发生的这件事情的发生。最常见的:极大似然估计。

(4)什么是共轭先验分布

贝叶斯学派认为事情发生的概率不是固定的,事情发生的概率p本身也是一个先验概率且服从π1(θ)\pi_1(\theta),事情发生之后,人们经验改变,得到后验概率π2(θ)\pi_2(\theta),如果π1(θ)\pi_1(\theta)π2(θ)\pi_2(\theta)具有相同的函数形式(注意:不一定要完全一样,θ\theta服从同一种分布就可以 ),则称π1(θ)\pi_1(\theta)为共轭先验分布。

(5)切比雪夫不等式(考研会考)

p(xu>kσ)1k2p(|x-u|>k\sigma)\leq\frac{1}{k^2}