代价函数

在逻辑回归中，我们的预测函数为：
$h_θ(x)=\frac 1 {1+e^{−θ^Tx}}$hθ​(x)=1+e−θTx1​

代价函数为：
$cost=−y\ log(h_θ(x))+(1−y)\ log(1−h_θ(x))$cost=−y log(hθ​(x))+(1−y) log(1−hθ​(x))

当 $y=1$y=1 时，代价函数就为：
$cost=−log(h_θ(x))$cost=−log(hθ​(x))$=−log\frac 1{1+e^{−z}},z=θ^Tx$=−log1+e−z1​,z=θTx

此时，代价函数随 $z$z 的变化曲线如下图：

不难看出，当 $y=1$y=1 时，随着 $z$z 取值变大，预测代价变小，因此，逻辑回归想要在面对正样本 $y=1$y=1 时，获得足够高的预测精度，就希望 $z=θ^Tx≫0$z=θTx≫0 。而 SVM 则将上图的曲线拉直为下图中的折线，构成了 $y=1$y=1 时的代价函数曲线 $cost_1(z)$cost1​(z) ：

当 $y=1$y=1 时，为了预测精度足够高，SVM 希望 $θ^Tx≥1$θTx≥1 。

同样，在 $y=0$y=0 时，SVM 定义了代价函数 $cost_0(z)$cost0​(z) ，为了预测精度足够高，SVM 希望 $θ^Tx≤−1$θTx≤−1 ：

最小化预测代价

SVM定义其最小化预测代价的过程为：
$\min_θC[∑_{i=1}^my^{(i)}cost_1(θ^Tx^{(i)})+(1−y^{(i)})cost_0(θ^Tx^{(i)})]+\frac 12∑_{j=1}^nθ^2_j$θmin​C[i=1∑m​y(i)cost1​(θTx(i))+(1−y(i))cost0​(θTx(i))]+21​j=1∑n​θj2​

而在逻辑回归中，最小化预测代价的过程为：
$\min_{θ}\frac 1m[∑_{i=1}^my^{(i)}(−log\ h_θ(x^{(i)}))+(1−y^{(i)})(−log\ (1−h_θ(x^{(i)})))]+\frac λ{2m}∑_{j=1}^nθ^2_j$θmin​m1​[i=1∑m​y(i)(−log hθ​(x(i)))+(1−y(i))(−log (1−hθ​(x(i))))]+2mλ​j=1∑n​θj2​

事实上，我们可以将逻辑回归的代价函数简要描述为：
$cost=A+λB$cost=A+λB

而 SVM 的代价函数描述为：
$cost=CA+B$cost=CA+B

即，在逻辑回归中，我们通过正规化参数 $λ$λ 调节 $A 、 B$A、B 所占的权重，且 $A$A 的权重与 $λ$λ 取值成反比。而在 SVM 中，则通过参数 $C$C 调节 $A 、 B$A、B 所占的权重，且 $A$A 的权重与 $C$C 的取值成反比。亦即，参数 $C$C 可以被认为是扮演了 $\frac1λ$λ1​ 的角色。

预测函数

当我们训练得到 θ 之后，可以代入下面的 SVM 预测函数进行预测：
$h_θ(x)= \begin{cases} 1 & if \ θ^Tx≥0\\ 0 & otherwise \end{cases}$hθ​(x)={10​if θTx≥0otherwise​