机器学习思路整理-分类器 #

Date: 2015/6/12

发现md+tex其实挺好的，纯文本编写blog。

本章接着玩分类器，使用分类器能够将样本数据分为2类或更多的类。more分类器

线性回归其实是可以做分类器的。

线性回归将得到一个$math{h}_{\theta }(x)$，在其对应的直线上，截出若干区间，判断待分类数据$x^{\prime }$对应的$math{h}_{\theta }(x^{\prime })$在哪个区间上，即可对其分类。但是，由于线性函数拟合的结果太容易被干扰，所以分类器并不优化。因而需要用到下面的手段来实现S形函数

使用逻辑函数(logistic function)，又被称为S形函数(sigmod function)：$g(z)$来进行划分，可以获得一个跨越区间，大部分的数据在$g(z)$函数的作用下，其分类结果值要么是1，要么是0，均远离0.5附近这个“说不清楚”的范围，所以分类的效果远比线性分类的效果要好得多。
通常情况下，$g(z)$被定义为：

$mathg(z)=\frac{1}{1+e^{-z}}$

这个函数很接近分段函数，但又不是分段函数，这是为了能够方便计算，方便拟合以快速获得较好的结果。如果是分段函数，就很难用数学方法和程序去实现了。？？？？（使用分段函数来实现的被称作感知机学习算法）

可以看出，$g(z)$其实是从z=0切分的。显然，样本数据多半不从0切分，那么我们对样本数据做一个空间移动，使它变换到z=0上，就可以使用$g(z)$来分类了。于是，分类器中，新的$math{h}_{\theta }(x)$产生了：
$math{h}_{\theta }(x)=g({\theta }^{T}x)$

一开始先考虑将样本分为两类的情况，那么可以假定$math{h}_{\theta }(x)$的结果是：样本被标记为1的概率。那么，样本被标记为0的概率是：$math1-h_{\theta }(x)$。所以有：

$$P(y=1|x;\theta )=h_{\theta }(x)P(y=0|x;\theta )=1-h_{\theta }(x)P(y|x;\theta )=(h_{\theta }(x){)}^y\ast (1-h_{\theta }(x){)}^{1-y}$$

上面的公式，在传入真正的$x$后，会获得一个概率P。如果分类得比较准，那么获得的概率会非常大；如果分类不准，那么就恰好取得大概率的反，也就是小概率。
举个例子：假设$math{h}_{\theta }(x)$接近1，就意味着我们的分类结果接近1。如果样本集结果为1，证明我们分类准确，此时P接近1，否则证明我们分类不准确，P接近0。对$math{h}_{\theta }(x)$接近0时有类似的证明。

那么，我们就需要尽可能的提高预测准确性，其判断依据根据似然估计：

$$L(\theta )=p(\overrightarrow{y}|X;\theta )=\prod _{i=1}^{m}p(y^{(i)}|x^{(i)};\theta )$$

$mathl(\theta )=logL(\theta )=\sum _{i=1}^m{y}^{(i)}log{h}_{\theta }(x^{(i)})+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))$

$math\frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_j}l(\theta )=(y-h_{\theta }(x))x_j$

$math{\theta }_j:={\theta }_j+\alpha (y^{(i)}-h_{\theta }(x^{(i)}))x_j^{(i)}$

得到了一个与线性回归一样的迭代方法！！！log似然估计$l(\theta )$的优化

在线性回归和分类的概率模型中，都提到了。使$l(\theta )。使$l(\theta)最大化的$最大化的$\theta$也就是我们想要求解的对象。使用牛顿迭代方法可以加快求解速度。而使用海森矩阵(hessian Matrix)可以对牛顿迭代法进一步优化。公式就不在此推导了。k分类-多项式分布

将样本分到k个类中，标记为$1,2,\dots ,k$，称为k分类。通常使用多项式分布处理。
定义$math{\varphi }_i$为分为第i类的概率，则$math{\varphi }_k=\sum _{i=1}^{k-1}{\varphi }_i$。
所以

$$P(y;\varphi )={\varphi }_1^{1y=1}{\varphi }_2^{1y=2}\dots {\varphi }_k^{1y=k}={\varphi }_1^{1y=1}{\varphi }_2^{1y=2}\dots {\varphi }_k^{1-\sum _{i=1}^{k-1}1y=i}=\dots$$

$$h_{\theta }(x)=\left[\begin{array}{c}\frac{exp({\theta }_1^{T}x)}{\sum _{j=1}^{k}exp({\theta }_j^{T}x)}\frac{exp({\theta }_2^{T}x)}{\sum _{j=1}^{k}exp({\theta }_j^{T}x)}\dots \frac{exp({\theta }_{k-1}^{T}x)}{\sum _{j=1}^{k}exp({\theta }_j^{T}x)}\end{array}\right]$$

$mathp(y=k|x;\theta )=1-\sum _{i=1}^{k-1}{\varphi }_i$

$mathl(\theta )=\sum _{i=1}^{m}log\prod _{l=1}^k{\left(\frac{e^{{\theta }_l^T{x}^{(i)}}}{\sum _{j=1}^k{e}^{{\theta }_j^T{x}^{(i)}}}\right)}^{1y^{(i)}=l}$

有一句很经典的话：当你决定用多项式分布时，前面的都不用看了，直接用结论就好了。 Categories: 机器学习