如何推导“支持向量机”

0.前言

本文只讲述支持向量机(svm)的基础,不涉及任何高深东西。

1. 支持向量机 作用

先看一图:

如何推导“支持向量机”我们第一直觉就是在两堆点中间画一根线,分开两类点。如何推导“支持向量机”

2. 如何判断好坏

下面问题来了,能够区分两堆点的线有好多,怎么区分哪个好?这就引出了**街宽(margin)**的概念:

如何推导“支持向量机”上面两条曲线,我们可以用下面的两个公式表达:如何推导“支持向量机”

此处我们为什么选择常数1?因为如果假设是常数k,我们总可以通过两边同时除以k,对w和b进行缩放,让等式右边变为1.

上面两个式子可以统一为:

如何推导“支持向量机”

下面我们来计算街宽:

如何推导“支持向量机”我们通过下面公式来计算街宽。如何推导“支持向量机”如何推导“支持向量机”

3. 优化街宽

我们现在知道街宽只和w相关,下面是我们的优化目标:

如何推导“支持向量机”

此时所有(x,y)满足:

如何推导“支持向量机”

4. 最优解

总结下目前的优化目标:

如何推导“支持向量机”我们通过拉格朗日可以将其转换为下面的求极值问题:如何推导“支持向量机”如何推导“支持向量机”推导到这里,我们可以通过一些数学的工具包解出如何推导“支持向量机”来。当我们求出如何推导“支持向量机”后,我么就能将w,b带回原来的式子,得到:如何推导“支持向量机”

5. 支持向量

支持向量机中中一个很重要的概念就是支持向量,让我们来看上面推导中的式子:

如何推导“支持向量机”上面红色部分,对于那些不在“站街”上的点,其值肯定是大于0的,因此为了取得最大值,最好的方式就是让如何推导“支持向量机”,因此我们在判断式子中,只需要计算如何推导“支持向量机”的那些如何推导“支持向量机”和新加入点x的点积即可。如何推导“支持向量机”一个形象说明:如何推导“支持向量机”

6. 核函数

线性空间到非线性空间变化,从而使得数据线性可分:

如何推导“支持向量机”如何推导“支持向量机”核函数的意义在于:我们不需要知道具体的映射函数是什么[由于太复杂我们也求不出

相关推荐