如何推导“支持向量机”
0.前言
本文只讲述支持向量机(svm)的基础,不涉及任何高深东西。
1. 支持向量机 作用
先看一图:
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/oc/VF/Tc/cTVcFouy1ynB2PexY2H0bfY8r-cCQDmQMfEQSZGEO_5-uSSVnknlzXO1TZYEn-XSKtoFCufO-6DVk7InYPt84gKwuDe4lGWO2KXKGl5qu6gmfMBTrleFD1zO2ycxLqj30-hqhap1UpzxLQwvc9c94Q.jpg)
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/oc/VF/Tc/cTVcFouy1ynB2PexY2H0bfY8r-cCQDmQMfEQSZGEO_5-uSSVnknlzXO1TZYEn-XSSIfEUaQbL7lUQWUT0ZPA8AKwuDe4lGWO2KXKGl5qu6gmfMBTrleFD1zO2ycxLqj30-hqhap1UpzxLQwvc9c94Q.jpg)
2. 如何判断好坏
下面问题来了,能够区分两堆点的线有好多,怎么区分哪个好?这就引出了**街宽(margin)**的概念:
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/oc/VF/Tc/cTVcFouy1ynB2PexY2H0bfY8r-cCQDmQMfEQSZGEO_5-uSSVnknlzXO1TZYEn-XSEPJ771hPrT75UGL6-9m38AKwuDe4lGWO2KXKGl5qu6gmfMBTrleFD1zO2ycxLqj30-hqhap1UpzxLQwvc9c94Q.jpg)
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/oc/VF/Tc/cTVcFouy1ynB2PexY2H0bfY8r-cCQDmQMfEQSZGEO_5-uSSVnknlzXO1TZYEn-XSvWJu1bqk9dfQRumVXiWG8QKwuDe4lGWO2KXKGl5qu6gmfMBTrleFD1zO2ycxLqj30-hqhap1UpzxLQwvc9c94Q.jpg)
此处我们为什么选择常数1?因为如果假设是常数k,我们总可以通过两边同时除以k,对w和b进行缩放,让等式右边变为1.
上面两个式子可以统一为:
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/oc/VF/Tc/cTVcFouy1ynB2PexY2H0bfY8r-cCQDmQMfEQSZGEO_5-uSSVnknlzXO1TZYEn-XSeNieSj9DafrmzvujXiQ5RQKwuDe4lGWO2KXKGl5qu6gmfMBTrleFD1zO2ycxLqj30-hqhap1UpzxLQwvc9c94Q.jpg)
下面我们来计算街宽:
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/oc/VF/Tc/cTVcFouy1ynB2PexY2H0bfY8r-cCQDmQMfEQSZGEO_5-uSSVnknlzXO1TZYEn-XShKHX-6ij4delDESAwhDQ5gKwuDe4lGWO2KXKGl5qu6gmfMBTrleFD1zO2ycxLqj30-hqhap1UpzxLQwvc9c94Q.jpg)
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/oc/VF/Tc/cTVcFouy1ynB2PexY2H0bfY8r-cCQDmQMfEQSZGEO_63ZYjVZl-S6NXNFJtmElEa-oC21a9CmF8Mrjhmbujc-gKwuDe4lGWO2KXKGl5qu6gmfMBTrleFD1zO2ycxLqj30-hqhap1UpzxLQwvc9c94Q.jpg)
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/2z/UG/Ei/iEUzG2Lae3cyBXWAdXyG0aPt-BO74jkcJ3N_R9vjQVr7LaTrcDfWk5QPvumyh6KkuBY1ufYnQonFNH84iSAYbqdBnWHQIysJA6U12bVCKa-3Br2ErH4cu6jXdz9KQgmmwGLXB8Wmq2fc3BnVjOL56EZ0TIoSe92VeLjUwQVp6CAW7C-uH2NGHI722rSycCn4Sp1N1mkPlaafzo9hdMzIxgj0gM6_e_DzkNewHB26h7WyTh5QBADaXAjgbycL8PkC4uyX95uUz0hvxojDgu7pC8wMZ548oRdvRJlSdsSTfR3Xz0VpFW5ur0Tuyk3ihbC-fK0VjlHFITtGrPiLVedLyeAw2qc8z6Jz8qNxoG2Hl3k.jpg)
3. 优化街宽
我们现在知道街宽只和w相关,下面是我们的优化目标:
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/2z/UG/Ei/iEUzG2Lae3cyBXWAdXyG0dZEeZRBr9TYlEth_J0DFnnmQyer1HUfy6oo9qTUL7Wll3q5RG0yeLzCEIgX4olK3LjwBckU5GZh5FIH70mALoWx8cp-kWH3z6-4wdObhrhFP8Lk5OuW1-nmaus0kHS2kuhHTnvfaPHFrlM_XsLZIpXy1sLuS7KHkKEgC9BQ-Oif.jpg)
此时所有(x,y)满足:
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/oc/VF/Tc/cTVcFouy1ynB2PexY2H0bfY8r-cCQDmQMfEQSZGEO_5-uSSVnknlzXO1TZYEn-XSeNieSj9DafrmzvujXiQ5RQKwuDe4lGWO2KXKGl5qu6gmfMBTrleFD1zO2ycxLqj30-hqhap1UpzxLQwvc9c94Q.jpg)
4. 最优解
总结下目前的优化目标:
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/oc/VF/Tc/cTVcFouy1ynB2PexY2H0bfY8r-cCQDmQMfEQSZGEO_6m6cvL3DBq5aU6L4ysSE0DZ9nhXyrI8mBtq8BkCRyVdgKwuDe4lGWO2KXKGl5qu6gmfMBTrleFD1zO2ycxLqj30-hqhap1UpzxLQwvc9c94Q.jpg)
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/oc/VF/Tc/cTVcFouy1ynB2PexY2H0bfY8r-cCQDmQMfEQSZGEO_6m6cvL3DBq5aU6L4ysSE0DWNHcVBmrRa0iXcO-lsIfcgKwuDe4lGWO2KXKGl5qu6gmfMBTrleFD1zO2ycxLqj30-hqhap1UpzxLQwvc9c94Q.jpg)
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/oc/VF/Tc/cTVcFouy1ynB2PexY2H0bfY8r-cCQDmQMfEQSZGEO_6m6cvL3DBq5aU6L4ysSE0DYSVRihN8y3mcCZ5H2FzWfQKwuDe4lGWO2KXKGl5qu6gmfMBTrleFD1zO2ycxLqj30-hqhap1UpzxLQwvc9c94Q.jpg)
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/2z/UG/Ei/iEUzG2Lae3cyBXWAdXyG0TSC7Dbv3s00A-bLqqgVqyRZXru9Te15UmwAIwWzR-YC.jpg)
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/2z/UG/Ei/iEUzG2Lae3cyBXWAdXyG0TSC7Dbv3s00A-bLqqgVqyRZXru9Te15UmwAIwWzR-YC.jpg)
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/oc/VF/Tc/cTVcFouy1ynB2PexY2H0bfY8r-cCQDmQMfEQSZGEO_4hkyNlCe9xR-t1jI7GaMjSGWQCb1cr1EDyy_zv6Vq88QKwuDe4lGWO2KXKGl5qu6gmfMBTrleFD1zO2ycxLqj30-hqhap1UpzxLQwvc9c94Q.jpg)
5. 支持向量
支持向量机中中一个很重要的概念就是支持向量,让我们来看上面推导中的式子:
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/oc/VF/Tc/cTVcFouy1ynB2PexY2H0bfY8r-cCQDmQMfEQSZGEO_6m6cvL3DBq5aU6L4ysSE0Dwk5RzCLKdoAlPYvWH0ggFAKwuDe4lGWO2KXKGl5qu6gmfMBTrleFD1zO2ycxLqj30-hqhap1UpzxLQwvc9c94Q.jpg)
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/2z/UG/Ei/iEUzG2Lae3cyBXWAdXyG0TSC7Dbv3s00A-bLqqgVqyQNkxPsHotTjf3VdObPulHz.jpg)
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/2z/UG/Ei/iEUzG2Lae3cyBXWAdXyG0TSC7Dbv3s00A-bLqqgVqyQledusEr5G8Jc34k4inzxK.jpg)
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/2z/UG/Ei/iEUzG2Lae3cyBXWAdXyG0ZN5AwMEMBkiHDrhkWk6CUMQIjZTcZ-GSDADNmHPAJdJ.jpg)
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/oc/VF/Tc/cTVcFouy1ynB2PexY2H0bfY8r-cCQDmQMfEQSZGEO_4hkyNlCe9xR-t1jI7GaMjSGWQCb1cr1EDyy_zv6Vq88QKwuDe4lGWO2KXKGl5qu6gmfMBTrleFD1zO2ycxLqj30-hqhap1UpzxLQwvc9c94Q.jpg)
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/oc/VF/Tc/cTVcFouy1ynB2PexY2H0bfY8r-cCQDmQMfEQSZGEO_4hkyNlCe9xR-t1jI7GaMjSlRPVvJ5y5ouTSGrRKoeY-AKwuDe4lGWO2KXKGl5qu6gmfMBTrleFD1zO2ycxLqj30-hqhap1UpzxLQwvc9c94Q.jpg)
6. 核函数
线性空间到非线性空间变化,从而使得数据线性可分:
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/oc/VF/Tc/cTVcFouy1ynB2PexY2H0bfY8r-cCQDmQMfEQSZGEO_6067z0J7Th4zVuHN_Ur7nuZG9KMaB5ucW8-kUhnutjGAKwuDe4lGWO2KXKGl5qu6gmfMBTrleFD1zO2ycxLqj30-hqhap1UpzxLQwvc9c94Q.jpg)
![如何推导“支持向量机” 如何推导“支持向量机”](https://cdn.ancii.com/article/image/v1/oc/VF/Tc/cTVcFouy1ynB2PexY2H0bfY8r-cCQDmQMfEQSZGEO_7373yfP8ZMVnmxeo5L3dOdRMTHITJud9vf-z_k6kjrbwKwuDe4lGWO2KXKGl5qu6gmfMBTrleFD1zO2ycxLqj30-hqhap1UpzxLQwvc9c94Q.jpg)
相关推荐
mogigo00 2020-05-21
rein0 2020-05-03
jhshanyu00 2020-05-03
winmeanyoung 2020-05-01
chenfei0 2020-02-24
seekerhit 2020-01-30
sxyhetao 2019-12-03
卖小孩的咖啡 2019-11-07
卖小孩的咖啡 2019-11-01
luozaifei 2016-06-13
AmbiRF 2019-07-01
刘利新西安 2015-12-17
雅言敦行 2019-06-27
yonezcy 2019-06-27
不系之舟讨论群0 2019-06-18
itaquestion 2019-06-15
HandsomeFuHS 2019-05-07
SystemArchitect 2018-08-13