SVM分類兩個點。已知兩個樣本點，如果用SVM模型，決策邊界就是線g，它的斜率為已知兩個樣本點斜率的垂直方向，并經(jīng)過兩個點的中點。

這條線g就是SVM認(rèn)為的分類兩個樣本點的最好邊界線。

SVM分類多個點

添加更多的樣本點，但是有意識地讓它們符合上面的分布，此時的最佳決策邊界發(fā)生變化了嗎？沒有。樣本點雖然多了，但是SVM認(rèn)為起到支持作用的還是那兩個點，support vector就是它們，名字得來了，當(dāng)然因此決策邊界也未變。以上這些都是直接觀察出來的，計算機(jī)是如何做這個事的？

還啟發(fā)我們，SVM建立決策邊界時，只關(guān)心距離決策邊界最近的那兩個樣本點，然后取距離它們都最遠(yuǎn)的決策邊g ，認(rèn)為g就是最佳決策邊界。

有了以上基礎(chǔ)，SVM目標(biāo)函數(shù)的結(jié)構(gòu)差不多就知道了：max ( min() )，SVM添加了一個約束，得到的好處是目標(biāo)函數(shù)更精簡了：

arg max 1/||w|| 

s.t., y*f(x)>=1

注意，這個更精簡的目標(biāo)函數(shù)，必須滿足上面的約束，它們是共生關(guān)系，缺一不可。

最大值轉(zhuǎn)化為求最小值。機(jī)器學(xué)習(xí)中，遇到目標(biāo)函數(shù)求最大值的，都會轉(zhuǎn)化為求最小值，常規(guī)套路，SVM也不例外。

它也很簡單，分母最小，原式便能最大，即：

arg min  0.5*||w||^2 

s.t., y * f(x)>=1

目標(biāo)函數(shù)為什么帶有系數(shù)0.5，沒有特殊原因，只不過求導(dǎo)時，0.5*2化簡方便。

這是常見的二次規(guī)劃問題，求解方法有很多種，拉格朗日方法、Lemke方法、內(nèi)點法、有效集法、橢球算法等。

SVM的以上目標(biāo)函數(shù)求解選用了拉格朗日方法，可以查閱資料，了解此求解方法，里面還用到KKT，轉(zhuǎn)化為先求w,b的最小值，然后再求alfa_i的最大值問題，進(jìn)而求得參數(shù)w和b，至此完畢。

SVM還考慮了軟間隔，核函數(shù)問題。噪音點出現(xiàn)了。如下圖所示，有一個帶圈的噪音點出現(xiàn)在了右下角，決策邊界在哪里？

如果決策邊界這樣，可以看出它不是好的決策邊界，因為噪音點是錯誤點，不應(yīng)該拿它作為支持向量。

克服噪音：松弛因子。SVM適當(dāng)?shù)胤艑捔思s束條件，將 yi * f(xi) >=1，放寬為 yi *  f(xi) >=1-ei，這個間隔ei就是軟間隔。為什么要減去ei，而不是加上ei，因為前者可能使得更多的樣本點成立，比如第一幅圖中，作為正的支持向量點可能不滿足 yi * f(xi) >=1，但是可能滿足 yi *  f(xi) >=1-ei，這樣即便噪音點出現(xiàn)了，我們?nèi)匀豢赡艿玫降谝环姆诸悰Q策邊界。

ei在SVM中稱為松弛因子，SVM中用控制因子C來控制ei，當(dāng)C很大時，ei發(fā)揮的作用很小，也就是松弛的很?。籆很小時，ei發(fā)揮的作用很大，可能松弛的作用更強些。

以上介紹了SVM參數(shù)求解和軟間隔部分，它們還不是SVM最巧妙的部分SVM真正精彩之處在于將低維空間線性不可分問題轉(zhuǎn)化為高緯空間線性可分問題，比如一個數(shù)據(jù)集有3個特征，此時線性不可分，但是轉(zhuǎn)化成9個特征后，在此空間下可能就線性可分了，如下圖所示，在二維空間下線性不可分，轉(zhuǎn)化到三維下，就可以得到一個線性可分面。

這是如何做到的？核函數(shù)將低維下的原始特征映射到了高維下。

數(shù)據(jù)映射到高維空間后，是否求解的復(fù)雜度陡增呢？ 不會的。在低維空間下樣本點求內(nèi)積的結(jié)果，只需花費O(1)時間復(fù)雜度直接轉(zhuǎn)化為高維下的內(nèi)積結(jié)果。

說說SVM
目標(biāo)函數(shù)和約束怎么得來的？

更容易理解SVM的目標(biāo)函數(shù)和約束怎么得來的思路，因此，記錄下來，與大家一起分享。設(shè) g(x) = wx+b，則樣本點到g(x)的距離為：

|g(x)| / ||w||

SVM 建立決策邊界時，只關(guān)心距離決策邊界最近的那兩個樣本點，然后取距離它們都最遠(yuǎn)的決策邊，轉(zhuǎn)化為數(shù)學(xué)公式為：   

 max(min(|g(x)| / ||w||))    

將它化簡為：      

 max( 1/||w||)      

 s.t. yi*g(xi) >=1     

怎么想出來的？  

如果設(shè) |g(x)| >= 1 ，則  min( |g(x)| / ||w|| ) = 1 / ||w||    ,  進(jìn)一步地，max(min(|g(x)| / ||w||)) ，可以化簡為：

 max ( 1 / ||w|| )

那么， |g(x)| >= 1 ，如何化簡為 yi * g(xi)  >= 1 呢？  注意到 yi 是 第 i 個樣本的標(biāo)簽值，要么為 1， 要么為 -1.   當(dāng) g(x) >= 0，代表為正例，即 yi = 1，當(dāng) g(x) < 0，代表負(fù)例，即 yi = -1，因此，|g(x)| =  yi * g(x) >= 1. 

OK.  接下來便是求解如下最優(yōu)化目標(biāo)和約束的優(yōu)化問題：

 max( 1/||w||)      

 s.t. yi*g(xi) >=1