亚洲免费不卡_在线视频精品_国产尤物精品_久久久久网址_久久精品91_欧美va天堂在线_狠狠入ady亚洲精品_亚洲午夜精品福利_国产精品草草_午夜精品久久99蜜桃的功能介绍

支持向量機是一個相對較新和較先進的機器學習技術，最初提出是為了解決二類分類問題，現在被廣泛用于解決多類非線性分類問題和回歸問題。繼續閱讀本文，你將學習到支持向量機如何工作，以及如何利用R語言實現支持向量機。

支持向量機如何工作？

簡單介紹下支持向量機是做什么的：

假設你的數據點分為兩類，支持向量機試圖尋找最優的一條線（超平面），使得離這條線最近的點與其他類中的點的距離最大。有些時候，一個類的邊界上的點可能越過超平面落在了錯誤的一邊，或者和超平面重合，這種情況下，需要將這些點的權重降低，以減小它們的重要性。

這種情況下，“支持向量”就是那些落在分離超平面邊緣的數據點形成的線。

無法確定分類線（線性超平面）時該怎么辦？

此時可以將數據點投影到一個高維空間，在高維空間中它們可能就變得線性可分了。它會將問題作為一個帶約束的最優化問題來定義和解決，其目的是為了最大化兩個類的邊界之間的距離。

我的數據點多于兩個類時該怎么辦？

此時支持向量機仍將問題看做一個二元分類問題，但這次會有多個支持向量機用來兩兩區分每一個類，直到所有的類之間都有區別。

工程實例

讓我們看一下如何使用支持向量機實現二元分類器，使用的數據是來自MASS包的cats數據集。在本例中你將嘗試使用體重和心臟重量來預測一只貓的性別。我們拿數據集中20%的數據點，用于測試模型的準確性（在其余的80%的數據上建立模型）。

# Setup

library(e1071)

data(cats, package="MASS")

inputData <- data.frame(cats[, c (2,3)], response = as.factor(cats$Sex)) # response as factor

線性支持向量機

傳遞給函數svm()的關鍵參數是kernel、cost和gamma。Kernel指的是支持向量機的類型，它可能是線性SVM、多項式SVM、徑向SVM或Sigmoid SVM。Cost是違反約束時的成本函數，gamma是除線性SVM外其余所有SVM都使用的一個參數。還有一個類型參數，用于指定該模型是用于回歸、分類還是異常檢測。但是這個參數不需要顯式地設置，因為支持向量機會基于響應變量的類別自動檢測這個參數，響應變量的類別可能是一個因子或一個連續變量。所以對于分類問題，一定要把你的響應變量作為一個因子。

# linear SVM

svmfit <- svm(response ~ ., data = inputData, kernel = "linear", cost = 10, scale = FALSE) # linear svm, scaling turned OFF

print(svmfit)

plot(svmfit, inputData)

compareTable <- table (inputData$response, predict(svmfit)) # tabulate

mean(inputData$response != predict(svmfit)) # 19.44% misclassification error

徑向支持向量機

徑向基函數作為一個受歡迎的內核函數，可以通過設置內核參數作為“radial”來使用。當使用一個帶有“radial”的內核時，結果中的超平面就不需要是一個線性的了。通常定義一個彎曲的區域來界定類別之間的分隔，這也往往導致相同的訓練數據，更高的準確度。

# radial SVM

svmfit <- svm(response ~ ., data = inputData, kernel = "radial", cost = 10, scale = FALSE) # radial svm, scaling turned OFF

print(svmfit)

plot(svmfit, inputData)

compareTable <- table (inputData$response, predict(svmfit)) # tabulate

mean(inputData$response != predict(svmfit)) # 18.75% misclassification error

尋找最優參數

你可以使用tune.svm()函數，來尋找svm()函數的最優參數。

### Tuning

# Prepare training and test data

set.seed(100) # for reproducing results

rowIndices <- 1 : nrow(inputData) # prepare row indices

sampleSize <- 0.8 * length(rowIndices) # training sample size

trainingRows <- sample (rowIndices, sampleSize) # random sampling

trainingData <- inputData[trainingRows, ] # training data

testData <- inputData[-trainingRows, ] # test data

tuned <- tune.svm(response ~., data = trainingData, gamma = 10^(-6:-1), cost = 10^(1:2)) # tune

summary (tuned) # to select best gamma and cost

# Parameter tuning of 'svm':

# - sampling method: 10-fold cross validation

#

# - best parameters:

# gamma cost

# 0.001 100

#

# - best performance: 0.26

#

# - Detailed performance results:

# gamma cost error dispersion

# 1 1e-06 10 0.36 0.09660918

# 2 1e-05 10 0.36 0.09660918

# 3 1e-04 10 0.36 0.09660918

# 4 1e-03 10 0.36 0.09660918

# 5 1e-02 10 0.27 0.20027759

# 6 1e-01 10 0.27 0.14944341

# 7 1e-06 100 0.36 0.09660918

# 8 1e-05 100 0.36 0.09660918

# 9 1e-04 100 0.36 0.09660918

# 10 1e-03 100 0.26 0.18378732

# 11 1e-02 100 0.26 0.17763883

# 12 1e-01 100 0.26 0.15055453

結果證明，當cost為100，gamma為0.001時產生最小的錯誤率。利用這些參數訓練徑向支持向量機。

svmfit <- svm (response ~ ., data = trainingData, kernel = "radial", cost = 100, gamma=0.001, scale = FALSE) # radial svm, scaling turned OFF

print(svmfit)

plot(svmfit, trainingData)

compareTable <- table (testData$response, predict(svmfit, testData)) # comparison table

mean(testData$response != predict(svmfit, testData)) # 13.79% misclassification error

F M

F 6 3

M 1 19

網格圖

一個2-色的網格圖，能讓結果看起來更清楚，它將圖的區域指定為利用SVM分類器得到的結果的類別。在下邊的例子中，這樣的網格圖中有很多數據點，并且通過數據點上的傾斜的方格來標記支持向量上的點。很明顯，在這種情況下，有很多越過邊界違反約束的點，但在SVM內部它們的權重都被降低了。

# Grid Plot

n_points_in_grid = 60 # num grid points in a line

x_axis_range &lt;- range (inputData[, 2]) # range of X axis

y_axis_range &lt;- range (inputData[, 1]) # range of Y axis

X_grid_points &lt;- seq (from=x_axis_range[1], to=x_axis_range[2], length=n_points_in_grid) # grid points along x-axis

Y_grid_points &lt;- seq (from=y_axis_range[1], to=y_axis_range[2], length=n_points_in_grid) # grid points along y-axis

all_grid_points &lt;- expand.grid (X_grid_points, Y_grid_points) # generate all grid points

names (all_grid_points) &lt;- c("Hwt", "Bwt") # rename

all_points_predited &lt;- predict(svmfit, all_grid_points) # predict for all points in grid

color_array &lt;- c("red", "blue")[as.numeric(all_points_predited)] # colors for all points based on predictions

plot (all_grid_points, col=color_array, pch=20, cex=0.25) # plot all grid points

points (x=trainingData$Hwt, y=trainingData$Bwt, col=c("red", "blue")[as.numeric(trainingData$response)], pch=19) # plot data points

points (trainingData[svmfit$index, c (2, 1)], pch=5, cex=2) # plot support vectors

更多信息請查看IT技術專欄