程序測(cè)試是展現(xiàn)BUG存在的有效方式,但令人絕望的是它不足以展現(xiàn)其缺位。
——艾茲格·迪杰斯特拉(Edsger W. Dijkstra)
算法審查時(shí)選擇合適的機(jī)器學(xué)習(xí)算法主要方式之一。審查算法前并不知道哪個(gè)算法對(duì)問題最有效,必須設(shè)計(jì)一定的實(shí)驗(yàn)進(jìn)行驗(yàn)證,以找到對(duì)問題最有效的算法。
審查算法前沒有辦法判斷那個(gè)算法對(duì)數(shù)據(jù)集最有效、能夠生成最優(yōu)模型,必須通過一些列的實(shí)驗(yàn)進(jìn)行驗(yàn)證才能夠得出結(jié)論,從而選擇最優(yōu)的算法。這個(gè)過程被稱為審查算法。
審查算法時(shí),要嘗試多種代表性算法、機(jī)器學(xué)習(xí)算法以及多種模型,通過大量實(shí)驗(yàn)才能找到最有效的算法。
邏輯回歸其實(shí)是一個(gè)分類算法而不是回歸算法,通常是利用已知的自變量來預(yù)測(cè)一個(gè)離散型因變量的值(如二進(jìn)制0/1、真/假)。簡(jiǎn)單來說,它就是通過擬合一個(gè)邏輯回歸函數(shù)(Logistic Function)來預(yù)測(cè)事件發(fā)生的概率。所以它預(yù)測(cè)的是一個(gè)概率值,它的輸出值應(yīng)該為0~1,因此非常適合二分類問題。
from pandas import read_csv from sklearn.model_selection import KFold from sklearn.model_selection import cross_val_score from sklearn.linear_model import LogisticRegression#邏輯回歸 filename = 'pima_data.csv' names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class'] data = read_csv(filename, names=names) array = data.values X = array[:, 0:8] Y = array[:, 8] #邏輯回歸 num_folds = 10 seed = 7 kfold = KFold(n_splits=num_folds, random_state=seed, shuffle=True) model = LogisticRegression(max_iter=3000) result = cross_val_score(model, X, Y, cv=kfold) print(result.mean())
執(zhí)行結(jié)果如下:0.7721633629528366
線性判別分析(Linear DIscriminant Analysis,LDA),也叫做Fisher線性判別(Fisher Linear Discriminant Analysis,F(xiàn)LD)。它的思想是將高維的模式樣本投影到最佳鑒別矢量空間,以達(dá)到抽取分類信息和壓縮特征空間維數(shù)的效果,投影后保證模式樣本在新的子空間有最大類間距離和最小類內(nèi)距離。因此,他是一種有效的特征抽取方法。(完全不懂它是什么東西。。。)
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis #相同代碼不再贅述 #線性判別分析 model = LinearDiscriminantAnalysis() result = cross_val_score(model, X, Y, cv=kfold) print(result.mean())
執(zhí)行結(jié)果如下:
0.7669685577580315
K近鄰算法的基本思路是:如果一個(gè)樣本在特征空間中的k個(gè)最相似的樣本中大多數(shù)屬于某一個(gè)類別,則該樣本也屬于這個(gè)了類別。在scikit-learn
中通過KNeighborsClassifier
實(shí)現(xiàn)。
from sklearn.neighbors import KNeighborsClassifier #相同代碼不再贅述 #K近鄰 model = KNeighborsClassifier() result = cross_val_score(model, X, Y,cv=kfold) print(result.mean())
0.7109876965140123
貝葉斯分類器的分類原理是通過某對(duì)象的先驗(yàn)概率,利用貝葉斯公式計(jì)算出其在所有類別上的后驗(yàn)概率,即該對(duì)象屬于某一類的來率,選擇具有最大后驗(yàn)概率的類作為該對(duì)象所屬的類。
from sklearn.naive_bayes import GaussianNB #貝葉斯分類器 model = GaussianNB() result = cross_val_score(model, X, Y,cv=kfold) print(result.mean())
0.7591421736158578
分類與回歸樹(CART).CART算法由以下兩布組成:
from sklearn.tree import DecisionTreeClassifier #分類與回歸樹 model = DecisionTreeClassifier() result = cross_val_score(model, X, Y,cv=kfold) print(result.mean())
0.688961038961039
from sklearn.svm import SVC #支持向量機(jī) model = SVC() result = cross_val_score(model, X, Y,cv=kfold) print(result.mean())
0.760457963089542
本部分使用波士頓房價(jià)的數(shù)據(jù)集來審查回歸算法,采用10折交叉驗(yàn)證來分離數(shù)據(jù),并應(yīng)用到所有的算法上。
線性回歸算法時(shí)利用數(shù)理統(tǒng)計(jì)中的回歸分析,來確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計(jì)分析方法。在回歸分析中,若只包含一個(gè)自變量和一個(gè)因變量,且二者的關(guān)系可用一條直線近似表示,這種回歸分析成為一元線性回歸分析。如果回歸分析中包含兩個(gè)或兩個(gè)以上的自變量,且因變量和自變量之間是線性關(guān)系,則稱為多元線性回歸分析。
from pandas import read_csv from sklearn.model_selection import KFold from sklearn.model_selection import cross_val_score from sklearn.linear_model import LinearRegression filename = 'housing.csv' names = ['CRIM','ZN','INDUS','CHAS','NOX','RM','AGE','DIS','RAD','TAX','PRTATIO','B','LSTAT','MEDV'] data = read_csv(filename,names=names,delim_whitespace=True) array = data.values X = array[:,0:13] Y = array[:,13] n_splits = 10 seed = 7 kfold = KFold(n_splits=n_splits,random_state=seed,shuffle=True) #線性回歸算法 model = LinearRegression() scoring = 'neg_mean_squared_error' result = cross_val_score(model, X, Y, cv=kfold, scoring=scoring) print("線性回歸算法:%.3f" % result.mean())
線性回歸算法:-23.747
嶺回歸算法是一種專門用于共線性數(shù)據(jù)分析的有偏估計(jì)回歸方法,實(shí)際上是一種改良的最小二乘估計(jì)法,通過放棄最小二乘法的無偏性,以損失部分信息、降低精度為代價(jià),獲得回歸系數(shù)更符合實(shí)際、更可靠的回歸方法,對(duì)病態(tài)數(shù)據(jù)的擬合要強(qiáng)于最小二乘法。
from sklearn.linear_model import Ridge #嶺回歸算法 model = Ridge() scoring = 'neg_mean_squared_error' result = cross_val_score(model, X, Y, cv=kfold, scoring=scoring) print("嶺回歸算法:%.3f" % result.mean())
嶺回歸算法:-23.890
套索回歸算法與嶺回歸算法類似,套索回歸算法也會(huì)懲罰回歸系數(shù),在套索回歸中會(huì)懲罰回歸系數(shù)的絕對(duì)值大小。此外,它能夠減少變化程度并提高線性回歸模型的精度。
from sklearn.linear_model import Lasso #套索回歸算法 model = Lasso() scoring = 'neg_mean_squared_error' result = cross_val_score(model, X, Y, cv=kfold, scoring=scoring) print("套索回歸算法:%.3f" % result.mean())
套索回歸算法:-28.746
彈性網(wǎng)絡(luò)回歸算法是套索回歸算法和嶺回歸算法的混合體,在模型訓(xùn)練時(shí)彈性網(wǎng)絡(luò)回歸算法綜合使用L1和L2兩種正則化方法。當(dāng)有多個(gè)相關(guān)的特征時(shí),彈性網(wǎng)絡(luò)回歸算法是很有用的,套索回歸算法會(huì)隨機(jī)挑選一個(gè),而彈性網(wǎng)絡(luò)回歸算法則會(huì)選擇兩個(gè)。它的優(yōu)點(diǎn)是允許彈性網(wǎng)絡(luò)回歸繼承循環(huán)狀態(tài)下嶺回歸的一些穩(wěn)定性。
from sklearn.linear_model import ElasticNet #彈性網(wǎng)絡(luò)回歸算法 model = ElasticNet() scoring = 'neg_mean_squared_error' result = cross_val_score(model, X, Y, cv=kfold, scoring=scoring) print("彈性網(wǎng)絡(luò)回歸算法:%.3f" % result.mean())
彈性網(wǎng)絡(luò)回歸算法:-27.908
在scikit-learn中對(duì)回歸算法的K近鄰算法的實(shí)現(xiàn)類是KNeighborsRegressor。默認(rèn)距離參數(shù)為閔氏距離。
from sklearn.neighbors import KNeighborsRegressor #K近鄰算法 model = KNeighborsRegressor() scoring = 'neg_mean_squared_error' result = cross_val_score(model, X, Y, cv=kfold, scoring=scoring) print("K近鄰算法:%.3f" % result.mean())
K近鄰算法:-38.852
在scikit-learn中分類與回歸樹的實(shí)現(xiàn)類是DecisionTreeRegressor。
from sklearn.tree import DecisionTreeRegressor #分類與回歸樹算法 model = DecisionTreeRegressor() scoring = 'neg_mean_squared_error' result = cross_val_score(model, X, Y, cv=kfold, scoring=scoring) print("分類與回歸樹算法:%.3f" % result.mean())
K近鄰算法:-38.852
分類與回歸樹算法:-21.527
from sklearn.svm import SVR #支持向量機(jī) model = SVR() scoring = 'neg_mean_squared_error' result = cross_val_score(model, X, Y, cv=kfold, scoring=scoring) print("支持向量機(jī):%.3f" % result.mean())
支持向量機(jī):-67.641
比較不同算法的準(zhǔn)確度,選擇合適的算法,在處理機(jī)器學(xué)習(xí)的問題時(shí)是分廠重要的。接下來將介紹一種模式,在scikit-learn中可以利用它比較不同的算法,并選擇合適的算法。
當(dāng)?shù)玫揭粋€(gè)新的數(shù)據(jù)集時(shí),應(yīng)該通過不同的維度來審查數(shù)據(jù),以便找到數(shù)據(jù)的特征。一種比較好的方法是通過可視化的方式來展示平均準(zhǔn)確度、方差等屬性,以便于更方便地選擇算法。
最合適的算法比較方法是:使用相同數(shù)據(jù)、相同方法來評(píng)估不同算法,以便得到一個(gè)準(zhǔn)確的結(jié)果。
使用Pima Indias數(shù)據(jù)集來介紹如何比較算法。采用10折交叉驗(yàn)證來分離數(shù)據(jù),并采用相同的隨機(jī)數(shù)分配方式來確保所有算法都使用相同的數(shù)據(jù)。為了便于理解,為每個(gè)算法設(shè)定一個(gè)短名字。
from pandas import read_csv from sklearn.model_selection import KFold from sklearn.linear_model import LogisticRegression from sklearn.model_selection import cross_val_score from sklearn.discriminant_analysis import LinearDiscriminantAnalysis from sklearn.neighbors import KNeighborsRegressor from sklearn.tree import DecisionTreeRegressor from sklearn.svm import SVC from sklearn.naive_bayes import GaussianNB from matplotlib import pyplot filename = 'pima_data.csv' names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class'] data = read_csv(filename,names=names) array = data.values X = array[:,0:8] Y = array[:,8] num_folds = 10 seed = 7 kfold = KFold(n_splits=num_folds,random_state=seed,shuffle=True) models={} models['LR'] = LogisticRegression(max_iter=3000) models['LDA'] = LinearDiscriminantAnalysis() models['KNN'] = KNeighborsRegressor() models['CART'] = DecisionTreeRegressor() models['SVM'] = SVC() models['NB'] = GaussianNB() results = [] for name in models: result = cross_val_score(models[name], X, Y, cv=kfold) results.append(result) msg = '%s: %.3f (%.3f)' % (name, result.mean(), result.std()) print(msg) #圖表顯示 fig = pyplot.figure() fig.suptitle('Algorithm Comparison') ax = fig.add_subplot(111) pyplot.boxplot(results) ax.set_xticklabels(models.keys()) pyplot.show()
執(zhí)行結(jié)果如下:
LR: 0.772 (0.050)
LDA: 0.767 (0.048)
KNN: 0.081 (0.159)
CART: -0.478 (0.257)
SVM: 0.760 (0.035)
NB: 0.759 (0.039)
本文主要介紹了算法審查以及如何選擇最合適的算法,在第三部分中提供了代碼實(shí)例,可以直接將其作為模板使用到項(xiàng)目中以選擇最優(yōu)算法。
到此這篇關(guān)于Python機(jī)器學(xué)習(xí)入門(五)算法審查的文章就介紹到這了,更多相關(guān)Python機(jī)器學(xué)習(xí)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
標(biāo)簽:盤錦 大同 漯河 普洱 海南 林芝 南平 寧夏
巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《Python機(jī)器學(xué)習(xí)入門(五)之Python算法審查》,本文關(guān)鍵詞 Python,機(jī)器,學(xué)習(xí),入門,五,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。