rvm核參數的遺傳算法優化方法
李剛1。2,王貴龍1,薛惠鋒2
l西安工業大學經管學院,陜西西安710032;2西北工業大學自動化學院,陜西西安710072
摘 要:核函數的參數嚴懲影響rvm的綜合性能。為求得稀疏解、避免過擬舍,提出使用遺傳算法針對問題背景自動優化核函數的參數:在適壓度函數評判下,種群經過選擇、交叉和變異選代進化,高效率地得到****解,在定義rvm回歸性能綜合評判批準fitness作為適應度函數的基礎上,使用11atlab遺傳算法工具箱和改進的tipping程序獲取slne數據****核函數參數,實驗證明遺傳算法可以高效準備地優化rvm核參數,特別對于具有較多參數的核函數更具實用性。
關鍵詞:關聯向量機;核函數參數;綜合評判標準;遺傳算法
中圖分類號:tp 27 文獻標識碼:a
1引言
rvm(關聯向量機)是michael e tipping于2001年提出的一種建立在支持向量機( svm)之上的稀疏貝葉斯統計學習方法。它的訓練是在貝葉斯框架下進行的,可以用它進行回歸及分類模式分析。rvm克服svm缺點:rvm的關聯向量數要少于svm,具有更優的泛化性能;可以得到點估計及區間估計;無需多次試驗找到****的類似于c或s的主觀設置值。與svm類似的是rvm也使用核方法,將自變量映射到高維空間,得到因變量與自變量線性回歸的稀疏解,但核函數參數嚴重影響rvm的性能,如何方便快捷地找到綜合性能****的核函數參數目前尚無解析解理論指導,由于rvm的分類功能建立在回歸的基礎之上,目前,rvm算法在模式識別、回歸估計、概率密度函數估計等方面有廣泛應用。例如,在模式識別方面,對于手寫數字識別、語音識別、人臉圖像識別、文章分類等問題。本文嘗試使用遺傳算法獲取回歸綜合性能****的核參數數值解。
2 rvm模型
統計學習理論是一種專門研究小樣本情況下機器學習規律的理論。該理論針對小樣本統計問題建立了一套新的理論體系,在這種體系下的統計推理規則不僅考慮了對漸近性能的要求,而且追求在現有有限信息的條件下得到****結果。模式分析研究的是如何自動檢測和辨識數據中潛在的關系,人 
為保證獲取稀疏解,令。,滿足零均值正態分布:p(wi,αi)=n(wi| 0,αi-1),訓練樣本集的似然函數為
根據先驗概率分布和似然分布,再用貝葉斯式計算權值的后驗概率分布,即:
而該權值的后驗分布屬于多變量高斯分布,即:
訓練目標值的似然分布通過對權值變量進行積分,即
實現邊緣化,從而求得超參數的邊緣似然分布:
rvm方法中的模型權值的估計值由后驗分布的均值給出,同時它也是權值的****后驗( map)估計。權值的map估計取決于超參數和噪聲方差,估計值α和σ2可以通過****化邊緣似然分布得到。后驗分布反映出的權值****值的不確定性,可以表示模型預測的不確定性。若給定輸入值x,相應輸出的概率分布為
服從高斯分布的形式,即:
3 rvm回歸性能與核函數參數
tipping用第二類極大似然法給出了matlah實驗程序,本文在此基礎上展開研究。給定一個核和一個訓練集合,就能構成一個核矩陣k(xi,xj),這個矩陣起著信息瓶頸的作用,因為它 |