支持向量機理論及其在復雜電機設計中的應用

    (合肥工業大學，安徽合肥230009)

    摘要：闡述了支持向量機的歷史以及發展現狀，介紹了支持向量機在電機設計中的一些應用。對其在永磁球形步進電動機中的應用前景進行了展望。

0引  言

    支持同量機(suppon vector mach jfle，以下簡稱svm)是at＆t bell實驗室的v．vapnik提出的針對分類和回歸問題的統計學理論。它是由vapnik和其同事在1992年的計算學習理論(colt)會議上提出并介紹進入機器學習領域，之后受到廣泛的關注。svm是機器學習領域若干標準技術的集成者。他集成了****間隔超平面、mercer核、凸二次規劃、稀疏解和松弛變量等多項技術。在若干挑戰性的應用中，獲得了目前為止****的性能。在美國科學雜志上，支持向量機以及該學習方法被認為是“機器學習領域非常流行的方法和成功的例子，并是一個令人矚目的發展方向。

    svm是建立在統計學習理論和結構風險最小原理srm(structural risk minimization pnncidle)基礎上的，srm比傳統的基于經驗風險最小原理erm(empirical risk minmization  pnciple)的神經網絡方法具有明顯優點。主要優點有：(1)svm具有堅實的理論基礎和較好的推廣能力；(2)svm算法最終轉化為二次型尋優問題，從理論上能夠得到全局****點；(3)svm具有強大的非線性處理能力和高維處理能力。基于這些優點，svm在20世紀90年代中后期得到了全面深入的發展，現已成為機器學習和數據挖掘領域的標準工具。

    本文對svm的歷史、發展現狀及基本理論進行了概述，介紹了國內外svm在電機中的一些應用，最后，對svm在永磁球形步進電動機中的應用提出了自己的看法。

1支持向量機的提出和發展

1．1支持向量機的提出

    1958年，rosenblatt****提出了一種學習機器的模型感知器，這標志著對機器學習進行數學研究的開始。之后隨著反向傳播(bp)技術的提出，機器學習的研究進入了一個新的階段，即神經網絡(neural nework)時代。在隨后的十幾年中，神經網絡取得了很大的發展，并且在實際應用中也取得了良好的效果。然而，神經網絡存在著自身的局限性，其實現過程主要依賴于人的主觀意識和先驗知識，而不是建立在嚴格的數學理論基礎之上，岡此，對神經網絡模型的性能及其適用范圍進行理論分析就比較困難。另外，神經網絡研究的是樣本數目趨于無窮大時的情況，但在實際問題中，樣本數目往往是有限的。因此，在實際應用中很難取得理想的應用效果。神經網絡的過學習問題就是一個典型的例子。當樣本數據有限時，本來具有良好學習能力的學習機器就表現出很差的泛化性能。

    在這種背景下，vapnik等人從20世紀70年代開始致力于統計學習理論(statistical leamlng  theory)方面的研究。統計學習理論(slt)是一種專門研究小樣本情況下機器學習規律的基本理論，為解決有限樣本學習問題提供了一個統一的框架，它將很多現有方法納入其中，有望幫助解決許多原來難以解決的問題。到90年代中期，隨著統計學習理論不斷發展和成熟，產生了基于統計學習理論基礎上的新的機器學習方法——支持向量機。它完全不同于神經網絡，神經網絡算法是在模擬生物的基礎上構造的，而svm算法的思想是來源于最小化錯誤率的理論界限。因此，svm算法具有良好的數學性質，如解的****性、小依賴輸入空間維數等等。svm所表現出種種優良特性，使人們對這一新的機器學習算法開始重視，并已成為繼神經網絡研究之后新的研究熱點。

1．2支持向量機的現狀

    svm的提出引起了國內外學者的高度關注，在短短幾年內，取得了一系列的研究成果。如：anthony等人提出了關于硬鄰域支持向量機學習誤差的嚴格理論界限，shawe-taylor和cristianini給出了軟鄰域支持向量機和回歸情況下的誤差界限；smola和schoelkodf提出了支持向量機一般意義下的損失函數數學描述；weston和vapnik等研究了支持向量機的泛化性能及其在多值分類和同歸問題的擴展問題；脊回歸是由tikhonov提出的一種具有特殊形式的正則化網絡，griosi、poggio等將其應用到正則化網絡的學習中，而griosi、smola和schoelkopf等討論了正則化網絡和支持向量機的關系。目前，隨著支持向量機理論研究的不斷深入，出現了許多變種的支持向量機，如sm01a提出的用于分類和回歸的v支持向量機；mangasarian等人提出的通用支持向量機等。

2支持向量機原理

    概況地說，svm就是通過某種事先選擇的非線性映射，將輸入向量映射到一個高維特征空間，在這個空問中構造****分類超平面的實現過程。如圖l所示．