20世紀90年代以來,盡管人工智能學科的研究遇到的嚴重的困難,但還是出現(xiàn)了一系列至今對計算科學有重要影響的研究結(jié)果,其中最為重要的是,1991年,Minsky出版了他的著作,《Society of Mind(思維的社會)》,這本著作關(guān)于“智慧由一些小的無智慧的獨立功能單元組合后產(chǎn)生”的建議,以及創(chuàng)造的新術(shù)語“Agent”,已引起理論與應(yīng)用研究者的關(guān)注。Agent已成為計算機科學很多領(lǐng)域廣泛使用的概念,據(jù)此還發(fā)展成為知識表示的方法論———本體論(Ontology)。
進入20世紀90年代,統(tǒng)計機器學習逐步開始引領(lǐng)人工智能研究的主流。這時,對人工智能十分重要的表示與推理的研究,由于基于優(yōu)化的學習算法大多數(shù)采用給定基函數(shù)。因此,其表示變得單一,且由此導致推理成為計算模型函數(shù)的簡單問題,表示與推理在統(tǒng)計機器學習中失去了研究價值。
統(tǒng)計機器學習在以后的20年間,并沒有沿著BP的非線性算法的路線發(fā)展。反之,回歸線性感知機是其特點,在Valiant的概率近似正確(Probability Approximation correct,PAC)學習理論意義下Vapnik提出了支持向量機(Support Vector Machine,SVM)。盡管統(tǒng)計方法在這個時期占據(jù)了主流地位,但是,人工智能的研究者并沒有忘記“智能”的含義,因此,在這個時期,發(fā)展了大量不同的學習方式。這些方式大多來自對人類學習的研究,例如,流形學習、主動學習、集成學習、多示例學習等。 這個時期,這類研究分為兩個不同的研究路線:一是以PAC為基礎(chǔ),強調(diào)學習過程可以基于有限樣本,并使得對誤差的分析以1-δ概率成立,這個路線的最重要的貢獻是強調(diào)建立模型的算法應(yīng)該在線性空間設(shè)計。即,強調(diào)返回線性感知機,這是對BP算法設(shè)計的反叛。由此,導致至今還是重要的研究課題———核函數(shù)。 另一個有趣的路線是遵循傳統(tǒng)統(tǒng)計學理念。根據(jù)熱力學的“系綜(Enseble)”、神經(jīng)科學的“集群(Enseble)”,以及統(tǒng)計學的重采樣(Resampling)等原理發(fā)展了現(xiàn)在稱為“集成學習(Enseble Learning)”的方法,其本質(zhì)是,對實際問題隨機采樣并建立模型。采樣次數(shù)進行多次,由此獲得多個模型。然后,在這些模型張成的空間上建立實際問題的模型。在統(tǒng)計學上證明,如果采樣次數(shù)趨于無窮,由此建立的模型的均方差與一次采樣建立的模型的均方差相等。這就是已被廣泛應(yīng)用于各個不同領(lǐng)域的Bootstrap原理。與此同時,1991年人們證明了弱可學習定理,由此發(fā)展了算法Boosting,它與上述隨機采樣的區(qū)別:一是對給定樣本集合的采樣,二是下一次采樣盡量包含上一次采樣建立的模型不能準確描述的樣本。因此,Boosting需要建立在PAC基礎(chǔ)上。 此期間最廣為人們所喜愛的研究結(jié)果是“最大間距(Margin)”算法,其誤差界依賴樣本集合兩個閉凸集之間的距離(Margin)。即,距離越大,泛化性能越好。由于這個原理的幾何解釋十分清晰,由此設(shè)計的算法簡單易懂。因此,被很多研究者所喜歡。
人工智能研究已經(jīng)有50多年的歷史,發(fā)展是曲折的。從制造具有智能的機器夢想來看,相距甚遠。從計算機應(yīng)用的角度來看,其成果甚豐。不夸張地說,它已經(jīng)成為計算機應(yīng)用發(fā)展的原始動力之一,甚至更長。