Abstract
本篇論文主要是探討類神經網路的適應性學習法則及其應用。 首先，對於競爭學習網路，我們提出了一個適應性良心競爭學習 (ACCL)法則。 它能夠在學習過程中，依據所有神經元實際輸贏狀況的回授資訊來自我調整良心參數值，而不再需要前人的良心競爭學習 (CCL) 法則所必需的關於輸入樣型的分佈範圍等等的事前資訊。 我們的 ACCL法則因而克服了競爭學習 (CL) 法則及良心參數值設定過小的 CCL 法則所會遭遇的 " 神經元被困住 " 的問題； 同時，在學習過程中，神經元也不會像在 CCL 法則良心參數值設定過大的情況中那樣糾結在一起。 ACCL 法則可以應用在向量量子化 (VQ)以及機率密度函數估測 (PDFE) 上， 它能產生較CL 及 CCL 法則為佳的結果。 此外， 結合 ACCL 法則與 Bayes 裁決規則，我們構建出一個基於 Bayes 規則的類神經網路 (BRBNN) ，它不僅可以做多類別分類，並且可以做決策。此 BRBNN 能用遠較機率神經網路(PNN)所用為少的神經元來達到相同的分類效能。 與逆傳遞網路 (BPN)比較， BRBNN 則有較快的收斂速率及較小的分類誤差， 特別是在需要高度非線性分類邊界的時候，實驗結果清楚地顯示了 ACCL 法則的有效性。 其次， 對於主成份分析 (PCA) 學習網路，我們則提出了一個適應性學習法則 (ALA) 。不像許多既有的學習法則那樣， 若是學習速率參數值選擇不適當，便會收斂很慢或者是發散， 我們的 ALA會自動適應性地選擇適當的學習速率參數值而能夠快速收斂。 我們證明了 ALA 的 m 個加權向量會以幾乎相同的速率收斂到最大的 m個主成份向量上。與 Sanger的 GHA 比較， ALA 能夠快速地找到所需要的主成份向量而 GHA 則無法做到，實驗結果顯示了 ALA 是一個計算 PCA 非常有效的方法。 最後，我們將 ALA應用到資料壓縮及影像編碼上，並且得到了非常好的結果。In this dissertation, adaptive neural network learningalgorithms and their applications are investigated. First,for competitive learning networks, an adaptive conscientiouscompetitive learning (ACCL) algorithm is proposed. It canadjust the conscience parameter itself according to thefeedback information about the practical winning situation ofall neurons during the learning process. The "neurons getstuck" problem and tangling phenomenon of the conventional CLand CCL algorithms with inappropriate parameter value are allovercome The ACCL algorithm is applied to vector quantization(VQ) and probability density function estimation (PDFE). Itcan generate better results than the conventional CL and CCLalgorithms. Next, for the Principal Component Analysis (PCA)learning networks, an adaptive learning algorithm (ALA) isproposed. Unlike many conventional algorithms that willeither diverge or converge very slowly if learning rateparameters are not properly chosen, our ALA can automaticallyand adaptively select the appropriate values of the learningrate parameters. It is shown that the m weight vectors in theALA can converge to the first m principle component vectorswith almost the same rates. The ALA can quickly find thedesired principal component vectors while the Sanger's GHAfails to do so. The The ALA is a very effective way toexecute the PCA. Finally, It is applied to data compressionand image coding and excellent results are obtained.