Abstract
非成批的學習方法，諸如調節式和遞增式學習法，都已普遍受到研究者的重視，而逐漸成為訓練類神經網路不可或缺的手段。然而，以目前的情況而言，如何能估計不同的非成批學習系統間的優劣，仍然是曖昧不明而需加以詳細分析。本文即嘗試針對這些課題，尋求其解答和線索。首先，在兩層的認知機上，利用梯度遞減最佳化的技巧，可以建立一種新的調節式學習法。實驗顯示這種學習法，可以藉由將具有雜訊或不一致的學習範例的影響局部化，而能容忍，甚而從這類影響中回復。接著，我們引進了重新取樣和動態正規化的方法，進一步地將調節式學習法推廣而得一種新的遞增式學習法IFFN。由於所採用都是函數獨立的觀念，故這兩種學習法，都可以很容易地推廣到其它使用可微分函數的網路架構上。我們根據調節式和遞增式學習法的特性，嘗試性地提出了六種準則，包括精簡性、一次學習、雜訊容忍度、推廣能力、可塑性和穩定性。由於可以滿足這六種準則的要求，IFFN於是被宣稱是一種好的學習方法。此外，為了精確分析不同學習系統的效率，我們重新解釋和提出這六種準則，尤其是可塑性和穩定性，的相關計算公式。不同於以往的系統，這些可塑性和穩定性的計算公式，是從學習一個範例所會引起效率變化的角度，各自考慮及合併了三種不同的因素而成。並且為了驗証所提出計算公式的合宜性，經由建立範例和已學習過的範例集合間的相似性，五個驗証法則也被一一實驗。另一方面，可塑性和穩定性的計算公式，也被實際應用到及時的錯誤回傳、調節式和遞增式三種學習法的效率評估上。藉由這些實驗，可以觀察到一些網路初始鏈結值，對於前導式網路的可塑性和穩定性的有趣影響。最後，這兩種特性間的關係，因此變成可以計算而被實際驗証。Non-batch learning mechanisms have manifestly receivedattention and become essential. However, ways to assess theincrementality of non-batch learning neural systems should bestudied deliberately. we try to find some clues of thementioned issues. An adaptive learning mechanism is firstconstructed to simultaneously minimize a weight sensitivitycost and training square errors. Experiments show that theapproach could tolerate and recover from noisy and inconsistenttraining instances by localizing their effects. Furthermore, itis augmented by incorporating methods of resampling and dynamicnormalization to construct an incremental learning. SixCriteria are devised. Furthermore, quantitative measurementsthe criteria are re-interpreted and formulated from thestandpoint of performance variations induced by assimilating atraining instance. To verify the proposed measures, fivejustifications are carried out. On the other hand, bothmeasures of plasticity and stability are also empiricallyinvestigated against on-line backpropagation, adaptive learningand IFFN. Through experiments, some interesting phenomena aboutthe effects of initial weights and bandwidths on the twoproperties of feedforward networks are reported.