Logo image
在神經網路上部份資料的存取與研究
Thesis

在神經網路上部份資料的存取與研究

吳身潤
Masters, National Tsing Hua University
1989

Abstract

神經網路資料存取聯想(association能量無關值Hopfield網路Boltzmann網路多層次Perceptron (ENERGY)(DON'T-CARE-BIT)
Hopfield提出了一個適合來作聯想(association) 機制的神經網路模型,此模型把輸入樣式(pattern) 和輸出樣式以一對一(one-to-one)學習方式來作訓練。他有一個重要觀念值得一提,就是他把儲存在神經網路中的資料視為此神經網路特有的能量(en-ergy) 函數的局部極小值。所以當輸入有雜訊的樣式時,網路經由不斷地降低其能量函數值,來達到最接近輸入樣式的局部極小值。我們研究發現,經由適當地引進新概念--無關值(don't care bit),來修改其學習方式。鄰近相關連的局部極小會有合併的效果產生,我們可以推廣神經網路來作多對多(many-to-many)的學習。例如,我們教此修改過的神經網路學習 x→ab和 y→de,則我們可以得到xy→abde。利用此原理,我們作了一些有關從局部資料到總體資訊之間的存取和經由中文字根來存取中文字的實驗。我們相信,就如同人類複雜的記憶系統一樣,記憶資料彼此間的高層次運作(high level association)應該是研究神經網路模型的重要發展方向。在本文中,我們介紹了目前神經網路研究上三種具有代表性的模型Hopfield網路,B-oltzmann機器,和多層次Perceptron,我們也提出了三種相對應的修改方式証明。本文主要分成五部份。第一部份是介紹基本概念及問題。第二部份分成三小節,分別介紹三種神經網路模型太相對應的修改方法,並証明了其正確性。第三部份是有關於我們提出修改後模型的應用及實驗。第四部份是另一種應用方式,適用於學習規則(ru-le) 上。第五部份探討我們得到的成果和未來發展的方向。

Metrics

1 Record Views

Details

Logo image