GiM :: komentarze do Sieci Neuronowe

Sieci Neuronowe {wróć na główną}

Part I

W poprzednim semestrze, uczęszczałem na wykład i ćwiczenia z Wstępu do Sieci Neuronowych i z racji tego, że sporo pisaliśmy, chciałem się podzielić, czego się dowiedziałem na tych zejęciach i co pisaliśmy. Wykład był prowadzony przez dr Tomasza Schreibera, oprócz niego pozostałymi ćwiczeniowcami byli Leszek Rybicki i Filip Piękniewski. Wpis zostanie podzielony na kilka części, ze względu na to, że nikt by tego w całości nie czytał ;)
Druga, chyba ciekawsza część Sieci neuronowe part II

Na początku omawiany był sam perceptron prosty i jego także dotyczyły pierwsze programy, kolejno maszyny liniowe w zagadnieniach klasyfikacyjnych, konstrukcja Kesslera, sieci RBF oraz neuron AdaLiNe, pozwolę sobie tę część jako wprowadzającą i w miarę prostą pominąć.

Następnie dowiedzieliśmy się o możliwości wprowadzenia warstwy rozproszonej (rysunek 1) i sieciach wielowarstwowych (rysunek 2).
Zostały nam także przedstawione algorytmy konstruktywistyczne, czyli takie, gdzie w miarę uczenia, zwiększa się rozmiar sieci. Konkretnie algorytm wieżowy (rysunek 3) i jego modyfikacja algorytm piramidalny (rysunek 4), oraz algorytm upstart (animacja 1).

Rysunek 1. Wprowadzenie warstwy rozproszonej.

Rysunek 2. Ogólna architektura sieci jednokierunkowej

Rysunek 3. Algorytmy konstruktywistyczne - architekura wieżowa

Rysunek 4. Algorytmy konstruktywistyczne - architektura piramidalna

Animacja 1. Algorytmy konstruktywistyczne - architektura upstart
Do tego momentu pisałem kolejno proste programy : perceptron uczący się algorytmem kieszonkowym bez zapadki rozpoznawać pojedynczą cyferkę (na podstawie matrycy 6x6), który następnie został wzbogacony o warstwę rozmytą, a także zmodyfikowany o zapadkę.
Następnie 10 takich neuronów uczyło się każdy rozpoznawać pojedyńczą cyferkę, także program był w stanie stwierdzić, jaką cyferkę przypomina cyferka na wejściu. Jako ostatni był autoasocjator złożony z 36 neuronów, który 'odszumiał' zaszumioną literkę.
Napisałem też algorytm wieżowy (kilka razy szczerze mówiąć :>), który powinien był rozwiązywać pewien problem geometryczny, ale coś słabo mu szło :>.