Perceptron

Perceptron złożony z jednego neuronu McCullocha-Pittsa: ma $n$ wejść (dendrytów) i 1 wyjście (akson); służy do wykrywania pojedynczej cechy w danych; każda dana jest zapisana w postaci wektora mającego $n$ składowych.

Perceptron (od angielskiego słowa perception oznaczającego postrzeganie) - prosta sztuczna sieć neuronowa, wprowadzona przez Franka Rosenblatta w 1958 roku, dla której podał metodę jej uczenia czyli stopniowego dobierania wag i biasów (progów) tak, by wyniki podawane na wyjściu sieci były coraz bardziej zgodne z wartościami oczekiwanymi. W swojej podstawowej formie (perceptron prosty) składa się z jednego sztucznego neuronu McCullocha-Pittsa ze skokową funkcją aktywacji i regulowanymi wagami i progiem. Dalszy rozwój doprowadził do konstrukcji perceptronów wielowarstwowych, w tym perceptronów ze sprzężeniem zwrotnym, z różnymi funkcjami aktywacji, mających znacznie większe możliwości obliczeniowe; istotne było tu zastosowanie ciągłych funkcji aktywacji i odkrycie nowych metod uczenia sieci neuronowych, by przezwyciężyć ograniczenia perceptronu Rosenblatta, który mógł uczyć się jedynie problemów liniowo separowalnych.

Historia

Schemat budowy neuronu: a – dendryty, b – ciało komórki, c – jądro komórkowe, d – akson, e – otoczka mielinowa, f – komórka Schwanna, g – przewężenie Ranviera, h – wiele zakończeń aksonu.

W 1943 roku neurofizjolog Warren McCulloch i logik Walter Pitts wprowadzili do informatyki „neuron” jako element logiczny z wieloma wejściami i pojedynczym wyjściem binarnym, działający progowo, tj. neuron ten przyjmował stan 1, gdy suma sygnałów wejściowych przekroczyła zadany próg (bias); w przeciwnym zaś wypadku przyjmował stan 0 w odpowiedzi na sygnały wejściowe (patrz schemat neuronu McCullocha-Pittsa ). Odpowiadało to neurobiologicznej analogii potencjału czynnościowego, który komórka nerwowa emituje, gdy następuje zmiana jej potencjału błonowego, gdy suma sygnałów, jakie dochodzą do komórki od dendrytów, przekroczy pewien próg.

Liczba zakończeń aksonu neuronu biologicznego jest znaczna - poprzez te zakończenia dany neuron łączy się z dendrytami innymi neuronów. Analogiczne połączenia można budować między sztucznymi neuronami: akson danego neuronu McCullocha-Pittsa, mimo że posiada pojedynczy akson (pojedyncze wyjście), może być podłączony na wejścia wielu innych neuronów. McCulloch i Pitts wykazali, że poprzez odpowiednie połączenie takich neuronów można tworzyć bramki logiczne AND, OR, NOT, a z nich bardziej złożone układy.

W 1958 roku Frank Rosenblatt opublikował model perceptronu, który do dziś stanowi podstawę sztucznych sieci neuronowych. Perceptron zbudowany przez Rosenblatta wraz z Charlesem Wightmanem służył do rozpoznawania znaków alfanumerycznych. Innowacją było opracowanie metody uczenia sieci neuronowej, dzięki której po odpowiednio dużej liczbie iteracji sieć przyjmowała właściwe wagi i biasy. Był to istotny postęp: McCulloch i Pitts ustawiali wagi i biasy sieci poprzez ich odgadnięcie, co jest niewykonalnym zadaniem dla bardziej złożonych zagadnień.

W Polsce Jacek Karpiński, inżynier i genialny wynalazca, skonstruował w 1962 r. perceptron z tranzystorów. Jego sieć neuronowa rozpoznawała otoczenie za pomocą kamery i potrafiła się uczyć. Był to drugi taki perceptron na świecie.

Badania nad perceptronami zostały zahamowane na jakiś czas, gdy w roku 1969 Marvin Minsky i Seymour Papert wykazali, że metoda uczenia perceptronów, podana przez Rosenblatta, jest skuteczna jedynie dla sieci mających uczyć się problemów liniowo separowalnych (pojęcie to omówiono dalej); pokazali m.in. niezdolność do uczenia się przez perceptrony bramek XOR .

Przezwyciężenie tego ograniczenia nastąpiło dzięki:

a). wprowadzeniu różniczkowalnych funkcji aktywacji, m.in. ReLU (Rectified Linear Unit), Sigmoid (funkcja logistyczna), Tgh (funkcja tangens hiperboliczny), Softmax, Leaky ReLU

b). odkryciu nowej metody ucznia sieci, tzw. back propagation, która wymaga liczenia pochodnych funkcji aktywacji - wymóg ten spełniają funkcje różniczkowalne.

Funkcja skokowa, używana w neuronie McCullocha-Pittsa i przejęta przez Rosenblatta, nie jest różniczkowalna, dlatego dopiero zastosowanie jako funkcji aktywacji funkcji różniczkowalnych pozwoliło z czasem odkryć metodę back propagation. Funkcja skokowa aktywacji neuronu McCullocha-Pittsa jest pokazana na schemacie powyżej w sposób symboliczny jako schodek w kwadracie.

Pojedynczy sztuczny neuron

Wyjście z pojedynczego sztucznego neuronu oblicza się za pomocą wzoru:

$y=f(w_{0}+\sum _{i=1}^{n}w_{i}x_{i})$,

gdzie:

• $w_{0}$ – wartość progowa (ang. bias)
• $x_{i},i=1,2,\dots ,n$ – wejścia
• $w_{i},i=1,2,\dots ,n$ – wagi
• $f$ – funkcja aktywacji
• $y$ – wyjście

W konstrukcji pierwotnego perceptronu jako funkcję aktywacji jego neuronów Rosenblatt stosował funkcję skokową, dla której wyjście przyjmowało wartość $0$ lub $1$ :

$f(x)={\begin{cases}0\ \mathrm {dla} \ x<0\\1\ \mathrm {dla} \ x\geqslant 0\end{cases}}$

W ogólności funkcje aktywacji mogą dawać na wyjściu wartości dyskretne lub ciągłe, np. dla sigmoidalnej funkcji aktywacji wyjście przyjmuje wartości w zakresie $\langle {0,1}\rangle$.

Trenowanie perceptronu

Aby perceptron wykonywał zadanie klasyfikacji, należy go "wytrenować", tj. ustalić wartości wag i biasów jego neuronów. Można to np. zrobić metodą prób, podając przykładowe dane na wejście i modyfikuje wagi połączeń i biasy tak, aby wynik na wyjściu przybierał pożądane wartości. Pierwszą metodą algorytmiczną (tj. możliwą do zaprogramowania) uczenia perceptronu podał Rosenblatt. Metoda ta nadaje się jednak tylko do trenowania sieci jednowarstwowych lub sieci o wielu warstwach, ale gdzie tylko jedna warstwa ma dobierane wagi i biasy (taką sieć zbudował Rosenblatt). Później opracowano metody nadające się do trenowania sieci wielowarstwowych (np. metoda propagacji wstecznej).

Metoda uczenia perceptronu według Rosenblatta

Podczas uczenia perceptronu używa się zestawu danych uczących, złożonego z par$(\mathbf {x} ^{(k)},d^{(k)}),k=1,2,\dots$, gdzie $\mathbf {x} ^{(k)}=[x_{1}^{(k)},x_{2}^{(k)},\dots ,x_{n}^{(k)}]$ - dana wejściowa, $d^{(k)}$ - zakładana (oczekiwana) dana wyjściowa. Liczba par uczących zależy od rodzaju zagadnienia, jakiego ma nauczyć się sieć. Celem jest znalezienie wag i biasu neuronu tak, by uzyskać zgodność między wartością wyjściową z sieci a założą daną wyjściową dla wszystkich par uczących $(\mathbf {x} ^{(k)},d^{(k)}),k=1,2,\dots$

W zerowym kroku iteracji $t=0$ dobiera się losowo wagi $\mathbf {w} (0)=[w_{1}(0),w_{2}(0),\dots ,w_{n}(0)]$ i bias $w_{0}(0)$. Następnie dla pierwszej pary uczącej $(\mathbf {x} ^{(k)},d^{(k)}),k=0$ oblicza się:

(a) wyjście z neuronu (jest to pojedyncza wartość liczbowa):

$y=f{\Big [}w_{0}(0)+\sum _{i=1}^{n}w_{i}(0)x_{i}^{(k)}{\Big ]}$

gdzie $f$ – funkcja aktywacji w perceptronie Rosenblatta to funkcja skokowa Heaviside’a,

(b) błąd sieci, tj. różnicę między wynikiem sieci $y$ a oczekiwanym wynikiem $d^{(k)}$:

$e=d^{(k)}-y$

(c) jeśli błąd jest niezerowy, to koryguje się bias i wagi według reguły uczenia Rosenblatta

$w_{0}(t+1)=w_{0}(t)+\eta \,e$

$\mathbf {w} (t+1)=\mathbf {w} (t)+\eta \,e\,\mathbf {x} ^{(k)}$

gdzie:

• $t$ – numer iteracji (kroku uczenia)
• $\eta$ – współczynnik uczenia, np. 0.1, który określa wielkość korekty wag w każdej iteracji
• $\mathbf {w} (t+1)=[w_{1},w_{2},\dots ,w_{n}]$ - wektor wag w kroku t+1
• $\mathbf {x} ^{(k)}=[x_{1}^{(k)},x_{2}^{(k)},\dots ,x_{n}^{(k)}]$ - wektor wartości k-tej danej

Drugie z powyższych równań jest równoważne $n$ równaniom:

$w_{i}(t+1)=w_{i}(t)+\eta \,e\,x_{i}^{(k)}$, $i=1,2,\dots ,n$

Proces ten powtarza się dla wszystkich przykładów uczących $(\mathbf {x} ^{(k)},d^{k}),k=1,2,\dots$ , przy czym w danej iteracji koryguje się wagi i bias uzyskane w poprzedniej iteracji; ten cykl uczenia stanowi tzw. pojedynczą epokę uczenia. Zazwyczaj powtarza się uczenie w kolejnych epokach, zaczynając ponownie od pierwszej pary uczącej oraz koryguje się wagi i bias uzyskane w ostatniej iteracji poprzedniej epoki. Proces uczenia kończy się, gdy dla wszystkich par uczących uzyska się zerowe błędy, co oznacza zgodność odpowiedzi sieci z wartościami oczekiwanymi.

Może też zdarzyć się, że nie uzyska się tej zgodności pomimo wykonania założonej maksymalnej liczby epok uczenia - wtedy proces można ponowić, zaczynając od innego zestawu losowo dobranych wag i biasu.

Uwaga: Dodatkowe nieliniowe wejście – rozwiązanie ograniczeń perceptronu

Metoda Rosenblatta nadaje się tylko dla jednowarstwowych sieci neuronowych z liniowo separowalnymi danymi. Jeśli dane nie są liniowo separowalne, to nie da się osiągnąć tą metodą zgodności przewidywań sieci z wartościami oczekiwanymi nawet po wielu iteracjach. Istnieje też inne rozwiązanie: można dodać dodatkowe wejście $x_{3}$ neurony, na które poda się iloczyn wejść $x_{1},x_{2}$, tj. $x_{3}=x_{1}*x_{2}$ – wtedy problem staje się liniowo separowalny w przestrzeni $3D$ i można taką sieć wytrenować metodą Rosenblatta. Rosenblatt nie stosował jednak takiego rozwiązania, co stało się powodem przekonania, iż perceptron może rozwiązywać tylko problemy liniowo separowalne (mimo że Minsky i Papert podali taką możliwość). W konsekwencji nastąpił okres tzw. zimy w badaniach na sieciami neuronowymi.

Poniżej podano kod w języku Python do trenowania perceptronu metoda Rosenblatta, który uczy się bramki logicznej XOR - dodano tu dodatkowe wejście $x_{3}=x_{1}*x_{2}$.

import numpy as np

# --- Dane wejściowe dla XOR z dodatkową cechą x3 = x1*x2 ---
X = np.array([
    [0, 0],
    [0, 1],
    [1, 0],
    [1, 1]
])

# Tworzymy dodatkową cechę x3
x3 = (X[:,0] * X[:,1]).reshape(-1,1)
X_new = np.hstack([X, x3])

# Oczekiwane wyjścia XOR
y = np.array([0, 1, 1, 0])

# --- Inicjalizacja wag i biasu ---
np.random.seed()
w = np.random.randn(3)
b = 0.0
eta = 0.1  # współczynnik uczenia
epochs = 20

# --- Funkcja aktywacji (step) ---
def step(x):
    return np.where(x >= 0, 1, 0)

# --- Trening perceptronu ---
for epoch in range(epochs):
    errors = 0
    for xi, target in zip(X_new, y):
        output = step(np.dot(w, xi) + b)
        delta = target - output
        if delta != 0:
            w += eta * delta * xi
            b += eta * delta
            errors += 1
    print(f"Epoka {epoch+1}: błąd = {errors}, wagi = {w}, bias = {b}")
    if errors == 0:
        break

# --- Test sieci ---
print("\nTest końcowy:")
for xi, target in zip(X_new, y):
    output = step(np.dot(w, xi) + b)
    print(f"Wejście: {xi}, Wyjście: {output}, Oczekiwane: {target}")

W powyższym programie wagi początkowe są losowo dobierane. W zależności od ich wartości perceptron uczy się właściwych wag dla bramki XOR przez kilka-kilkanaście epok. Na końcu podaje test końcowy, który wskazuje na zgodność obliczeń perceptrony z wartościami oczekiwanymi, tj.

Wejście: [0 0 0], Wyjście: 0

Wejście: [0 1 0], Wyjście: 1

Wejście: [1 0 0], Wyjście: 1

Wejście: [1 1 1], Wyjście: 0

Trzecie liczby w nawiasach - to wartości podawane jako dodatkowe wejście $x_{3}=x_{1}*x_{2}$.

Perceptron jednowarstwowy - budowa

Perceptron jednowarstwowy jest zbudowany z neuronów, których wejścia są wspólne - na te wejścia podaje się analizowaną daną. Przy tym:

• $n$ - ilość wejść perceptronu (równa liczbie wejść każdego neuronu) zależy od danych: jeżeli każda dana wejściowa jest określona za pomocą $n$ liczb $x_{1},x_{2},\dots ,x_{n}$, to każdy neuron musi mieć $n$ wejść
• $m$ - liczba neuronów perceptronu / liczba wyjść: jeśli perceptron ma klasyfikować dane ze względu na 1 cechę, to ma 1 neuron; jeśli ma klasyfikować dane ze względu na 2 cechy, to ma 2 neurony; do analizy $m$ cech perceptron ma $m$ neuronów; ponieważ każdy neuron ma jedno wyjście, więc jeżeli perceptron analizuje $m$ cech, to ma $m$ neuronów

Perceptron jako klasyfikator binarny

Działanie perceptronu jest następujące:

• w przypadku analizy 1 cechy perceptron ma 1 neuron; na jego wejścia podawane są wartości liczbowe $x_{1},x_{2},\dots ,x_{n}$ analizowanej danej i jeżeli dana ta należy do analizowanej przez neuron klasy, to neuron na wyjściu poda liczbę $1$, a gdy nie należy, to poda $0$
• gdy perceptron klasyfikuje $m$ cech, to ma $m$ neuronów, mających $n$ wspólnych wejść; poszczególnym cechom analizowanej danej neurony przypiszą liczby 1 lub 0; na wyjściu perceptronu będzie więc $m$ wyjść od poszczególnych neuronów, każde w stanie wyjściowym 1 lub 0; perceptron przypisze więc danej wejściowej liczbę o $m$ bitach - kolejne bity określają, czy ta dana posiada czy nie poszczególne analizowane cechy. Z tego względu perceptron należy do klasyfikatorów binarnych.

Problem liniowej separowalności danych

Problemy liniowo separowalne

Dane w 2D są liniowo separowalne ze względu na jakąś cechę (np. przypisany danym kolor), gdy istnieje prosta, która rozdziela te dane na dwa rozłączne podzbiory

Najprostsze perceptrony mogą klasyfikować dane, które są liniowo separowalne. Dane są separowalne liniowo w następującym sensie:

• jeżeli perceptron ma 2 wejścia, to dane te można przedstawić jako punkty na płaszczyźnie 2D; są one separowalne liniowo, jeżeli istnieje prosta na tej płaszczyźnie, która oddziela punkty mające daną cechę od punktów, które jej nie mają
• jeżeli perceptron ma 3 wejścia, to dane te można przedstawić jako punkty w przestrzeni 3D; są one separowalne liniowo, jeżeli istnieje płaszczyzna w tej przestrzeni, która oddziela punkty mające daną cechę od punktów, które jej nie mają
• w ogólności: jeżeli perceptron ma $n$ wejść, to dane te można przedstawić jako punkty w przestrzeni $n$-wymiarowej; są one separowalne liniowo, jeżeli istnieje hiperpłaszczyzna $n-1$ wymiarowa w tej przestrzeni, która oddziela punkty mające daną cechę od punktów, które jej nie mają

Trenowanie perceptronu w tym wypadku oznacza poszukiwanie równania takiej prostej (płaszczyzny, ogólnie: hiperpłaszczyzny), która separuje dane wejściowe na te, które spełniają zadany warunek i te, które nie spełniają tego warunku. Perceptrony jednowarstwowe w ogólności z nieliniowymi funkcjami aktywacji mogą rozwiązywać problemy liniowo separowalne.

Problemy liniowo nieseparowalne

Jeżeli dane nie są liniowo separowalne, to perceptron jednowarstwowy nie będzie działał - nie będzie możliwe znalezienie odpowiednich prostych, płaszczyzn, hiperpłaszczyzn. W takiej sytuacji perceptron musi mieć bardziej złożoną budowę: wiele warstw, nieliniowe funkcje aktywacji, sprzężenia zwrotne, itd.

Perceptron o liniowych funkcjach aktywacji, jednowarstwowy

Załóżmy, że mamy perceptron, złożony z $n$ wejść oraz $m$ neuronów, tworzących pojedynczą warstwę. Każdą daną wejściową do perceptronu można przedstawić za pomocą wektora kolumnowego $X=[x_{1},x_{2},\dots ,x_{n}]^{T}$ mającego $n$ składowych liczbowych (symbol $T$ oznacza transpozycję czyli zmianę wektora wierszowego na kolumnowy), zaś wyjście z perceptronu za pomocą wektora kolumnowego $Y=[y_{1},y_{2},\dots ,y_{m}]^{T}$ mającego $m$ składowych liczbowych; to wagi pojedynczej warstwy neuronów można przedstawić za pomocą macierzy prostokątnej $W$ o $m$ wierszach i $n$ kolumnach; jeżeli przyjmiemy, że neurony nie mają "nieliniowych" funkcji aktywacji (de facto dopuszczalne są przekształcenia afiniczne, choć w żargonie AI używa się często tej pierwszej nazwy), to wyjścia związane są z wejściami zależnością macierzową $Y=NX$, gdzie macierz N jest iloczynem macierzy wag oraz macierzy przekształcenia, jakiego dokonuje funkcja aktywacji.

Jeżeli perceptron miałby więcej warstw, ale każda byłaby jedynie liniowym przekształceniem, bez nieliniowych funkcji aktywacji, to działanie każdej kolejnej warstwy można by przedstawić jako kolejne mnożenie przez pewną macierz; np. dla sieci o pięciu warstwach mielibyśmy:

$Y=N_{5}N_{4}N_{3}N_{2}N_{1}X$

Ponieważ jednak iloczyn macierzy daje macierz:

$N=N_{5}N_{4}N_{3}N_{2}N_{1}$

to sieć taka jest równoważna sieci z jedną warstwą. A zatem sieć perceptronowa o dowolnie wielu warstwach, których wyjścia nie mają nieliniowych funkcji aktywacji, potrafi wykonać tylko te operacje, które wykona sieć złożona z jednej warstwy neuronów. Sieci takie służą np. do obliczania regresji liniowej zbioru danych.

Perceptron o nieliniowych funkcjach aktywacji, jednowarstwowy

Sytuacja zmienia się całkowicie jeśli jako funkcje aktywacji zastosuje się funkcje nieliniowe, np.

$f(x)=\left\{{\begin{matrix}0&{\text{dla }}x<0\\1&{\text{dla }}x>1\\x&{\text{w pozostałych przypadkach}}\end{matrix}}\right.$

albo

$f(x)=\left\{{\begin{matrix}1&{\text{dla }}x>1\\0&{\text{w pozostałych przypadkach}}\end{matrix}}\right.$

itd.

Takie sieci neuronowe potrafią obliczać znacznie bardziej skomplikowane funkcje, np. funkcje logiczne AND, OR, NOT. Nie radzą sobie jednak z problemami takimi jak obliczanie funkcji logicznej XOR.

Perceptron o nieliniowych funkcjach aktywacji, wielowarstwowy

Diagram przedstawia omówiony tu perceptron o 2 neuronach warstwy ukrytej i neuronie wyjściowym, z nieliniowymi funkcjami aktywacji (funkcje skokowe), realizujący bramkę logiczną XOR. Liczby - to wagi.

Omówiono tu działanie przykładowej sieci neuronowej, która dla dwóch wejść binarnych wylicza ich funkcję logiczną XOR. Sieć ta zbudowana jest z 2 neuronów warstwy ukrytej i jednego neuronu wyjściowego; wszystkie neurony mają jako funkcję aktywacji funkcję skokową.

I. wejścia: $x_{1}$ i $x_{2}$

II. warstwa ukryta z dwoma neuronami:

Inny niż omówiony w tekście model perceptronu liczący funkcję XOR: sieć dwuwarstwowa z 3 neuronami warstwy ukrytej, z nieliniowymi funkcjami aktywacji (funkcja skokowa). Wartości liczbowe w zielonych kółkach oznaczają biasy danego neurony, wartości liczbowe na liniach oznaczają wagi.

neuron 1

(1) suma sygnałów z wejść, mnożonych przez wagi, ma postać

$h_{1}=2x_{1}-2x_{2}$

(2) skokowa funkcja aktywacji:

$z_{1}=f(h_{1})={\begin{cases}1\ \mathrm {,} \ h_{1}>0\\0\ \mathrm {,} \ h_{1}\leqslant 0\end{cases}}$

neuron 2

(3) suma sygnałów z wejść, mnożonych przez wagi, ma postać

$h_{2}=-2x_{1}+2x_{2}$

(4) skokowa funkcja aktywacji:

$z_{2}=f(h_{2})={\begin{cases}1\ \mathrm {,} \ h_{2}>0\\0\ \mathrm {,} \ h_{2}\leqslant 0\end{cases}}$

III. jeden neuron wyjściowy:

(5) suma sygnałów z wejść, mnożonych przez wagi, ma postać

$w=2z_{1}+2z_{2}$

(6) skokowa funkcja aktywacji:

$y=f(w)={\begin{cases}1\ \mathrm {,} \ w>0\\0\ \mathrm {,} \ w\leqslant 0\end{cases}}$

Wstawiając do równań (1) wartości wejściowe $x_{1}$ i $x_{2}$ i obliczając kolejne równania (2)-(6) otrzymuje się na wyjściu wartości zgodne z funkcją logiczną XOR. Poniższa tabela pokazuje wyniki kolejnych obliczeń, jakie wykonuje sieć

wejścia		warstwa ukryta - ważone sumy		warstwa ukryta - funkcje aktywacji		neuron wyjściowy	wyjście
$x_{1}$	$x_{2}$	$h_{1}=2x_{1}-2x_{2}$	$h_{2}=-2x_{1}+2x_{2}$	$z_{1}=f(h_{1})$	$z_{2}=f(h_{2})$	$w=2z_{1}+2z_{2}$	$y=f(w)$
0	0	0	0	0	0	0	0
0	1	−2	2	0	1	2	1
1	0	2	−2	1	0	2	1
1	1	0	0	0	0	0	0

Uwaga: Podane tu wagi i biasy zostały odgadnięte. Problem zasadniczym w rozwoju sieci neuronowych było odkrycie metody uczenia sieci - metody propagacji wstecznej. Można pokazać, że za pomocą tej metody po kolejnych krokach iteracyjnych znajdzie się wagi i biasy, zbliżone np. do wartości tu podanych dla sieci XOR. Dzięki tej metodzie możliwe stało się rozwiązywanie problemów bardzo złożonych, których nie dałoby się rozwiązać metodą odgadnięcia.

Zobacz też

• perceptron wielowarstwowy
• propagacja wsteczna - metoda trenowania perceptronu
• sztuczna pamięć asocjacyjna

Bibliografia

Po polsku

• AnnaA. Bartkowiak AnnaA., Sieci Neuronowe: Notatki do wykładu „Sieci Neuronowe” dla studentów kierunku Informatyka na Uniwersytecie Wrocławskim [online], 2002 .

Po angielsku

• Rosenblatt, Frank (1958): The perceptron: a probabilistic model for information storage and organization in the brain. Psychological Reviews 65 (1958) 386–408
• M. L. Minsky, S. A. Papert: Perceptrons. 2nd Edition, MIT-Press 1988, ISBN 0-262-63111-3.
• Stephen Marsland: Machine Learning. An algorithmic perspective. 2014. ISBN 978-1-4665-8328-3.

Linki zewnętrzne

• R. Sikora, Jak uczy się sztuczna inteligencja? - na YouTube - omówiono budowę sztucznego neuronu, zasadę działania oraz zasadę jego trenowania.
• Welch Labs, ChatGPT is made from 100 million of these [The Perceptron] - na YouTube - wyjaśnia metodę propagacji wstecznej wychodząc od ograniczeń metody trenowania perceptronu Rosenblatta; pokazuje zastosowania metody treningu aż do chat GPT