Multi-Layer-Netwerken

We hebben gezien hoe een enkele perceptron basisbeslissingen kan nemen door rechte lijnen door data te trekken. Maar echte problemen—gezichten herkennen, spraak begrijpen, schaken spelen—vereisen veel geavanceerdere patroonherkenning dan een enkele perceptron kan bieden.

De doorbraak kwam door een eenvoudig maar krachtig idee: wat als we meerdere perceptrons met elkaar verbinden in lagen? Net zoals individuele muzikanten samen een symfonie creëren, of eenvoudige LEGO-blokjes complexe structuren bouwen, ontgrendelt het stapelen van perceptrons mogelijkheden die ver uitstijgen boven wat een enkele eenheid kan bereiken.

Deze gelaagde aanpak transformeert de lineaire beperkingen van enkele perceptrons in de flexibele, krachtige systemen die moderne AI aandrijven.

Het XOR-Problem: Waarom We Meerdere Lagen Nodig Hebben

Laten we het XOR-probleem herhalen dat aantoont waarom enkele perceptrons vastlopen:

• (0,0) → cirkel
• (0,1) → ster
• (1,0) → ster
• (1,1) → cirkel

Hoe je de rechte lijn ook tekent, je kunt de sterren niet scheiden van de cirkels. Dit is geen beperking van onze specifieke perceptron—het is een fundamentele wiskundige beperking. Enkele perceptrons kunnen alleen lineaire beslissingsgrenzen maken.

Maar hier is de sleutelgedachte: hoewel één lijn XOR niet kan oplossen, kunnen twee lijnen samen dat wel! We kunnen het probleem opsplitsen in eenvoudigere delen die individuele perceptrons aankunnen, en vervolgens hun outputs combineren.

Introductie Van Multi-Layer-Perceptrons (MLPs)

Een Multi-Layer-Perceptron lost complexe problemen op door perceptrons te organiseren in lagen, waarbij elke laag informatie verwerkt en resultaten doorgeeft aan de volgende laag.

De Drielagenarchitectuur:

• Inputlaag: Ontvangt ruwe data (zoals pixelwaarden of sensorlezingen).
• Verborgen laag/lagen: Extraheert patronen en features uit de input.
• Outputlaag: Neemt eindbeslissingen op basis van verwerkte informatie.

Je herkent misschien enkele bekende concepten zoals features ($x_1, x_2$), gewichten ($w_11, w_22$) en de output ($y$). Nu voegen we de verborgen lagen toe: $h_1, h_2$.

Elke neuron in één laag is verbonden met elke neuron in de volgende laag, waardoor een "fully connected" netwerk ontstaat. Dit laat informatie voorwaarts door het netwerk stromen, waarbij elke laag voortbouwt op het werk van de vorige laag.

Hoe Verborgen Lagen Features Leren

Verborgen lagen zijn waar de echte intelligentie ontstaat. In plaats van direct met ruwe inputs te werken, leren ze betekenisvolle patronen te detecteren die de eindbeslissing gemakkelijker maken.

✍🏼 Voorbeeld Handgeschreven Cijferherkenning:

• Inputlaag (784 neuronen): Elke neuron ontvangt één pixelhelderheidswaarde van de $28×28$-afbeelding.
• Verborgen laag 1 (128 neuronen): Leert eenvoudige features zoals randen, krommen en lijnsegmenten te detecteren.
• Verborgen laag 2 (64 neuronen): Combineert eenvoudige features tot complexere patronen zoals "gesloten lussen" of "verticale lijnen".
• Outputlaag (10 neuronen): Eén voor elk cijfer 0-9, waarbij de hoogste activatie de voorspelling aangeeft.

Zie het als hoe een mens handschrift leert herkennen:

1. Eerst merk je basisstreken en krommen op.
2. Daarna combineer je streken tot delen van karakters.
3. Ten slotte herken je complete cijfers.

Het netwerk leert ditzelfde hiërarchische proces automatisch uit voorbeelden!

Activatiefuncties: Niet-Lineaire Kracht Toevoegen

Weet je nog hoe we kromme relaties nodig hadden voor complexe problemen zoals polynomiale regression in Hoofdstuk 3? Neurale netwerken gebruiken activatiefuncties om deze cruciale niet-lineaire mogelijkheden toe te voegen.

Zonder activatiefuncties creëert het stapelen van lineaire perceptrons gewoon een andere lineaire functie—hoeveel lagen je ook toevoegt! Activatiefuncties laten elke laag krommen en buigingen toevoegen aan de beslissingsgrens.

Veelgebruikte Activatiefuncties:

ReLU (Rectified Linear Unit): $f(x) = \text{max}(0,x)$

• Simpele regel: als de input positief is, geef die door; als negatief, output nul.
• Snel te berekenen en werkt goed in de praktijk.
• Maakt het mogelijk dat netwerken complexe patronen modelleren en vermijdt bepaalde wiskundige problemen.

Sigmoid-functie: $f(x) = \frac{1}{1+e^{-x}}$

• Zet elke input om naar een waarde tussen 0 en 1.
• Handig voor waarschijnlijkheden en de outputlaag.
• Historisch belangrijk maar tegenwoordig minder gebruikelijk in verborgen lagen.

Elke activatiefunctie bepaalt hoe neuronen reageren op inputs, en creëert de niet-lineaire transformaties die netwerken complexe problemen laten oplossen. De keuze van activatiefunctie beïnvloedt hoe goed en hoe snel het netwerk leert.

XOR Oplossen Met Meerdere Lagen

Laten we zien hoe een tweelaags netwerk het XOR-probleem kan oplossen waar onze enkele perceptron op stukliep.

De Oplossingsstrategie:

• Eerste verborgen laag creëert twee perceptrons die elk een deel van het probleem kunnen oplossen.
• Outputlaag combineert de resultaten van de verborgen laag.

Logica Verborgen Laag:

• Neuron 1 leert 1 te outputten bij "A OF B" (ten minste één input is 1).
• Neuron 2 leert 1 te outputten bij "A EN B" (beide inputs zijn 1).

Logica Outputlaag:

• Eindneuron output 1 bij "Neuron 1 EN NIET Neuron 2" (exact één input is 1).

Dit toont een cruciaal principe: complexe problemen kunnen vaak worden opgesplitst in eenvoudigere subproblemen die individuele neuronen aankunnen.

De Universele Approximatiestelling

Hier is een van de meest opmerkelijke resultaten in machine learning-theorie: met genoeg neuronen in één verborgen laag kan een MLP elke continue functie met willekeurige nauwkeurigheid benaderen.

• Theoretisch: MLP’s kunnen elk patroon leren dat in data voorkomt.
• Praktisch: Met genoeg neuronen en trainingsdata kunnen MLP’s ongelooflijk diverse problemen oplossen.

Maar er is een addertje onder het gras: hoewel deze stelling garandeert dat oplossingen bestaan, vertelt ze ons niet:

• Hoeveel neuronen we nodig hebben.
• Hoe we de juiste gewichten vinden.
• Hoeveel trainingsdata vereist is.

Daarom blijft Deep Learning zowel een kunst als een wetenschap—de theorie vertelt ons dat het mogelijk is, maar ervaring en experimentatie leiden ons naar praktische oplossingen.

Van MLP’s Naar Modern Deep Learning

Multi-layer-perceptrons legden de basis voor al het moderne deep learning. Hun historische impact kan niet worden overschat:

• Bewezen dat neurale netwerken niet-lineaire problemen konden oplossen.
• Vestigden de laaggebaseerde architectuur die vandaag de dag nog steeds wordt gebruikt.
• Leidden tot de ontwikkeling van backpropagation (wat we hierna zullen verkennen).

De kern van de MLP-theorie is wat moderne architecturen aandrijft die we binnenkort zullen tegenkomen:

• Convolutional Neural Networks (CNNs): Gespecialiseerd voor afbeeldingen.
• Recurrent Neural Networks (RNNs): Ontworpen voor sequenties zoals tekst.
• Transformers: De architectuur achter ChatGPT en moderne taalmodellen.

Al deze architecturen bouwen voort op hetzelfde fundamentele principe: combineer eenvoudige verwerkingseenheden in lagen om complex, intelligent gedrag te creëren. We komen er later op terug!

Belangrijkste Inzichten

Multi-layer-netwerken transformeren de lineaire beperkingen van enkele perceptrons in flexibele systemen die complexe patronen kunnen leren. Door perceptrons te organiseren in lagen—input, verborgen en output—kunnen netwerken moeilijke problemen opsplitsen in beheersbare subproblemen die individuele neuronen kunnen oplossen. Verborgen lagen leren automatisch betekenisvolle features uit ruwe data te extraheren, en bouwen hiërarchische representaties van eenvoudig naar complex.

Activatiefuncties introduceren de niet-lineaire transformaties die essentieel zijn voor het oplossen van realistische problemen, terwijl de universele approximatiestelling garandeert dat MLP’s theoretisch elk patroon kunnen leren. Het begrijpen van multi-layer-netwerken biedt de conceptuele basis voor alle moderne deep learning-architecturen, van beeldherkenning tot taalmodellen.