Neuronales Netz: Aufbau, Berechnung und Training

Eine Schicht fasst Recheneinheiten mit einer gemeinsamen Rolle zusammen. Die Eingabeschicht nimmt die vorbereiteten Zahlenwerte entgegen. Das können etwa Helligkeitswerte eines Bildes oder gemessene Längen sein. Solche Eigenschaften einer Eingabe heißen Merkmale.

Zwischen Eingabe und Ausgabe liegen bei einem tiefen neuronalen Netz mehrere verborgene Schichten. Auch ein Netz mit einer einzigen verborgenen Schicht ist möglich. Diese Schichten verrechnen die übernommenen Werte und bilden daraus neue Merkmale. „Verborgen“ beschreibt ihre Lage innerhalb des Netzes: Sie sind weder die Eingabe noch das Endergebnis.

Die Ausgabeschicht liefert das Ergebnis des Netzes. Das kann ein vorhergesagter Zahlenwert oder die Zuordnung zu einer Gruppe sein. Eine solche Vorhersage kann falsch sein. Die Rolle einer Schicht hängt von ihrer Stelle und Aufgabe im Netz ab, nicht davon, wie groß ihre Zahlenwerte sind.

Ein Neuron multipliziert jede Eingabe mit einem zugehörigen Gewicht. Das Gewicht bestimmt den Beitrag dieser Eingabe zur Rechnung. Ein negatives Gewicht kann dabei einen negativen Beitrag erzeugen. Anschließend addiert das Neuron die Produkte. Ein zusätzlicher einstellbarer Wert heißt Bias. Er wird ebenfalls addiert und verschiebt den Zwischenwert.

Für zwei Eingaben nennen wir die Eingabewerte x_1 und x_2, die zugehörigen Gewichte w_1 und w_2 und den Bias b. Die kleinen Zahlen kennzeichnen die erste und zweite Eingabe. Der Punkt \cdot bedeutet Multiplikation. Der Zwischenwert z ist die gewichtete Summe einschließlich Bias: z = w_1 \cdot x_1 + w_2 \cdot x_2 + b. Bei einer Eingabe lautet die Rechnung entsprechend z = w \cdot x + b.

Danach bestimmt eine Aktivierungsfunktion aus dem Zwischenwert die Ausgabe. Eine häufige Aktivierungsfunktion heißt ReLU. Das ist die Abkürzung für englisch „Rectified Linear Unit“, etwa „gleichgerichtete lineare Einheit“. Wir nennen ihre Ausgabe a. Für z < 0 gilt a = 0. Für z \geq 0 gilt a = z; das Zeichen \geq bedeutet „größer oder gleich“. ReLU lässt also positive Werte und null unverändert. Negative Werte werden zu null. Andere Aktivierungsfunktionen haben andere Rechenregeln.

Beim hier beschriebenen Training verarbeitet das Netz Beispiele, deren gewünschte Ausgaben als Zielwerte bekannt sind. Gewichte und Bias-Werte sind seine einstellbaren Parameter. Ein Trainingsschritt beginnt mit einem Vorwärtsdurchlauf: Die Eingaben werden mit den aktuellen Parametern bis zur Ausgabe verarbeitet. So entsteht eine Vorhersage.

Eine Verlustfunktion vergleicht die Vorhersage mit dem bekannten Zielwert. Ihr Ergebnis heißt Verlust. Er misst die Abweichung nach einer festgelegten Regel. Für diese Regel bedeutet ein kleinerer Verlust eine geringere Abweichung. Eine mögliche Regel für einen vorhergesagten Zahlenwert ist das Quadrat der Differenz zum Zielwert.

Danach folgt Backpropagation, auf Deutsch etwa „Rückwärtsweitergabe“. Dieses Rechenverfahren verfolgt die Abhängigkeiten vom Verlust rückwärts durch das Netz. Es berechnet Ableitungen des Verlusts nach den Parametern. Eine Ableitung beschreibt hier Richtung und Stärke der lokalen Änderung des Verlusts, wenn ein Parameter ein kleines Stück verändert wird. Die zusammengefassten Ableitungen bilden den Gradienten. Backpropagation berechnet diese Werte; sie ist vom anschließenden Ändern der Parameter zu unterscheiden.

Ein Optimierer ist das Verfahren, das die Parameter mithilfe dieser Werte anpasst. Beim Gradientenabstieg wird von jedem Parameter das Produkt aus Lernrate und zugehörigem Gradientenwert abgezogen. Die Lernrate ist ein positiver Faktor für die Schrittweite. Ein positiver Gradientenwert verkleinert beim Schritt den Parameter, ein negativer vergrößert ihn. Die Richtung soll den Verlust verringern; ein einzelner Schritt garantiert das nicht. Danach beginnt der Ablauf mit weiteren Trainingsbeispielen erneut. Wiederholung allein garantiert ebenfalls keine guten Vorhersagen.

Die Architektur eines Netzes ist seine Bauweise. Ein Convolutional Neural Network, kurz CNN, heißt auf Deutsch etwa „faltendes neuronales Netz“. Es nutzt Filter: Rechenregeln, die benachbarte Eingabewerte gemeinsam verarbeiten. Derselbe Filter wird an verschiedenen Stellen angewendet. So lassen sich räumliche Merkmale wie kleine Bildmuster berechnen. CNN werden deshalb häufig für Bilder eingesetzt.

Ein Recurrent Neural Network, kurz RNN, ist ein rekurrentes, also rückgekoppeltes neuronales Netz. Es verarbeitet eine Sequenz: eine geordnete Folge, bei der die Reihenfolge eine Rolle spielt. Bei jedem Schritt kann ein gespeicherter Zustand aus früheren Schritten einfließen. Dieser Zustand wird weitergeführt und kann Informationen über frühere Eingaben enthalten. RNN sind damit für Folgen wie aufeinanderfolgende Messwerte oder Wörter gebaut. CNN und RNN haben typische Einsatzbereiche; diese sind nicht ausschließlich.

Überanpassung bedeutet: Das Netz passt sich stark an Besonderheiten der Trainingsbeispiele an und sagt bei neuen, passenden Beispielen schlechter voraus. Zum Erkennen nutzt du Validierungsdaten. Das sind beiseitegelegte Beispiele mit bekannten Zielwerten. Sie helfen während der Entwicklung, Trainingsstände zu vergleichen. Im beschriebenen Ablauf werden die Gewichte nicht durch Trainingsschritte mit diesen Daten angepasst. Der Validierungsverlust misst die Abweichung der Vorhersagen von den Zielwerten dieser Daten. Ein kleinerer Verlust bedeutet bei derselben Verlustfunktion eine geringere Abweichung.

Wenn der Trainingsverlust weiter sinkt, während der Validierungsverlust steigt, ist das bei vergleichbaren Datensätzen ein Hinweis auf Überanpassung. Der Verlauf allein ist kein Beweis. Prüfe auch, ob beide Datensätze dieselbe Aufgabe abbilden und hinsichtlich Eingaben und Zielwerten vergleichbar sind. Ein separater Testdatensatz dient erst der abschließenden Bewertung des gewählten Modells. Er übernimmt damit eine andere Rolle als die Validierungsdaten.