Überanpassung im Machine Learning erkennen

Ein Fehlermaß beschreibt, wie stark die Vorhersagen von den richtigen Antworten abweichen. Bei einer Sortieraufgabe kannst du beispielsweise die falsch zugeordneten Fälle zählen. Der Trainingsfehler wird an den Beispielen gemessen, mit denen das Modell gelernt hat. Der Testfehler wird an getrennten, beim Lernen und Auswählen ungenutzten Beispielen gemessen.

Die Flexibilität eines Modells beschreibt, wie unterschiedliche Zusammenhänge es darstellen kann. Ein sehr flexibles Modell kann neben brauchbaren Mustern auch zufällige Besonderheiten der Trainingsdaten übernehmen. Dadurch kann sein Trainingsfehler sinken, während sein Testfehler steigt. Das ist ein Hinweis auf Überanpassung. Aus diesem Verlauf folgt aber noch nicht, dass die Testdaten den geplanten Einsatz passend vertreten.

Bei Unteranpassung ist die Modellform für den vorhandenen Zusammenhang zu eingeschränkt. Dann bleiben häufig sowohl Trainingsfehler als auch Testfehler hoch. Beispielsweise kann eine Gerade eine benötigte Krümmung nicht darstellen. Zwei hohe Fehlerwerte allein beweisen Unteranpassung jedoch nicht; auch ungeeignete Daten können Probleme verursachen.

Schematisch kann der Testfehler mit wachsender Flexibilität zunächst sinken und später wieder steigen. Dieser Verlauf ist keine feste Regel für jedes Modell. Während des Lernens beobachtest du für Auswahlentscheidungen den Fehler auf getrennten Auswahldaten, den Validierungsdaten. Der Test bleibt für die abschließende Bewertung zurück.

Die drei Datenmengen haben verschiedene Aufgaben. Mit Trainingsdaten wird die Rechenvorschrift angepasst. Mit Validierungsdaten vergleichst du Modelle und wählst Einstellungen oder einen geeigneten Zeitpunkt zum Beenden des Lernens. Mit Testdaten bewertest du das ausgewählte Modell abschließend.

Die Mengen müssen getrennt sein: Ein Beispiel gehört nicht zugleich zum Training und zur Validierung oder zum Test. Auch Kopien eines Trainingsbeispiels sind keine neuen Prüffälle. Andernfalls kann ein guter Prüfwert teilweise darauf beruhen, dass das Modell die Beispiele bereits kennt.

Auch die Validierungsdaten beeinflussen das Ergebnis: Du wählst anhand ihrer Ergebnisse aus. Bei vielen Entscheidungen kann die Auswahl zunehmend an Besonderheiten dieser Daten angepasst werden. Deshalb brauchst du daneben einen Test, der von der Auswahl unbeeinflusst bleibt.

Wenn du nach jedem Testwert das Modell änderst, verwendest du den Test ebenfalls zur Auswahl. Den besten bisherigen Testwert kannst du dann nicht als unbeeinflusste Abschlussbewertung behandeln. Für einen neuen Abschlusstest brauchst du frische, passende und bisher ungenutzte Beispiele. Auch häufig verwendete Validierungsdaten können durch frische Beispiele ergänzt oder ersetzt werden.

Prüfmengen müssen außerdem ausreichend viele passende Fälle enthalten. Bei sehr wenigen Fällen kann schon ein einzelner Zufallstreffer das Ergebnis stark verändern. Eine feste Anzahl, die für jede Aufgabe genügt, gibt es nicht.

Parameter sind einstellbare Zahlen einer Rechenvorschrift. Beim Lernen werden ihre Werte angepasst. Ein Modell kann viele unterschiedliche Zusammenhänge darstellen, wenn seine Form und seine einstellbaren Werte das erlauben. Begrenzungen können verhindern, dass es zufälligen Besonderheiten zu genau folgt.

Early Stopping bedeutet frühzeitiges Beenden des Lernens. Ein Lernschritt ist hier ein weiterer Anpassungsschritt des Modells. Du beobachtest den Validierungsfehler und beendest das Lernen nach einer vorher festgelegten Regel, wenn dieser Fehler wieder ansteigt. Aus den gespeicherten Lernständen wählst du nach dem Validierungsfehler aus. Der Trainingsfehler kann beim früheren Stand höher sein, während der spätere Testfehler niedriger ausfallen kann. Testdaten steuern diese Auswahl nicht.

Early Stopping ist eine schnelle, aber selten optimale Form der Regularisierung. Regularisierung bedeutet, das Lernen so zu begrenzen, dass übermäßige Anpassung erschwert wird. Eine weitere Form ergänzt das Lernziel um zusätzliche Kosten, einen Strafterm, für übermäßige Modellkomplexität. Modellkomplexität meint hier, wie aufwendig und flexibel die darstellbaren Zusammenhänge sind. Eine sorgfältig gewählte Stärke dieser Begrenzung kann bessere Ergebnisse liefern als Early Stopping; daraus folgt keine garantierte Rangfolge für jeden Einzelfall.

Weniger frei einstellbare Parameter können innerhalb einer festgelegten Modellfamilie die Auswahl möglicher Formen einschränken. Das kann Überanpassung verringern. Wird dabei eine benötigte Form ausgeschlossen, entsteht jedoch Unteranpassung. Allein aus der Parameterzahl lässt sich deshalb keine allgemeine Rangfolge verschiedener Modellarten ableiten.

Das Verzerrung-Varianz-Dilemma beschreibt diesen möglichen Konflikt. Verzerrung meint hier systematische Abweichungen, etwa durch eine zu enge Modellform. Varianz beschreibt, wie stark sich das gelernte Modell bei anderen zufällig gezogenen Trainingsbeispielen derselben Herkunft ändern würde. Ein sehr eingeschränktes Modell hat im schematischen Vergleich eher hohe Verzerrung und geringe Varianz; ein sehr flexibles eher geringe Verzerrung und hohe Varianz. Eine stärkere Begrenzung kann also Zufallseinflüsse verringern und zugleich wichtige Muster ausschließen. Die passende Stärke wählst du mit Validierungsdaten.

Die Verteilung von Daten beschreibt hier, welche Arten von Fällen unter welchen Bedingungen vorkommen und wie häufig sie sind. Dazu gehören auch die Zusammenhänge zwischen Eingaben und richtigen Antworten. Eine Datenmenge ist repräsentativ, wenn sie die für die Aufgabe wichtigen Eigenschaften der vorgesehenen Fälle angemessen vertritt.

Trainings- und Testdaten sollen dieselbe für den Einsatz wichtige Verteilung repräsentieren. Das bedeutet weder identische Beispiele noch exakt gleiche beobachtete Häufigkeiten. Getrennte, zufällig gezogene Mengen können etwas unterschiedliche Anteile enthalten und trotzdem dieselbe Herkunft angemessen vertreten. Wichtige Fallarten dürfen aber nicht systematisch fehlen. Das gilt auch für Validierungsdaten.

Die Übereinstimmung von Training und Test reicht nicht aus: Beide müssen zu den vorgesehenen neuen Daten passen. Enthalten beide beispielsweise ausschließlich Sommerfälle, lässt ein guter Testwert die Leistung bei andersartigen Winterfällen offen. Der gute Wert belegt dann auch keine zu einfache Modellform; dafür müsstest du den Zusammenhang zwischen Modellform und Aufgabe untersuchen.

Auch passende Daten bilden die Wirklichkeit nur zu einem bestimmten Zeitpunkt ab. Bedingungen oder Zusammenhänge können sich ändern. Dann können neue Daten, erneutes Lernen und ein neuer Test nötig werden. Ein guter Wert auf ausreichend vielen, ungenutzten und repräsentativen Testfällen ist ein Hinweis auf Generalisierung. Generalisierung bedeutet brauchbare Vorhersagen für neue Fälle der vertretenen Art. Sie ist keine Garantie für jede zukünftige Beobachtung.