Datenaugmentation: Technik zur künstlichen Erweiterung des Trainingsdatensatzes durch Modifikation irrelevanter Eingabeeigenschaften. Ziel ist es, die Vielfalt der Trainingsdaten zu erhöhen, ohne neue Daten sammeln zu müssen, und dadurch die Robustheit des Modells zu verbessern.
Translation Invariance: Eigenschaft eines Modells, gegenüber Verschiebungen in den Eingabedaten robust zu sein. Das bedeutet, dass das Modell unabhängig davon, ob ein Objekt verschoben, gedreht oder skaliert wird, die gleiche Vorhersage trifft.
irrelevante Eingabeeigenschaften: Merkmale der Eingabedaten, die für die Zielvorhersage nicht entscheidend sind. Diese Eigenschaften können verändert werden, ohne die eigentliche Aussage der Daten zu beeinflussen, und werden bei der Modellbildung oft als Störfaktoren betrachtet.
Datenaugmentation verändert irrelevante Eigenschaften der Trainingsdaten, um das Modell robuster zu machen. Dabei werden gezielt Eigenschaften, die für die Zielvorhersage nicht relevant sind, modifiziert, um das Modell auf eine größere Variabilität der Eingabedaten vorzubereiten. Durch diese Modifikationen lernt das Modell, sich auf die wirklich relevanten Merkmale zu konzentrieren und weniger anfällig gegenüber Variationen zu sein.
Typische Transformationen, die bei der Datenaugmentation eingesetzt werden, umfassen das Flippen, Skalieren und Rotieren von Bildern. Diese Transformationen verändern die irrelevanten Eigenschaften der Eingabedaten, wie die Position oder Orientierung eines Objekts, ohne die eigentliche Bedeutung oder Klassifikation zu beeinflussen. Dadurch wird die Fähigkeit des Modells gestärkt, invariant gegenüber solchen Verschiebungen zu sein, was als Translation Invariance bezeichnet wird.
Durch die gezielte Variation irrelevanter Merkmale wird die Generalisierungsfähigkeit des Modells verbessert. Es lernt, die relevanten Merkmale zuverlässig zu erkennen, unabhängig von Variationen in den Eingabedaten, was zu einer robusteren Modellperformance auf neuen, ungesehenen Daten führt.
Datenaugmentation stärkt die Generalisierungsfähigkeit von Modellen durch gezielte Variation irrelevanter Merkmale, wodurch das Modell robuster gegenüber Variationen in den Eingabedaten wird.
Dropout ist eine Regularisierungsmethode, bei der während des Trainings zufällig Einheiten (Neuronen) deaktiviert werden. Ziel ist es, die Abhängigkeit einzelner Neuronen voneinander zu verringern und somit die Generalisierungsfähigkeit des Netzwerks zu verbessern. Bei jedem Trainingsdurchlauf werden dabei p% der Einheiten zufällig ausgelassen, was bedeutet, dass sie während dieses Durchgangs keine Beiträge zum Vorwärts- oder Rückwärtsdurchlauf leisten.
Dropout-Rate (p%) bezeichnet den Anteil der Einheiten, die pro Trainingsdurchgang deaktiviert werden. Beispielsweise bedeutet eine Dropout-Rate von 50%, dass in jedem Trainingsschritt die Hälfte der Neuronen zufällig deaktiviert wird. Diese Rate ist ein wichtiger Hyperparameter, der die Stärke der Regularisierung bestimmt.
Gewichtsskalierung bei Dropout beschreibt die Anpassung der verbleibenden Gewichte im Netzwerk, um die Effekte des Dropouts auszugleichen. Dabei werden die Gewichte mit einem Faktor von 1/(1−p) multipliziert, um sicherzustellen, dass die Aktivierungen im Durchschnitt konstant bleiben. Diese Skalierung ist notwendig, weil durch das zufällige Deaktivieren von Einheiten die Gesamtsumme der Aktivierungen während des Trainings reduziert wird.
Dropout zwingt die einzelnen Einheiten, unabhängig voneinander nützlich zu sein, indem Verbindungen zufällig entfernt werden. Dies bedeutet, dass keine Einheit sich auf die Unterstützung anderer verlassen kann, was die Robustheit der Merkmalsdetektoren erhöht. Im Trainingsprozess werden in jedem Durchlauf unterschiedliche Teilnetzwerke trainiert, da zufällig ausgewählte Einheiten deaktiviert werden. Im Testmodus wird jedoch das vollständige Netzwerk ohne Dropout verwendet, um die volle Kapazität auszuschöpfen.
Dropout wirkt als starker, generischer Regularisierer. Obwohl es im Training zu einem höheren Fehler und einer noisiereren Lernkurve führt, reduziert es signifikant das Risiko des Overfittings. Das bedeutet, dass das Modell nicht zu sehr auf die Trainingsdaten angepasst wird, sondern besser auf neue, unbekannte Daten generalisiert. Es kann sogar als eine Art Ensemble-Methode betrachtet werden, bei der während des Trainings mehrere Netzwerke mit unterschiedlichen Aktivierungsmustern gelernt werden, deren Ergebnisse im Testzeitpunkt gemittelt werden.
Dropout verhindert Überanpassung, indem es Neuronen zufällig deaktiviert, was die Robustheit der Merkmalsdetektoren fördert. Dadurch wird das Netzwerk gezwungen, unabhängig voneinander nützliche Merkmale zu entwickeln, was die Generalisierungsfähigkeit deutlich verbessert.
Batch Normalization: Y (2015): Normalisierung der Zwischenausgaben einer Schicht anhand der Mittelwerte und Standardabweichungen des aktuellen Mini-Batches. Diese Methode standardisiert die Ausgaben jeder Schicht dynamisch während des Trainings, indem sie die Werte so transformiert, dass sie einen Mittelwert von null und eine Standardabweichung von eins haben. Ziel ist es, die Verteilung der Zwischenausgaben konstant zu halten, um die Lernstabilität zu erhöhen und das Training zu beschleunigen.
Internal Covariate Shift: Santurkar et al. (2018): Veränderung der Verteilung der Zwischenausgaben während des Trainings. Diese Verschiebung erschwert das Lernen, da die nachfolgenden Schichten ständig auf neue Verteilungen reagieren müssen, was die Konvergenz verlangsamt.
Rauschkomponente durch Batch-Normalisierung: Durch die Verwendung der Mini-Batch-Statistiken entsteht eine Schätzung, die mit Rauschen behaftet ist. Dieses Schätzrauschen wirkt regulierend, da es Overfitting entgegenwirkt, indem es eine Art Rauschregularisierung darstellt, die das Modell daran hindert, sich zu stark an die Trainingsdaten anzupassen.
Batch Normalization standardisiert die Eingaben jeder Schicht während des Trainings dynamisch, indem sie für jeden Mini-Batch den Mittelwert und die Standardabweichung berechnet und die Ausgaben entsprechend skaliert und verschiebt. Diese Standardisierung sorgt dafür, dass die Zwischenausgaben eine stabile Verteilung aufweisen, was die Optimierung erleichtert und die Konvergenz beschleunigt. Durch diese Methode wird der Effekt des internen Kovariatenverschiebungseffekts reduziert, der auftritt, wenn sich die Verteilungen der Zwischenausgaben im Verlauf des Trainings verändern.
Im Trainingsmodus nutzt Batch Normalization die aktuellen Mini-Batch-Statistiken, um die Standardisierung durchzuführen. Im Gegensatz dazu werden im Testmodus feste Statistiken aus den während des Trainings gesammelten Daten verwendet, um eine konsistente Standardisierung sicherzustellen. Das Rauschkomponente durch die Mini-Batch-Statistiken führt zu einem Schätzrauschen, das eine regulierende Wirkung entfaltet. Dieses Rauschen hilft, Overfitting zu vermeiden, da es das Modell daran hindert, sich zu stark an die spezifischen Trainingsbeispiele anzupassen.
Batch Normalization stabilisiert und beschleunigt das Training, indem es die Zwischenausgaben jeder Schicht dynamisch standardisiert. Dabei reduziert es den Effekt des internen Kovariatenverschiebungseffekts und nutzt das durch Mini-Batch-Statistiken entstehende Rauschrauschen, um Overfitting zu verringern.
Tiefe Netzwerke sind neuronale Netze, die mehrere versteckte Schichten besitzen, um komplexe Funktionen modellieren zu können. AUTHOR (nicht genannt): Konzept, dass mehr Schichten die Fähigkeit erhöhen, komplexe Muster zu erkennen, jedoch das Training erschweren können.
Auxiliary Classifiers sind zusätzliche Ausgabeschichten, die parallel zu den Hauptausgaben trainiert werden. Sie unterstützen das Training tiefer Netze, indem sie den Fehler direkt in den frühen Schichten beeinflussen und somit das Vanishing Gradient Problem abmildern. Szegedy et al. (2014) beschreiben diese Technik als Mittel, um die Trainingsfähigkeit bei sehr tiefen Netzwerken zu verbessern.
Residual Connections sind Verbindungen, die den Eingang einer Schicht direkt zum Ausgang dieser Schicht addieren. Dadurch entsteht eine sogenannte Gradient-Shortcut-Verbindung, die es ermöglicht, den Fehler direkt durch diese Verbindung weiterzuleiten. He et al. (2015) erklären, dass diese Architektur die Probleme beim Training sehr tiefer Netze erheblich reduziert, weil sie den Gradientenfluss erleichtert und so das Vanishing Gradient Problem mildert.
Mehr Schichten in einem neuronalen Netz erlauben die Modellierung komplexerer Funktionen, doch sie bringen auch Herausforderungen mit sich. Ohne spezielle Techniken ist das Training tiefer Netze schwierig, weil die Fehler- oder Gradienteninformationen in den frühen Schichten kaum ankommen. Dieses Problem wird als Vanishing Gradient Problem bezeichnet, bei dem die Fehlersignale beim Rückpropagieren immer schwächer werden, was dazu führt, dass die frühen Schichten kaum trainiert werden.
Um diese Schwierigkeiten zu überwinden, kommen Hilfsmethoden wie Residual Connections und Auxiliary Classifiers zum Einsatz. Residual Connections schaffen Gradient-Shortcuts, die den Fehler direkt an die frühen Schichten weiterleiten, was das Training erleichtert. Auxiliary Classifiers bieten zusätzliche Ausgabeschichten, die den Fehler in den frühen Phasen des Trainings beeinflussen und so den Lernprozess stabilisieren. Diese Techniken sind essenziell, um die Vorteile tiefer Netzwerke zu nutzen, ohne auf deren Trainingsprobleme zu stoßen.
Tiefe Netzwerke erfordern architektonische Innovationen wie Residual Connections und Auxiliary Classifiers, um die typischen Trainingsprobleme wie das Vanishing Gradient Problem zu überwinden und somit die Vorteile komplexerer Modellierung zu realisieren.
Transferlernen bezeichnet die Wiederverwendung eines vortrainierten Modells für eine neue, verwandte Aufgabe. Dabei wird das bereits erlernte Wissen, das das Modell durch vorheriges Training auf einer bestimmten Datenmenge erworben hat, auf eine andere, ähnliche Aufgabe übertragen. Ziel ist es, die Lernzeit zu verkürzen und die Leistung bei der Lösung der neuen Aufgabe zu verbessern, insbesondere wenn nur begrenzte Daten zur Verfügung stehen. (Quelle)
Model Zoo ist eine Sammlung vortrainierter Modelle, die in verschiedenen Software-Frameworks bereitgestellt werden. Diese Sammlung ermöglicht es, schnell auf bewährte Modelle zuzugreifen und sie für eigene Aufgaben zu nutzen, ohne sie von Grund auf neu trainieren zu müssen. Die Modelle im Model Zoo sind oft auf unterschiedlichen Datensätzen trainiert und können durch Austausch der letzten Schicht an die spezifische neue Aufgabe angepasst werden. (Quelle)
Feature-Extraktion durch vortrainierte Convolutional Layers beschreibt die Nutzung der generischen Merkmalsdetektoren, die in den Convolutional Layers eines vortrainierten Netzes gelernt wurden. Diese Merkmale sind oft so allgemein, dass sie für viele Aufgaben nützlich sind, unabhängig vom ursprünglichen Trainingsziel. Durch die Verwendung dieser vortrainierten Schichten können neue Aufgaben effizienter gelöst werden, da die Merkmale bereits eine Vielzahl von wichtigen Eigenschaften enthalten. (Quelle)
Vortrainierte Modelle lassen sich durch den Austausch der letzten Schicht an neue Aufgaben anpassen. Dabei bleibt die Basis des Modells, also die vorher trainierten Convolutional Layers, unverändert, während die letzte Schicht, die meist die Klassifikation übernimmt, entsprechend der neuen Aufgabe modifiziert wird. Diese Methode spart erheblich Trainingszeit, da nur die letzte Schicht neu trainiert werden muss, während die vorherigen Schichten bereits nützliche Merkmale extrahieren.
Convolutional Layer in vortrainierten Netzwerken lernen häufig generische Merkmale, die für eine Vielzahl von Aufgaben nützlich sind. Diese Merkmale umfassen beispielsweise einfache Kanten, Formen oder Texturen, die in vielen Bildklassifikationen relevant sind. Dadurch können diese vortrainierten Schichten für unterschiedliche Aufgaben wiederverwendet werden, ohne sie neu lernen zu müssen.
Transferlernen ist besonders vorteilhaft, wenn nur begrenzte Daten für die neue Aufgabe vorhanden sind. Es ermöglicht eine schnellere Entwicklung und eine bessere Leistung, da die Merkmale aus den vortrainierten Modellen eine solide Grundlage bieten. Zudem reduziert es den Bedarf an umfangreichem Rechenaufwand, der beim Training eines Modells von Grund auf entstehen würde.
Transferlernen nutzt vortrainierte Merkmale und Modelle, um neue Aufgaben effizienter und mit weniger Daten zu lösen. Durch die Wiederverwendung bereits erlernter Merkmale und die Anpassung der letzten Schichten kann die Modellleistung verbessert und die Trainingszeit deutlich verkürzt werden.
Lernrate (η): Die Lernrate ist die Schrittweite bei der Parameteraktualisierung im Gradientenabstieg. Sie bestimmt, wie groß die einzelnen Schritte sind, die bei der Anpassung der Modellparameter während des Trainings gemacht werden. Eine zu hohe Lernrate kann dazu führen, dass das Modell die Minima überspringt, während eine zu niedrige Lernrate den Lernprozess unnötig verlangsamt.
Lernratenplan (Learning Rate Schedule): Ein Lernratenplan ist eine vorgegebene Strategie, die die Anpassung der Lernrate während des Trainings regelt. Anstatt eine feste Lernrate zu verwenden, wird diese im Verlauf des Trainings systematisch verändert, um bessere Konvergenz zu ermöglichen.
Exploration vs. Exploitation: Diese Strategie beschreibt das Vorgehen, mit hoher Lernrate zu starten, um schnell Fortschritte zu erzielen (Exploration), und diese anschließend zu verringern, um eine präzise Feinjustierung im Parameterraum zu erreichen (Exploitation). Ziel ist es, das Modell in einem optimalen Minimum zu stabilisieren.
Die Lernrate steuert die Größe der Schritte im Parameterraum während der Optimierung. Eine hohe Lernrate ermöglicht es, schnell auf das Minimum zuzusteuern, da die Schritte groß sind. Dies ist besonders in der Anfangsphase des Trainings vorteilhaft, um rasch Fortschritte zu erzielen. Allerdings besteht die Gefahr, dass bei zu hoher Lernrate das Modell das Minimum überspringt oder instabil wird.
Im Gegensatz dazu erlaubt eine niedrige Lernrate eine feinere Feinjustierung der Parameter, was zu einer präziseren Konvergenz führt. Diese ist besonders in den späteren Phasen des Trainings wichtig, um das Modell in einem optimalen Minimum zu stabilisieren.
Gängige Lernratenpläne sind stufenweise, exponentiell oder linear abnehmend. Bei einem stufenweisen Plan wird die Lernrate nach festen Intervallen reduziert, bei einem exponentiellen Plan erfolgt die Abnahme kontinuierlich nach einer festgelegten Rate, und bei einem linearen Plan sinkt die Lernrate gleichmäßig über die Zeit. Diese Pläne helfen, den Balanceakt zwischen schnellen Fortschritten und genauer Konvergenz zu meistern.
Lernratenpläne balancieren schnelle Fortschritte und präzise Konvergenz im Trainingsprozess, indem sie die Lernrate systematisch anpassen, um die Vorteile hoher Lernraten in der Anfangsphase mit der Genauigkeit niedriger Lernraten in späteren Phasen zu verbinden.
Verschwinden der Gradienten (Vanishing Gradient Problem):
Dieses Phänomen beschreibt die Abschwächung des Gradienten in den frühen Schichten eines tiefen neuronalen Netzes. Wenn die Gradienten in den unteren Schichten sehr klein werden, führt dies dazu, dass die Gewichte in diesen Schichten kaum noch angepasst werden, was das Lernen erschwert oder sogar unmöglich macht.
Kettenregel in tiefen Netzen:
Die Kettenregel ist eine mathematische Regel, die bei der Berechnung der Ableitungen in verschachtelten Funktionen angewendet wird. In tiefen Netzen bedeutet dies, dass die Ableitungen der Verlustfunktion bezüglich der Gewichte durch die Multiplikation vieler kleiner Ableitungen entsteht. Diese Multiplikation kann exponentiell schrumpfen, wenn die einzelnen Ableitungen kleiner als 1 sind, was zum Vanishing Gradient führt.
Sigmoid-Aktivierungsfunktion und kleine Ableitungen:
Die Sigmoid-Funktion hat Ableitungen, die maximal 0,25 betragen. Diese kleinen Ableitungswerte verschärfen das Problem des verschwindenden Gradienten, da sie bei der Multiplikation in der Kettenregel dazu führen, dass die Gradienten in den frühen Schichten noch stärker schrumpfen.
In tiefen neuronalen Netzen werden die Gradienten in den frühen Schichten oft sehr klein, was das Lernen erheblich erschwert. Dies liegt daran, dass die Berechnung der Gradienten durch die Kettenregel erfolgt, bei der viele kleine Ableitungen multipliziert werden. Wenn diese Ableitungen kleiner als 1 sind, führt die wiederholte Multiplikation zu einer exponentiellen Abschwächung der Gradienten. Besonders bei der Verwendung der Sigmoid-Aktivierungsfunktion, deren Ableitungen maximal 0,25 sind, wird dieses Problem verschärft, da die Ableitungen in den frühen Schichten noch kleiner werden. Das Ergebnis ist, dass die Gewichte in den unteren Schichten kaum noch angepasst werden können, was die Fähigkeit des Netzes, tiefgehende Muster zu lernen, stark einschränkt. Dieses Phänomen begrenzt somit die Tiefe der Netze, die effektiv trainiert werden können, ohne spezielle Gegenmaßnahmen zu ergreifen.
Das Verschwinden der Gradienten begrenzt die Lernfähigkeit tiefer Netze erheblich, da die Gradienten in den frühen Schichten so klein werden, dass sie kaum noch zur Anpassung der Gewichte beitragen. Ohne geeignete Maßnahmen kann dies dazu führen, dass nur oberflächliche Schichten effektiv trainiert werden, was die Gesamtleistung des Netzes einschränkt.
Gradientenabstieg:
Der Gradientenabstieg ist ein iteratives Optimierungsverfahren, das dazu dient, eine Funktion, insbesondere eine Verlustfunktion in maschinellen Lernmodellen, zu minimieren. Dabei werden Parameter schrittweise in Richtung des steilsten Abstiegs der Funktion angepasst. Dieser Prozess erfolgt durch wiederholte Updates der Parameter, wobei die Richtung und die Schrittgröße durch den Gradienten der Funktion bestimmt werden. Ziel ist es, die Parameter zu finden, die den Verlust möglichst gering machen, um die Modellleistung zu verbessern.
Nicht-konvexe Verlustfunktion:
Eine nicht-konvexe Verlustfunktion ist dadurch gekennzeichnet, dass sie keine geschlossene, globale Lösung besitzt, die eindeutig minimiert werden kann. Stattdessen enthält sie mehrere lokale Minima, in denen der Optimierungsprozess stecken bleiben kann. Solche Funktionen erfordern daher iterative Verfahren wie den Gradientenabstieg, da es keine analytische Lösung gibt, die den globalen Tiefpunkt garantiert. Das bedeutet, dass der Algorithmus durch wiederholte Anpassungen der Parameter nach und nach eine Annäherung an ein geeignetes Minimum sucht.
Der Gradientenabstieg findet die optimalen Parameter, die den Verlust minimieren, durch schrittweise Updates. Bei jedem Schritt wird der aktuelle Parameterwert in Richtung des steilsten Abstiegs der Verlustfunktion verschoben, was durch den Gradienten bestimmt wird. Dieser Vorgang wird wiederholt, bis eine Konvergenz erreicht ist oder die Änderungen zwischen den Iterationen vernachlässigbar werden.
Die Lernrate beeinflusst maßgeblich die Geschwindigkeit und Stabilität der Konvergenz. Eine zu hohe Lernrate kann dazu führen, dass die Parameter zu große Sprünge machen und die Optimierung instabil wird, während eine zu niedrige Lernrate den Prozess unnötig verlangsamt und möglicherweise in lokalen Minima verharrt.
Nicht-konvexe Verlustfunktionen erfordern den Einsatz iterativer Verfahren wie den Gradientenabstieg, weil es keine geschlossene Lösung gibt, die das globale Minimum garantiert. Stattdessen muss das Verfahren durch wiederholte Anpassungen der Parameter versuchen, ein möglichst gutes Minimum zu finden, wobei es immer wieder in lokalen Minima stecken bleiben kann.
Gradientenabstieg ist das fundamentale Verfahren zur Optimierung komplexer, nicht-konvexer Modelle, da es durch schrittweise Anpassungen der Parameter eine Annäherung an die besten Parameterwerte ermöglicht, obwohl keine geschlossene Lösung existiert. Die Wahl der Lernrate ist dabei entscheidend für die Effizienz und Stabilität des Prozesses.
Backpropagation: Der Begriff bezeichnet einen Algorithmus, der in neuronalen Netzen verwendet wird, um die Gradienten der Verlustfunktion bezüglich der Parameter effizient zu berechnen. Dabei wird die Kettenregel der Ableitungen angewandt, um die Fehler rückwärts durch das Netzwerk zu propagieren und die jeweiligen Gradienten zu ermitteln.
Vorwärtsdurchlauf: Beim Vorwärtsdurchlauf werden die Eingabedaten schichtweise durch das neuronale Netz geleitet. Dabei werden die Ausgaben jeder Schicht berechnet, bis die endgültige Ausgabe des Modells entsteht. Dieser Schritt ist notwendig, um den aktuellen Fehler (Verlust) zu bestimmen.
Rückwärtsdurchlauf: Der Rückwärtsdurchlauf folgt auf den Vorwärtsdurchlauf. Hierbei werden die Gradienten der Verlustfunktion bezüglich der Parameter berechnet, indem die Fehler vom Ausgang des Netzes zurück zu den Eingabeschichten propagiert werden. Dieser Prozess nutzt die Kettenregel, um die Ableitungen effizient zu bestimmen.
Backpropagation nutzt die Kettenregel, um die Gradienten in neuronalen Netzen effizient zu berechnen. Durch die Anwendung der Kettenregel werden die Ableitungen der komplexen, verschachtelten Funktionen im Netzwerk systematisch ermittelt, ohne jede Ableitung einzeln berechnen zu müssen. Das bedeutet, dass die Fehler vom Ausgang des Netzes aus rückwärts durch die Schichten propagiert werden, wobei die jeweiligen Gradienten für jede Schicht berechnet werden.
Der Verlust, der die Differenz zwischen der vorhergesagten Ausgabe und dem tatsächlichen Wert misst, wird vom Ausgang des Netzes zurück zu den Eingabeschichten propagiert. Dabei werden die Gradienten der Verlustfunktion bezüglich der Parameter jeder Schicht ermittelt. Diese Gradienten werden anschließend genutzt, um die Parameter des Netzes zu aktualisieren, was typischerweise durch eine Lernrate (η) gesteuert wird. Die Parameter W4, W3, W2 und W1 werden jeweils angepasst, indem die entsprechenden Gradienten vom aktuellen Wert subtrahiert werden.
Backpropagation ermöglicht die effiziente Berechnung der Gradienten in tiefen neuronalen Netzen, indem es die Kettenregel nutzt, um Fehler rückwärts durch das Netzwerk zu propagieren. Dadurch können die Parameter gezielt aktualisiert werden, was das Training tiefer Modelle praktikabel macht.
Sigmoid-Funktion: Die Sigmoid-Funktion ist eine S-förmige Aktivierungsfunktion, die Ausgabewerte zwischen 0 und 1 liefert. Sie wird häufig in neuronalen Netzen verwendet, um eine Wahrscheinlichkeitsinterpretation zu ermöglichen, da die Werte im Bereich von 0 bis 1 liegen. Die Funktion ist definiert als σ(x) = 1 / (1 + e^(-x)), wobei x der Eingabewert ist.
Ableitung der Sigmoid-Funktion: Die Ableitung der Sigmoid-Funktion ist σ'(x) = σ(x)(1 - σ(x)). Diese Ableitung ist maximal bei σ(x) = 0,5 und beträgt dann 0,25. Sie ist entscheidend für das Backpropagation-Verfahren, da sie die Gradienten bestimmt, die während des Trainings durch das Netzwerk fließen.
ReLU (Rectified Linear Unit): Die ReLU-Funktion ist eine Aktivierungsfunktion, die negative Eingabewerte auf 0 setzt und positive linear weitergibt. Formal ist sie definiert als ReLU(x) = max(0, x). Sie ist eine einfache, aber sehr effektive Funktion, die häufig in tiefen neuronalen Netzen verwendet wird, um die Lernfähigkeit zu verbessern.
Die Sigmoid-Aktivierung führt zu kleinen Ableitungen, was dazu führt, dass die Gradienten in den früheren Schichten des Netzwerks sehr klein werden. Dieses Phänomen wird als Vanishing Gradient Problem bezeichnet und kann dazu führen, dass das Training sehr langsam verläuft oder gar nicht mehr voranschreitet, weil die Gewichte in den unteren Schichten kaum noch angepasst werden können.
Im Gegensatz dazu hat die ReLU-Funktion eine konstante Ableitung von 1 für positive Eingaben. Das bedeutet, dass die Gradienten in diesen Fällen nicht abnehmen, sondern konstant bleiben. Dadurch wird der Gradientenverlust effektiv verhindert, was die Lernfähigkeit der Netzwerke deutlich verbessert.
Durch die Verwendung von ReLU anstelle der Sigmoid-Funktion können tiefere Netze gebaut werden, da die Gradientendurchleitung in den unteren Schichten nicht mehr durch das Vanishing Gradient Problem beeinträchtigt wird. Dies ermöglicht es, komplexere Modelle zu trainieren und die Leistung der neuronalen Netze zu steigern.
Die Wahl der Aktivierungsfunktion hat einen entscheidenden Einfluss auf die Trainingsfähigkeit tiefer Netze. Während die Sigmoid-Funktion durch kleine Ableitungen das Vanishing Gradient Problem begünstigt, ermöglicht ReLU durch ihre konstanten Ableitungen eine bessere Gradientendurchleitung und somit das Training tieferer Netzwerke.
| Technik / Konzept | Ziel / Funktion | Wichtige Aspekte | Autoren / Referenzen |
|---|---|---|---|
| Datenaugmentation | Erhöhung der Datenvielfalt, Verbesserung der Generalisierung | Transformationen wie Flippen, Skalieren, Rotieren | - |
| Dropout | Verhinderung von Overfitting, Steigerung der Robustheit | Zufälliges Deaktivieren von Neuronen, Dropout-Rate p% | - |
| Batch Normalization | Stabilisierung und Beschleunigung des Trainings | Standardisierung der Zwischenausgaben, Rauschkomponente | Y (2015), Santurkar et al. (2018) |
| Tiefe Netzwerke | Modellierung komplexer Funktionen | Mehrere versteckte Schichten | Nicht genannt |
Teste seu conhecimento sobre Effektive Deep-Learning-Techniken verstehen com 10 perguntas de múltipla escolha com correções detalhadas.
1. Was ist Datenaugmentation?
2. Was ist die Ursache dafür, dass Dropout die Generalisierungsfähigkeit eines neuronalen Netzwerks verbessert?
Memorize os conceitos chave de Effektive Deep-Learning-Techniken verstehen com 19 flashcards interativos.
Datenaugmentation — Ziel?
Vielfalt der Trainingsdaten erhöhen
Dropout — Zweck?
Overfitting verhindern, Robustheit steigern
Batch Normalization — Funktion?
Zwischenausgaben standardisieren, Training stabilisieren
Intelligence Artificielle
Bases de données
Bases de données
Bases de données
Importe seu curso e a IA gera fichas, quizzes e flashcards em 30 segundos.
Gerador de fichas