Quiz: Effektive Deep-Learning-Techniken verstehen — 10 perguntas

1. Was ist Datenaugmentation?

A. Verfahren, bei dem die Modellparameter zufällig deaktiviert werden, um Überanpassung zu verhindern

B. Normalisierung der Zwischenausgaben einer Schicht anhand der Mini-Batch-Statistiken

C. Technik zur künstlichen Erweiterung des Trainingsdatensatzes durch Modifikation irrelevanter Eingabeeigenschaften

D. Tiefe neuronale Netze mit vielen Schichten, die komplexe Funktionen modellieren

Answer: (C)

Explicação

Datenaugmentation ist eine Technik, die den Trainingsdatensatz künstlich vergrößert, indem irrelevante Eigenschaften der Eingabedaten verändert werden, um die Robustheit und Generalisierungsfähigkeit des Modells zu verbessern.

2. Was ist die Ursache dafür, dass Dropout die Generalisierungsfähigkeit eines neuronalen Netzwerks verbessert?

A. Dropout verlängert die Trainingszeit, was zu besserem Lernen führt.

B. Dropout verändert die Netzwerkarchitektur grundlegend.

C. Dropout erhöht die Lernrate während des Trainings.

D. Dropout führt dazu, dass einzelne Neuronen während des Trainings zufällig deaktiviert werden.

Answer: (D)

Explicação

Dropout wirkt, indem es während des Trainings zufällig Neuronen deaktiviert, was die Abhängigkeit einzelner Neuronen voneinander verringert und somit die Generalisierungsfähigkeit des Netzwerks verbessert.

3. Welches Jahr ist in der Kursübersicht als Veröffentlichungsjahr für den ursprünglichen Artikel zur Batch Normalization genannt?

A. 2016

B. 2015

C. 2018

D. 2014

Answer: (B)

Explicação

Das Jahr 2015 ist in der Kursübersicht als Referenz 'Y (2015)' für die ursprüngliche Veröffentlichung von Batch Normalization genannt. Dieses Jahr ist daher die korrekte Antwort auf die Frage nach dem Veröffentlichungsjahr.

4. Wer hat das Konzept der Residual-Netzwerke vorgeschlagen, um das Vanishing-Gradient-Problem in tiefen neuronalen Netzen zu lösen?

A. Szegedy et al. (2014)

B. Srivastava et al. (2014)

C. Y (2015)

D. He et al. (2015)

Answer: (D)

Explicação

He et al. (2015) sind die Autoren, die Residual-Netzwerke (ResNets) vorgestellt haben, um das Vanishing-Gradient-Problem in tiefen Netzen zu überwinden. Ihre Arbeit ist eine grundlegende Referenz in der Forschung zu tiefen neuronalen Netzen.

5. Welche Rolle übernimmt Transferlernen in der Modellierung?

A. Es sorgt dafür, dass Modelle nur auf einem einzigen Datensatz trainiert werden.

B. Es reduziert die Modellkomplexität durch Vereinfachung der Architektur.

C. Es dient der Übertragung von bereits erlerntem Wissen auf eine neue, verwandte Aufgabe.

D. Es ermöglicht das vollständige Neuentwickeln eines Modells ohne Vorwissen.

Answer: (C)

Explicação

Transferlernen hat die Funktion, das bereits erworbene Wissen eines vortrainierten Modells auf eine neue, verwandte Aufgabe zu übertragen. Dadurch kann die Lernzeit verkürzt und die Leistung bei der neuen Aufgabe verbessert werden.

6. Wie sollte man einen Lernratenplan in der Praxis anwenden, um das Training eines neuronalen Netzes zu optimieren?

A. Die Lernrate konstant bei einem festen Wert halten, um Stabilität zu gewährleisten

B. Mit einer niedrigen Lernrate starten und diese im Verlauf des Trainings schrittweise erhöhen

C. Mit einer hohen Lernrate starten und diese im Verlauf des Trainings schrittweise verringern

D. Die Lernrate zufällig während des Trainings anpassen, um Überanpassung zu vermeiden

Answer: (C)

Explicação

Die gängige Praxis bei Lernratenplänen ist, mit einer hohen Lernrate zu starten, um schnell voranzukommen, und diese dann im Verlauf des Trainings schrittweise zu verringern, um eine präzise Feinjustierung zu ermöglichen. Damit wird die Balance zwischen schneller Konvergenz und genauer Optimierung erreicht.

7. Was ist eine charakteristische Eigenschaft des Verschwindens der Gradienten in tiefen neuronalen Netzen?

A. Die Gradienten in den frühen Schichten werden so klein, dass sie kaum noch die Gewichte beeinflussen.

B. Nur in flachen Netzen tritt das Problem des Verschwindens der Gradienten auf.

C. Das Verschwinden der Gradienten tritt nur bei Verwendung der ReLU-Aktivierungsfunktion auf.

D. Die Gradienten wachsen in den frühen Schichten exponentiell, was zu Instabilitäten im Training führt.

Answer: (A)

Explicação

Das Verschwinden der Gradienten ist durch die exponentielle Abschwächung der Gradienten in den frühen Schichten bei tiefen Netzen gekennzeichnet. Insbesondere bei Funktionen wie der Sigmoid-Aktivierung, deren Ableitungen maximal 0,25 sind, schrumpfen die Gradienten bei der Rückpropagation durch viele Schichten, sodass sie kaum noch die Gewichte in den unteren Schichten beeinflussen. Dies beschränkt die Lernfähigkeit in den frühen Schichten erheblich.

8. Wie unterscheiden sich der Batch-Gradientenabstieg und der Stochastische Gradientenabstieg hinsichtlich ihrer Berechnung und Anwendung im Optimierungsprozess?

A. Der Batch-Gradientenabstieg ist schneller, weil er nur eine Stichprobe benutzt, während der Stochastische Gradientenabstieg den gesamten Datensatz benötigt.

B. Der Batch-Gradientenabstieg aktualisiert die Gewichte in kleinen Schritten, während der Stochastische Gradientenabstieg größere Schritte macht.

C. Der Batch-Gradientenabstieg verwendet keine Berechnung der Gradienten, während der Stochastische Gradientenabstieg sie direkt berechnet.

D. Der Batch-Gradientenabstieg berechnet die Gradienten anhand des gesamten Trainingsdatensatzes, während der Stochastische Gradientenabstieg nur eine zufällige Stichprobe verwendet.

Answer: (D)

Explicação

Der Batch-Gradientenabstieg berechnet die Gradienten anhand des gesamten Trainingsdatensatzes, was zu genauen Updates, aber auch zu längeren Berechnungszeiten führt. Der Stochastische Gradientenabstieg hingegen nutzt nur eine zufällige Stichprobe (Mini-Batch) pro Update, was die Berechnung beschleunigt, jedoch zu noisier Updates führt. Diese Unterscheidung ist zentral für das Verständnis der beiden Ansätze.

9. Wann wurde Backpropagation erstmals systematisch veröffentlicht und etabliert?

A. In den 2000er Jahren

B. In den 1990er Jahren

C. In den 1980er Jahren

D. In den 1970er Jahren

Answer: (C)

Explicação

Backpropagation wurde erstmals in den 1980er Jahren durch die Veröffentlichung von Rumelhart, Hinton und Williams im Jahr 1986 systematisch etabliert und bekannt gemacht, was es zu einem Meilenstein in der Entwicklung neuronaler Netzwerke machte.

10. Was ist eine Aktivierungsfunktion in einem neuronalen Netz?

A. Ein Algorithmus, der die Fehler rückwärts durch das Netzwerk propagiert

B. Eine Funktion, die die Ausgabe eines Neurons beeinflusst, indem sie die lineare Kombination der Eingaben transformiert

C. Eine Technik, um die Lernrate während des Trainings anzupassen

D. Eine Methode, um die Gewichte in einem neuronalen Netz zu initialisieren

Answer: (B)

Explicação

Eine Aktivierungsfunktion ist eine mathematische Funktion, die die Ausgabe eines Neurons beeinflusst, indem sie die lineare Kombination der Eingaben transformiert. Sie führt die Nichtlinearität ein, die notwendig ist, um komplexe Muster zu modellieren.