Tiefe neuronale Netze sind sehr erfolgreich bei verschiedenen anspruchsvollen Aufgaben, z.B. bei der Bild- und Sprachklassifikation. Dennoch sind sie anfällig gegenüber Angriffen bei denen die Eingabe leicht verändert wird, was zu einer Fehlklassifikation führt. In dieser Arbeit wird zunächst ein neues Angriffsszenario eingeführt um solche Angriffe gegen Straßenschilder ohne physische Manipulation durchzuführen. Danach wird eine Abwehrstrategie vorgestellt, deren Grundidee es ist eine unbekannte Eingabe intern zu manipulieren. Auf Basis der interen Manipulation wird entschieden ob die initiale Eingabe originär oder bereits manipuliert war. Im zweiten Fall kann durch die interne Manipulation die originale Klasse wiederhergestellt werden. Durch Experimente wird gezeigt, dass dieses Verfahren sowohl in der Bild- als auch Sprachklassifikation angewendet werden kann. Zuletzt wird gezeigt, dass das Verfahren auch verwendet werden kann um allgemeinere out-of-distribution Eingaben zu erkennen.
Deep neural networks are very successful in various demanding tasks, e.g. in image and speech classification. Nevertheless, they are vulnerable to attacks where the input is slightly modified, which leads to misclassification. In this thesis a new attack scenario is introduced to perform such attacks against road signs without physical manipulation. Then a defence strategy is presented, whose basic idea is to manipulate an unknown input internally. Based on the internal manipulation it is decided whether the initial input was original or already manipulated. In the second case the original class can be restored by the internal manipulation. Experiments show that this procedure can be applied in both image and speech classification. Finally, it is shown that the method can also be used to detect more general out-of-distribution input.
Tiefe neuronale Netze sind mächtige Vorhersagemodelle mit Anwendungen in vielen Disziplinen. Jedoch ist es eine schwierige Aufgabe ein gut generalisierendes Modell zu trainieren, da viel Rechenleistung, große Datensätze und korrekte Hyperparameterwahl erforderlich sind. In dieser Dissertation verbinden wir evolutionäre Ansätze mit modernen, großen neuronalen Netzen um den Trainingsprozess in den drei genannten Bereichen zu verbessern. Wir stellen die Netzwerkarchitektur als besonders wichtigen Hyperparameter heraus und entwickeln automatische Architektursuchalgorithmen. Da Netzwerkarchitektur und -gewichte eng zusammenhängen, schlagen wir einen evolutionären Trainingsalgorithmus für große neuronale Netze vor. Für alle Algorithmen legen wir Wert auf geringen Rechenbedarf, um den erhöhten Anforderungen des Suchprozesses entgegenzuwirken. Abschließend sind wir durch die Integration von multi-task learning in der Lage, die Menge benötigter Trainingsdaten zu verringern.
Deep neural networks are powerful predictive models that are applied in many different fields of study to great success. However, training a model that generalizes well is a difficult task that requires much computational power, large datasets, and a correct choice of a vast number of hyperparameters. In this thesis, we connect evolutionary approaches to modern, large-scale deep learning to improve the training process in the three mentioned areas. We highlight the influence of the network architecture as an especially important hyperparameter and develop automated architecture search methods. Since network architecture and network weights are closely related, we also propose an evolutionary large-scale network training algorithm. For all algorithms, we place special emphasis on low computational requirements to counteract the cost of the search process. Finally, we are able to reduce the required amount of training data by integrating multi-task learning.
Tiefe neuronale Netze sind sehr erfolgreich bei verschiedenen anspruchsvollen Aufgaben, z.B. bei der Bild- und Sprachklassifikation. Dennoch sind sie anfällig gegenüber Angriffen bei denen die Eingabe leicht verändert wird, was zu einer Fehlklassifikation führt. In dieser Arbeit wird zunächst ein neues Angriffsszenario eingeführt um solche Angriffe gegen Straßenschilder ohne physische Manipulation durchzuführen. Danach wird eine Abwehrstrategie vorgestellt, deren Grundidee es ist eine unbekannte Eingabe intern zu manipulieren. Auf Basis der interen Manipulation wird entschieden ob die initiale Eingabe originär oder bereits manipuliert war. Im zweiten Fall kann durch die interne Manipulation die originale Klasse wiederhergestellt werden. Durch Experimente wird gezeigt, dass dieses Verfahren sowohl in der Bild- als auch Sprachklassifikation angewendet werden kann. Zuletzt wird gezeigt, dass das Verfahren auch verwendet werden kann um allgemeinere out-of-distribution Eingaben zu erkennen.
Deep neural networks are very successful in various demanding tasks, e.g. in image and speech classification. Nevertheless, they are vulnerable to attacks where the input is slightly modified, which leads to misclassification. In this thesis a new attack scenario is introduced to perform such attacks against road signs without physical manipulation. Then a defence strategy is presented, whose basic idea is to manipulate an unknown input internally. Based on the internal manipulation it is decided whether the initial input was original or already manipulated. In the second case the original class can be restored by the internal manipulation. Experiments show that this procedure can be applied in both image and speech classification. Finally, it is shown that the method can also be used to detect more general out-of-distribution input.
IEEE Congress on Evolutionary Computation (2019 : Wellington) 2019 IEEE Congress on Evolutionary Computation (CEC) Piscataway, NJ, USA : IEEE, 2019 (2019), Seite 823-830 1 Online-Ressource
Seite 3 von 12
