Das Erstellen von Lernmaterialien und die Planung von Unterricht ist eine alltägliche Aufgabe von LehrerInnen. In den letzten Jahren hat das Interesse an der Entwicklung von kompetenzorientierten Unterricht immer weiter zugenommen. Keine Ausnahme ist dabei der Informatikunterricht. Von Bedeutung war in der bisherigen Forschung die Definition von Informatik-Kompetenzen, die in dieser Arbeit die Grundlage für die automatisierte Untersuchung von Unterrichtsmaterialien sind. Bislang wurde in keiner Studie spezifisch untersucht, wie die Verwendung von Information Retrieval und Text Mining genutzt werden kann, um die Entwicklung kompetenzorientierter Inhalte zu unterstützen. Die Strukturierung von Lernmaterialen und deren kompetenzorientierte Klassifizierung sind Kern dieser Arbeit. Basierend auf Curricula gewährt die Klassifikation von 5100 Materialien Einblicke in die inhaltliche und prozessorientierte Ausrichtung von Unterricht und deckt dabei die gängigsten Schulinformatik-Begriffe auf.
The development and preparation of teaching and learning materials are the daily chores of Computer Science (CS) teachers. The last few years have seen an increased interest in the development of valuable and competence oriented teaching. Possible Computer Science lesson contents and educational concepts have been widely studied. Towards a CS teaching culture, students’ competences are of particular importance. Therefore, this work uses competence descriptions to highlight the direct impact on everyday school life and implements a framework to apply a competence-oriented Text Mining (TM) and Information Retrieval (IR) process. To date, no study has explicitly looked at how IR and TM can be used to classify competence-oriented lesson content. Based on German Curricula, 5.100 CS materials are classified into the content- and process-orientation to generate automated competence estimations. Furthermore, a Difference Analysis compares CS materials with everyday language content.
Dynamische Optimierungsprobleme treten häufig in Anwendungen auf, die Umwelteinflüssen unterliegen. Die Lösung solcher Probleme erfordert Algorithmen, die Zusammenhänge zwischen Probleminstanzen verschiedener Zeitpunkte berücksichtigen. Naturinspirierte Optimierungsverfahren werden in diesem Kontext häufig eingesetzt. Ein Ansatz, um die vorzeitige Konvergenz von naturinspirierten Metaheuristiken in dynamischen Optimierungsproblemen zu verhindern, ist Vorhersage. In dieser Arbeit wird gezeigt, dass neuronale Netze eine gute Alternative zu den bisher in dieser Domäne eingesetzten Vorhersagemodellen sind. Außerdem werden Erweiterungen von Partikelschwarmoptimierung mit Vorhersage vorgeschlagen und ein Ansatz zur Berücksichtigung der Vorhersageunsicherheit während der Optimierung vorgestellt. Zusätzlich werden ein Benchmark und ein Konvergenzmaß konstruiert, die auf die Charakteristiken von vorhersagebasierten Optimierungsalgorithmen zugeschnitten sind.
Dynamic optimization problems typically appear in real-world systems underlying environmental influence. Solving this kind of problems requires algorithms considering relationships between problem instances at different points in time. Nature-inspired optimization is frequently used to solve dynamic problems as they store information about past environments in the population by a natural means. In order to circumvent the premature convergence of nature-inspired meta-heuristics in dynamic optimization problems, prediction is one among other approaches. In this thesis, we show that neural networks are a reasonable alternative to commonly used prediction models, suggest variants extending particle swarm optimization by prediction, and propose a new strategy to take into account predictive uncertainty during optimization. In addition, we construct a benchmark generator and a convergence measure that are tailored to the characteristics of prediction-based optimization algorithms.
Tiefe neuronale Netze sind mächtige Vorhersagemodelle mit Anwendungen in vielen Disziplinen. Jedoch ist es eine schwierige Aufgabe ein gut generalisierendes Modell zu trainieren, da viel Rechenleistung, große Datensätze und korrekte Hyperparameterwahl erforderlich sind. In dieser Dissertation verbinden wir evolutionäre Ansätze mit modernen, großen neuronalen Netzen um den Trainingsprozess in den drei genannten Bereichen zu verbessern. Wir stellen die Netzwerkarchitektur als besonders wichtigen Hyperparameter heraus und entwickeln automatische Architektursuchalgorithmen. Da Netzwerkarchitektur und -gewichte eng zusammenhängen, schlagen wir einen evolutionären Trainingsalgorithmus für große neuronale Netze vor. Für alle Algorithmen legen wir Wert auf geringen Rechenbedarf, um den erhöhten Anforderungen des Suchprozesses entgegenzuwirken. Abschließend sind wir durch die Integration von multi-task learning in der Lage, die Menge benötigter Trainingsdaten zu verringern.
Deep neural networks are powerful predictive models that are applied in many different fields of study to great success. However, training a model that generalizes well is a difficult task that requires much computational power, large datasets, and a correct choice of a vast number of hyperparameters. In this thesis, we connect evolutionary approaches to modern, large-scale deep learning to improve the training process in the three mentioned areas. We highlight the influence of the network architecture as an especially important hyperparameter and develop automated architecture search methods. Since network architecture and network weights are closely related, we also propose an evolutionary large-scale network training algorithm. For all algorithms, we place special emphasis on low computational requirements to counteract the cost of the search process. Finally, we are able to reduce the required amount of training data by integrating multi-task learning.
Tiefe neuronale Netze sind sehr erfolgreich bei verschiedenen anspruchsvollen Aufgaben, z.B. bei der Bild- und Sprachklassifikation. Dennoch sind sie anfällig gegenüber Angriffen bei denen die Eingabe leicht verändert wird, was zu einer Fehlklassifikation führt. In dieser Arbeit wird zunächst ein neues Angriffsszenario eingeführt um solche Angriffe gegen Straßenschilder ohne physische Manipulation durchzuführen. Danach wird eine Abwehrstrategie vorgestellt, deren Grundidee es ist eine unbekannte Eingabe intern zu manipulieren. Auf Basis der interen Manipulation wird entschieden ob die initiale Eingabe originär oder bereits manipuliert war. Im zweiten Fall kann durch die interne Manipulation die originale Klasse wiederhergestellt werden. Durch Experimente wird gezeigt, dass dieses Verfahren sowohl in der Bild- als auch Sprachklassifikation angewendet werden kann. Zuletzt wird gezeigt, dass das Verfahren auch verwendet werden kann um allgemeinere out-of-distribution Eingaben zu erkennen.
Deep neural networks are very successful in various demanding tasks, e.g. in image and speech classification. Nevertheless, they are vulnerable to attacks where the input is slightly modified, which leads to misclassification. In this thesis a new attack scenario is introduced to perform such attacks against road signs without physical manipulation. Then a defence strategy is presented, whose basic idea is to manipulate an unknown input internally. Based on the internal manipulation it is decided whether the initial input was original or already manipulated. In the second case the original class can be restored by the internal manipulation. Experiments show that this procedure can be applied in both image and speech classification. Finally, it is shown that the method can also be used to detect more general out-of-distribution input.
Tiefe neuronale Netze sind sehr erfolgreich bei verschiedenen anspruchsvollen Aufgaben, z.B. bei der Bild- und Sprachklassifikation. Dennoch sind sie anfällig gegenüber Angriffen bei denen die Eingabe leicht verändert wird, was zu einer Fehlklassifikation führt. In dieser Arbeit wird zunächst ein neues Angriffsszenario eingeführt um solche Angriffe gegen Straßenschilder ohne physische Manipulation durchzuführen. Danach wird eine Abwehrstrategie vorgestellt, deren Grundidee es ist eine unbekannte Eingabe intern zu manipulieren. Auf Basis der interen Manipulation wird entschieden ob die initiale Eingabe originär oder bereits manipuliert war. Im zweiten Fall kann durch die interne Manipulation die originale Klasse wiederhergestellt werden. Durch Experimente wird gezeigt, dass dieses Verfahren sowohl in der Bild- als auch Sprachklassifikation angewendet werden kann. Zuletzt wird gezeigt, dass das Verfahren auch verwendet werden kann um allgemeinere out-of-distribution Eingaben zu erkennen.
Deep neural networks are very successful in various demanding tasks, e.g. in image and speech classification. Nevertheless, they are vulnerable to attacks where the input is slightly modified, which leads to misclassification. In this thesis a new attack scenario is introduced to perform such attacks against road signs without physical manipulation. Then a defence strategy is presented, whose basic idea is to manipulate an unknown input internally. Based on the internal manipulation it is decided whether the initial input was original or already manipulated. In the second case the original class can be restored by the internal manipulation. Experiments show that this procedure can be applied in both image and speech classification. Finally, it is shown that the method can also be used to detect more general out-of-distribution input.
Tiefe neuronale Netze sind mächtige Vorhersagemodelle mit Anwendungen in vielen Disziplinen. Jedoch ist es eine schwierige Aufgabe ein gut generalisierendes Modell zu trainieren, da viel Rechenleistung, große Datensätze und korrekte Hyperparameterwahl erforderlich sind. In dieser Dissertation verbinden wir evolutionäre Ansätze mit modernen, großen neuronalen Netzen um den Trainingsprozess in den drei genannten Bereichen zu verbessern. Wir stellen die Netzwerkarchitektur als besonders wichtigen Hyperparameter heraus und entwickeln automatische Architektursuchalgorithmen. Da Netzwerkarchitektur und -gewichte eng zusammenhängen, schlagen wir einen evolutionären Trainingsalgorithmus für große neuronale Netze vor. Für alle Algorithmen legen wir Wert auf geringen Rechenbedarf, um den erhöhten Anforderungen des Suchprozesses entgegenzuwirken. Abschließend sind wir durch die Integration von multi-task learning in der Lage, die Menge benötigter Trainingsdaten zu verringern.
Deep neural networks are powerful predictive models that are applied in many different fields of study to great success. However, training a model that generalizes well is a difficult task that requires much computational power, large datasets, and a correct choice of a vast number of hyperparameters. In this thesis, we connect evolutionary approaches to modern, large-scale deep learning to improve the training process in the three mentioned areas. We highlight the influence of the network architecture as an especially important hyperparameter and develop automated architecture search methods. Since network architecture and network weights are closely related, we also propose an evolutionary large-scale network training algorithm. For all algorithms, we place special emphasis on low computational requirements to counteract the cost of the search process. Finally, we are able to reduce the required amount of training data by integrating multi-task learning.
IEEE Congress on Evolutionary Computation (2019 : Wellington) 2019 IEEE Congress on Evolutionary Computation (CEC) Piscataway, NJ, USA : IEEE, 2019 (2019), Seite 823-830 1 Online-Ressource