Tiefe neuronale Netze sind mächtige Vorhersagemodelle mit Anwendungen in vielen Disziplinen. Jedoch ist es eine schwierige Aufgabe ein gut generalisierendes Modell zu trainieren, da viel Rechenleistung, große Datensätze und korrekte Hyperparameterwahl erforderlich sind. In dieser Dissertation verbinden wir evolutionäre Ansätze mit modernen, großen neuronalen Netzen um den Trainingsprozess in den drei genannten Bereichen zu verbessern. Wir stellen die Netzwerkarchitektur als besonders wichtigen Hyperparameter heraus und entwickeln automatische Architektursuchalgorithmen. Da Netzwerkarchitektur und -gewichte eng zusammenhängen, schlagen wir einen evolutionären Trainingsalgorithmus für große neuronale Netze vor. Für alle Algorithmen legen wir Wert auf geringen Rechenbedarf, um den erhöhten Anforderungen des Suchprozesses entgegenzuwirken. Abschließend sind wir durch die Integration von multi-task learning in der Lage, die Menge benötigter Trainingsdaten zu verringern.
Deep neural networks are powerful predictive models that are applied in many different fields of study to great success. However, training a model that generalizes well is a difficult task that requires much computational power, large datasets, and a correct choice of a vast number of hyperparameters. In this thesis, we connect evolutionary approaches to modern, large-scale deep learning to improve the training process in the three mentioned areas. We highlight the influence of the network architecture as an especially important hyperparameter and develop automated architecture search methods. Since network architecture and network weights are closely related, we also propose an evolutionary large-scale network training algorithm. For all algorithms, we place special emphasis on low computational requirements to counteract the cost of the search process. Finally, we are able to reduce the required amount of training data by integrating multi-task learning.
Dynamische Optimierungsprobleme treten häufig in Anwendungen auf, die Umwelteinflüssen unterliegen. Die Lösung solcher Probleme erfordert Algorithmen, die Zusammenhänge zwischen Probleminstanzen verschiedener Zeitpunkte berücksichtigen. Naturinspirierte Optimierungsverfahren werden in diesem Kontext häufig eingesetzt. Ein Ansatz, um die vorzeitige Konvergenz von naturinspirierten Metaheuristiken in dynamischen Optimierungsproblemen zu verhindern, ist Vorhersage. In dieser Arbeit wird gezeigt, dass neuronale Netze eine gute Alternative zu den bisher in dieser Domäne eingesetzten Vorhersagemodellen sind. Außerdem werden Erweiterungen von Partikelschwarmoptimierung mit Vorhersage vorgeschlagen und ein Ansatz zur Berücksichtigung der Vorhersageunsicherheit während der Optimierung vorgestellt. Zusätzlich werden ein Benchmark und ein Konvergenzmaß konstruiert, die auf die Charakteristiken von vorhersagebasierten Optimierungsalgorithmen zugeschnitten sind.
Dynamic optimization problems typically appear in real-world systems underlying environmental influence. Solving this kind of problems requires algorithms considering relationships between problem instances at different points in time. Nature-inspired optimization is frequently used to solve dynamic problems as they store information about past environments in the population by a natural means. In order to circumvent the premature convergence of nature-inspired meta-heuristics in dynamic optimization problems, prediction is one among other approaches. In this thesis, we show that neural networks are a reasonable alternative to commonly used prediction models, suggest variants extending particle swarm optimization by prediction, and propose a new strategy to take into account predictive uncertainty during optimization. In addition, we construct a benchmark generator and a convergence measure that are tailored to the characteristics of prediction-based optimization algorithms.
Zum Erreichen einer hohen Zuverlässigkeit, hohen Aktualität und hohen Energieeffizienz, ist es äußerst schwierig, die Qualität von Diensten (QoS) in einem drahtlosen Multihop-Sensornetzwerk (WSN) mit geringem Stromverbrauch bereitzustellen. Diese Arbeit trägt hauptsächlich zur Verbesserung der Leistung bei, um die QoS-Anforderungen in Multihop-WSNs mit niedrigem Stromverbrauch zu erfüllen, was für die zunehmende Verbreitung von WSNs im Internet der Dinge, im Cyber-physischen System und in anderen missionskritischen Anwendungen von wesentlicher Bedeutung ist. Insbesondere kann es entsprechend dem WSN-Protokollstapel in vier Aspekte unterteilt werden: Verbesserung der Dienstgüte durch (i) Ausnutzung des opportunistischen Mehrkanal-Routings, um den rauen Bedingungen zu widerstehen, (ii) Einsatz von Techniken des maschinellen Lernens, um die Kommunikationsredundanz zu verringern, (iii) Anwendung der gleichzeitigen Übertragung für eine zuverlässige und rechtzeitige Datensammlung und (iv) Nutzung von Anpassungen auf Anwendungsebene zur Laufzeitdynamik zusammen mit Designzeit-Wissen.
It is extremely challenging to provide, to guarantee, and to optimize the quality of services (QoS) in a low-power multihop wireless sensor network (WSN) concerning achieving high reliability, high timeliness, and high energy efficiency. This thesis mainly contributes to improving performance to satisfy the QoS requirements in low-power multihop WSNs, which is essential for the increasing adoption of WSNs in the Internet of Things, Cyber-physical System, and other mission-critical applications. Particularly, it can be divided into four aspects according to the WSN protocol stack: improving QoS by (i) exploiting multichannel opportunistic routing to resist the harsh conditions, (ii) using machine learning techniques to mitigate communication redundancy, (iii) applying concurrent transmission for reliable and timely data collection, and (iv) utilizing application-level adaptations on run-time dynamics together with design-time knowledge.
Advances in Self-Organizing Maps, Learning Vector Quantization, Clustering and Data Visualization Cham : Springer, 2020 (2020), Seite 23-32 1 Online-Ressource (XII, 342 p. 161 illus., 113 illus. in color)
KI 2020: Advances in Artificial Intelligence 1st ed. 2020. Cham : Springer International Publishing, 2020 (2020), Seite 267-274 1 Online-Ressource(XIII, 360 p. 33 illus.)
Das Erstellen von Lernmaterialien und die Planung von Unterricht ist eine alltägliche Aufgabe von LehrerInnen. In den letzten Jahren hat das Interesse an der Entwicklung von kompetenzorientierten Unterricht immer weiter zugenommen. Keine Ausnahme ist dabei der Informatikunterricht. Von Bedeutung war in der bisherigen Forschung die Definition von Informatik-Kompetenzen, die in dieser Arbeit die Grundlage für die automatisierte Untersuchung von Unterrichtsmaterialien sind. Bislang wurde in keiner Studie spezifisch untersucht, wie die Verwendung von Information Retrieval und Text Mining genutzt werden kann, um die Entwicklung kompetenzorientierter Inhalte zu unterstützen. Die Strukturierung von Lernmaterialen und deren kompetenzorientierte Klassifizierung sind Kern dieser Arbeit. Basierend auf Curricula gewährt die Klassifikation von 5100 Materialien Einblicke in die inhaltliche und prozessorientierte Ausrichtung von Unterricht und deckt dabei die gängigsten Schulinformatik-Begriffe auf.
The development and preparation of teaching and learning materials are the daily chores of Computer Science (CS) teachers. The last few years have seen an increased interest in the development of valuable and competence oriented teaching. Possible Computer Science lesson contents and educational concepts have been widely studied. Towards a CS teaching culture, students’ competences are of particular importance. Therefore, this work uses competence descriptions to highlight the direct impact on everyday school life and implements a framework to apply a competence-oriented Text Mining (TM) and Information Retrieval (IR) process. To date, no study has explicitly looked at how IR and TM can be used to classify competence-oriented lesson content. Based on German Curricula, 5.100 CS materials are classified into the content- and process-orientation to generate automated competence estimations. Furthermore, a Difference Analysis compares CS materials with everyday language content.
Seite 2 von 12
