Zum Erreichen einer hohen Zuverlässigkeit, hohen Aktualität und hohen Energieeffizienz, ist es äußerst schwierig, die Qualität von Diensten (QoS) in einem drahtlosen Multihop-Sensornetzwerk (WSN) mit geringem Stromverbrauch bereitzustellen. Diese Arbeit trägt hauptsächlich zur Verbesserung der Leistung bei, um die QoS-Anforderungen in Multihop-WSNs mit niedrigem Stromverbrauch zu erfüllen, was für die zunehmende Verbreitung von WSNs im Internet der Dinge, im Cyber-physischen System und in anderen missionskritischen Anwendungen von wesentlicher Bedeutung ist. Insbesondere kann es entsprechend dem WSN-Protokollstapel in vier Aspekte unterteilt werden: Verbesserung der Dienstgüte durch (i) Ausnutzung des opportunistischen Mehrkanal-Routings, um den rauen Bedingungen zu widerstehen, (ii) Einsatz von Techniken des maschinellen Lernens, um die Kommunikationsredundanz zu verringern, (iii) Anwendung der gleichzeitigen Übertragung für eine zuverlässige und rechtzeitige Datensammlung und (iv) Nutzung von Anpassungen auf Anwendungsebene zur Laufzeitdynamik zusammen mit Designzeit-Wissen.
It is extremely challenging to provide, to guarantee, and to optimize the quality of services (QoS) in a low-power multihop wireless sensor network (WSN) concerning achieving high reliability, high timeliness, and high energy efficiency. This thesis mainly contributes to improving performance to satisfy the QoS requirements in low-power multihop WSNs, which is essential for the increasing adoption of WSNs in the Internet of Things, Cyber-physical System, and other mission-critical applications. Particularly, it can be divided into four aspects according to the WSN protocol stack: improving QoS by (i) exploiting multichannel opportunistic routing to resist the harsh conditions, (ii) using machine learning techniques to mitigate communication redundancy, (iii) applying concurrent transmission for reliable and timely data collection, and (iv) utilizing application-level adaptations on run-time dynamics together with design-time knowledge.
Dynamische Optimierungsprobleme treten häufig in Anwendungen auf, die Umwelteinflüssen unterliegen. Die Lösung solcher Probleme erfordert Algorithmen, die Zusammenhänge zwischen Probleminstanzen verschiedener Zeitpunkte berücksichtigen. Naturinspirierte Optimierungsverfahren werden in diesem Kontext häufig eingesetzt. Ein Ansatz, um die vorzeitige Konvergenz von naturinspirierten Metaheuristiken in dynamischen Optimierungsproblemen zu verhindern, ist Vorhersage. In dieser Arbeit wird gezeigt, dass neuronale Netze eine gute Alternative zu den bisher in dieser Domäne eingesetzten Vorhersagemodellen sind. Außerdem werden Erweiterungen von Partikelschwarmoptimierung mit Vorhersage vorgeschlagen und ein Ansatz zur Berücksichtigung der Vorhersageunsicherheit während der Optimierung vorgestellt. Zusätzlich werden ein Benchmark und ein Konvergenzmaß konstruiert, die auf die Charakteristiken von vorhersagebasierten Optimierungsalgorithmen zugeschnitten sind.
Dynamic optimization problems typically appear in real-world systems underlying environmental influence. Solving this kind of problems requires algorithms considering relationships between problem instances at different points in time. Nature-inspired optimization is frequently used to solve dynamic problems as they store information about past environments in the population by a natural means. In order to circumvent the premature convergence of nature-inspired meta-heuristics in dynamic optimization problems, prediction is one among other approaches. In this thesis, we show that neural networks are a reasonable alternative to commonly used prediction models, suggest variants extending particle swarm optimization by prediction, and propose a new strategy to take into account predictive uncertainty during optimization. In addition, we construct a benchmark generator and a convergence measure that are tailored to the characteristics of prediction-based optimization algorithms.
Tiefe neuronale Netze sind mächtige Vorhersagemodelle mit Anwendungen in vielen Disziplinen. Jedoch ist es eine schwierige Aufgabe ein gut generalisierendes Modell zu trainieren, da viel Rechenleistung, große Datensätze und korrekte Hyperparameterwahl erforderlich sind. In dieser Dissertation verbinden wir evolutionäre Ansätze mit modernen, großen neuronalen Netzen um den Trainingsprozess in den drei genannten Bereichen zu verbessern. Wir stellen die Netzwerkarchitektur als besonders wichtigen Hyperparameter heraus und entwickeln automatische Architektursuchalgorithmen. Da Netzwerkarchitektur und -gewichte eng zusammenhängen, schlagen wir einen evolutionären Trainingsalgorithmus für große neuronale Netze vor. Für alle Algorithmen legen wir Wert auf geringen Rechenbedarf, um den erhöhten Anforderungen des Suchprozesses entgegenzuwirken. Abschließend sind wir durch die Integration von multi-task learning in der Lage, die Menge benötigter Trainingsdaten zu verringern.
Deep neural networks are powerful predictive models that are applied in many different fields of study to great success. However, training a model that generalizes well is a difficult task that requires much computational power, large datasets, and a correct choice of a vast number of hyperparameters. In this thesis, we connect evolutionary approaches to modern, large-scale deep learning to improve the training process in the three mentioned areas. We highlight the influence of the network architecture as an especially important hyperparameter and develop automated architecture search methods. Since network architecture and network weights are closely related, we also propose an evolutionary large-scale network training algorithm. For all algorithms, we place special emphasis on low computational requirements to counteract the cost of the search process. Finally, we are able to reduce the required amount of training data by integrating multi-task learning.
Tiefe neuronale Netze sind sehr erfolgreich bei verschiedenen anspruchsvollen Aufgaben, z.B. bei der Bild- und Sprachklassifikation. Dennoch sind sie anfällig gegenüber Angriffen bei denen die Eingabe leicht verändert wird, was zu einer Fehlklassifikation führt. In dieser Arbeit wird zunächst ein neues Angriffsszenario eingeführt um solche Angriffe gegen Straßenschilder ohne physische Manipulation durchzuführen. Danach wird eine Abwehrstrategie vorgestellt, deren Grundidee es ist eine unbekannte Eingabe intern zu manipulieren. Auf Basis der interen Manipulation wird entschieden ob die initiale Eingabe originär oder bereits manipuliert war. Im zweiten Fall kann durch die interne Manipulation die originale Klasse wiederhergestellt werden. Durch Experimente wird gezeigt, dass dieses Verfahren sowohl in der Bild- als auch Sprachklassifikation angewendet werden kann. Zuletzt wird gezeigt, dass das Verfahren auch verwendet werden kann um allgemeinere out-of-distribution Eingaben zu erkennen.
Deep neural networks are very successful in various demanding tasks, e.g. in image and speech classification. Nevertheless, they are vulnerable to attacks where the input is slightly modified, which leads to misclassification. In this thesis a new attack scenario is introduced to perform such attacks against road signs without physical manipulation. Then a defence strategy is presented, whose basic idea is to manipulate an unknown input internally. Based on the internal manipulation it is decided whether the initial input was original or already manipulated. In the second case the original class can be restored by the internal manipulation. Experiments show that this procedure can be applied in both image and speech classification. Finally, it is shown that the method can also be used to detect more general out-of-distribution input.
Tiefe neuronale Netze sind mächtige Vorhersagemodelle mit Anwendungen in vielen Disziplinen. Jedoch ist es eine schwierige Aufgabe ein gut generalisierendes Modell zu trainieren, da viel Rechenleistung, große Datensätze und korrekte Hyperparameterwahl erforderlich sind. In dieser Dissertation verbinden wir evolutionäre Ansätze mit modernen, großen neuronalen Netzen um den Trainingsprozess in den drei genannten Bereichen zu verbessern. Wir stellen die Netzwerkarchitektur als besonders wichtigen Hyperparameter heraus und entwickeln automatische Architektursuchalgorithmen. Da Netzwerkarchitektur und -gewichte eng zusammenhängen, schlagen wir einen evolutionären Trainingsalgorithmus für große neuronale Netze vor. Für alle Algorithmen legen wir Wert auf geringen Rechenbedarf, um den erhöhten Anforderungen des Suchprozesses entgegenzuwirken. Abschließend sind wir durch die Integration von multi-task learning in der Lage, die Menge benötigter Trainingsdaten zu verringern.
Deep neural networks are powerful predictive models that are applied in many different fields of study to great success. However, training a model that generalizes well is a difficult task that requires much computational power, large datasets, and a correct choice of a vast number of hyperparameters. In this thesis, we connect evolutionary approaches to modern, large-scale deep learning to improve the training process in the three mentioned areas. We highlight the influence of the network architecture as an especially important hyperparameter and develop automated architecture search methods. Since network architecture and network weights are closely related, we also propose an evolutionary large-scale network training algorithm. For all algorithms, we place special emphasis on low computational requirements to counteract the cost of the search process. Finally, we are able to reduce the required amount of training data by integrating multi-task learning.
Tiefe neuronale Netze sind sehr erfolgreich bei verschiedenen anspruchsvollen Aufgaben, z.B. bei der Bild- und Sprachklassifikation. Dennoch sind sie anfällig gegenüber Angriffen bei denen die Eingabe leicht verändert wird, was zu einer Fehlklassifikation führt. In dieser Arbeit wird zunächst ein neues Angriffsszenario eingeführt um solche Angriffe gegen Straßenschilder ohne physische Manipulation durchzuführen. Danach wird eine Abwehrstrategie vorgestellt, deren Grundidee es ist eine unbekannte Eingabe intern zu manipulieren. Auf Basis der interen Manipulation wird entschieden ob die initiale Eingabe originär oder bereits manipuliert war. Im zweiten Fall kann durch die interne Manipulation die originale Klasse wiederhergestellt werden. Durch Experimente wird gezeigt, dass dieses Verfahren sowohl in der Bild- als auch Sprachklassifikation angewendet werden kann. Zuletzt wird gezeigt, dass das Verfahren auch verwendet werden kann um allgemeinere out-of-distribution Eingaben zu erkennen.
Deep neural networks are very successful in various demanding tasks, e.g. in image and speech classification. Nevertheless, they are vulnerable to attacks where the input is slightly modified, which leads to misclassification. In this thesis a new attack scenario is introduced to perform such attacks against road signs without physical manipulation. Then a defence strategy is presented, whose basic idea is to manipulate an unknown input internally. Based on the internal manipulation it is decided whether the initial input was original or already manipulated. In the second case the original class can be restored by the internal manipulation. Experiments show that this procedure can be applied in both image and speech classification. Finally, it is shown that the method can also be used to detect more general out-of-distribution input.
IEEE Congress on Evolutionary Computation (2019 : Wellington) 2019 IEEE Congress on Evolutionary Computation (CEC) Piscataway, NJ, USA : IEEE, 2019 (2019), Seite 823-830 1 Online-Ressource