Optimal Power Flow (OPF); Benchmark; Reinforcement Learning; Umgebungsdesign; Hochschulschrift
The Optimal Power Flow (OPF) is an important optimisation problem in energy research. Neural networks and, in particular, Deep Reinforcement Learning (RL) offer great potential for solving the OPF. However, there is a lack of benchmark environments and methods for designing RL environments. Therefore, this work presents OPF-Gym, a Python framework with five OPF benchmark environments und options to design custom OPF-environments. Furthermore, the problem of automated environment design is treated and solved as an optimisation problem. Using Hyperparameter Optimisation (HPO), this approach outperforms manual designs in all benchmarks in terms of constraint satisfaction and optimisation performance. Statistical tests also show that certain design decisions are repeatedly superior, suggesting general validity. By introducing OPF-Gym, this work enables reproducible RL-OPF research. Further, it provides the first generally applicable approach for automated RL environment design.
Der Optimal Power Flow (OPF) ist ein wichtiges Optimierungsproblem der Energieforschung. Zur Lösung des OPF bieten Neuronale Netze und besonders Deep Reinforcement Learning (RL) ein großes Potenzial. Doch es fehlen Benchmark-Umgebungen sowie Methoden für das Design der RL-Umgebungen. Diese Arbeit präsentiert daher OPF-Gym, ein Python-Framework mit fünf OPF-Benchmark-Umgebungen. Weiterhin wird das automatisierte Umgebungsdesign als Optimierungsproblem behandelt und gelöst. Unter Anwendung von Hyperparameter-Optimierung (HPO) übertrifft dieser Ansatz manuelle Designs in allen Benchmarks hinsichtlich Einhaltung der Randbedingungen und Optimierungsleistung. Statistische Tests belegen zudem, dass bestimmte Designentscheidungen wiederholt überlegen sind, was auf allgemeine Gültigkeit hindeutet. Durch die Vorstellung von OPF-Gym ermöglicht diese Arbeit somit reproduzierbare RL-OPF-Forschung und liefert den ersten allgemein einsetzbaren Ansatz für automatisiertes RL-Umgebungsdesign.
Proceedings of the Twelfth ACM International Conference on Future Energy Systems New York,NY,United States : Association for Computing Machinery, 2021 (2021), Seite 292-293 1 online resource (528 pages)
von Sebastian Buchholz ; Paul Hendrik Tiemann ; Thomas Wolgast ; Alexandra Scheunert ; Jana Gerlach ; Neelotpal Majumdar ; Michael H. Breitner ; Lutz Hofmann ; Astrid Nieße ; Hartmut Weyer
Energy Informatics and Electro Mobility ICT Oldenburg : BIS-Verlag der Carl von Ossietzky Universität, 2021 (2021), Seite 33-39 1 Online-Ressource (87 Seiten, 4 MB)
von Eric M. S. P. Veith ; Stephan Balduin ; Nils Wenninghoff ; Martin Tröschel ; Lars Fischer ; Astrid Nieße ; Thomas Wolgast ; Richard Sethmann ; Bastian Fraune ; Torben Woltjen
