Optimal Power Flow (OPF); Benchmark; Reinforcement Learning; Umgebungsdesign; Hochschulschrift
The Optimal Power Flow (OPF) is an important optimisation problem in energy research. Neural networks and, in particular, Deep Reinforcement Learning (RL) offer great potential for solving the OPF. However, there is a lack of benchmark environments and methods for designing RL environments. Therefore, this work presents OPF-Gym, a Python framework with five OPF benchmark environments und options to design custom OPF-environments. Furthermore, the problem of automated environment design is treated and solved as an optimisation problem. Using Hyperparameter Optimisation (HPO), this approach outperforms manual designs in all benchmarks in terms of constraint satisfaction and optimisation performance. Statistical tests also show that certain design decisions are repeatedly superior, suggesting general validity. By introducing OPF-Gym, this work enables reproducible RL-OPF research. Further, it provides the first generally applicable approach for automated RL environment design.
Der Optimal Power Flow (OPF) ist ein wichtiges Optimierungsproblem der Energieforschung. Zur Lösung des OPF bieten Neuronale Netze und besonders Deep Reinforcement Learning (RL) ein großes Potenzial. Doch es fehlen Benchmark-Umgebungen sowie Methoden für das Design der RL-Umgebungen. Diese Arbeit präsentiert daher OPF-Gym, ein Python-Framework mit fünf OPF-Benchmark-Umgebungen. Weiterhin wird das automatisierte Umgebungsdesign als Optimierungsproblem behandelt und gelöst. Unter Anwendung von Hyperparameter-Optimierung (HPO) übertrifft dieser Ansatz manuelle Designs in allen Benchmarks hinsichtlich Einhaltung der Randbedingungen und Optimierungsleistung. Statistische Tests belegen zudem, dass bestimmte Designentscheidungen wiederholt überlegen sind, was auf allgemeine Gültigkeit hindeutet. Durch die Vorstellung von OPF-Gym ermöglicht diese Arbeit somit reproduzierbare RL-OPF-Forschung und liefert den ersten allgemein einsetzbaren Ansatz für automatisiertes RL-Umgebungsdesign.
Astrid Nieße; Richard Hanke-Rauschenbach; Wolfram Wingerath
Oldenburg: BIS der Universität Oldenburg
1 Online-Ressource.
Dissertation Universität Oldenburg 2025
Hochschulschrift
Producing green hydrogen through water electrolysis using renewable electricity is key to decarbonizing industries. Proton exchange membrane (PEM) water electrolysis is a mature technology with advantages such as allowing for fast dynamic operations. However, its adoption is limited by the high cost and short lifetime. To address this, operators must maximize utilization by optimizing operations and maintenance, which requires monitoring the state of health (SOH). Existing methods rely on laboratory measurements under controlled conditions, unsuitable for industrial use. This research focuses on voltage as an easily measurable degradation indicator and uses data-driven methods to correct the measured voltage to predefined reference conditions, denoted as Urc – the SOH indicator. Two methods are proposed: one based on transfer linear regression, adjusting voltage models with new data; and another using Bayesian inference, with fleet knowledge as prior. These methods are validated with both industrial and synthetic data. They enable automatic SOH monitoring, enhance safety and profitability, and provide insights into degradation behavior.
Die Produktion von grünem Wasserstoff durch Elektrolyse ist entscheidend für die Dekarbonisierung. Die Protonenaustauschmembran-(PEM)-Wasserelektrolyse bietet Vorteile wie schnelle dynamische Betriebsweisen. Ihre Verbreitung wird jedoch durch hohe Kosten und kurze Lebensdauer begrenzt. Um dem entgegenzuwirken, müssen Betreiber Betrieb und Wartung optimieren, was die Überwachung des Gesundheitszustands (State of Health, SOH) erfordert. Bestehende Methoden basieren auf Laboruntersuchungen und sind für industrielle Anwendungen ungeeignet. Diese Forschung konzentriert sich auf Spannungsdegradation und nutzt datengetriebene Methoden, um gemessene Spannungen auf vordefinierte Referenzbedingungen (Urc – SOH-Indikator) zu korrigieren. Zwei Methoden werden entwickelt: eine basiert auf der Transfer-Linearregression, die Spannungsmodelle kontinuierlich anpasst; eine auf der Bayesschen Inferenz mit Flottenwissen als Prior. Beide Methoden, validiert mit industriellen und synthetischen Daten, ermöglichen automatische SOH-Überwachung, erhöhen Sicherheit und Rentabilität und liefern Einblicke in das Degradationsverhalten.
