Im Projekt REMARK wurde eine Simulations-Toolbox entwickelt, um verschiedene marktbasierte Ansätze zur Beschaffung von Blindleistung zu analysieren. Hintergrund ist die zukünftige Notwendigkeit, Blindleistung nicht mehr vorrangig aus fossilen Kraftwerken zu beziehen, sondern marktbasiert aus dezentralen, erneuerbaren Quellen – im Einklang mit den Vorgaben der EU. Da es bislang kaum praktische Erfahrungen mit Blindleistungsmärkten gibt, ermöglicht die Toolbox eine detaillierte Untersuchung möglicher Marktdesigns unter realistischen Bedingungen. Dazu kombiniert sie agentenbasierte Modelle mit Netzsimulationen und bildet mittels Co-Simulation das Zusammenspiel von Strommarkt, Blindleistungsmarkt und Netzbetrieb ab. Erste Analysen im Projekt zeigen, dass eine gleichzeitige Markträumung mit einheitlicher Preisbildung zu den geringsten Gesamtkosten führen, während diskriminierende Preisverfahren und sequentielle Märkte weniger effizient sind und häufiger Investitionen des Netzbetreibers erfordern. Außerdem wurde deutlich, dass das gleichzeitige Verhalten vieler dezentraler Akteure lokale Netzengpässe verstärken kann. Die im Projekt entwickelte REMARK-Toolbox bietet somit eine fundierte Entscheidungsgrundlage für die Ausgestaltung zukünftiger Blindleistungsmärkte.
In the REMARK project, a simulation toolbox was developed to analyse various market-based approaches to the procurement of reactive power. The background to this is the future need to no longer procure reactive power primarily from fossil-fuelled power plants, but from decentralised, renewable sources and in a market-based way - in line with EU requirements. As there is hardly any practical experience with reactive power markets to date, the toolbox enables a detailed analysis of possible market designs under realistic conditions. To this end, it combines agent-based models with grid simulations and uses co-simulation to map the interaction between the electricity market, reactive power market and grid operation. Initial analyses in the project show that simultaneous market clearing with uniform pricing leads to the lowest total costs, while discriminatory pricing procedures and sequential markets are less efficient and require more frequent investments by the grid operator. It also became clear that the simultaneous behaviour of many decentralised players can exacerbate local grid bottlenecks. The REMARK toolbox developed in the project thus provides a sound basis for decision-making on the design of future reactive power markets.
Proceedings of the 16th ACM International Conference on Future and Sustainable Energy Systems [Erscheinungsort nicht ermittelbar] : Association for Computing Machinery, 2025 (2025), Seite 108-121 1038 p.
Optimal Power Flow (OPF); Benchmark; Reinforcement Learning; Umgebungsdesign; Hochschulschrift
The Optimal Power Flow (OPF) is an important optimisation problem in energy research. Neural networks and, in particular, Deep Reinforcement Learning (RL) offer great potential for solving the OPF. However, there is a lack of benchmark environments and methods for designing RL environments. Therefore, this work presents OPF-Gym, a Python framework with five OPF benchmark environments und options to design custom OPF-environments. Furthermore, the problem of automated environment design is treated and solved as an optimisation problem. Using Hyperparameter Optimisation (HPO), this approach outperforms manual designs in all benchmarks in terms of constraint satisfaction and optimisation performance. Statistical tests also show that certain design decisions are repeatedly superior, suggesting general validity. By introducing OPF-Gym, this work enables reproducible RL-OPF research. Further, it provides the first generally applicable approach for automated RL environment design.
Der Optimal Power Flow (OPF) ist ein wichtiges Optimierungsproblem der Energieforschung. Zur Lösung des OPF bieten Neuronale Netze und besonders Deep Reinforcement Learning (RL) ein großes Potenzial. Doch es fehlen Benchmark-Umgebungen sowie Methoden für das Design der RL-Umgebungen. Diese Arbeit präsentiert daher OPF-Gym, ein Python-Framework mit fünf OPF-Benchmark-Umgebungen. Weiterhin wird das automatisierte Umgebungsdesign als Optimierungsproblem behandelt und gelöst. Unter Anwendung von Hyperparameter-Optimierung (HPO) übertrifft dieser Ansatz manuelle Designs in allen Benchmarks hinsichtlich Einhaltung der Randbedingungen und Optimierungsleistung. Statistische Tests belegen zudem, dass bestimmte Designentscheidungen wiederholt überlegen sind, was auf allgemeine Gültigkeit hindeutet. Durch die Vorstellung von OPF-Gym ermöglicht diese Arbeit somit reproduzierbare RL-OPF-Forschung und liefert den ersten allgemein einsetzbaren Ansatz für automatisiertes RL-Umgebungsdesign.
