Введение 3
Постановка задачи 4
Обзор литературы 5
Глава 1. Обзор существующих решений 10
1.1. Энергоменеджмент в России 10
1.2. Индустриальные предложения 10
Глава 2. Моделирование 13
2.1. Модель энергосистемы 13
2.2. Симуляция 16
2.3. Источник данных 18
2.4. Обзор данных 19
Глава 3. Управление энергосистемой как задача обучения с подкреплением 23
3.1. Понятие оптимального управления 24
3.2. Обучение с подкреплением. Основные понятия и принципы 25
3.3. Глубокие нейронные сети 31
3.4. Управление накоплением энергии 33
3.5. Глубокое Q-обучение (DQN) 37
3.6. Глубокий детерминированный градиент политики (DDPG) 39
Глава 4. Проведение экспериментов 41
4.1. Оборудование и программное обеспечение 41
4.2. Построение моделей 42
4.3. Сравнение MILP, DQN и DDPG 46
Глава 5. Программный комплекс 51
5.1. База данных 52
5.2. Функционал приложения 54
Выводы 56
Заключение 57
Список литературы 58
В настоящее время в связи с экологическими проблемами, возросшим спросом на энергию, нестабильной ценовой политикой на топливные ресурсы и нехваткой энергетических мощностей особое внимание было сосредоточено на технологиях распределенной энергетики (РЭ). Распределенные энергетические ресурсы в общем случае - это маломасштабные источники выработки и хранения энергии, расположенные в непосредственной близости к месту использования электроэнергии, они могут обеспечить альтернативу или улучшение традиционной электрической сети. Технологии распределенной энергетики включают в себя газопоршневые, газотурбинные и микротурбинные электростанции, тепловые насосы, паровые котлы, возобновляемую энергетику (солнечные батареи, ветровые генераторы), хранилища энергии, топливные элементы, когенерационные установки и т.д. Вместе они предлагают потребителям потенциал для снижения затрат, электроэнергию высокого качества, энергетическую независимость и повышение энергоэффективности.
Для внедрения и эффективного использования технологий РЭ необходим механизм управления, контролирующий процессы протекающие в энергосистеме пользователя. Система управления энергией или энергоменеджмент - это система, которая управляет компонентами энергосистемы для достижения оптимальной работы в целях снижения затрат на энергетические ресурсы и максимизации эффективности потребления энергии. Энергоменеджмент включает в себя планирование и эксплуатацию энергопроизводящих и энергопотребляющих установок, а также распределение и хранение энергии. Основными целями энергоменеджмента являются: сохранение ресурсов, защита климата и экономия затрат, при условии, что пользователи имеют постоянный доступ к необходимой им энергии.
Внедрение в электроэнергетическую систему (ЭЭС) пользователя технологий РЭ с системой управления формирует концепцию Smart Grid (умных сетей), где потенциальный электропотребитель любого уровня, получает возможность взаимодействовать с ЭЭС: прогнозировать и планировать потребление, выбирать поставщика и влиять на тарифы. Основные атрибуты концепции Smart Grid определяются следующим образом: доступность, надежность, гибкость, эффективность, обеспечение безопасности, способность к аккумулированию энергии, стимулирование активности электропотребителя, экономичность, снижение экологического давления на окружающую среду.
Возобновляемые источники энергии и системы накопления энергии играют решающую роль в оптимальном планировании работы микросетей. Накопление энергии может повысить гибкость интеллектуальной энергосистемы, а возобновляемые источники энергии обеспечить частичную или полную независимость от коммунального предприятия. Поэтому энергетическая инжиниринговая компания Schneider Electric [1], специализирующаяся на энергетическом менеджменте и автоматизации, опубликовала в открытом доступе данные, которые были предложены для решения задач энергетического менеджмента. Перед исследователями стояла задача разработать оптимизационную модель, минимизирующую затраты на приобретение электроэнергии путем планирования зарядки и разрядки аккумуляторных батарей, а также обмена с энергетическим рынком при условии соблюдения ограничений системы и достижения энергетического баланса. Однако предложенные решения [2] базировались на детерминистических подходах, которые имеют ряд недостатков и не могут быть применены для решения реальных индустриальных задач.
Решение задачи управления распределенными ресурсами невозможно без теоретико-методологического и практического развития подходов, адаптированных под современные системы и запросы. Однако данное научное направление только в последние годы начинает активно развиваться в отечественной науке, что повышает актуальность темы. Поэтому целью моего исследования является разработка быстрого и эффективного инструмента, отвечающего требованиям современного энергоменеджмента.
В эпоху интеллектуальных сетей и умных домов потребность в имплементации эффективной управляющей компоненты в энергосистему пользователей возрастает с каждым годом. Домохозяйства и предприятия потребляют все больше энергии для обеспечения своих нужд, при этом цены на энергоресурсы продолжают расти. Ведь в последние годы несоответствие между спросом и предложением в энергетической сфере становится все более напряженным: ископаемая энергия истощается и становится менее доступной, к тому же многие экологи акцентируют внимание общественности на проблемах загрязнения окружающей среды при выработке энергоресурсов. В качестве решения проблемы были предложены возобновляемые источники энергии, но нестабильный характер выработки дестабилизирует энергосистему и делает ее менее эффективной, так как разработанные ранее алгоритмы контроля не могут учитывать все факторы, влияющие на динамику системы. Поэтому целью моего исследования была разработка быстрого и эффективного инструмента, отвечающего требованиям современного энергоменеджмента.
Наиболее перспективным направлением в контексте решаемой задачи является обучение с подкреплением, которое обладает преимуществом самообучения и исследует оптимальные стратегии с помощью механизма проб и ошибок в динамической среде. Алгоритмы RL предлагается использовать для решения различных проблем принятия решений в области управления в условиях неопределенности. В данной работе на основе имеющихся данных было предложено решение для гибкого планирования работы энергосистемы пользователя с целью минимизации финансовых затрат, оно включает в себя программный комплекс, способный в режиме реального времени управлять зарядом накопительной батареи и рассчитывать объемы энергетических потоков, необходимых для удовлетворения потребностей пользователя.
В качестве дальнейших исследований для увеличения энергоэффективности моделируемой системы будут рассмотрены технологии распределенной энергетики, такие как системы когенерации. Это требует дополнительных исследований и более детального изучения процесса совместной выработки электрической и тепловой энергии, а также большего массива исторических данных.
[1] Официальный сайт schneider electric [Электронный ресурс] / SE. Режим доступа: https://www.se.com/ru/ru/, свободный. (дата обращения: 6.05.21)
[2] Репозиторий соревнования [Электронный ресурс] / GitHub. Режим доступа: https://github.com/drivendataorg/ power-laws-optimization, свободный. (дата обращения: 6.05.21)
[3] Sharma V., Bowden S. Peak load offset and the effect of dust storms on 10 MWp distributed grid tied photovoltaic systems installed at Arizona State University // 38th IEEE Photovoltaic Specialists Conference, 2012, P. 590595.
[4] Yu Y., Cai Z., Huang Y. Energy Storage Arbitrage in Grid-Connected Micro-Grids Under Real-Time Market Price Uncertainty: A Double-Q Learning Approach // IEEE Access, 2020. Vol. 8, P. 54456-54464.
[5] Cardona E., Piacentino A. Optimal design of CHCP plants in the civil sector by thermoeconomics // Applied Energy, 2007. Vol. 84, No. 7, P. 729-748.
[6] Georgilakis P. S., Hatziargyriou N. D. Optimal distributed gener-ation placement in power distribution networks: models, methods, andfuture research // IEEE Transactions on power systems, 2013. Vol. 28, No. 3, P. 3420-3428.
[7] Anatone M., Panone V. A Model for the Optimal Management of a CCHP Plant // Energy Procedia, 2015. Vol. 81, No. 69, P. 399-411.
[8] Perez A., Moreno R. Effect of Battery Degradation on Multi-Service Portfolios of Energy Storage // IEEE Transactions on Sustainable Energy, 2016. Vol. 7, P. 1718-1729.
[9] Gengo T., Kobayashi Y. Development of Grid-stabilization Power-storage System with Lithium-ion Secondary Battery // Mitsubishi Heavy Industries Technical Review, 2009. Vol. 46, No. 2, P. 36-42.
[10] Atia R., Yamada N. Sizing and analysis of renewable energy and battery systems in residential microgrids // IEEE Transactions on Smart Grid, 2016. Vol. 7, No. 3, P. 1204—1213.
[11] Bahramirad S., Reder W., Khodaei A. Reliability-constrained optimal sizing of energy storage system in a microgrid // IEEE Transactions on Smart Grid, 2012. Vol. 3, No. 4, P. 2056-2062.
[12] Dulout J., Hernandez L. Optimal Scheduling of a Battery-based Energy Storage System for a Microgrid with High Penetration of Renewable Sources // ELECTRIMACS Conference, 2017. P. 1-6.
[13] Wang J., Liu J. Optimal scheduling of gas and electricity consumption in a smart home with a hybrid gas boiler and electric heating system // Energy, 2020. Vol. 204, P. 117951.
[14] Hatziargyriou N. Special issue on microgrids and energy management // Eur Trans Electr Power, 2011. Vol. 21, P. 1139-1141.
[15] Reddy P.P., Veloso M.M. Strategy learning for autonomous agents in smart grid markets // Twenty-second International Joint Conference on Artificial Intelligence, 2011. P. 1446-1451.
...