Βιβλιοθήκη ΟΠΑ - Ψηφιακό Αποθετήριο

ΠΥΞΙΔΑ Ιδρυματικό Αποθετήριο
και Ψηφιακή Βιβλιοθήκη

Όνομα χρήστη
Κωδικός πρόσβασης

Συλλογές :	Ιδρυματικό Αποθετήριο ΟΠΑ / AUEB Institutional Repository Σχολή Επιστημών και Τεχνολογίας της Πληροφορίας / School of Informatics Τμήμα Πληροφορικής / Department of Informatics Μεταπτυχιακές Εργασίες / Postgraduate dissertations

Τίτλος :	Residential energy consumption optimization through reinforcement learning

Εναλλακτικός τίτλος :	Βελτιστοποίηση κατανάλωσης ενέργειας σε κατοικίες μέσω ενισχυτικής μάθησης

Δημιουργός :	Διαμαντόπουλος-Πανταλέων, Οδυσσεύς Diamantopoulos-Pantaleon, Odyssefs

Συντελεστής :	Polyzos, George (Επιβλέπων καθηγητής) Koutsopoulos, Iordanis (Εξεταστής) Siris, Vasileios (Εξεταστής) Athens University of Economics and Business, Department of Informatics (Degree granting institution)

Τύπος :	Text

Φυσική περιγραφή :	80p.

Γλώσσα :	en

Αναγνωριστικό :	http://www.pyxida.aueb.gr/index.php?op=view_object&object_id=10864

Περίληψη :	Προτείνουμε έναν νέο Residential Energy Managers (REMs) που προτείνει στον χρήστη ενέργειες για ολόκληρο το νοικοκυριό. Για να είμαστε πιο ακριβείς, ο REM βλέπει την κατάσταση κάθε ηλεκτρικής συσκευής εντός της κατοικίας μαζί με πολλά συγκεκριμένα χαρακτηριστικά για κάθε μία από τις συσκευές, όπως το ενεργειακό κόστος και η διάρκεια λειτουργίας της, και στη συνέχεια κάνει μια πρόταση με βάση την τρέχουσα τιμή της ηλεκτρικής ενέργειας και τις συνήθειες του χρήστη για όλες τις συσκευές. Για τη δημιουργία του REM χρησιμοποιούμε το Reinforcement learning (RL), το οποίο επιδιώκει να μεγιστοποιήσει την έννοια της σωρευτικής ανταμοιβής και να εξηγήσει τον τρόπο με τον οποίο οι ευφυείς πράκτορες οφείλουν να εκτελούν ενέργειες σε ένα περιβάλλον. Το RL είναι ιδιαίτερα χρήσιμο όταν εφαρμόζεται σε πολύπλοκα και δυναμικά περιβάλλοντα, όπως τα νοικοκυριά, λόγω των διαφόρων τύπων και αριθμών συσκευών που συναντώνται. Επιπλέον, κάθε κάτοικος έχει μοναδική προσωπικότητα και συνήθειες συμπεριφοράς, γεγονός που αυξάνει περαιτέρω την πολυπλοκότητα. Επίσης, προτείνουμε και διαθέτουμε ελεύθερο κώδικα, σε αντίθεση με άλλους στη βιβλιογραφία, ένα γενικευμένο περιβάλλον που χρησιμοποιεί το RL και διατηρεί βασικές παραμέτρους που μπορούν να εφαρμοστούν σχεδόν σε όλα τα σενάρια πραγματικών περιπτώσεων, το οποίο μπορεί να λειτουργήσει ως βάση πάνω στην οποία οι μελλοντικοί ερευνητές μπορούν να δημιουργήσουν τα δικά τους σενάρια. Επιπλέον, πειραματιζόμαστε με πολλούς αλγορίθμους τελευταίας τεχνολογίας όπως ο A2C, ο PPO και ο MARWIL σε τέσσερα διαφορετικά νοικοκυριά με διαφορετική πολυπλοκότητα, που δημιουργήθηκαν με βάση την προσέγγισή μας. Μέσω των εκτεταμένων πειραμάτων μας με διάφορα διαστήματα λήψης αποφάσεων, μήκη επεισοδίων και διαφορετικούς αλγορίθμους RL, καταλήγουμε στο συμπέρασμα ότι ο πράκτορας MARWIL RL παρουσιάζει υποσχόμενες επιδόσεις στο πιο πολύπλοκο νοικοκυριό, μετατοπίζει με επιτυχία την κατανάλωση ενέργειας όταν χρειάζεται, κατανοεί πώς να χρησιμοποιεί διαφορετικούς τύπους συσκευών και καταφέρνει να προσαρμόζεται στον κάτοικο. We propose a novel Residential Energy Manager (REM) that suggests actions to the user about the entire household. To be more precise, the REM views the status of every electrical device within the residence along with many specific attributes for each of the devices, like its energy cost and the duration of its function, and then makes a suggestion based on the current electricity price and the habits of the user for all the devices. To create the REM we use Reinforcement learning (RL), which seeks to maximize the notion of cumulative reward and to explain the way in which intelligent agents ought to perform actions in an environment. RL is especially useful when applied to complex and dynamic environments, such as households, because of the various types and numbers of devices encountered. Additionally, each resident has a unique personality and behavioral habits, which further increases the complexity. We further propose and open source, unlike other works in the literature, a generalized environment that utilizes RL and maintains core parameters that can be applied in almost all real-case scenarios, which can act as the foundation on which future researchers can build their own scenarios. Moreover, we experiment with many state-of-the-art algorithms. More specifically, we conducted experiments using the Advanced Actor Critic (A2C), the Proximal Policy Optimization (PPO), and the Monotonic Advantage Reweighted Imitation Learning (MARWIL) RL algorithms in four different households with different complexities, created based on our approach. Through our extensive experiments with various decision-making intervals, episode lengths, and different RL algorithms, we conclude that the MARWIL RL agent shows promising performance in the most complex household, successfully shifts power consumption when needed, understands how to use different types of devices, and manages to adapt to the resident.

Περίληψη :

Προτείνουμε έναν νέο Residential Energy Managers (REMs) που προτείνει στον χρήστη ενέργειες για ολόκληρο το νοικοκυριό. Για να είμαστε πιο ακριβείς, ο REM βλέπει την κατάσταση κάθε ηλεκτρικής συσκευής εντός της κατοικίας μαζί με πολλά συγκεκριμένα χαρακτηριστικά για κάθε μία από τις συσκευές, όπως το ενεργειακό κόστος και η διάρκεια λειτουργίας της, και στη συνέχεια κάνει μια πρόταση με βάση την τρέχουσα τιμή της ηλεκτρικής ενέργειας και τις συνήθειες του χρήστη για όλες τις συσκευές. Για τη δημιουργία του REM χρησιμοποιούμε το Reinforcement learning (RL), το οποίο επιδιώκει να μεγιστοποιήσει την έννοια της σωρευτικής ανταμοιβής και να εξηγήσει τον τρόπο με τον οποίο οι ευφυείς πράκτορες οφείλουν να εκτελούν ενέργειες σε ένα περιβάλλον. Το RL είναι ιδιαίτερα χρήσιμο όταν εφαρμόζεται σε πολύπλοκα και δυναμικά περιβάλλοντα, όπως τα νοικοκυριά, λόγω των διαφόρων τύπων και αριθμών συσκευών που συναντώνται. Επιπλέον, κάθε κάτοικος έχει μοναδική προσωπικότητα και συνήθειες συμπεριφοράς, γεγονός που αυξάνει περαιτέρω την πολυπλοκότητα. Επίσης, προτείνουμε και διαθέτουμε ελεύθερο κώδικα, σε αντίθεση με άλλους στη βιβλιογραφία, ένα γενικευμένο περιβάλλον που χρησιμοποιεί το RL και διατηρεί βασικές παραμέτρους που μπορούν να εφαρμοστούν σχεδόν σε όλα τα σενάρια πραγματικών περιπτώσεων, το οποίο μπορεί να λειτουργήσει ως βάση πάνω στην οποία οι μελλοντικοί ερευνητές μπορούν να δημιουργήσουν τα δικά τους σενάρια. Επιπλέον, πειραματιζόμαστε με πολλούς αλγορίθμους τελευταίας τεχνολογίας όπως ο A2C, ο PPO και ο MARWIL σε τέσσερα διαφορετικά νοικοκυριά με διαφορετική πολυπλοκότητα, που δημιουργήθηκαν με βάση την προσέγγισή μας. Μέσω των εκτεταμένων πειραμάτων μας με διάφορα διαστήματα λήψης αποφάσεων, μήκη επεισοδίων και διαφορετικούς αλγορίθμους RL, καταλήγουμε στο συμπέρασμα ότι ο πράκτορας MARWIL RL παρουσιάζει υποσχόμενες επιδόσεις στο πιο πολύπλοκο νοικοκυριό, μετατοπίζει με επιτυχία την κατανάλωση ενέργειας όταν χρειάζεται, κατανοεί πώς να χρησιμοποιεί διαφορετικούς τύπους συσκευών και καταφέρνει να προσαρμόζεται στον κάτοικο.
We propose a novel Residential Energy Manager (REM) that suggests actions to the user about the entire household. To be more precise, the REM views the status of every electrical device within the residence along with many specific attributes for each of the devices, like its energy cost and the duration of its function, and then makes a suggestion based on the current electricity price and the habits of the user for all the devices. To create the REM we use Reinforcement learning (RL), which seeks to maximize the notion of cumulative reward and to explain the way in which intelligent agents ought to perform actions in an environment. RL is especially useful when applied to complex and dynamic environments, such as households, because of the various types and numbers of devices encountered. Additionally, each resident has a unique personality and behavioral habits, which further increases the complexity. We further propose and open source, unlike other works in the literature, a generalized environment that utilizes RL and maintains core parameters that can be applied in almost all real-case scenarios, which can act as the foundation on which future researchers can build their own scenarios. Moreover, we experiment with many state-of-the-art algorithms. More specifically, we conducted experiments using the Advanced Actor Critic (A2C), the Proximal Policy Optimization (PPO), and the Monotonic Advantage Reweighted Imitation Learning (MARWIL) RL algorithms in four different households with different complexities, created based on our approach. Through our extensive experiments with various decision-making intervals, episode lengths, and different RL algorithms, we conclude that the MARWIL RL agent shows promising performance in the most complex household, successfully shifts power consumption when needed, understands how to use different types of devices, and manages to adapt to the resident.

Λέξη κλειδί :	Ενισχυτική μάθηση Έξυπνο δίκτυο Εξοικονόμηση ενέργειας Μηχανική μάθηση Τεχνητή νοημοσύνη Reinforcement learning Smart Grid Energy saving Machine learning (ML) Artificial Intelligence (AI)

Διαθέσιμο από :	2023-12-01 12:35:15

Ημερομηνία έκδοσης :	01-12-2023

Ημερομηνία κατάθεσης :	2023-12-01 12:35:15

Δικαιώματα χρήσης :	Free access

Άδεια χρήσης :

Αρχείο: Diamantopoulos_Pantaleon_2023.pdf

Τύπος: application/pdf

Είσοδος