Βιβλιοθήκη ΟΠΑ - Ψηφιακό Αποθετήριο

ΠΥΞΙΔΑ Ιδρυματικό Αποθετήριο
και Ψηφιακή Βιβλιοθήκη

Όνομα χρήστη
Κωδικός πρόσβασης

Συλλογές :	Ιδρυματικό Αποθετήριο ΟΠΑ / AUEB Institutional Repository Σχολή Επιστημών και Τεχνολογίας της Πληροφορίας / School of Informatics Τμήμα Πληροφορικής / Department of Informatics Μεταπτυχιακές Εργασίες / Postgraduate dissertations

Τίτλος :	Anomaly detection on system logs with graph analytics

Δημιουργός :	Zeakis, Alexandros F.

Συντελεστής :	Kotidis, Υannis (Επιβλέπων καθηγητής) Andritsaki, Konstantina (Εξεταστής) Athens University of Economics and Business, Department of Informatics (Degree granting institution)

Τύπος :	Text

Φυσική περιγραφή :	74 p.

Γλώσσα :	en

Περίληψη :	The goal of this thesis is to study data provided by the National Bank of Greece andcreate a graph representation, in an effort to detect anomalies. In doing so, we hadto think of an efficient way of representing all the entities and relationships from anRDBMS into nodes and edges. Then, we used the Neo4j graph database toaccommodate the graph and Cypher to execute the corresponding queries thatdetected the anomalies. As anomalies we indicated transactions and accounts,which were merely suggestions that the bank would confirm or deny after the end ofthis thesis.The innovation that we offered NBG through this thesis was that we utilized data,that were never used in the past, due to the fact that they were semi-structured in anSQL environment and that we tried to analyze and exploit anomalies throughcommon graph analytic algorithms, while also offering some insights about theirclients by ranking them with graph metrics such as PageRank and ClosenessCentrality.The analysis consisted of two parts: in the first part we defined and calculated graph& monetary metrics, that created a description for each account and we suggestedan analysis workflow with statistical outliers, where we used these metrics to findtransactions that seemed as anomalies. In the second part, we studied specificuse-cases, such as Money Laundering or Fictitious Accounts, trying to find chains oftransactions or suspicious accounts, accordingly. In the first part we examined eachaccount separately and found individual anomalies, while in the second part westudied subsets of the graph, resulting in suspicious behaviours due to groupedinteractions.As a result of this process, we offered the bank specific accounts that should bemonitored and transactions that were flagged as possible anomalies. Στόχος αυτής της διπλωματικής ήταν να μελετήσουμε δεδομένα της Εθνικής Τράπεζας της Ελλάδος και να δημιουργήσουμε έναν γράφο, έτσι ώστε να ανιχνεύσουμε ανωμαλίες. Στην προσπάθειά μας, έπρεπε να βρούμε έναν αποδοτικό τρόπο να αποδώσουμε τις οντότητες και τις σχέσεις από ένα Σχεσιακό Περιβάλλον σε κόμβους και ακμές. Έπειτα, στη δημιουργία του γράφου χρησιμοποιήσαμε το σύστημα Neo4j και στην εύρεση των ανωμαλιών τη Cypher για να εκτελέσουμε τα κατάλληλα ερωτήματα. Σαν ανωμαλίες υποδείξαμε τόσο συναλλαγές όσο και λογαριασμούς, οι οποίες, όμως, ήταν προτάσεις, που η τράπεζα αργότερα θα επιβεβαίωνε ή όχι.Η καινοτομία που προσφέραμε στην ΕΤΕ μέσω της διπλωματικής ήταν ότι χρησιμοποιήσαμε δεδομένα που δεν είχαν χρησιμοποιηθεί στο παρελθόν, λόγω του ότι ήταν ημι-δομημένα σε ένα SQL περιβάλλον και ότι προσπαθήσαμε να αναλύσουμε και να βρούμε ανωμαλίες μέσω κύριων αλγορίθμων σε γράφους, όπως και να προσφέρουμε πληροφορίες για τους πελάτες κατατάσσοντάς τους με μετρικά γράφων, όπως το PageRank και Closeness Centrality.Η ανάλυσή μας αποτελείται από 2 κομμάτια: στο πρώτο κομμάτι ορίσαμε και υπολογίσαμε νομισματικά μετρικά και μετρικά γράφων, τα οποία συνιστούν μια περιγραφή για κάθε λογαριασμό και τα χρησιμοποιήσαμε σει ένα παράδειγμα με στατιστικές ακραίες τιμές, όπου βρήκαμε συναλλαγές που θεωρήθηκαν ανωμαλίες. Στο δεύτερο κομμάτι, μελετήσαμε συγκεκριμένες περιπτώσεις, όπως Διακίνηση Βρώμικου Χρήματος και Πλασματικούς Λογαριασμούς, προσπαθώντας να εξηγήσουμε αλυσίδες από συναλλαγές ή ύποπτους λογαριασμούς, αντίστοιχα. Στο πρώτο κομμάτι μελετήσαμε κάθε λογαριασμό ξεχωριστά και βρήκαμε μεμονωμένες ανωμαλίες, ενώ στο δεύτερο μελετήσαμε κομμάτια του γράφου, καταλήγοντας σε ύποπτες συμπεριφορές από ομαδικές αλληλεπιδράσεις.Σαν αποτέλεσμα αυτής της διαδικασίας, προσφέραμε στην τράπεζα συγκεκριμένους λογαριασμούς που θα έπρεπε να παρακολουθηθούν, όπως και συναλλαγές που φάνηκαν ως πιθανές ανωμαλίες.

Περίληψη :

The goal of this thesis is to study data provided by the National Bank of Greece andcreate a graph representation, in an effort to detect anomalies. In doing so, we hadto think of an efficient way of representing all the entities and relationships from anRDBMS into nodes and edges. Then, we used the Neo4j graph database toaccommodate the graph and Cypher to execute the corresponding queries thatdetected the anomalies. As anomalies we indicated transactions and accounts,which were merely suggestions that the bank would confirm or deny after the end ofthis thesis.The innovation that we offered NBG through this thesis was that we utilized data,that were never used in the past, due to the fact that they were semi-structured in anSQL environment and that we tried to analyze and exploit anomalies throughcommon graph analytic algorithms, while also offering some insights about theirclients by ranking them with graph metrics such as PageRank and ClosenessCentrality.The analysis consisted of two parts: in the first part we defined and calculated graph& monetary metrics, that created a description for each account and we suggestedan analysis workflow with statistical outliers, where we used these metrics to findtransactions that seemed as anomalies. In the second part, we studied specificuse-cases, such as Money Laundering or Fictitious Accounts, trying to find chains oftransactions or suspicious accounts, accordingly. In the first part we examined eachaccount separately and found individual anomalies, while in the second part westudied subsets of the graph, resulting in suspicious behaviours due to groupedinteractions.As a result of this process, we offered the bank specific accounts that should bemonitored and transactions that were flagged as possible anomalies.
Στόχος αυτής της διπλωματικής ήταν να μελετήσουμε δεδομένα της Εθνικής Τράπεζας της Ελλάδος και να δημιουργήσουμε έναν γράφο, έτσι ώστε να ανιχνεύσουμε ανωμαλίες. Στην προσπάθειά μας, έπρεπε να βρούμε έναν αποδοτικό τρόπο να αποδώσουμε τις οντότητες και τις σχέσεις από ένα Σχεσιακό Περιβάλλον σε κόμβους και ακμές. Έπειτα, στη δημιουργία του γράφου χρησιμοποιήσαμε το σύστημα Neo4j και στην εύρεση των ανωμαλιών τη Cypher για να εκτελέσουμε τα κατάλληλα ερωτήματα. Σαν ανωμαλίες υποδείξαμε τόσο συναλλαγές όσο και λογαριασμούς, οι οποίες, όμως, ήταν προτάσεις, που η τράπεζα αργότερα θα επιβεβαίωνε ή όχι.Η καινοτομία που προσφέραμε στην ΕΤΕ μέσω της διπλωματικής ήταν ότι χρησιμοποιήσαμε δεδομένα που δεν είχαν χρησιμοποιηθεί στο παρελθόν, λόγω του ότι ήταν ημι-δομημένα σε ένα SQL περιβάλλον και ότι προσπαθήσαμε να αναλύσουμε και να βρούμε ανωμαλίες μέσω κύριων αλγορίθμων σε γράφους, όπως και να προσφέρουμε πληροφορίες για τους πελάτες κατατάσσοντάς τους με μετρικά γράφων, όπως το PageRank και Closeness Centrality.Η ανάλυσή μας αποτελείται από 2 κομμάτια: στο πρώτο κομμάτι ορίσαμε και υπολογίσαμε νομισματικά μετρικά και μετρικά γράφων, τα οποία συνιστούν μια περιγραφή για κάθε λογαριασμό και τα χρησιμοποιήσαμε σει ένα παράδειγμα με στατιστικές ακραίες τιμές, όπου βρήκαμε συναλλαγές που θεωρήθηκαν ανωμαλίες. Στο δεύτερο κομμάτι, μελετήσαμε συγκεκριμένες περιπτώσεις, όπως Διακίνηση Βρώμικου Χρήματος και Πλασματικούς Λογαριασμούς, προσπαθώντας να εξηγήσουμε αλυσίδες από συναλλαγές ή ύποπτους λογαριασμούς, αντίστοιχα. Στο πρώτο κομμάτι μελετήσαμε κάθε λογαριασμό ξεχωριστά και βρήκαμε μεμονωμένες ανωμαλίες, ενώ στο δεύτερο μελετήσαμε κομμάτια του γράφου, καταλήγοντας σε ύποπτες συμπεριφορές από ομαδικές αλληλεπιδράσεις.Σαν αποτέλεσμα αυτής της διαδικασίας, προσφέραμε στην τράπεζα συγκεκριμένους λογαριασμούς που θα έπρεπε να παρακολουθηθούν, όπως και συναλλαγές που φάνηκαν ως πιθανές ανωμαλίες.

Λέξη κλειδί :	Graph analytics Anomaly detection Big data Data mining Internet banking Neo4j Επιστήμη δεδομένων Εξόρυξη δεδομένων Μεγάλα δεδομένα Ανίχνευση ανωμαλιών

Ημερομηνία έκδοσης :	21-12-2018

Ημερομηνία κατάθεσης :	23-01-2019

Δικαιώματα χρήσης :	Free access

Άδεια χρήσης :

Αρχείο: Zeakis_2018.pdf

Τύπος: application/pdf

Είσοδος