| Περίληψη : | Διπλωματική εργασία - Οικονομικό Πανεπιστήμιο Αθηνών. ΜΠΣ στα Πληροφοριακά Συστήματα
Αντικείμενο της παρούσας διπλωματικής εργασίας είναι η μελέτη, εφαρμογή και αξιολόγηση τεχνικών κατηγοριοποίησης κειμένου σε πραγματικά δεδομένα τα οποία προέκυψαν από την απομαγνητοφώνηση κλήσεων σε τηλεφωνικό κέντρο εταιρείας κινητής τηλεφωνίας που δραστηριοποιείται στην Ελλάδα. Τα δεδομένα ελήφθησαν με τη συμβολή εταιρείας που ασχολείται με συστήματα προφορικών διαλόγων η οποία συνεργάζεται με την εταιρεία κινητής τηλεφωνίας.Έχει παρατηρηθεί ότι ένα συχνό ζήτημα που προκύπτει στα τηλεφωνικά κέντρα είναι η μειωμένη αποδοτικότητα και ποιότητα εξυπηρέτησης. Στο πλαίσιο της προσπάθειας βελτίωσης των υπηρεσιών τέτοιων κέντρων η παρούσα εργασία εξετάζει τη χρήση ευφυών τεχνικών για τη δρομολόγηση των κλήσεων. Πιο συγκεκριμένα, σκοπός είναι να εξετασθεί αν μέσω της χρήσης ενός ταξινομητή για την κατηγοριοποίηση των εκφωνημάτων μπορούν να επιτευχθούν καλύτερα ή εξίσου καλά αποτελέσματα όσον αφορά στην ορθή δρομολόγηση της κάθε κλήσης προς το καταλληλότερο τμήμα ή υπάλληλο για την εξυπηρέτησή της, συγκρίνοντας με την τρέχουσα προσέγγιση που χρησιμοποιείται στο τηλεφωνικό κέντρο. Η επίτευξη αυτού του στόχου επιφέρει σημαντικές συνέπειες στη λειτουργία ενός τηλεφωνικού κέντρου, όπως η μείωση του χρόνου αναμονής των πελατών και του κόστους λειτουργίας των κέντρων, η καλύτερη αξιοποίηση του χρόνου των υπαλλήλων και ενδεχομένως η αυτοματοποιημένη απάντηση απλών ερωτημάτων.Στο υπάρχον σύστημα ο χρήστης-πελάτης είναι εκείνος που εκκινεί τη διαδικασία καλώντας το τηλεφωνικό κέντρο. Αρχικά, προτρέπεται να εκφράσει το αίτημά του, το οποίο μεταγράφεται με τη χρήση ενός συστήματος αναγνώρισης φωνής. Κατόπιν, το μεταγεγραμμένο εκφώνημα τροφοδοτείται σε μια χειρωνακτικά κατασκευασμένη γραμματική, η οποία αποφαίνεται για τη δρομολόγηση της κλήσης. Η απόφαση αυτή μεταφέρεται στο υποσύστημα δρομολόγησης που με τη σειρά του δρομολογεί την κλήση στον κατάλληλο υπάλληλο ή τμήμα. Είναι σαφές πως σε ένα τέτοιο σύστημα πραγματικού χρόνου η διαδικασία πρέπει να ολοκληρώνεται σε ένα εύλογο χρονικό διάστημα.Τα αποτελέσματα που επιτυγχάνονται με τη χρήση γραμματικών είναι δυνατό να είναι ικανοποιητικά. Ωστόσο, η χρήση τους παρουσιάζει ορισμένα μειονεκτήματα. Η δημιουργία και ανανέωση μιας γραμματικής που επιτυγχάνει ικανοποιητικά αποτελέσματα χρειάζεται χρόνο, καθώς δεν μπορεί να γίνει εξολοκλήρου αυτόματα. Ένα μέρος της διαδικασίας πρέπει να γίνει με την επίβλεψη κάποιου ειδικού. Προφανώς, αυτό συνεπάγεται και αυξημένο κόστος, που ενδέχεται να είναι αρκετά υψηλότερο συγκριτικά με την χρήση ενός ταξινομητή που βασίζεται σε αλγορίθμους μηχανικής μάθησης. Δοθέντος ότι υπάρχουν αρκετά διαθέσιμα δεδομένα, ένας ταξινομητής αυτού του είδους μπορεί να εκπαιδευθεί και να ανανεωθεί αυτόματα και να επιτυγχάνει εξίσου καλά ή και καλύτερα αποτελέσματα.Στο Κεφάλαιο 2 πραγματοποιείται μια επισκόπηση της έρευνας που αφορά τη δρομολόγηση κλήσεων με την παρουσίαση παρεμφερών συστημάτων δρομολόγησης και άλλων σχετικών στοιχείων. Η αρχική προσέγγιση δρομολόγησης κλήσεων στα τηλεφωνικά κέντρα εξυπηρέτησης ήταν εξ’ ολοκλήρου χειροκίνητη, απαιτώντας από τον πελάτη να αλληλεπιδράσει με κάποιον υπάλληλο. Προσπάθειες που αναφέρονται στην βιβλιογραφία για την εισαγωγή νέων τεχνολογιών σε τέτοια συστήματα εξυπηρέτησης αφορούν την υποβοήθηση των υπαλλήλων στο να εξυπηρετούν αποδοτικότερα τις κλήσεις.Οι πρώτες προσπάθειες που πραγματοποιήθηκαν για την αυτοματοποίηση της δρομολόγησης κλήσεων, και που ακόμα και σήμερα καλύπτουν σημαντικό μερίδιο της αγοράς, περιελάμβαναν την χρήση καταλόγων επιλογών που απαγγέλονται στους χρήστες. Αργότερα, εμφανίσθηκαν συστήματα που επιτρέπουν στους χρήστες να εκφράσουν ελεύθερα το αίτημά τους χρησιμοποιώντας προτροπές του τύπου «Πώς μπορώ να σας βοηθήσω;». Τα τελευταία είναι τα συστήματα που πραγματεύεται η παρούσα εργασία εστιάζοντας στο κομμάτι της κατηγοριοποίησης και όχι στην στρατηγική διαχείρισης διαλόγων, η οποία μπορεί να έχει εξίσου καθοριστικό ρόλο στην επιτυχία ενός τέτοιου συστήματος. Η κυριότερη προσέγγιση που απαντάται στη βιβλιογραφία για την κατηγοριοποίηση εκφωνημάτων σε τηλεφωνικά κέντρα είναι η διανυσματική αναπαράσταση των εκφωνημάτων και η χρήση τεχνικών ανάκτησης πληροφοριών ή / και αλγορίθμων μηχανικής μάθησης.Προτού εξετασθούν τα διαθέσιμα δεδομένα και τα πειράματα που πραγματοποιήθηκαν στη διάρκεια της εργασίας, το Κεφάλαιο 3 αναφέρεται συνοπτικά στο απαραίτητο θεωρητικό υπόβαθρο εξετάζοντας τον ταξινομητή μεγίστης εντροπίας που χρησιμοποιήθηκε και καλύπτοντας κάποια στοιχεία που χρησιμοποιούνται στα πειράματα, όπως τα μέτρα αξιολόγησης, οι καμπύλες μάθησης και τα διαστήματα εμπιστοσύνης.Στο Κεφάλαιο 4 περιγράφονται σε βάθος τα διαθέσιμα δεδομένα καθώς και οι διαφορετικοί τύποι κατηγοριών που χρησιμοποιήθηκαν για την επισημείωσή τους. Πρόκειται για μεταγεγραμμένα εκφωνήματα τα οποία προέρχονται από την αλληλεπίδραση χρηστών με το αυτοματοποιημένο σύστημα δρομολόγησης κλήσεων που λειτουργεί στο κέντρο εξυπηρέτησης πελατών της εταιρίας κινητής τηλεφωνίας.Αρχικά, διαθέσιμο ήταν ένα σύνολο δεδομένων που αποτελούνταν από 75.268 καθαρά εκφωνήματα επισημειωμένα ώστε να ανήκουν το καθένα σε μια από 203 προκαθορισμένες κατηγορίες. Κατά την εκπόνηση όμως της εργασίας προέκυψαν διάφορες οπτικές του συγκεκριμένου σώματος εκφωνημάτων. Για να γίνει κατανοητό αυτό, σημειώνεται πως με τη συμβολή της εταιρίας που ασχολείται με συστήματα προφορικών διαλόγων τα μεν εκφωνήματα έγιναν διαθέσιμα τόσο στην καθαρή όσο και στη θορυβώδη μορφή τους, οι δε κατηγορίες που χρησιμοποιήθηκαν για την επισημείωση ήταν τελικά τριών διαφορετικών τύπων.Διαθέσιμες από την αρχή ήταν οι προκαθορισμένες κατηγορίες. Το όνομα κάθε προκαθορισμένης κατηγορίας απαρτίζεται από δύο συνθετικά των 5 χαρακτήρων, που αναφέρονται ως πρόθημα και επίθημα. Κριτήρια για την επιλογή τους ήταν η κάλυψη των απαιτήσεων των πελατών και η αντιστοιχία με τις υπηρεσίες εξυπηρέτησης που προσφέρει η εταιρία κινητής τηλεφωνίας. Από το πρόθημα των προκαθορισμένων κατηγοριών προέκυψε ένα νέο είδος κατηγοριών οι οποίες ονομάσθηκαν ευρύτερες, ενώ η μελέτη των δεδομένων και των κατηγοριών κατά την εκπόνηση της εργασίας δημιούργησε την εντύπωση πως θα μπορούσε να ακολουθηθεί και μια διαφορετική προσέγγιση για την κατηγοριοποίηση, ασχέτως αν αυτή θα προοριζόταν για χρήση σε πραγματικό περιβάλλον. Το σκεπτικό ήταν πως η περαιτέρω «εξειδίκευση» των κατηγοριών θα μπορούσε να βελτιώσει τα αποτελέσματα. Για να επιτευχθεί αυτό, αντί της χρήσης των προκαθορισμένων κατηγοριών, χρησιμοποιήθηκαν δύο διαφορετικοί τύποι κατηγοριών, οι κατηγορίες «services» και οι κατηγορίες «actions». Οι δύο αυτοί τύποι κατηγοριών δεν διαφέρουν δραστικά από τις προκαθορισμένες κατηγορίες. Οι κατηγορίες services περιλαμβάνουν κυρίως υπηρεσίες της εταιρίας κινητής τηλεφωνίας, ενώ οι κατηγορίες actions περιλαμβάνουν ενέργειες επί των υπηρεσιών. Σκοπός ήταν να προκύψει μια έκδοση του σώματος εκφωνημάτων που θα ήταν επισημειωμένη μόνο με τις κατηγορίες services και μια άλλη που θα ήταν επισημειωμένη μόνο με τις κατηγορίες actions. Τελικά, χρησιμοποιήθηκαν δύο διαφορετικοί ταξινομητές για την κατηγοριοποίηση, ο πρώτος για τα services και ο δεύτερος για τα actions και η σύνθεση των αποτελεσμάτων τους συγκρίθηκε με τα αντίστοιχα αποτελέσματα του μεμονωμένου ταξινομητή που εκπαιδεύθηκε στις αρχικές, προκαθορισμένες κατηγορίες.Στο Κεφάλαιο 5 παρουσιάζονται αναλυτικά τα πειράματα που πραγματοποιήθηκαν. Τα αποτελέσματα που παρατηρήθηκαν ήταν ικανοποιητικά, ενώ σημαντικό είναι το γεγονός πως ήταν ελαφρώς καλύτερα από εκείνα της χειρωνακτικά δημιουργημένης γραμματικής που χρησιμοποιείται στο τηλεφωνικό κέντρο. Τα περισσότερα πειράματα πραγματοποιήθηκαν σε καθαρά εκφωνήματα, δηλαδή σε μεταγεγραμμένα εκφωνήματα που είχαν ελεγχθεί και διορθωθεί χειρωνακτικά. Σε πρώτη φάση πραγματοποιήθηκαν πειράματα με τις προεπιλεγμένες ρυθμίσεις του ταξινομητή, τόσο για τις προκαθορισμένες όσο και για τις ευρύτερες κατηγορίες. Ακολούθησε η δημιουργία μιας baseline μεθόδου, που κατατάσσει όλα τα εκφωνήματα στη συχνότερη κατηγορία. Τα αποτελέσματα της baseline μεθόδου ήταν πολύ χειρότερα, όπως θα ανέμενε κανείς. Τα επόμενα πειράματα αφορούσαν τη ρύθμιση μιας παραμέτρου του ταξινομητή που ελέγχει κατά πόσον ο ταξινομητής επιχειρεί να αποφύγει ή όχι την υπερεφαρμογή κατά το στάδιο της εκπαίδευσης, χωρίς όμως να παρατηρηθεί κάτι αξιοσημείωτο. Το ίδιο συνέβη και στην επόμενη σειρά πειραμάτων όπου χρησιμοποιήθηκαν n-γράμματα (ακολουθίες n λέξεων) ως ιδιότητες (features).Στη συνέχεια, αξιοποιήθηκε η ιδιότητα του ταξινομητή να παρέχει για κάθε δεδομένο αξιολόγησης (εκφώνημα, στην περίπτωσή μας) μια κατανομή πιθανοτήτων, που δείχνει πόσο πιθανό θεωρεί ο ταξινομητής το δεδομένο να ανήκει σε κάθε μία κατηγορία. Πραγματοποιήθηκε σειρά πειραμάτων, όπου επιτρεπόταν στον ταξινομητή να μην κατατάξει ένα εκφώνημα σε καμία κατηγορία (ώστε π.χ. να χειριστεί το εκφώνημα ένας άνθρωπος-τηλεφωνητής), όταν η βεβαιότητα του ταξινομητή ήταν κατώτερη ενός κατωφλίου. Εξετάσθηκε επίσης η χρήση δύο ταξινομητών έναντι ενός, αξιοποιώντας τις κατηγορίες services και actions και πάλι χωρίς σημαντικές διαφορές στα αποτελέσματα. Τέλος, συγκρίθηκε ο ταξινομητής με την γραμματική που χρησιμοποιείται στο τηλεφωνικό κέντρο.Πειράματα πραγματοποιήθηκαν επίσης σε θορυβώδη εκφωνήματα, δηλαδή εκφωνήματα που προέκυψαν με αυτόματη μεταγραφή από ένα σύστημα αναγνώρισης φωνής, χωρίς χειρωνακτική διόρθωσή τους. Πραγματοποιήθηκαν διάφορες δοκιμές χρησιμοποιώντας μεταξύ άλλων διαφορετικού τύπου δεδομένα (μόνο καθαρά, μόνο θορυβώδη ή συνδυασμό) για την εκπαίδευση του ταξινομητή και την αξιολόγησή του.Η εργασία ολοκληρώνεται με το Κεφάλαιο 6 όπου πραγματοποιείται ανακεφαλαίωση παρουσιάζοντας τα συμπεράσματα που προέκυψαν, τη συνεισφορά της εργασίας και ενδεχόμενες μελλοντικές κατευθύνσεις. Η βασική συνεισφορά της εργασίας έγκειται στην επίτευξη του σκοπού της, δηλαδή στην απόδειξη πως ένας αυτόματα εκπαιδευμένος ταξινομητής μπορεί να πετύχει εξίσου καλά αποτελέσματα με μια χειρωνακτικά κατασκευασμένη γραμματική.Στις ενδεχόμενες μελλοντικές κατεθύνσεις για την περαιτέρω αξιοποίηση των δεδομένων σημειώνονται οι δοκιμές με διαφορετικούς αλγόριθμους μάθησης και διαφορετικές ιδιότητες, αλλά και η στενότερη σύνδεση του συστήματος δρομολόγησης των (μεταγεγραμμένων) εκφωνημάτων με το σύστημα αναγνώρισης φωνής. Για παράδειγμα, θα μπορούσε ενδεχομένως το σύστημα δρομολόγησης να χρησιμοποιεί και ιδιότητες που θα αντανακλούσαν τη βεβαιότητα αναγνώρισης (από το σύστημα αναγνώρισης φωνής) της κάθε λέξης.
|
|---|
Copyright © 2013 Βιβλιοθήκη Ο.Π.Α. Με την επιφύλαξη παντός δικαιώματος.