Συλλογές	Ιδρυματικό Αποθετήριο ΟΠΑ / AUEB Institutional Repository Σχολή Επιστημών και Τεχνολογίας της Πληροφορίας / School of Informatics Τμήμα Πληροφορικής / Department of Informatics Μεταπτυχιακές Εργασίες / Postgraduate dissertations
Τίτλος	Chain of thought prompting for intent classification using large language models
Εναλλακτικός τίτλος	Προτροπή μέσω αλυσίδας σκέψεων για ταξινόμηση προθέσεων με τη χρήση μεγάλων γλωσσικών μοντέλων
Δημιουργός	Κούτσιανος, Δημήτριος, Koutsianos, Dimitrios
Συντελεστής	Vassalos, Vasilios Malakasiotis, Prodromos Athens University of Economics and Business, Department of Informatics Androutsopoulos, Ion
Τύπος	Text
Φυσική περιγραφή	130p.
Γλώσσα	en
Αναγνωριστικό	http://www.pyxida.aueb.gr/index.php?op=view_object&object_id=11067
Περίληψη	Large Language Models (LLMs) like ChatGPT, GPT-4, and Llama have shown tremendous capacity in text understanding and generation. Among the most prominent emergent abilities of LLMs is the so-called Chain of Thought (CoT) prompting. The latter consists of a series of intermediate reasoning steps that can significantly improve the ability of LLMs to perform complex reasoning. Moreover, it provides an interpretable window into the behavior of the model, suggesting how it might have arrived at a particular answer and providing opportunities to debug where the reasoning path went wrong. The goal of the suggested project is to examine the application of CoT prompting in sentence classification, and more specifically in intent classification. Estimating the intent of the user of a service is one of the core problems in task-oriented dialog systems. Traditionally, it has been approached as a classification problem requiring many training examples per intent and older classifiers are trained on a pre-defined set of intents. Such approaches are in general not scalable and hard to maintain, as they require one model per client due to the set of intents being client-dependent. An additional weakness of these approaches is that they do not reveal the way the model classifies phrases into intent classes. Explainability methods such as LIME or SHAP can be applied, however, they do not always yield intuitive explanations, as they merely estimate the contribution of each word of the phrase to the classifier’s decision, something that Chain of Thought Prompting may provide a solution for. LLMs have exhibited strong performance in text classification, both in a 0-shot and a few- shot context, but not on the same level as older models that are designed specifically for classification. To address this performance gap, in this work a set of 5 candidate intents are added to the prompt. These intents are extracted utilizing a BERT-based classifier. To further help with the reduction of the performance gap, a description for each of the 5 candidate intents is also included in the prompt a description, which was created with the help of ChatGPT. As for the Chain of Thought part of this thesis, we first tested a 0-shot method utilizing three phrases that generate Chain of Thought, “Let’s Think Step by Step”, “Let’s Take a Deep Breath and work on this Step by Step”, and a novel phrase, “Show your Thoughts”. We will show that in both datasets that are used, namely CLINC-150 and BANKING77, the method that was outlined shows promising results. Μεγάλα γλωσσικά μοντέλα (LLM) όπως τα ChatGPT, GPT-4 και Llama έχουν δείξει τεράστια ικανότητα στην κατανόηση και παραγωγή κειμένου. Μεταξύ των πιο σημαντικών αναδυόμενων ικανοτήτων των LLMs είναι η λεγόμενη Chain of Thought (CoT) prompting. Η τελευταία αποτελείται από μια σειρά ενδιάμεσων βημάτων συλλογισμού που μπορούν να βελτιώσουν σημαντικά την ικανότητα των LLMs να εκτελούν σύνθετους συλλογισμούς. Επιπλέον, παρέχει ένα ερμηνεύσιμο παράθυρο στη συμπεριφορά του μοντέλου, υποδεικνύοντας τον τρόπο με τον οποίο μπορεί να έχει καταλήξει σε μια συγκεκριμένη απάντηση και παρέχοντας ευκαιρίες εντοπισμού των σημείων όπου η πορεία συλλογισμού πήγε στραβά. Οστόχος της προτεινόμενης εργασίας είναι να εξετάσει την εφαρμογή της μεθόδου CoT prompting στην ταξινόμηση προτάσεων, και πιο συγκεκριμένα στην ταξινόμηση προθέσεων (intents). Η εκτίμηση της πρόθεσης του χρήστη μιας υπηρεσίας είναι ένα από τα βασικά προβλήματα στα συστήματα διαλόγου προσανατολισμένα σε συγκεκριμένη εργασία. Παραδοσιακά, έχει προσεγγιστεί ως πρόβλημα ταξινόμησης που απαιτεί πολλά παραδείγματα εκπαίδευσης ανά πρόθεση και παλαιότερους ταξινομητές που εκπαιδεύονται σε ένα προκαθορισμένο σύνολο προθέσεων. Τέτοιες προσεγγίσεις δεν είναι γενικά κλιμακούμενες και δύσκολα συντηρούνται, καθώς απαιτούν ένα μοντέλο ανά πελάτη λόγω του ότι το σύνολο των προθέσεων εξαρτάται από τον πελάτη. Μια πρόσθετη αδυναμία αυτών των προσεγγίσεων είναι ότι δεν αποκαλύπτουν τον τρόπο με τον οποίο το μοντέλο ταξινομεί τις φράσεις σε κλάσεις προθέσεων. Μπορούν να εφαρμοστούν μέθοδοι επεξήγησης όπως η LIME ή η SHAP, ωστόσο δεν αποδίδουν πάντα διαισθητικές εξηγήσεις, καθώς απλώς εκτιμούν τη συμβολή κάθε λέξης της φράσης στην απόφαση του ταξινομητή, κάτι για το οποίο η μέθοδος Chain of Thought prompting μπορεί να δώσει λύση. Τα LLM έχουν επιδείξει ισχυρές επιδόσεις στην ταξινόμηση κειμένου, τόσο σε πλαίσιο 0- shot (δηλαδή χωρίς κανένα παράδειγμα εκπαίδευσης στο prompt) όσο και σε πλαίσιο fewshot (δηλαδή με ένα συγκεκριμένο αριθμό παραδειγμάτων εκπαίδευσης στο prompt), αλλά όχι στο ίδιο επίπεδο με παλαιότερα μοντέλα που έχουν σχεδιαστεί ειδικά για ταξινόμηση. Για να αντιμετωπιστεί αυτό το κενό στην επίδοση, προστίθεται στο prompt ένα σύνολο 5 υποψήφιων προθέσεων. Αυτές οι προθέσεις εξάγονται χρησιμοποιώντας έναν ταξινομητή με βάση το BERT. Για να μειωθεί περαιτέρω το χάσμα στην επίδοση, για κάθε μία από τις 5 υποψήφιες προθέσεις περιλαμβάνεται επίσης στο prompt μια περιγραφή για την πρόθεση αυτή, η οποία δημιουργήθηκε με τη βοήθεια του ChatGPT. ΄Οσον αφορά το μέρος της αλυσίδας σκέψης αυτής της διατριβής, δοκιμάστηκε αρχικά μία 0- shot μέθοδος αξιοποιώντας τρεις φράσεις που παράγουν Chain of Thought, «Let’s Think Step by Step», «Let’s Take a Deep Breath and work on this Step by Step» και μια νέα φράση, «Show your Thoughts». Θα δείξουμε ότι και στα δύο σύνολα δεδομένων που χρησιμοποιούνται, δηλαδή το CLINC-150 και το BANKING77, η μέθοδος που περιγράφηκε παρουσιάζει ελπιδοφόρα αποτελέσματα.
Λέξη κλειδί	Αλυσίδα σκέψεων Μεγάλα γλωσσικά μοντέλα Ταξινόμηση προθέσεων Chain of thought Large language models Intent classification
Διαθέσιμο από	2024-03-13 20:19:33
Ημερομηνία έκδοσης	13-02-2024
Ημερομηνία κατάθεσης	2024-03-13 20:19:33
Δικαιώματα χρήσης	Free access
Άδεια χρήσης	https://creativecommons.org/licenses/by/4.0/