| Abstract : | Το Apache Kafka, είναι ένα από τα πιο δημοφιλή συστήματα ανταλλαγής μηνυμάτων για Big Data. Λόγω της ικανότητάς του να επεξεργάζεται μεγάλο αριθμό μηνυμάτων με υψηλό ρυθμό, έχει χρησιμοποιηθεί ευρέως στη βιομηχανία ως συνδετικό στοιχείο μεταξύ παραγωγών μεγάλου όγκου μηνυμάτων προς τελικές υπηρεσίες. Παρά την ευρεία υιοθέτησή του, ένα από τα πιο σημαντικά θέματα που δεν υποστηρίζει το Apache Kafka, είναι η επεξεργασία μηνυμάτων, ανάλογα με την προτεραιότητα που έχουν. Σε αυτό το άρθρο, προτείνουμε το KFP (Kafka's Fair Prioritization), μια νέα τεχνική που με έναν προσαρμόσιμο τρόπο υλοποιεί αποτελεσματικά την ιεράρχηση των μηνυμάτων. Επιπλέον, το KFP προσφέρει μια δίκαιη κατανομή πόρων για επικοινωνιά με τις τελικές υπηρεσίες, το οποίο καθιστά δυνατή την αποτελεσματική επεξεργασία στην περίπτωση εκρήξης μηνυμάτων υψηλής προτεραιότητας. Μέσω πειραματικών αξιολογήσεων δείξαμε την λειτουργία και τα οφέλη της προτεινόμενης μεθόδου.
Apache Kafka, is one of the most popular Big Data messaging systems. Because of its ability to process a high amount of messages at a high pace, it has been widely used in the industry as the connecting piece between high rate producers with end-services. Despite its wide adoption, one of the most important subjects that Apache Kafka does not support is message prioritization. In this paper, we propose KFP (Kafka's Fair Prioritization), a novel framework that makes possible message prioritization by providing an adaptable prioritization scheduling discipline. Moreover, KFP by providing a fair resource allocation for communication with the end services, it makes possible to efficiently process bursts of high priority messages when they occur. We conducted extensive experimental evaluations to illustrate the work and benefits of the proposed method.
|
|---|
Copyright © 2013 Library AUEB. All rights reserved.