24.2 Installation et configuration de votre grappe Kafka

24.2.1 Téléchargement d’Apache Kafka

Accédez à https://kafka.apache.org/downloads et téléchargez la dernière version publiée. Sélectionnez la dernière version binaire, dans ce cas Scala 2.13.

Kafka

Vous êtes alors amené sur un site miroir. Cliquez sur le lien proposé pour télécharger Kafka.

Kafka

Créez un dossier sur votre bureau nommé Kafka_AEP et placez le fichier téléchargé dans ce répertoire.

Kafka

Ouvrez une fenêtre Terminal en cliquant avec le bouton droit sur votre dossier et en cliquant sur Nouveau terminal dans le dossier.

Kafka

Exécutez cette commande dans la fenêtre Terminal pour décompresser le fichier téléchargé :

tar -xvf kafka_2.13-2.8.0.tgz

Kafka

Vous verrez alors :

Kafka

Après avoir décompressé ce fichier, vous disposez désormais d’un répertoire comme celui-ci :

Kafka

Et dans ce répertoire, vous verrez ces sous-répertoires :

Kafka

Revenez à la fenêtre de votre terminal. Saisissez la commande suivante :

cd kafka_2.13-2.8.0

Kafka

Saisissez ensuite la commande bin/kafka-topics.sh.

Kafka

Vous devriez alors voir cette réponse. Cela signifie que Kafka est correctement installé et que Java fonctionne correctement. (Rappel : vous avez besoin de Java 8 JDK ou Java 11 JDK installés pour que cela fonctionne !. Vous pouvez voir quelle version Java vous avez installée à l’aide de la commande java -version.)

Kafka

24.2.2 Démarrer Kafka

Pour démarrer Kafka, vous devez démarrer Kafka Zookeeper et Kafka, dans cet ordre.

Ouvrez une fenêtre Terminal en cliquant avec le bouton droit de la souris sur votre dossier kafka_2.13-2.8.0 et en cliquant sur Nouveau terminal dans le dossier.

Kafka

Saisissez la commande suivante :

bin/zookeeper-server-start.sh config/zookeeper.properties

Kafka

Vous verrez alors :

Kafka

Gardez cette fenêtre ouverte pendant que vous passez par ces exercices !

Ouvrez une autre fenêtre Terminal avec le bouton droit de la souris sur votre dossier kafka_2.13-2.8.0 et cliquez sur Nouveau terminal dans le dossier.

Kafka

Saisissez la commande suivante :

bin/kafka-server-start.sh config/server.properties

Kafka

Vous verrez alors :

Kafka

Gardez cette fenêtre ouverte pendant que vous passez par ces exercices !

24.2.3 Création d’une rubrique Kafka

Ouvrez une fenêtre Terminal en cliquant avec le bouton droit de la souris sur votre dossier kafka_2.13-2.8.0 et en cliquant sur Nouveau terminal dans le dossier.

Kafka

Saisissez cette commande pour créer une nouvelle rubrique Kafka nommée aeptest. Cette rubrique sera utilisée à des fins de test dans cet exercice.

bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic aeptest --create --partitions 1 --replication-factor 1

Kafka

Une confirmation similaire s’affiche alors :

Kafka

Saisissez cette commande pour créer une nouvelle rubrique Kafka nommée aep. Cette rubrique sera utilisée par le connecteur Adobe Experience Platform Sink que vous allez configurer dans les exercices suivants.

bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic aep --create --partitions 1 --replication-factor 1

Kafka

Une confirmation similaire s’affiche alors :

Kafka

24.2.4 Générer des événements

Revenez à la fenêtre Terminal dans laquelle vous avez créé votre première rubrique Kafka et saisissez la commande suivante :

bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic aeptest

Kafka

Vous verrez alors ceci. Chaque nouvelle ligne suivie d’un bouton Entrée entraîne l’envoi d’un nouveau message dans la rubrique aeptest.

Kafka

Saisissez Hello AEP et appuyez sur Entrée. Votre premier événement a maintenant été envoyé dans votre instance Kafka locale, dans la rubrique aeptest.

Kafka

Saisissez Hello AEP again. et appuyez sur Entrée.

Saisissez AEP Data Collection is the best. et appuyez sur Entrée.

Vous avez maintenant généré 3 événements dans la rubrique aeptest. Ces événements peuvent désormais être utilisés par une application qui peut avoir besoin de ces données.

Kafka

Sur votre clavier, cliquez simultanément sur Control et C pour fermer votre producteur.

Kafka

24.2.4 Consommer des événements

Dans la fenêtre Terminal que vous utilisiez pour générer des événements, saisissez la commande suivante :

bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic aeptest --from-beginning

Vous verrez ensuite tous les messages qui ont été générés dans l’exercice précédent pour la rubrique aeptest, s’afficher dans le consommateur. Voici comment fonctionne Apache Kafka : un producteur crée des événements dans un pipeline et un consommateur les consomme.

Kafka

Sur votre clavier, cliquez simultanément sur Control et C pour fermer votre producteur.

Kafka

Dans cet exercice, vous avez passé en revue tous les principes de base pour configurer une grappe Kafka locale, créer un sujet Kafka, produire des événements et consommer des événements.

L’objectif de ce module est de simuler ce qui se passerait si une véritable organisation avait déjà mis en oeuvre une grappe Apache Kafka et souhaitait diffuser des données de sa grappe Kafka vers Adobe Experience Platform.

Pour faciliter une telle mise en oeuvre, un connecteur Adobe Experience Platform Sink a été créé et peut être mis en oeuvre à l’aide de Kafka Connect. Vous trouverez la documentation de ce connecteur Adobe Experience Platform Sink ici : https://github.com/adobe/experience-platform-streaming-connect.

Dans les exercices suivants, vous allez mettre en oeuvre tout ce dont vous avez besoin pour utiliser ce connecteur Adobe Experience Platform Sink depuis votre propre grappe Kafka locale.

Fermez la fenêtre de votre terminal.

Vous avez terminé cet exercice.

Étape suivante : 24.3 Configuration du point d’entrée de l’API HTTP dans Adobe Experience Platform

Revenir au module 24

Revenir à tous les modules

Sur cette page