24.2 Kafka-Cluster installieren und konfigurieren

24.2.1 Apache Kafka herunterladen

Gehen Sie zu https://kafka.apache.org/downloads und laden Sie die neueste veröffentlichte Version herunter. Wählen Sie die neueste Binärversion aus, in diesem Fall Scala 2.13.

Kafka

Sie werden dann zu einer Mirrorseite geführt. Klicken Sie auf den Link zum Herunterladen von Kafka.

Kafka

Erstellen Sie auf Ihrem Desktop einen Ordner mit dem Namen Kafka_AEP und legen Sie die heruntergeladene Datei in diesem Verzeichnis ab.

Kafka

Öffnen Sie ein Fenster Terminal, indem Sie mit der rechten Maustaste auf Ihren Ordner klicken und Neues Terminal unter Ordner auswählen.

Kafka

Führen Sie diesen Befehl in Ihrem Terminal-Fenster aus, um die heruntergeladene Datei zu entpacken:

tar -xvf kafka_2.13-2.8.0.tgz

Kafka

Daraufhin sehen Sie Folgendes:

Kafka

Nach dem Dekomprimieren dieser Datei haben Sie nun ein Verzeichnis wie dieses:

Kafka

Und in diesem Verzeichnis sehen Sie diese Unterverzeichnisse:

Kafka

Kehren Sie zu Ihrem Terminal-Fenster zurück. Geben Sie den folgenden Befehl ein:

cd kafka_2.13-2.8.0

Kafka

Geben Sie als Nächstes den Befehl bin/kafka-topics.sh ein.

Kafka

Sie sollten dann diese Antwort sehen. Dies bedeutet, dass Kafka ordnungsgemäß installiert ist und dass Java gut funktioniert. (Erinnerung: Sie benötigen Java 8 JDK oder Java 11 JDK installiert, damit dies funktioniert! Mit dem Befehl java -version können Sie sehen, welche Java-Version Sie installiert haben.)

Kafka

24.2.2 Kafka starten

Um Kafka zu starten, müssen Sie Kafka Zookeeper und Kafka in dieser Reihenfolge starten.

Öffnen Sie ein Fenster Terminal, indem Sie mit der rechten Maustaste auf den Ordner kafka_2.13-2.8.0 klicken und Neues Terminal unter Ordner klicken.

Kafka

Geben Sie folgenden Befehl ein:

bin/zookeeper-server-start.sh config/zookeeper.properties

Kafka

Daraufhin sehen Sie Folgendes:

Kafka

Lassen Sie dieses Fenster offen, während Sie durch diese Übungen gehen!

Öffnen Sie ein weiteres, neues Fenster Terminal, indem Sie mit der rechten Maustaste auf den Ordner kafka_2.13-2.8.0 klicken und Neues Terminal unter Ordner klicken.

Kafka

Geben Sie folgenden Befehl ein:

bin/kafka-server-start.sh config/server.properties

Kafka

Daraufhin sehen Sie Folgendes:

Kafka

Lassen Sie dieses Fenster offen, während Sie durch diese Übungen gehen!

24.2.3 Kafka-Thema erstellen

Öffnen Sie ein Fenster Terminal, indem Sie mit der rechten Maustaste auf den Ordner kafka_2.13-2.8.0 klicken und Neues Terminal unter Ordner klicken.

Kafka

Geben Sie diesen Befehl ein, um ein neues Kafka-Thema mit dem Namen aeptest zu erstellen. Dieses Thema wird für Tests in dieser Übung verwendet.

bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic aeptest --create --partitions 1 --replication-factor 1

Kafka

Daraufhin wird eine ähnliche Bestätigung angezeigt:

Kafka

Geben Sie diesen Befehl ein, um ein neues Kafka-Thema mit dem Namen aep zu erstellen. Dieses Thema wird vom Adobe Experience Platform Sink Connector verwendet, den Sie in den nächsten Übungen konfigurieren werden.

bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic aep --create --partitions 1 --replication-factor 1

Kafka

Daraufhin wird eine ähnliche Bestätigung angezeigt:

Kafka

24.2.4 Ereignisse produzieren

Gehen Sie zurück zum Terminal-Fenster, in dem Sie Ihr erstes Kafka-Thema erstellt haben, und geben Sie den folgenden Befehl ein:

bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic aeptest

Kafka

Dann wirst du das sehen. Jede neue Zeile, gefolgt von der Enter-Schaltfläche, sendet eine neue Nachricht an das Thema apest.

Kafka

Geben Sie Hello AEP ein und drücken Sie die Eingabetaste. Ihr erstes Ereignis wurde jetzt an Ihre lokale Kafka-Instanz gesendet, in das Thema apeptest.

Kafka

Geben Sie Hello AEP again. ein und drücken Sie die Eingabetaste.

Geben Sie AEP Data Collection is the best. ein und drücken Sie die Eingabetaste.

Sie haben nun 3 Ereignisse in das Thema aeptest eingebracht. Diese Ereignisse können jetzt von einer Anwendung genutzt werden, die diese Daten möglicherweise benötigt.

Kafka

Klicken Sie auf der Tastatur auf Control und C gleichzeitig, um Ihren Produzenten zu schließen.

Kafka

24.2.4 Verbrauchsereignisse

Geben Sie im selben Terminal-Fenster, das Sie zum Erstellen von Ereignissen verwendet haben, den folgenden Befehl ein:

bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic aeptest --from-beginning

Daraufhin werden alle Meldungen, die in der vorherigen Übung für das Thema aeptest erstellt wurden, im Verbraucher angezeigt. So wirkt Apache Kafka: ein Hersteller Ereignisse in einer Pipeline erstellt und ein Verbraucher diese Ereignisse verbraucht.

Kafka

Klicken Sie auf der Tastatur auf Control und C gleichzeitig, um Ihren Produzenten zu schließen.

Kafka

In dieser Übung haben Sie alle Grundlagen durchlaufen, um einen lokalen Kafka-Cluster einzurichten, ein Kafka-Thema zu erstellen, Ereignisse zu produzieren und Ereignisse zu nutzen.

Ziel dieses Moduls ist es zu simulieren, was passieren würde, wenn eine echte Organisation bereits einen Apache Kafka-Cluster implementiert hat und Daten aus ihrem Kafka-Cluster in Adobe Experience Platform streamen möchte.

Um eine solche Implementierung zu erleichtern, wurde ein Adobe Experience Platform Sink Connector erstellt, der mithilfe von Kafka Connect implementiert werden kann. Die Dokumentation zu diesem Adobe Experience Platform Sink Connector finden Sie hier: https://github.com/adobe/experience-platform-streaming-connect.

In den nächsten Übungen implementieren Sie alles, was Sie für die Verwendung dieses Adobe Experience Platform Sink-Connectors benötigen, aus Ihrem eigenen lokalen Kafka-Cluster.

Schließen Sie Ihr Terminal-Fenster.

Du hast diese Übung beendet.

Nächster Schritt: 24.3 HTTP-API-Endpunkt in Adobe Experience Platform konfigurieren

Zurück zu Modul 24

Zu allen Modulen zurückkehren

Auf dieser Seite