24.2安装和配置Kafka群集

24.2.1下载Apache Kafka

转到https://kafka.apache.org/downloads并下载最新版本。 选择最新的二进制版本,在此例中为​Scala 2.13

卡夫卡

然后你被带到镜子站。 单击建议的链接以下载Kafka。

卡夫卡

在桌面上创建名为​Kafka_AEP​的文件夹,并将下载的文件放在该目录中。

卡夫卡

右键单击您的文件夹并单击​文件夹​处的“新建终端”,以打开​“终端”窗口。

卡夫卡

在“终端”窗口中运行此命令以解压缩下载的文件:

tar -xvf kafka_2.13-2.8.0.tgz

卡夫卡

然后您将看到:

卡夫卡

解压缩该文件后,您现在有一个类似此目录的目录:

卡夫卡

在该目录中,您将看到以下子目录:

卡夫卡

返回到“终端”窗口。 输入以下命令:

cd kafka_2.13-2.8.0

卡夫卡

接下来,输入命令bin/kafka-topics.sh

卡夫卡

然后,您应会看到此响应。 这意味着Kafka已正确安装,Java运行正常。 (提醒:您需要安装Java 8 JDK或Java 11 JDK才能正常工作! 您可以使用命令java -version查看已安装的Java版本。)

卡夫卡

24.2.2开始Kafka

为了开始Kafka,你需要启动Kafka Zookeeper和Kafka,按此顺序。

右键单击文件夹​kafka_2.13-2.8.0​并单击文件夹​中的​新建终端,打开​终端​窗口。

卡夫卡

输入以下命令:

bin/zookeeper-server-start.sh config/zookeeper.properties

卡夫卡

然后您将看到:

卡夫卡

在练习这些练习时,保持此窗口处于打开状态!

右键单击文件夹​kafka_2.13-2.8.0​并单击文件夹​中的​新建终端,打开另一个新的​终端​窗口。

卡夫卡

输入以下命令:

bin/kafka-server-start.sh config/server.properties

卡夫卡

然后您将看到:

卡夫卡

在练习这些练习时,保持此窗口处于打开状态!

24.2.3创建Kafka主题

右键单击文件夹​kafka_2.13-2.8.0​并单击文件夹​中的​新建终端,打开​终端​窗口。

卡夫卡

输入此命令以创建名为​aeptest​的新Kafka主题。 本主题将用于本练习中的测试。

bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic aeptest --create --partitions 1 --replication-factor 1

卡夫卡

然后,您将看到类似的确认信息:

卡夫卡

输入此命令以创建名为​aep​的新Kafka主题。 本主题将由您将在下一个练习中配置的Adobe Experience Platform Sink连接器使用。

bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic aep --create --partitions 1 --replication-factor 1

卡夫卡

然后,您将看到类似的确认信息:

卡夫卡

24.2.4制作事件

返回到在其中创建第一个Kafka主题的“终端”窗口,然后输入以下命令:

bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic aeptest

卡夫卡

然后你会看到这个。 按下Enter按钮后,每换一行新消息,就会在主题​aeptest​中发送一条新消息。

卡夫卡

输入Hello AEP并按Enter。 现在,您的第一个事件已发送到本地Kafka实例中的主题​aeptest

卡夫卡

输入Hello AEP again.并按Enter。

输入AEP Data Collection is the best.并按Enter。

现在,您在主题​aeptest​中生成了3个事件。 现在,可能需要该数据的应用程序可以使用这些事件。

卡夫卡

在键盘上,同时单击ControlC以关闭生产商。

卡夫卡

24.2.4使用事件

在用于生成事件的“终端”窗口中,输入以下命令:

bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic aeptest --from-beginning

然后,您将看到在上一个练习中针对主题​aeptest​生成的所有消息都显示在消费者中。 Apache Kafka的工作方式如下:生产者在管道中创建事件,而消费者则消费这些事件。

卡夫卡

在键盘上,同时单击ControlC以关闭生产商。

卡夫卡

在本练习中,您已经完成了设置本地Kafka群集、创建Kafka主题、生成事件和使用事件的所有基础知识。

此模块的目标是模拟在真实组织已实施Apache Kafka群集,并希望将数据从其Kafka群集流到Adobe Experience Platform时会发生什么情况。

为便于实施,创建了Adobe Experience Platform Sink连接器,可使用Kafka Connect实施。 您可以在此处找到Adobe Experience Platform Sink Connector的文档:https://github.com/adobe/experience-platform-streaming-connect

在接下来的练习中,您将实施从您自己的本地Kafka群集中使用Adobe Experience Platform Sink Connector所需的所有功能。

关闭终端窗口。

您已完成此练习。

下一步:24.3在Adobe Experience Platform中配置HTTP API端点

返回到模块24

返回到所有模块

在此页面上