24.2 Instale e configure seu cluster Kafka

24.2.1 Baixar o Apache Kafka

Vá para https://kafka.apache.org/downloads e baixe a versão mais recente lançada. Selecione a versão binária mais recente, neste caso Scala 2.13.

Kafka

Você é levado a um espelho. Clique no link sugerido para baixar o Kafka.

Kafka

Crie uma pasta no desktop chamada Kafka_AEP e coloque o arquivo baixado nesse diretório.

Kafka

Abra uma janela Terminal clicando com o botão direito do mouse na sua pasta e clicando em Novo Terminal na Pasta.

Kafka

Execute este comando na janela Terminal para descompactar o arquivo baixado:

tar -xvf kafka_2.13-2.8.0.tgz

Kafka

Você verá isso:

Kafka

Depois de descompactar esse arquivo, agora há um diretório como este:

Kafka

E nesse diretório, você verá esses subdiretórios:

Kafka

Volte para a janela Terminal. Digite o seguinte comando:

cd kafka_2.13-2.8.0

Kafka

Em seguida, digite o comando bin/kafka-topics.sh.

Kafka

Você deverá ver essa resposta. Isso significa que o Kafka está instalado corretamente e que o Java está funcionando bem. (Lembrete: você precisa do JDK Java 8 ou Java 11 JDK instalado para que isso funcione! Você pode ver qual versão do Java instalou usando o comando java -version.)

Kafka

24.2.2 Iniciar Kafka

Para começar Kafka, você precisa começar o Zookeeper Kafka e Kafka, nesta ordem.

Abra uma janela Terminal clicando com o botão direito do mouse em sua pasta kafka_2.13-2.8.0 e clicando em Novo Terminal na Pasta.

Kafka

Digite este comando:

bin/zookeeper-server-start.sh config/zookeeper.properties

Kafka

Você verá isso:

Kafka

Mantenha essa janela aberta enquanto passa por esses exercícios!

Abra outra nova janela Terminal clicando com o botão direito do mouse na pasta kafka_2.13-2.8.0 e clicando em Novo Terminal na Pasta.

Kafka

Digite este comando:

bin/kafka-server-start.sh config/server.properties

Kafka

Você verá isso:

Kafka

Mantenha essa janela aberta enquanto passa por esses exercícios!

24.2.3 Criar um tópico do Kafka

Abra uma janela Terminal clicando com o botão direito do mouse em sua pasta kafka_2.13-2.8.0 e clicando em Novo Terminal na Pasta.

Kafka

Digite este comando para criar um novo tópico do Kafka com o nome aeptest. Este tópico será usado para testes neste exercício.

bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic aeptest --create --partitions 1 --replication-factor 1

Kafka

Você verá uma confirmação semelhante:

Kafka

Digite este comando para criar um novo tópico do Kafka com o nome aep. Este tópico será usado pelo Adobe Experience Platform Sink Connector que você configurará nos próximos exercícios.

bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic aep --create --partitions 1 --replication-factor 1

Kafka

Você verá uma confirmação semelhante:

Kafka

24.2.4 Produzir eventos

Volte para a janela Terminal na qual você criou seu primeiro tópico do Kafka e insira o seguinte comando:

bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic aeptest

Kafka

Você verá isso. Todas as novas linhas seguidas pressionando o botão Enter resultarão no envio de uma nova mensagem para o tópico aeptest.

Kafka

Insira Hello AEP e pressione Enter. Seu primeiro evento foi enviado para a instância Kafka local, para o tópico aeptest.

Kafka

Insira Hello AEP again. e pressione Enter.

Insira AEP Data Collection is the best. e pressione Enter.

Agora você produziu três eventos no tópico aeptest. Esses eventos agora podem ser consumidos por um aplicativo que pode precisar desses dados.

Kafka

No teclado, clique em Control e C ao mesmo tempo para fechar o produtor.

Kafka

24.2.4 Eventos de consumo

Na mesma janela Terminal usada para produzir eventos, digite o seguinte comando:

bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic aeptest --from-beginning

Você verá todas as mensagens que foram produzidas no exercício anterior para o tópico aeptest, serem exibidas no consumidor. O Apache Kafka funciona assim: um produtor cria eventos em um pipeline, e um consumidor consome esses eventos.

Kafka

No teclado, clique em Control e C ao mesmo tempo para fechar o produtor.

Kafka

Neste exercício, você passou por todas as noções básicas para configurar um cluster Kafka local, criar um tópico Kafka, produzir eventos e consumir eventos.

O objetivo desse módulo é simular o que aconteceria se uma organização real já tivesse implementado um cluster Apache Kafka e quisesse transmitir dados de seu cluster Kafka para o Adobe Experience Platform.

Para facilitar essa implementação, um Conector do Adobe Experience Platform Sink foi criado e pode ser implementado com o Kafka Connect. Você pode encontrar a documentação do Adobe Experience Platform Sink Connector aqui: https://github.com/adobe/experience-platform-streaming-connect.

Nos próximos exercícios, você implementará tudo o que precisa para usar o Adobe Experience Platform Sink Connector de dentro de seu próprio cluster Kafka local.

Feche a janela do terminal.

Terminou este exercício.

Próxima etapa: 24.3 Configure o endpoint da API HTTP no Adobe Experience Platform

Voltar ao Módulo 24

Voltar para todos os módulos

Nesta página