Vá para https://kafka.apache.org/downloads e baixe a versão mais recente lançada. Selecione a versão binária mais recente, neste caso Scala 2.13.
Você é levado a um espelho. Clique no link sugerido para baixar o Kafka.
Crie uma pasta no desktop chamada Kafka_AEP e coloque o arquivo baixado nesse diretório.
Abra uma janela Terminal clicando com o botão direito do mouse na sua pasta e clicando em Novo Terminal na Pasta.
Execute este comando na janela Terminal para descompactar o arquivo baixado:
tar -xvf kafka_2.13-2.8.0.tgz
Você verá isso:
Depois de descompactar esse arquivo, agora há um diretório como este:
E nesse diretório, você verá esses subdiretórios:
Volte para a janela Terminal. Digite o seguinte comando:
cd kafka_2.13-2.8.0
Em seguida, digite o comando bin/kafka-topics.sh
.
Você deverá ver essa resposta. Isso significa que o Kafka está instalado corretamente e que o Java está funcionando bem. (Lembrete: você precisa do JDK Java 8 ou Java 11 JDK instalado para que isso funcione! Você pode ver qual versão do Java instalou usando o comando java -version
.)
Para começar Kafka, você precisa começar o Zookeeper Kafka e Kafka, nesta ordem.
Abra uma janela Terminal clicando com o botão direito do mouse em sua pasta kafka_2.13-2.8.0 e clicando em Novo Terminal na Pasta.
Digite este comando:
bin/zookeeper-server-start.sh config/zookeeper.properties
Você verá isso:
Mantenha essa janela aberta enquanto passa por esses exercícios!
Abra outra nova janela Terminal clicando com o botão direito do mouse na pasta kafka_2.13-2.8.0 e clicando em Novo Terminal na Pasta.
Digite este comando:
bin/kafka-server-start.sh config/server.properties
Você verá isso:
Mantenha essa janela aberta enquanto passa por esses exercícios!
Abra uma janela Terminal clicando com o botão direito do mouse em sua pasta kafka_2.13-2.8.0 e clicando em Novo Terminal na Pasta.
Digite este comando para criar um novo tópico do Kafka com o nome aeptest. Este tópico será usado para testes neste exercício.
bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic aeptest --create --partitions 1 --replication-factor 1
Você verá uma confirmação semelhante:
Digite este comando para criar um novo tópico do Kafka com o nome aep. Este tópico será usado pelo Adobe Experience Platform Sink Connector que você configurará nos próximos exercícios.
bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic aep --create --partitions 1 --replication-factor 1
Você verá uma confirmação semelhante:
Volte para a janela Terminal na qual você criou seu primeiro tópico do Kafka e insira o seguinte comando:
bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic aeptest
Você verá isso. Todas as novas linhas seguidas pressionando o botão Enter resultarão no envio de uma nova mensagem para o tópico aeptest.
Insira Hello AEP
e pressione Enter. Seu primeiro evento foi enviado para a instância Kafka local, para o tópico aeptest.
Insira Hello AEP again.
e pressione Enter.
Insira AEP Data Collection is the best.
e pressione Enter.
Agora você produziu três eventos no tópico aeptest. Esses eventos agora podem ser consumidos por um aplicativo que pode precisar desses dados.
No teclado, clique em Control
e C
ao mesmo tempo para fechar o produtor.
Na mesma janela Terminal usada para produzir eventos, digite o seguinte comando:
bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic aeptest --from-beginning
Você verá todas as mensagens que foram produzidas no exercício anterior para o tópico aeptest, serem exibidas no consumidor. O Apache Kafka funciona assim: um produtor cria eventos em um pipeline, e um consumidor consome esses eventos.
No teclado, clique em Control
e C
ao mesmo tempo para fechar o produtor.
Neste exercício, você passou por todas as noções básicas para configurar um cluster Kafka local, criar um tópico Kafka, produzir eventos e consumir eventos.
O objetivo desse módulo é simular o que aconteceria se uma organização real já tivesse implementado um cluster Apache Kafka e quisesse transmitir dados de seu cluster Kafka para o Adobe Experience Platform.
Para facilitar essa implementação, um Conector do Adobe Experience Platform Sink foi criado e pode ser implementado com o Kafka Connect. Você pode encontrar a documentação do Adobe Experience Platform Sink Connector aqui: https://github.com/adobe/experience-platform-streaming-connect.
Nos próximos exercícios, você implementará tudo o que precisa para usar o Adobe Experience Platform Sink Connector de dentro de seu próprio cluster Kafka local.
Feche a janela do terminal.
Terminou este exercício.
Próxima etapa: 24.3 Configure o endpoint da API HTTP no Adobe Experience Platform