O conector Apache Spark no conector Azure HDInsights está em beta. Consulte a Visão geral das fontes para obter mais informações sobre o uso de conectores marcados com beta.
Flow Service é usada para coletar e centralizar dados do cliente de várias fontes diferentes no Adobe Experience Platform. O serviço fornece uma interface de usuário e uma RESTful API a partir da qual todas as fontes compatíveis são conectáveis.
Este tutorial usa a API Flow Service para guiá-lo pelas etapas para conectar Apache Spark em Azure HDInsights (a seguir, "Spark") a Experience Platform.
Este guia exige uma compreensão prática dos seguintes componentes do Adobe Experience Platform:
As seções a seguir fornecem informações adicionais que você precisará saber para se conectar com êxito a Spark usando a API Flow Service.
Para que Flow Service se conecte com Spark, é necessário fornecer valores para as seguintes propriedades de conexão:
Credencial | Descrição |
---|---|
host |
O endereço IP ou o nome do host do servidor Spark. |
username |
O nome de usuário que você usa para acessar o Spark Server. |
password |
A senha correspondente ao usuário. |
connectionSpec.id |
O identificador exclusivo necessário para criar uma conexão. A ID de especificação de conexão para Spark é: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6 |
Para obter mais informações sobre a introdução, consulte este documento Spark.
Este tutorial fornece exemplos de chamadas de API para demonstrar como formatar suas solicitações. Isso inclui caminhos, cabeçalhos necessários e cargas de solicitação formatadas corretamente. O JSON de amostra retornado em respostas de API também é fornecido. Para obter informações sobre as convenções usadas na documentação para chamadas de API de amostra, consulte a seção em como ler chamadas de API de exemplo no guia de solução de problemas Experience Platform.
Para fazer chamadas para Platform APIs, você deve primeiro concluir o tutorial de autenticação. A conclusão do tutorial de autenticação fornece os valores para cada um dos cabeçalhos necessários em todas as chamadas de API Experience Platform, como mostrado abaixo:
Authorization: Bearer {ACCESS_TOKEN}
x-api-key: {API_KEY}
x-gw-ims-org-id: {IMS_ORG}
Todos os recursos em Experience Platform, incluindo os pertencentes a Flow Service, são isolados para caixas de proteção virtuais específicas. Todas as solicitações para Platform APIs exigem um cabeçalho que especifique o nome da caixa de proteção em que a operação ocorrerá:
x-sandbox-name: {SANDBOX_NAME}
Todas as solicitações que contêm uma carga (POST, PUT, PATCH) exigem um cabeçalho de tipo de mídia adicional:
Content-Type: application/json
Uma conexão especifica uma fonte e contém suas credenciais para essa fonte. Somente uma conexão é necessária por conta Spark, pois pode ser usada para criar vários conectores de origem para trazer dados diferentes.
Formato da API
POST /connections
Solicitação
Para criar uma conexão Spark, sua ID exclusiva de especificação de conexão deve ser fornecida como parte da solicitação de POST. A ID de especificação de conexão para Spark é 6a8d82bc-1caf-45d1-908d-cadabc9d63a6
.
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/connections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {IMS_ORG}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "Spark test connection",
"description": "A Spark test connection",
"auth": {
"specName": "HDInsights Basic Authentication",
"params": {
"host" : "{HOST}",
"username" : "{USERNAME}",
"password" :"{PASSWORD}"
}
},
"connectionSpec": {
"id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
"version": "1.0"
}
}'
Parâmetro | Descrição |
---|---|
auth.params.host |
O host do servidor Spark. |
auth.params.username |
O nome de usuário associado à sua conexão Spark. |
auth.params.password |
A senha associada à sua conexão Spark. |
connectionSpec.id |
A ID de especificação de conexão Spark: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6 . |
Resposta
Uma resposta bem-sucedida retorna detalhes da conexão recém-criada, incluindo seu identificador exclusivo (id
). Essa ID é necessária para explorar seus dados no próximo tutorial.
{
"id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
"etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}
Ao seguir este tutorial, você criou uma conexão Spark usando a API Flow Service e obteve o valor de ID exclusivo da conexão. Você pode usar essa ID no próximo tutorial à medida que aprende a explorar bancos de dados usando a API de Serviço de Fluxo.