O Apache Spark on Azure HDInsights O conector está em beta. Consulte a Visão geral das fontes para obter mais informações sobre o uso de conectores com rótulo beta.
Uma conexão base representa a conexão autenticada entre uma fonte e o Adobe Experience Platform.
Este tutorial o orienta pelas etapas para criar uma conexão básica para Apache Spark on Azure HDInsights (a seguir designado por "Spark") usando o Flow Service API.
Este guia requer uma compreensão funcional dos seguintes componentes do Adobe Experience Platform:
As seções a seguir fornecem informações adicionais que você precisará saber para se conectar com êxito ao Spark usando o Flow Service API.
Para Flow Service para conectar-se com Spark, você deve fornecer valores para as seguintes propriedades de conexão:
Credencial | Descrição |
---|---|
host |
O endereço IP ou o nome do host do Spark servidor. |
username |
O nome de usuário que você usa para acessar Spark Servidor. |
password |
A senha correspondente ao usuário. |
connectionSpec.id |
A especificação de conexão retorna as propriedades do conector de origem, incluindo especificações de autenticação relacionadas à criação das conexões base e de origem. A ID de especificação de conexão para Spark é: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6 |
Para obter mais informações sobre a introdução, consulte este documento Spark.
Para obter informações sobre como fazer chamadas para APIs da plataforma com êxito, consulte o guia em introdução às APIs do Platform.
Uma conexão base retém informações entre a fonte e a Plataforma, incluindo as credenciais de autenticação da fonte, o estado atual da conexão e a ID de conexão base exclusiva. A ID de conexão básica permite explorar e navegar pelos arquivos da fonte e identificar os itens específicos que deseja assimilar, incluindo informações sobre os tipos e formatos de dados.
Para criar uma ID de conexão base, faça uma solicitação de POST para a variável /connections
endpoint enquanto fornece seu Spark credenciais de autenticação como parte dos parâmetros da solicitação.
Formato da API
POST /connections
Solicitação
A solicitação a seguir cria uma conexão base para Spark:
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/connections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "Spark test connection",
"description": "A Spark test connection",
"auth": {
"specName": "HDInsights Basic Authentication",
"params": {
"host": "{HOST}",
"username": "{USERNAME}",
"password":"{PASSWORD}"
}
},
"connectionSpec": {
"id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
"version": "1.0"
}
}'
Parâmetro | Descrição |
---|---|
auth.params.host |
O host do Spark servidor. |
auth.params.username |
O nome de usuário associado à Spark conexão. |
auth.params.password |
A senha associada à sua Spark conexão. |
connectionSpec.id |
O Spark ID de especificação de conexão: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6 . |
Resposta
Uma resposta bem-sucedida retorna detalhes da conexão recém-criada, incluindo seu identificador exclusivo (id
). Essa ID é necessária para explorar seus dados no próximo tutorial.
{
"id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
"etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}
Ao seguir este tutorial, você criou um Spark conexão básica usando o Flow Service API. Você pode usar essa ID de conexão básica nos seguintes tutoriais: