DocumentaçãoExperience PlatformGuia dos conectores de origem

Criar uma conexão base de Apache Spark em Azure HDInsights usando a API Flow Service

Last update: Tue Jul 16 2024 00:00:00 GMT+0000 (Coordinated Universal Time)
  • Tópicos:

Criado para:

  • Desenvolvedor
NOTE
O conector Apache Spark em Azure HDInsights está na versão beta. Consulte a Visão geral das fontes para obter mais informações sobre o uso de conectores rotulados com beta.

Uma conexão base representa a conexão autenticada entre uma origem e o Adobe Experience Platform.

Este tutorial guiará você pelas etapas para criar uma conexão básica para Apache Spark em Azure HDInsights (doravante denominada "Spark") usando a Flow Service API.

Introdução

Este manual necessita de uma compreensão funcional dos seguintes componentes da Adobe Experience Platform:

  • Fontes: Experience Platform permite que os dados sejam assimilados de várias fontes e fornece a capacidade de estruturar, rotular e aprimorar os dados recebidos usando os serviços do Platform.
  • Sandboxes: Experience Platform fornece sandboxes virtuais que particionam uma única instância do Platform em ambientes virtuais separados para ajudar a desenvolver aplicativos de experiência digital.

As seções a seguir fornecem informações adicionais que você precisará saber para se conectar com êxito ao Spark usando a API Flow Service.

Coletar credenciais necessárias

Para que Flow Service se conecte a Spark, você deve fornecer valores para as seguintes propriedades de conexão:

Credencial
Descrição
host
O endereço IP ou o nome de host do servidor Spark.
username
O nome de usuário que você usa para acessar o Servidor Spark.
password
A senha correspondente ao usuário.
connectionSpec.id
A especificação de conexão retorna as propriedades do conector de uma origem, incluindo especificações de autenticação relacionadas à criação das conexões de base e de origem. A ID da especificação de conexão para Spark é: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6

Para obter mais informações sobre como começar, consulte este documento do Spark.

Uso de APIs da plataforma

Para obter informações sobre como fazer chamadas para APIs da Platform com êxito, consulte o manual sobre introdução às APIs da Platform.

Criar uma conexão básica

Uma conexão base retém informações entre sua origem e a Platform, incluindo as credenciais de autenticação da origem, o estado atual da conexão e sua ID de conexão base exclusiva. A ID de conexão básica permite explorar e navegar pelos arquivos de dentro da origem e identificar os itens específicos que deseja assimilar, incluindo informações sobre os tipos de dados e formatos.

Para criar uma ID de conexão base, faça uma solicitação POST para o ponto de extremidade /connections enquanto fornece suas credenciais de autenticação Spark como parte dos parâmetros de solicitação.

Formato da API

POST /connections

Solicitação

A solicitação a seguir cria uma conexão base para Spark:

curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {ORG_ID}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Spark test connection",
        "description": "A Spark test connection",
        "auth": {
            "specName": "HDInsights Basic Authentication",
        "params": {
            "host":  "{HOST}",
            "username": "{USERNAME}",
            "password":"{PASSWORD}"
            }
        },
        "connectionSpec": {
            "id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
            "version": "1.0"
        }
    }'
Parâmetro
Descrição
auth.params.host
O host do servidor Spark.
auth.params.username
O nome de usuário associado à sua conexão Spark.
auth.params.password
A senha associada à sua conexão Spark.
connectionSpec.id
A ID da especificação de conexão Spark: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6.

Resposta

Uma resposta bem-sucedida retorna detalhes da conexão recém-criada, incluindo seu identificador exclusivo (id). Essa ID é necessária para explorar seus dados no próximo tutorial.

{
    "id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
    "etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}

Próximas etapas

Seguindo este tutorial, você criou uma conexão de base Spark usando a API Flow Service. Você pode usar essa ID de conexão básica nos seguintes tutoriais:

recommendation-more-help
337b99bb-92fb-42ae-b6b7-c7042161d089