Crie um Apache Spark em Azure conexão básica do HDInsights usando a API Flow Service

OBSERVAÇÃO

O conector Apache Spark em Azure HDInsights está na beta. Consulte a Visão geral das Fontes para obter mais informações sobre o uso de conectores com marca beta.

Uma conexão base representa a conexão autenticada entre uma fonte e o Adobe Experience Platform.

Este tutorial o orienta pelas etapas para criar uma conexão básica para Apache Spark em Azure HDInsights (a seguir chamada "Spark") usando a Flow Service API.

Introdução

Este guia requer uma compreensão funcional dos seguintes componentes do Adobe Experience Platform:

  • Fontes: Experience Platform O permite que os dados sejam assimilados de várias fontes, além de fornecer a você a capacidade de estruturar, rotular e aprimorar os dados recebidos usando Platform serviços.
  • Sandboxes: Experience Platform O fornece sandboxes virtuais que particionam uma única Platform instância em ambientes virtuais separados para ajudar a desenvolver aplicativos de experiência digital.

As seções a seguir fornecem informações adicionais que você precisará saber para se conectar com êxito a Spark usando a API Flow Service.

Obter credenciais necessárias

Para que Flow Service se conecte a Spark, você deve fornecer valores para as seguintes propriedades de conexão:

Credencial Descrição
host O endereço IP ou o nome do host do servidor Spark.
username O nome de usuário usado para acessar o Servidor Spark.
password A senha correspondente ao usuário.
connectionSpec.id A especificação de conexão retorna as propriedades do conector de origem, incluindo especificações de autenticação relacionadas à criação das conexões base e de origem. A ID de especificação de conexão para Spark é: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6

Para obter mais informações sobre a introdução, consulte este documento Spark.

Uso de APIs da plataforma

Para obter informações sobre como fazer chamadas para APIs da plataforma com êxito, consulte o guia sobre como começar a usar APIs da plataforma.

Criar uma conexão base

Uma conexão base retém informações entre a fonte e a Plataforma, incluindo as credenciais de autenticação da fonte, o estado atual da conexão e a ID de conexão base exclusiva. A ID de conexão básica permite explorar e navegar pelos arquivos da fonte e identificar os itens específicos que deseja assimilar, incluindo informações sobre os tipos e formatos de dados.

Para criar uma ID de conexão base, faça uma solicitação de POST ao endpoint /connections, fornecendo as credenciais de autenticação Spark como parte dos parâmetros da solicitação.

Formato da API

POST /connections

Solicitação

A solicitação a seguir cria uma conexão base para Spark:

curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Spark test connection",
        "description": "A Spark test connection",
        "auth": {
            "specName": "HDInsights Basic Authentication",
        "params": {
            "host" :  "{HOST}",
            "username" : "{USERNAME}",
            "password" :"{PASSWORD}"
            }
        },
        "connectionSpec": {
            "id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
            "version": "1.0"
        }
    }'
Parâmetro Descrição
auth.params.host O host do servidor Spark.
auth.params.username O nome de usuário associado à sua conexão Spark.
auth.params.password A senha associada à conexão Spark.
connectionSpec.id A ID da especificação de conexão Spark: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6.

Resposta

Uma resposta bem-sucedida retorna detalhes da conexão recém-criada, incluindo seu identificador exclusivo (id). Essa ID é necessária para explorar seus dados no próximo tutorial.

{
    "id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
    "etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}

Próximas etapas

Ao seguir este tutorial, você criou uma conexão Spark usando a API Flow Service e obteve o valor de ID exclusivo da conexão. Você pode usar essa ID no próximo tutorial à medida que aprende a explorar bancos de dados usando a API do Serviço de Fluxo.

Nesta página