Crie um conector Apache Spark no Azure HDInsights usando a Flow Service API

Observação

O conector Apache Spark ligado Azure HDInsights está em beta. Consulte a visão geral das Fontes para obter mais informações sobre o uso de conectores com rótulo beta.

Flow Service é usada para coletar e centralizar dados do cliente de várias fontes diferentes no Adobe Experience Platform. O serviço fornece uma interface de usuário e uma RESTful API a partir da qual todas as fontes compatíveis são conectáveis.

Este tutorial usa a Flow Service API para guiá-lo pelas etapas para se conectar Apache Spark (a seguir, " Azure HDInsights ") aoSparkExperience Platform.

Introdução

Este guia exige uma compreensão prática dos seguintes componentes do Adobe Experience Platform:

  • Fontes: Experience Platform permite que os dados sejam ingeridos de várias fontes e, ao mesmo tempo, fornece a você a capacidade de estruturar, rotular e aprimorar os dados recebidos usando Platform serviços.
  • Caixas de proteção: Experience Platform fornece caixas de proteção virtuais que particionam uma única Platform instância em ambientes virtuais separados para ajudar a desenvolver e desenvolver aplicativos de experiência digital.

As seções a seguir fornecem informações adicionais que você precisará saber para se conectar com êxito Spark usando a Flow Service API.

Reunir credenciais obrigatórias

Para Flow Service se conectar com Spark, é necessário fornecer valores para as seguintes propriedades de conexão:

Credencial Descrição
host O endereço IP ou o nome do host do Spark servidor.
username O nome de usuário que você usa para acessar o Spark Servidor.
password A senha correspondente ao usuário.
connectionSpec.id O identificador exclusivo necessário para criar uma conexão. A ID de especificação de conexão para Spark é: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6

Para obter mais informações sobre a introdução, consulte este documentoSpark.

Lendo chamadas de exemplo da API

Este tutorial fornece exemplos de chamadas de API para demonstrar como formatar suas solicitações. Isso inclui caminhos, cabeçalhos necessários e cargas de solicitação formatadas corretamente. O JSON de amostra retornado em respostas de API também é fornecido. Para obter informações sobre as convenções usadas na documentação para chamadas de API de amostra, consulte a seção sobre como ler chamadas de API de exemplo no guia de Experience Platform solução de problemas.

Reunir valores para cabeçalhos necessários

Para fazer chamadas para Platform APIs, você deve primeiro concluir o tutorial deautenticação. A conclusão do tutorial de autenticação fornece os valores para cada um dos cabeçalhos necessários em todas as chamadas de Experience Platform API, como mostrado abaixo:

  • Autorização: Portador {ACCESS_TOKEN}
  • x-api-key: {API_KEY}
  • x-gw-ims-org-id: {IMS_ORG}

Todos os recursos no Experience Platform, incluindo os pertencentes ao Flow Service, são isolados para caixas de proteção virtuais específicas. Todas as solicitações para Platform APIs exigem um cabeçalho que especifique o nome da caixa de proteção em que a operação ocorrerá:

  • x-sandbox-name: {SANDBOX_NAME}

Todas as solicitações que contêm uma carga (POST, PUT, PATCH) exigem um cabeçalho de tipo de mídia adicional:

  • Tipo de conteúdo: application/json

Criar uma conexão

Uma conexão especifica uma fonte e contém suas credenciais para essa fonte. Somente uma conexão é necessária por Spark conta, pois pode ser usada para criar vários conectores de origem para trazer dados diferentes.

Formato da API

POST /connections

Solicitação

Para criar uma Spark conexão, sua ID exclusiva de especificação de conexão deve ser fornecida como parte da solicitação de POST. A ID de especificação de conexão para Spark é 6a8d82bc-1caf-45d1-908d-cadabc9d63a6.

curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Spark test connection",
        "description": "A Spark test connection",
        "auth": {
            "specName": "HDInsights Basic Authentication",
        "params": {
            "host" :  "{HOST}",
            "username" : "{USERNAME}",
            "password" :"{PASSWORD}"
            }
        },
        "connectionSpec": {
            "id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
            "version": "1.0"
        }
    }'
Parâmetro Descrição
auth.params.host The host of the Spark server.
auth.params.username O nome de usuário associado à sua Spark conexão.
auth.params.password A senha associada à sua Spark conexão.
connectionSpec.id A ID da especificação da Spark conexão: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6.

Resposta

Uma resposta bem-sucedida retorna detalhes da conexão recém-criada, incluindo seu identificador exclusivo (id). Essa ID é necessária para explorar seus dados no próximo tutorial.

{
    "id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
    "etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}

Próximas etapas

Ao seguir este tutorial, você criou uma Spark conexão usando a Flow Service API e obteve o valor de ID exclusivo da conexão. Você pode usar essa ID no próximo tutorial à medida que aprende a explorar bancos de dados usando a APIdo Serviço de Fluxo.

Nesta página