Crie um conector Gen2 do Armazenamento Data Lake Azure usando a API Flow Service

Flow Service é usada para coletar e centralizar dados do cliente de várias fontes diferentes no Adobe Experience Platform. O serviço fornece uma interface de usuário e uma RESTful API a partir da qual todas as fontes compatíveis são conectáveis.

Este tutorial usa a API Flow Service para guiá-lo pelas etapas para conectar Experience Platform a Azure Armazenamento Data Lake Gen2 (a seguir denominado "ADLS Gen2").

Introdução

Este guia exige uma compreensão prática dos seguintes componentes do Adobe Experience Platform:

  • Fontes: Experience Platform permite que os dados sejam ingeridos de várias fontes e, ao mesmo tempo, fornece a você a capacidade de estruturar, rotular e aprimorar os dados recebidos usando Platform serviços.
  • Caixas de proteção: Experience Platform fornece caixas de proteção virtuais que particionam uma única instância da Plataforma em ambientes virtuais separados para ajudar a desenvolver e desenvolver aplicativos de experiência digital.

As seções a seguir fornecem informações adicionais que você precisará saber para criar com êxito um conector de origem ADLS Gen2 usando a API Flow Service.

Reunir credenciais obrigatórias

Para que Flow Service se conecte ao ADLS Gen2, é necessário fornecer valores para as seguintes propriedades de conexão:

Credencial Descrição
url O URL do endereço.
servicePrincipalId A ID do cliente do aplicativo.
servicePrincipalKey A chave do aplicativo.
tenant As informações do locatário que contêm seu aplicativo.

Para obter mais informações sobre esses valores, consulte este documento ADLS Gen2.

Lendo chamadas de exemplo da API

Este tutorial fornece exemplos de chamadas de API para demonstrar como formatar suas solicitações. Isso inclui caminhos, cabeçalhos necessários e cargas de solicitação formatadas corretamente. O JSON de amostra retornado em respostas de API também é fornecido. Para obter informações sobre as convenções usadas na documentação para chamadas de API de amostra, consulte a seção em como ler chamadas de API de exemplo no guia de solução de problemas Experience Platform.

Reunir valores para cabeçalhos necessários

Para fazer chamadas para Platform APIs, você deve primeiro concluir o tutorial de autenticação. A conclusão do tutorial de autenticação fornece os valores para cada um dos cabeçalhos necessários em todas as chamadas de API Experience Platform, como mostrado abaixo:

  • Authorization: Bearer {ACCESS_TOKEN}
  • x-api-key: {API_KEY}
  • x-gw-ims-org-id: {IMS_ORG}

Todos os recursos em Experience Platform, incluindo os pertencentes a Flow Service, são isolados para caixas de proteção virtuais específicas. Todas as solicitações para Platform APIs exigem um cabeçalho que especifique o nome da caixa de proteção em que a operação ocorrerá:

  • x-sandbox-name: {SANDBOX_NAME}

Todas as solicitações que contêm uma carga (POST, PUT, PATCH) exigem um cabeçalho de tipo de mídia adicional:

  • Content-Type: application/json

Criar uma conexão

Uma conexão especifica uma fonte e contém suas credenciais para essa fonte. Somente uma conexão é necessária por conta ADLS Gen2, pois pode ser usada para criar vários conectores de origem para trazer dados diferentes.

Formato da API

POST /connections

Solicitação

Para criar uma conexão ADLS-Gen2, sua ID exclusiva de especificação de conexão deve ser fornecida como parte da solicitação de POST. A ID de especificação de conexão para ADLS-Gen2 é 0ed90a81-07f4-4586-8190-b40eccef1c5a.

curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "adls-gen2",
        "description": "Connection for adls-gen2",
        "auth": {
            "specName": "Basic Authentication for adls-gen2",
            "params": {
                "url": "{URL}",
                "servicePrincipalId": "{SERVICE_PRINCIPAL_ID}",
                "servicePrincipalKey": "{SERVICE_PRINCIPAL_KEY}",
                "tenant": "{TENANT}"
            }
        },
        "connectionSpec": {
            "id": "0ed90a81-07f4-4586-8190-b40eccef1c5a",
            "version": "1.0"
        }
    }'
Propriedade Descrição
auth.params.url O endpoint de URL para sua conta ADLS Gen2.
auth.params.servicePrincipalId A ID principal de serviço da sua conta ADLS Gen2.
auth.params.servicePrincipalKey A chave principal de serviço da sua conta ADLS Gen2.
auth.params.tenant As informações de locatário de sua conta ADLS Gen2.
connectionSpec.id A ID de especificação de conexão ADLS Gen2: 0ed90a81-07f4-4586-8190-b40eccef1c5a1.

Resposta

Uma resposta bem-sucedida retorna detalhes da conexão recém-criada, incluindo seu identificador exclusivo (id). Essa ID é necessária para explorar seu armazenamento em nuvem na próxima etapa.

{
    "id": "7497ad71-6d32-4973-97ad-716d32797304",
    "etag": "\"23005f80-0000-0200-0000-5e1d00a20000\""
}

Próximas etapas

Ao seguir este tutorial, você criou uma conexão ADLS Gen2 usando APIs e uma ID exclusiva foi obtida como parte do corpo da resposta. Você pode usar essa ID de conexão para explorar armazenamentos em nuvem usando a API do Serviço de Fluxo ou assimilar dados de parquet usando a API do Serviço de Fluxo.

Nesta página