Criar uma conexão de base Google BigQuery usando a API Flow Service

Last update: Fri Sep 20 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Tópicos:

Criado para:

Desenvolvedor

IMPORTANT

A origem Google BigQuery está disponível no catálogo de origens para usuários que compraram o Real-time Customer Data Platform Ultimate.

Uma conexão base representa a conexão autenticada entre uma origem e o Adobe Experience Platform.

Leia este guia para saber como criar uma conexão base para Google BigQuery usando a Flow Service API.

Introdução

Este guia requer entendimento prático dos seguintes componentes do Experience Platform:

Fontes: o Experience Platform permite que os dados sejam assimilados de várias fontes e, ao mesmo tempo, fornece a capacidade de estruturar, rotular e aprimorar os dados recebidos usando os serviços da plataforma.
Sandboxes: o Experience Platform fornece sandboxes virtuais que particionam uma única instância da Platform em ambientes virtuais separados para ajudar a desenvolver aplicativos de experiência digital.

As seções a seguir fornecem informações adicionais que você precisará saber para se conectar com êxito ao Google BigQuery usando a API Flow Service.

Coletar credenciais necessárias

Leia o Google BigQuery guia de autenticação para obter as etapas detalhadas sobre como coletar as credenciais necessárias.

Uso de APIs da plataforma

Para obter informações sobre como fazer chamadas para APIs da Platform com êxito, consulte o manual sobre introdução às APIs da Platform.

Criar uma conexão básica

Uma conexão base retém informações entre sua origem e a Platform, incluindo as credenciais de autenticação da origem, o estado atual da conexão e sua ID de conexão base exclusiva. A ID de conexão básica permite explorar e navegar pelos arquivos de dentro da origem e identificar os itens específicos que deseja assimilar, incluindo informações sobre os tipos de dados e formatos.

Para criar uma ID de conexão base, faça uma solicitação POST para o ponto de extremidade /connections enquanto fornece suas credenciais de autenticação Google BigQuery como parte dos parâmetros de solicitação.

Formato da API

POST /connections

Usar autenticação básica

Solicitação

A solicitação a seguir cria uma conexão base para Google BigQuery usando autenticação básica:

code language-shell

code language-shell
curl -X POST \ 'https://platform.adobe.io/data/foundation/flowservice/connections' \ -H 'Authorization: Bearer {ACCESS_TOKEN}' \ -H 'x-api-key: {API_KEY}' \ -H 'x-gw-ims-org-id: {ORG_ID}' \ -H 'x-sandbox-name: {SANDBOX_NAME}' \ -H 'Content-Type: application/json' \ -d '{ "name": "Google BigQuery connection with basic authentication", "description": "Google BigQuery connection with basic authentication", "auth": { "specName": "Basic Authentication", "type": "OAuth2.0", "params": { "project": "{PROJECT}", "clientId": "{CLIENT_ID}, "clientSecret": "{CLIENT_SECRET}", "refreshToken": "{REFRESH_TOKEN}" } }, "connectionSpec": { "id": "3c9b37f8-13a6-43d8-bad3-b863b941fedd", "version": "1.0" } }'

curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {ORG_ID}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Google BigQuery connection with basic authentication",
        "description": "Google BigQuery connection with basic authentication",
        "auth": {
            "specName": "Basic Authentication",
            "type": "OAuth2.0",
            "params": {
                    "project": "{PROJECT}",
                    "clientId": "{CLIENT_ID},
                    "clientSecret": "{CLIENT_SECRET}",
                    "refreshToken": "{REFRESH_TOKEN}"
                }
        },
        "connectionSpec": {
            "id": "3c9b37f8-13a6-43d8-bad3-b863b941fedd",
            "version": "1.0"
        }
    }'

table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2
Propriedade	Descrição
`auth.params.project`	A ID do projeto Google BigQuery padrão a ser consultado. contra.
`auth.params.clientId`	O valor de ID usado para gerar o token de atualização.
`auth.params.clientSecret`	O valor do cliente usado para gerar o token de atualização.
`auth.params.refreshToken`	O token de atualização obtido de Google usado para autorizar o acesso a Google BigQuery.
`connectionSpec.id`	A ID da especificação de conexão Google BigQuery: `3c9b37f8-13a6-43d8-bad3-b863b941fedd`.

Resposta

Uma resposta bem-sucedida retorna detalhes da conexão recém-criada, incluindo seu identificador exclusivo (id). Essa ID é necessária para explorar seus dados no próximo tutorial.

code language-json
`{ "id": "6990abad-977d-41b9-a85d-17ea8cf1c0e4", "etag": "\"ca00acbf-0000-0200-0000-60149e1e0000\"" }`

Usar autenticação de serviço

Solicitação

A solicitação a seguir cria uma conexão base para Google BigQuery usando autenticação de serviço:

code language-shell

code language-shell
curl -X POST \ 'https://platform.adobe.io/data/foundation/flowservice/connections' \ -H 'Authorization: Bearer {ACCESS_TOKEN}' \ -H 'x-api-key: {API_KEY}' \ -H 'x-gw-ims-org-id: {ORG_ID}' \ -H 'x-sandbox-name: {SANDBOX_NAME}' \ -H 'Content-Type: application/json' \ -d '{ "name": "Google BigQuery base connection with service account", "description": "Google BigQuery connection with service account", "auth": { "specName": "Service Authentication", "params": { "projectId": "{PROJECT_ID}", "keyFileContent": "{KEY_FILE_CONTENT}, "largeResultsDataSetId": "{LARGE_RESULTS_DATASET_ID}" } }, "connectionSpec": { "id": "3c9b37f8-13a6-43d8-bad3-b863b941fedd", "version": "1.0" } }'

curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {ORG_ID}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Google BigQuery base connection with service account",
        "description": "Google BigQuery connection with service account",
        "auth": {
            "specName": "Service Authentication",
            "params": {
                    "projectId": "{PROJECT_ID}",
                    "keyFileContent": "{KEY_FILE_CONTENT},
                    "largeResultsDataSetId": "{LARGE_RESULTS_DATASET_ID}"
                }
        },
        "connectionSpec": {
            "id": "3c9b37f8-13a6-43d8-bad3-b863b941fedd",
            "version": "1.0"
        }
    }'

table 0-row-2 1-row-2 2-row-2 3-row-2
Propriedade	Descrição
`auth.params.projectId`	A ID do projeto Google BigQuery padrão a ser consultado. contra.
`auth.params.keyFileContent`	O arquivo de chave usado para autenticar a conta de serviço. Você deve codificar o conteúdo do arquivo de chave em Base64.
`auth.params.largeResultsDataSetId`	(Opcional) A ID do conjunto de dados Google BigQuery pré-criada que é necessária para habilitar o suporte para grandes conjuntos de resultados.

Resposta

Uma resposta bem-sucedida retorna detalhes da conexão recém-criada, incluindo seu identificador exclusivo (id). Essa ID é necessária para explorar seus dados no próximo tutorial.

code language-json
`{ "id": "6990abad-977d-41b9-a85d-17ea8cf1c0e4", "etag": "\"ca00acbf-0000-0200-0000-60149e1e0000\"" }`

Próximas etapas

Seguindo este tutorial, você criou uma conexão de base Google BigQuery usando a API Flow Service. Você pode usar essa ID de conexão básica nos seguintes tutoriais:

recommendation-more-help

337b99bb-92fb-42ae-b6b7-c7042161d089