O conector HDFS Apache está em beta. Consulte a Visão geral das fontes para obter mais informações sobre o uso de conectores marcados com beta.
Flow Service é usada para coletar e centralizar dados do cliente de várias fontes diferentes para serem trazidas para o Adobe Experience Platform. O serviço fornece uma interface de usuário e uma RESTful API a partir da qual todas as fontes compatíveis são conectáveis.
Este tutorial usa a API Flow Service para guiá-lo pelas etapas para conectar um Apache Hadoop Distributed File System (a seguir denominado "HDFS") a Experience Platform.
Este guia exige uma compreensão prática dos seguintes componentes do Adobe Experience Platform:
As seções a seguir fornecem informações adicionais que você precisará saber para se conectar com êxito ao HDFS usando a API Flow Service.
Credencial | Descrição |
---|---|
url |
O URL define os parâmetros de autenticação necessários para a conexão anônima com o HDFS. Para obter mais informações sobre como obter este valor, consulte este documento HDFS. |
connectionSpec.id |
O identificador necessário para criar uma conexão. A ID de especificação de conexão fixa para HDFS é 54e221aa-d342-4707-bcff-7a4bceef0001 . |
Este tutorial fornece exemplos de chamadas de API para demonstrar como formatar suas solicitações. Isso inclui caminhos, cabeçalhos necessários e cargas de solicitação formatadas corretamente. O JSON de amostra retornado em respostas de API também é fornecido. Para obter informações sobre as convenções usadas na documentação para chamadas de API de amostra, consulte a seção em como ler chamadas de API de exemplo no guia de solução de problemas Experience Platform.
Para fazer chamadas para Platform APIs, você deve primeiro concluir o tutorial de autenticação. A conclusão do tutorial de autenticação fornece os valores para cada um dos cabeçalhos necessários em todas as chamadas de API Experience Platform, como mostrado abaixo:
Authorization: Bearer {ACCESS_TOKEN}
x-api-key: {API_KEY}
x-gw-ims-org-id: {IMS_ORG}
Todos os recursos em Experience Platform, incluindo os pertencentes a Flow Service, são isolados para caixas de proteção virtuais específicas. Todas as solicitações para Platform APIs exigem um cabeçalho que especifique o nome da caixa de proteção em que a operação ocorrerá:
x-sandbox-name: {SANDBOX_NAME}
Todas as solicitações que contêm uma carga (POST, PUT, PATCH) exigem um cabeçalho de tipo de mídia adicional:
Content-Type: application/json
Uma conexão especifica uma fonte e contém suas credenciais para essa fonte. Apenas uma conexão é necessária por conta HDFS, pois pode ser usada para criar vários conectores de origem para trazer dados diferentes.
Formato da API
POST /connections
Solicitação
A solicitação a seguir cria uma nova conexão HDFS, configurada pelas propriedades fornecidas na carga:
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/connections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {IMS_ORG}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "HDFS test connection",
"description": "A test connection for an HDFS source",
"auth": {
"specName": "Anonymous Authentication",
"params": {
"url": "{URL}"
}
},
"connectionSpec": {
"id": "54e221aa-d342-4707-bcff-7a4bceef0001",
"version": "1.0"
}
}'
Propriedade | Descrição |
---|---|
auth.params.url |
O URL que define os parâmetros de autenticação necessários para conectar-se ao HDFS anonimamente |
connectionSpec.id |
A ID de especificação de conexão HDFS: 54e221aa-d342-4707-bcff-7a4bceef0001 . |
Resposta
Uma resposta bem-sucedida retorna detalhes da conexão recém-criada, incluindo seu identificador exclusivo (id
). Essa ID é necessária para explorar seus dados no próximo tutorial.
{
"id": "6a6a880a-2b15-4051-aa88-0a2b1570516d",
"etag": "\"1801bb7d-0000-0200-0000-5ed6ad580000\""
}
Ao seguir este tutorial, você criou uma conexão HDFS usando a API Flow Service e obteve o valor de ID exclusivo da conexão. Você pode usar essa ID no próximo tutorial à medida que aprende a explorar um armazenamento em nuvem de terceiros usando a API do Serviço de Fluxo.