Essa funcionalidade está disponível para clientes que compraram o pacote Real-Time CDP Prime e Ultimate, Adobe Journey Optimizer ou Customer Journey Analytics. Entre em contato com o representante da Adobe para obter mais informações.
IMPORTANT
Item de ação: a versão de setembro de 2024 do Experience Platform introduz a opção para definir uma data endTime para fluxos de dados do conjunto de dados de exportação. O Adobe também está introduzindo uma data de término padrão de 1º de maio de 2025 para todos os fluxos de dados de exportação do conjunto de dados criados antes da versão de setembro. Para qualquer um desses fluxos de dados, é necessário atualizar a data final no fluxo de dados manualmente antes da data final, caso contrário, suas exportações para interrupção nessa data. Use a interface do usuário do Experience Platform para ver quais fluxos de dados serão definidos para serem interrompidos em 1º de maio.
Da mesma forma, para qualquer fluxo de dados criado sem especificar uma data endTime, o padrão será uma hora de término de seis meses a partir da hora em que for criado.
Este artigo explica o fluxo de trabalho necessário para usar o Flow Service API para exportar conjuntos de dados do Adobe Experience Platform para o local de armazenamento na nuvem preferido, como Amazon S3, locais SFTP ou Google Cloud Storage.
Conjuntos de dados disponíveis para exportação datasets-to-export
Os conjuntos de dados que você pode exportar dependem do aplicativo Experience Platform (Real-Time CDP, Adobe Journey Optimizer), do nível (Prime ou Ultimate) e de qualquer complemento que você tenha adquirido (por exemplo: Data Distiller).
Este manual necessita de uma compreensão funcional dos seguintes componentes da Adobe Experience Platform:
Experience Platform datasets: todos os dados assimilados com êxito na Adobe Experience Platform são mantidos no Data Lake como conjuntos de dados. Um conjunto de dados é uma construção de armazenamento e gerenciamento para uma coleção de dados, normalmente uma tabela, que contém um esquema (colunas) e campos (linhas). Os conjuntos de dados também contêm metadados que descrevem vários aspectos dos dados armazenados.
Sandboxes: Experience Platform fornece sandboxes virtuais que particionam uma única instância do Platform em ambientes virtuais separados para ajudar a desenvolver aplicativos de experiência digital.
As seções a seguir fornecem informações adicionais que você deve saber para exportar conjuntos de dados para destinos de armazenamento na nuvem na Platform.
Permissões necessárias permissions
Para exportar conjuntos de dados, você precisa de Exibir Destinos, Exibir Conjuntos de Dados e Gerenciar e Ativar Destinos de Conjuntos de Dadospermissões de controle de acesso. Leia a visão geral do controle de acesso ou contate o administrador do produto para obter as permissões necessárias.
Para garantir que você tenha as permissões necessárias para exportar conjuntos de dados e que o destino seja compatível com a exportação de conjuntos de dados, navegue pelo catálogo de destinos. Se um destino tiver um controle Ativar ou Exportar conjuntos de dados, você terá as permissões apropriadas.
Leitura de chamadas de API de amostra reading-sample-api-calls
Este tutorial fornece exemplos de chamadas de API para demonstrar como formatar suas solicitações. Isso inclui caminhos, cabeçalhos necessários e conteúdos de solicitação formatados corretamente. Também fornece exemplos de JSON retornado nas respostas da API. Para obter informações sobre as convenções usadas na documentação para chamadas de API de exemplo, consulte a seção sobre como ler chamadas de API de exemplo no guia de solução de problemas Experience Platform.
Colete valores para cabeçalhos obrigatórios e opcionais gather-values-headers
Para fazer chamadas para APIs Platform, primeiro complete o tutorial de autenticação de Experience Platform. Concluir o tutorial de autenticação fornece os valores para cada um dos cabeçalhos necessários em todas as chamadas de API da Experience Platform, conforme mostrado abaixo:
Autorização: Portador {ACCESS_TOKEN}
x-api-key: {API_KEY}
x-gw-ims-org-id {ORG_ID}
Os recursos em Experience Platform podem ser isolados em sandboxes virtuais específicas. Em solicitações para Platform APIs, é possível especificar o nome e a ID da sandbox em que a operação ocorrerá. Esses parâmetros são opcionais.
Para obter descrições dos termos que você encontrará neste tutorial de API, leia a seção de glossário da documentação de referência da API.
Colete especificações de conexão e especificações de fluxo para o destino desejado gather-connection-spec-flow-spec
Antes de iniciar o fluxo de trabalho para exportar um conjunto de dados, identifique a especificação da conexão e as IDs de especificação do fluxo do destino para o qual você pretende exportar conjuntos de dados. Use a tabela abaixo como referência.
Destino
Especificação da conexão
Especificação de fluxo
Amazon S3
4fce964d-3f37-408f-9778-e597338a21ee
269ba276-16fc-47db-92b0-c1049a3c131f
Azure Blob Storage
6d6b59bf-fb58-4107-9064-4d246c0e5bb2
95bd8965-fc8a-4119-b9c3-944c2c2df6d2
Azure Data Lake Gen 2(ADLS Gen2)
be2c3209-53bc-47e7-ab25-145db8b873e1
17be2013-2549-41ce-96e7-a70363bec293
Data Landing Zone(DLZ)
10440537-2a7b-4583-ac39-ed38d4b848e8
cd2fc47e-e838-4f38-a581-8fff2f99b63a
Google Cloud Storage
c5d93acb-ea8b-4b14-8f53-02138444ae99
585c15c4-6cbf-4126-8f87-e26bff78b657
SFTP
36965a81-b1c6-401b-99f8-22508f1e6a26
354d6aad-4754-46e4-a576-1b384561c440
Você precisa dessas IDs para construir várias entidades Flow Service. Também é necessário consultar partes do próprio Connection Spec para configurar determinadas entidades de modo que você possa recuperar o Connection Spec de Flow Service APIs. Veja os exemplos abaixo de recuperação das especificações de conexão para todos os destinos na tabela:
Siga as etapas abaixo para configurar um fluxo de dados do conjunto de dados para um destino de armazenamento na nuvem. Para algumas etapas, as solicitações e respostas diferem entre os vários destinos de armazenamento na nuvem. Nesses casos, use as guias da página para recuperar as solicitações e respostas específicas ao destino ao qual deseja se conectar e exportar conjuntos de dados. Certifique-se de usar o connection spec e o flow spec corretos para o destino que você está configurando.
Recuperar uma lista de conjuntos de dados retrieve-list-of-available-datasets
Para recuperar uma lista de conjuntos de dados qualificados para ativação, comece fazendo uma chamada de API para o endpoint abaixo.
recommendation-more-help
Solicitação
Recuperar conjuntos de dados qualificados - Solicitação
Observe que para recuperar conjuntos de dados qualificados, a ID connection spec usada na URL da solicitação deve ser a ID da especificação da conexão de origem do data lake, 23598e46-f560-407b-88d5-ea6207e49db0, e os dois parâmetros de consulta outputField=datasets e outputType=activationDatasets devem ser especificados. Todos os outros parâmetros de consulta são os padrão com suporte pela API de Serviço de Catálogo.
Uma resposta bem-sucedida contém uma lista de conjuntos de dados qualificados para ativação. Esses conjuntos de dados podem ser usados ao criar a conexão de origem na próxima etapa.
Criar uma conexão de origem create-source-connection
Após recuperar a lista de conjuntos de dados que deseja exportar, você pode criar uma conexão de origem usando essas IDs de conjunto de dados.
Solicitação
Criar conexão de origem - Solicitação
Observe as linhas destacadas com comentários em linha no exemplo de solicitação, que fornecem informações adicionais. Remova os comentários em linha na solicitação ao copiar e colar a solicitação no terminal de sua escolha.
Uma resposta bem-sucedida retorna a ID (id) da conexão de origem recém-criada e um etag. Anote a ID da conexão de origem, pois ela será necessária posteriormente ao criar o fluxo de dados.
Lembre-se também que:
A conexão de origem criada nesta etapa precisa ser vinculada a um fluxo de dados para que seus conjuntos de dados sejam ativados para um destino. Consulte a seção criar um fluxo de dados para obter informações sobre como vincular uma conexão de origem a um fluxo de dados.
As IDs do conjunto de dados de uma conexão de origem não podem ser modificadas após a criação. Se você precisar adicionar ou remover conjuntos de dados de uma conexão de origem, crie uma nova conexão de origem e vincule a ID da nova conexão de origem ao fluxo de dados.
Criar uma conexão de base (destino) create-base-connection
Uma conexão base armazena com segurança as credenciais no destino. Dependendo do tipo de destino, as credenciais necessárias para a autenticação nesse destino podem variar. Para localizar esses parâmetros de autenticação, primeiro recupere o connection spec do seu destino desejado, conforme descrito na seção Coletar especificações de conexão e especificações de fluxo e, em seguida, verifique a authSpec da resposta. Consulte as guias abaixo para obter as propriedades authSpec de todos os destinos com suporte.
Amazon S3
accordion
Amazon S3 - Connection spec mostrando auth spec
Observe a linha destacada com comentários embutidos no exemplo connection spec abaixo, que fornece informações adicionais sobre onde encontrar os parâmetros de autenticação no connection spec.
Observe a linha destacada com comentários embutidos no exemplo connection spec abaixo, que fornece informações adicionais sobre onde encontrar os parâmetros de autenticação no connection spec.
Azure Data Lake Gen 2(ADLS Gen2) - Connection spec mostrando auth spec
Observe a linha destacada com comentários embutidos no exemplo connection spec abaixo, que fornece informações adicionais sobre onde encontrar os parâmetros de autenticação no connection spec.
Google Cloud Storage - Connection spec mostrando auth spec
Observe a linha destacada com comentários embutidos no exemplo connection spec abaixo, que fornece informações adicionais sobre onde encontrar os parâmetros de autenticação no connection spec.
{
"items": [
{
"id": "c5d93acb-ea8b-4b14-8f53-02138444ae99",
"name": "Google Cloud Storage",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [ // describes the authentication parameters
{
"name": "Google Cloud Storage authentication credentials",
"type": "GoogleCloudStorageAuth",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"description": "defines auth params required for connecting to google cloud storage connector.",
"type": "object",
"properties": {
"accessKeyId": {
"description": "Access Key Id for the user account",
"type": "string"
},
"secretAccessKey": {
"description": "Secret Access Key for the user account",
"type": "string",
"format": "password"
}
},
"required": [
"accessKeyId",
"secretAccessKey"
]
}
}
],
//...
SFTP
accordion
SFTP - Connection spec mostrando auth spec
note note
NOTE
O destino SFTP contém dois itens separados no auth spec, pois ele oferece suporte à autenticação de senha e de chave SSH.
Observe a linha destacada com comentários embutidos no exemplo connection spec abaixo, que fornece informações adicionais sobre onde encontrar os parâmetros de autenticação no connection spec.
Usando as propriedades especificadas na especificação de autenticação (ou seja, authSpec da resposta), você pode criar uma conexão base com as credenciais necessárias, específicas para cada tipo de destino, conforme mostrado nos exemplos abaixo:
Amazon S3
Solicitação
accordion
Amazon S3 - Solicitação de conexão básica
note tip
TIP
Para obter informações sobre como obter as credenciais de autenticação necessárias, consulte a seção autenticar no destino da página da documentação de destino do Amazon S3.
Observe as linhas destacadas com comentários em linha no exemplo de solicitação, que fornecem informações adicionais. Remova os comentários em linha na solicitação ao copiar e colar a solicitação no terminal de sua escolha.
Azure Blob Storage - Solicitação de conexão básica
note tip
TIP
Para obter informações sobre como obter as credenciais de autenticação necessárias, consulte a seção autenticar no destino da página de documentação de destino do Armazenamento de Blob do Azure.
Observe as linhas destacadas com comentários em linha no exemplo de solicitação, que fornecem informações adicionais. Remova os comentários em linha na solicitação ao copiar e colar a solicitação no terminal de sua escolha.
Azure Data Lake Gen 2(ADLS Gen2) - Solicitação de conexão básica
note tip
TIP
Para obter informações sobre como obter as credenciais de autenticação necessárias, consulte a seção autenticar para destino da página de documentação de destino do Azure Data Lake Gen 2(ADLS Gen2).
Observe as linhas destacadas com comentários em linha no exemplo de solicitação, que fornecem informações adicionais. Remova os comentários em linha na solicitação ao copiar e colar a solicitação no terminal de sua escolha.
Data Landing Zone(DLZ) - Solicitação de conexão básica
note tip
TIP
Nenhuma credencial de autenticação é necessária para o destino da Data Landing Zone. Para obter mais informações, consulte a seção autenticar no destino da página de documentação de destino da Zona de Aterrissagem de Dados.
Google Cloud Storage - Solicitação de conexão básica
note tip
TIP
Para obter informações sobre como obter as credenciais de autenticação necessárias, consulte a seção autenticar no destino da página de documentação de destino do Google Cloud Storage.
Observe as linhas destacadas com comentários em linha no exemplo de solicitação, que fornecem informações adicionais. Remova os comentários em linha na solicitação ao copiar e colar a solicitação no terminal de sua escolha.
Para obter informações sobre como obter as credenciais de autenticação necessárias, consulte a seção autenticar no destino da página de documentação do destino SFTP.
Observe as linhas destacadas com comentários em linha no exemplo de solicitação, que fornecem informações adicionais. Remova os comentários em linha na solicitação ao copiar e colar a solicitação no terminal de sua escolha.
SFTP com chave SSH - Solicitação de conexão básica
note tip
TIP
Para obter informações sobre como obter as credenciais de autenticação necessárias, consulte a seção autenticar no destino da página de documentação do destino SFTP.
Observe as linhas destacadas com comentários em linha no exemplo de solicitação, que fornecem informações adicionais. Remova os comentários em linha na solicitação ao copiar e colar a solicitação no terminal de sua escolha.
Observe a ID de conexão da resposta. Essa ID será necessária na próxima etapa ao criar a conexão de destino.
Criar uma conexão de destino create-target-connection
Em seguida, é necessário criar uma conexão de destino que armazene os parâmetros de exportação para seus conjuntos de dados. Os parâmetros de exportação incluem local, formato de arquivo, compactação e outros detalhes. Consulte as propriedades targetSpec fornecidas na especificação de conexão do destino para entender as propriedades com suporte para cada tipo de destino. Consulte as guias abaixo para obter as propriedades targetSpec de todos os destinos com suporte.
IMPORTANT
As exportações para arquivos JSON são suportadas somente em um modo compactado. Há suporte para exportações para Parquet arquivos nos modos compactado e descompactado.
O formato do arquivo JSON exportado é NDJSON, que é o formato de intercâmbio padrão no ecossistema de big data. A Adobe recomenda usar um cliente compatível com NDJSON para ler os arquivos exportados.
Amazon S3
accordion
Amazon S3 - Connection spec mostrando parâmetros de conexão de destino
Observe as linhas destacadas com comentários embutidos no exemplo connection spec abaixo, que fornecem informações adicionais sobre onde encontrar os parâmetros target spec na especificação da conexão. Você também pode ver no exemplo abaixo quais parâmetros de destino não se aplicam a destinos de exportação do conjunto de dados.
Azure Blob Storage - Connection spec mostrando parâmetros de conexão de destino
Observe as linhas destacadas com comentários embutidos no exemplo connection spec abaixo, que fornecem informações adicionais sobre onde encontrar os parâmetros target spec na especificação da conexão. Você também pode ver no exemplo abaixo quais parâmetros de destino não se aplicam a destinos de exportação do conjunto de dados.
Azure Data Lake Gen 2(ADLS Gen2) - Connection spec mostrando parâmetros de conexão de destino
Observe as linhas destacadas com comentários embutidos no exemplo connection spec abaixo, que fornecem informações adicionais sobre onde encontrar os parâmetros target spec na especificação da conexão. Você também pode ver no exemplo abaixo quais parâmetros de destino não se aplicam a destinos de exportação do conjunto de dados.
{
"items": [
{
"id": "be2c3209-53bc-47e7-ab25-145db8b873e1",
"name": "Azure Data Lake Gen2",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [...],
"encryptionSpecs": [...],
"targetSpec": { // describes the target connection parameters
"name": "User based target",
"type": "UserNamespace",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"path": {
"title": "Folder path",
"description": "Enter the path to your Azure Data Lake Storage folder",
"type": "string"
},
"fileType": {...}, // not applicable to dataset destinations
"datasetFileType": {
"conditional": {
"field": "flowSpec.attributes._workflow",
"operator": "CONTAINS",
"value": "DATASETS"
},
"title": "File Type",
"description": "Select file format",
"type": "string",
"enum": [
"JSON",
"PARQUET"
]
},
"csvOptions":{...}, // not applicable to dataset destinations
"compression": {
"title": "Compression format",
"description": "Select the desired file compression format.",
"type": "string",
"enum": [
"NONE",
"GZIP"
]
}
},
"required": [
"path",
"datasetFileType",
"compression",
"fileType"
]
}
//...
Zona de Aterrissagem de Dados(DLZ)
accordion
Data Landing Zone(DLZ) - Connection spec mostrando parâmetros de conexão de destino
Observe as linhas destacadas com comentários embutidos no exemplo connection spec abaixo, que fornecem informações adicionais sobre onde encontrar os parâmetros target spec na especificação da conexão. Você também pode ver no exemplo abaixo quais parâmetros de destino não se aplicam a destinos de exportação do conjunto de dados.
Google Cloud Storage - Connection spec mostrando parâmetros de conexão de destino
Observe as linhas destacadas com comentários embutidos no exemplo connection spec abaixo, que fornecem informações adicionais sobre onde encontrar os parâmetros target spec na especificação da conexão. Você também pode ver no exemplo abaixo quais parâmetros de destino não se aplicam a destinos de exportação do conjunto de dados.
SFTP - Connection spec mostrando parâmetros de conexão de destino
Observe as linhas destacadas com comentários embutidos no exemplo connection spec abaixo, que fornecem informações adicionais sobre onde encontrar os parâmetros target spec na especificação da conexão. Você também pode ver no exemplo abaixo quais parâmetros de destino não se aplicam a destinos de exportação do conjunto de dados.
Usando a especificação acima, você pode criar uma solicitação de conexão de destino específica para seu destino de armazenamento na nuvem desejado, como mostrado nas guias abaixo.
Amazon S3
Solicitação
accordion
Amazon S3 - Solicitação de conexão de destino
note tip
TIP
Para obter informações sobre como obter os parâmetros de destino necessários, consulte a seção preencher detalhes do destino da página de documentação do destino Amazon S3. Para outros valores com suporte do datasetFileType, consulte a documentação de referência da API.
Observe as linhas destacadas com comentários em linha no exemplo de solicitação, que fornecem informações adicionais. Remova os comentários em linha na solicitação ao copiar e colar a solicitação no terminal de sua escolha.
Azure Blob Storage - Solicitação de conexão de destino
note tip
TIP
Para obter informações sobre como obter os parâmetros de destino necessários, consulte a seção preencher detalhes do destino da página de documentação do destino Azure Blob Storage. Para outros valores com suporte do datasetFileType, consulte a documentação de referência da API.
Observe as linhas destacadas com comentários em linha no exemplo de solicitação, que fornecem informações adicionais. Remova os comentários em linha na solicitação ao copiar e colar a solicitação no terminal de sua escolha.
Azure Blob Storage - Solicitação de conexão de destino
note tip
TIP
Para obter informações sobre como obter os parâmetros de destino necessários, consulte a seção preencher detalhes do destino da página de documentação do Azure Data Lake Gen 2(ADLS Gen2). Para outros valores com suporte do datasetFileType, consulte a documentação de referência da API.
Observe as linhas destacadas com comentários em linha no exemplo de solicitação, que fornecem informações adicionais. Remova os comentários em linha na solicitação ao copiar e colar a solicitação no terminal de sua escolha.
Data Landing Zone - Solicitação de conexão de destino
note tip
TIP
Para obter informações sobre como obter os parâmetros de destino necessários, consulte a seção preencher detalhes do destino da página de documentação do destino Data Landing Zone. Para outros valores com suporte do datasetFileType, consulte a documentação de referência da API.
Observe as linhas destacadas com comentários em linha no exemplo de solicitação, que fornecem informações adicionais. Remova os comentários em linha na solicitação ao copiar e colar a solicitação no terminal de sua escolha.
Google Cloud Storage - Solicitação de conexão de destino
note tip
TIP
Para obter informações sobre como obter os parâmetros de destino necessários, consulte a seção preencher detalhes do destino da página de documentação do destino Google Cloud Storage. Para outros valores com suporte do datasetFileType, consulte a documentação de referência da API.
Observe as linhas destacadas com comentários em linha no exemplo de solicitação, que fornecem informações adicionais. Remova os comentários em linha na solicitação ao copiar e colar a solicitação no terminal de sua escolha.
Para obter informações sobre como obter os parâmetros de destino necessários, consulte a seção preencher detalhes do destino da página de documentação do SFTP de destino. Para outros valores com suporte do datasetFileType, consulte a documentação de referência da API.
Observe as linhas destacadas com comentários em linha no exemplo de solicitação, que fornecem informações adicionais. Remova os comentários em linha na solicitação ao copiar e colar a solicitação no terminal de sua escolha.
Observe a ID de conexão de destino na resposta. Essa ID será necessária na próxima etapa ao criar o fluxo de dados para exportar conjuntos de dados.
Criar um fluxo de dados create-dataflow
A etapa final na configuração de destino é definir um fluxo de dados. Um fluxo de dados une entidades criadas anteriormente e também fornece opções para configurar o agendamento de exportação do conjunto de dados. Para criar o fluxo de dados, use as cargas abaixo, dependendo do destino de armazenamento na nuvem desejado, e substitua as IDs de entidade das etapas anteriores.
Amazon S3
Solicitação
accordion
Criar fluxo de dados de conjunto de dados para Amazon S3 destino - Solicitação
Observe as linhas destacadas com comentários em linha no exemplo de solicitação, que fornecem informações adicionais. Remova os comentários em linha na solicitação ao copiar e colar a solicitação no terminal de sua escolha.
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to an Amazon S3 cloud storage destination",
"description": "This operation creates a dataflow to export datasets to an Amazon S3 cloud storage destination",
"flowSpec": {
"id": "269ba276-16fc-47db-92b0-c1049a3c131f", // Amazon S3 flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
A tabela abaixo fornece descrições de todos os parâmetros na seção scheduleParams, o que permite personalizar os tempos de exportação, a frequência, o local e muito mais para suas exportações de conjunto de dados.
Selecione "DAILY_FULL_EXPORT" ou "FIRST_FULL_THEN_INCREMENTAL". Para obter mais informações sobre as duas opções, consulte exportar arquivos completos e exportar arquivos incrementais no tutorial de ativação de destinos em lote. As três opções de exportação disponíveis são: Arquivo completo - Uma vez: "DAILY_FULL_EXPORT" só pode ser usado em combinação com timeUnit:day e interval:0 para uma exportação completa única do conjunto de dados. Não há suporte para exportações completas diárias de conjuntos de dados. Se você precisar de exportações diárias, use a opção de exportação incremental. Exportações incrementais diárias: selecione "FIRST_FULL_THEN_INCREMENTAL", timeUnit:day e interval :1 para exportações incrementais diárias. Exportações incrementais por hora: Selecione "FIRST_FULL_THEN_INCREMENTAL", timeUnit:hour e interval :3,6,9 ou 12 para exportações incrementais por hora.
timeUnit
Selecione day ou hour dependendo da frequência com que você deseja exportar arquivos de conjunto de dados.
interval
Selecione 1 quando o timeUnit for dia e 3,6,9,12 quando a unidade de tempo for hour.
startTime
A data e hora em segundos do UNIX em que as exportações do conjunto de dados devem começar.
endTime
A data e a hora em segundos do UNIX em que as exportações do conjunto de dados devem terminar.
foldernameTemplate
Especifique a estrutura de nome de pasta esperada no local de armazenamento onde os arquivos exportados serão depositados.
DATASET_ID = Um identificador exclusivo para o conjunto de dados.
DESTINO = O nome do destino.
DATETIME = A data e a hora formatadas como yyyyMMdd_HHmmss.
HORA_EXPORTAÇÃO = O horário agendado para exportação de dados formatado como exportTime=YYYYMMDDHHMM.
DESTINATION_INSTANCE_NAME = O nome da instância específica do destino.
DESTINATION_INSTANCE_ID = Um identificador exclusivo para a instância de destino.
Criar fluxo de dados de conjunto de dados para Azure Blob Storage destino - Solicitação
Observe as linhas destacadas com comentários em linha no exemplo de solicitação, que fornecem informações adicionais. Remova os comentários em linha na solicitação ao copiar e colar a solicitação no terminal de sua escolha.
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to an Azure Blob Storage cloud storage destination",
"description": "This operation creates a dataflow to export datasets to an Azure Blob Storage cloud storage destination",
"flowSpec": {
"id": "95bd8965-fc8a-4119-b9c3-944c2c2df6d2", // Azure Blob Storage flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
A tabela abaixo fornece descrições de todos os parâmetros na seção scheduleParams, o que permite personalizar os tempos de exportação, a frequência, o local e muito mais para suas exportações de conjunto de dados.
Selecione "DAILY_FULL_EXPORT" ou "FIRST_FULL_THEN_INCREMENTAL". Para obter mais informações sobre as duas opções, consulte exportar arquivos completos e exportar arquivos incrementais no tutorial de ativação de destinos em lote. As três opções de exportação disponíveis são: Arquivo completo - Uma vez: "DAILY_FULL_EXPORT" só pode ser usado em combinação com timeUnit:day e interval:0 para uma exportação completa única do conjunto de dados. Não há suporte para exportações completas diárias de conjuntos de dados. Se você precisar de exportações diárias, use a opção de exportação incremental. Exportações incrementais diárias: selecione "FIRST_FULL_THEN_INCREMENTAL", timeUnit:day e interval :1 para exportações incrementais diárias. Exportações incrementais por hora: Selecione "FIRST_FULL_THEN_INCREMENTAL", timeUnit:hour e interval :3,6,9 ou 12 para exportações incrementais por hora.
timeUnit
Selecione day ou hour dependendo da frequência com que você deseja exportar arquivos de conjunto de dados.
interval
Selecione 1 quando o timeUnit for dia e 3,6,9,12 quando a unidade de tempo for hour.
startTime
A data e hora em segundos do UNIX em que as exportações do conjunto de dados devem começar.
endTime
A data e a hora em segundos do UNIX em que as exportações do conjunto de dados devem terminar.
foldernameTemplate
Especifique a estrutura de nome de pasta esperada no local de armazenamento onde os arquivos exportados serão depositados.
DATASET_ID = Um identificador exclusivo para o conjunto de dados.
DESTINO = O nome do destino.
DATETIME = A data e a hora formatadas como yyyyMMdd_HHmmss.
HORA_EXPORTAÇÃO = O horário agendado para exportação de dados formatado como exportTime=YYYYMMDDHHMM.
DESTINATION_INSTANCE_NAME = O nome da instância específica do destino.
DESTINATION_INSTANCE_ID = Um identificador exclusivo para a instância de destino.
Criar fluxo de dados de conjunto de dados para Azure Data Lake Gen 2(ADLS Gen2) destino - Solicitação
Observe as linhas destacadas com comentários em linha no exemplo de solicitação, que fornecem informações adicionais. Remova os comentários em linha na solicitação ao copiar e colar a solicitação no terminal de sua escolha.
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to an Azure Data Lake Gen 2(ADLS Gen2) cloud storage destination",
"description": "This operation creates a dataflow to export datasets to an Azure Data Lake Gen 2(ADLS Gen2) cloud storage destination",
"flowSpec": {
"id": "17be2013-2549-41ce-96e7-a70363bec293", // Azure Data Lake Gen 2(ADLS Gen2) flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
A tabela abaixo fornece descrições de todos os parâmetros na seção scheduleParams, o que permite personalizar os tempos de exportação, a frequência, o local e muito mais para suas exportações de conjunto de dados.
Selecione "DAILY_FULL_EXPORT" ou "FIRST_FULL_THEN_INCREMENTAL". Para obter mais informações sobre as duas opções, consulte exportar arquivos completos e exportar arquivos incrementais no tutorial de ativação de destinos em lote. As três opções de exportação disponíveis são: Arquivo completo - Uma vez: "DAILY_FULL_EXPORT" só pode ser usado em combinação com timeUnit:day e interval:0 para uma exportação completa única do conjunto de dados. Não há suporte para exportações completas diárias de conjuntos de dados. Se você precisar de exportações diárias, use a opção de exportação incremental. Exportações incrementais diárias: selecione "FIRST_FULL_THEN_INCREMENTAL", timeUnit:day e interval :1 para exportações incrementais diárias. Exportações incrementais por hora: Selecione "FIRST_FULL_THEN_INCREMENTAL", timeUnit:hour e interval :3,6,9 ou 12 para exportações incrementais por hora.
timeUnit
Selecione day ou hour dependendo da frequência com que você deseja exportar arquivos de conjunto de dados.
interval
Selecione 1 quando o timeUnit for dia e 3,6,9,12 quando a unidade de tempo for hour.
startTime
A data e hora em segundos do UNIX em que as exportações do conjunto de dados devem começar.
endTime
A data e a hora em segundos do UNIX em que as exportações do conjunto de dados devem terminar.
foldernameTemplate
Especifique a estrutura de nome de pasta esperada no local de armazenamento onde os arquivos exportados serão depositados.
DATASET_ID = Um identificador exclusivo para o conjunto de dados.
DESTINO = O nome do destino.
DATETIME = A data e a hora formatadas como yyyyMMdd_HHmmss.
HORA_EXPORTAÇÃO = O horário agendado para exportação de dados formatado como exportTime=YYYYMMDDHHMM.
DESTINATION_INSTANCE_NAME = O nome da instância específica do destino.
DESTINATION_INSTANCE_ID = Um identificador exclusivo para a instância de destino.
Criar fluxo de dados de conjunto de dados para Data Landing Zone destino - Solicitação
Observe as linhas destacadas com comentários em linha no exemplo de solicitação, que fornecem informações adicionais. Remova os comentários em linha na solicitação ao copiar e colar a solicitação no terminal de sua escolha.
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to a Data Landing Zone cloud storage destination",
"description": "This operation creates a dataflow to export datasets to a Data Landing Zone cloud storage destination",
"flowSpec": {
"id": "cd2fc47e-e838-4f38-a581-8fff2f99b63a", // Data Landing Zone flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
A tabela abaixo fornece descrições de todos os parâmetros na seção scheduleParams, o que permite personalizar os tempos de exportação, a frequência, o local e muito mais para suas exportações de conjunto de dados.
Selecione "DAILY_FULL_EXPORT" ou "FIRST_FULL_THEN_INCREMENTAL". Para obter mais informações sobre as duas opções, consulte exportar arquivos completos e exportar arquivos incrementais no tutorial de ativação de destinos em lote. As três opções de exportação disponíveis são: Arquivo completo - Uma vez: "DAILY_FULL_EXPORT" só pode ser usado em combinação com timeUnit:day e interval:0 para uma exportação completa única do conjunto de dados. Não há suporte para exportações completas diárias de conjuntos de dados. Se você precisar de exportações diárias, use a opção de exportação incremental. Exportações incrementais diárias: selecione "FIRST_FULL_THEN_INCREMENTAL", timeUnit:day e interval :1 para exportações incrementais diárias. Exportações incrementais por hora: Selecione "FIRST_FULL_THEN_INCREMENTAL", timeUnit:hour e interval :3,6,9 ou 12 para exportações incrementais por hora.
timeUnit
Selecione day ou hour dependendo da frequência com que você deseja exportar arquivos de conjunto de dados.
interval
Selecione 1 quando o timeUnit for dia e 3,6,9,12 quando a unidade de tempo for hour.
startTime
A data e hora em segundos do UNIX em que as exportações do conjunto de dados devem começar.
endTime
A data e a hora em segundos do UNIX em que as exportações do conjunto de dados devem terminar.
foldernameTemplate
Especifique a estrutura de nome de pasta esperada no local de armazenamento onde os arquivos exportados serão depositados.
DATASET_ID = Um identificador exclusivo para o conjunto de dados.
DESTINO = O nome do destino.
DATETIME = A data e a hora formatadas como yyyyMMdd_HHmmss.
HORA_EXPORTAÇÃO = O horário agendado para exportação de dados formatado como exportTime=YYYYMMDDHHMM.
DESTINATION_INSTANCE_NAME = O nome da instância específica do destino.
DESTINATION_INSTANCE_ID = Um identificador exclusivo para a instância de destino.
Criar fluxo de dados de conjunto de dados para Google Cloud Storage destino - Solicitação
Observe as linhas destacadas com comentários em linha no exemplo de solicitação, que fornecem informações adicionais. Remova os comentários em linha na solicitação ao copiar e colar a solicitação no terminal de sua escolha.
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to a Google Cloud Storage cloud storage destination",
"description": "This operation creates a dataflow to export datasets to a Google Cloud Storage destination",
"flowSpec": {
"id": "585c15c4-6cbf-4126-8f87-e26bff78b657", // Google Cloud Storage flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
A tabela abaixo fornece descrições de todos os parâmetros na seção scheduleParams, o que permite personalizar os tempos de exportação, a frequência, o local e muito mais para suas exportações de conjunto de dados.
Selecione "DAILY_FULL_EXPORT" ou "FIRST_FULL_THEN_INCREMENTAL". Para obter mais informações sobre as duas opções, consulte exportar arquivos completos e exportar arquivos incrementais no tutorial de ativação de destinos em lote. As três opções de exportação disponíveis são: Arquivo completo - Uma vez: "DAILY_FULL_EXPORT" só pode ser usado em combinação com timeUnit:day e interval:0 para uma exportação completa única do conjunto de dados. Não há suporte para exportações completas diárias de conjuntos de dados. Se você precisar de exportações diárias, use a opção de exportação incremental. Exportações incrementais diárias: selecione "FIRST_FULL_THEN_INCREMENTAL", timeUnit:day e interval :1 para exportações incrementais diárias. Exportações incrementais por hora: Selecione "FIRST_FULL_THEN_INCREMENTAL", timeUnit:hour e interval :3,6,9 ou 12 para exportações incrementais por hora.
timeUnit
Selecione day ou hour dependendo da frequência com que você deseja exportar arquivos de conjunto de dados.
interval
Selecione 1 quando o timeUnit for dia e 3,6,9,12 quando a unidade de tempo for hour.
startTime
A data e hora em segundos do UNIX em que as exportações do conjunto de dados devem começar.
endTime
A data e a hora em segundos do UNIX em que as exportações do conjunto de dados devem terminar.
foldernameTemplate
Especifique a estrutura de nome de pasta esperada no local de armazenamento onde os arquivos exportados serão depositados.
DATASET_ID = Um identificador exclusivo para o conjunto de dados.
DESTINO = O nome do destino.
DATETIME = A data e a hora formatadas como yyyyMMdd_HHmmss.
HORA_EXPORTAÇÃO = O horário agendado para exportação de dados formatado como exportTime=YYYYMMDDHHMM.
DESTINATION_INSTANCE_NAME = O nome da instância específica do destino.
DESTINATION_INSTANCE_ID = Um identificador exclusivo para a instância de destino.
Criar fluxo de dados de conjunto de dados para destino SFTP - Solicitação
Observe as linhas destacadas com comentários em linha no exemplo de solicitação, que fornecem informações adicionais. Remova os comentários em linha na solicitação ao copiar e colar a solicitação no terminal de sua escolha.
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to an SFTP cloud storage destination",
"description": "This operation creates a dataflow to export datasets to an SFTP cloud storage destination",
"flowSpec": {
"id": "354d6aad-4754-46e4-a576-1b384561c440", // SFTP flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
A tabela abaixo fornece descrições de todos os parâmetros na seção scheduleParams, o que permite personalizar os tempos de exportação, a frequência, o local e muito mais para suas exportações de conjunto de dados.
Selecione "DAILY_FULL_EXPORT" ou "FIRST_FULL_THEN_INCREMENTAL". Para obter mais informações sobre as duas opções, consulte exportar arquivos completos e exportar arquivos incrementais no tutorial de ativação de destinos em lote. As três opções de exportação disponíveis são: Arquivo completo - Uma vez: "DAILY_FULL_EXPORT" só pode ser usado em combinação com timeUnit:day e interval:0 para uma exportação completa única do conjunto de dados. Não há suporte para exportações completas diárias de conjuntos de dados. Se você precisar de exportações diárias, use a opção de exportação incremental. Exportações incrementais diárias: selecione "FIRST_FULL_THEN_INCREMENTAL", timeUnit:day e interval :1 para exportações incrementais diárias. Exportações incrementais por hora: Selecione "FIRST_FULL_THEN_INCREMENTAL", timeUnit:hour e interval :3,6,9 ou 12 para exportações incrementais por hora.
timeUnit
Selecione day ou hour dependendo da frequência com que você deseja exportar arquivos de conjunto de dados.
interval
Selecione 1 quando o timeUnit for dia e 3,6,9,12 quando a unidade de tempo for hour.
startTime
A data e hora em segundos do UNIX em que as exportações do conjunto de dados devem começar.
endTime
A data e a hora em segundos do UNIX em que as exportações do conjunto de dados devem terminar.
foldernameTemplate
Especifique a estrutura de nome de pasta esperada no local de armazenamento onde os arquivos exportados serão depositados.
DATASET_ID = Um identificador exclusivo para o conjunto de dados.
DESTINO = O nome do destino.
DATETIME = A data e a hora formatadas como yyyyMMdd_HHmmss.
HORA_EXPORTAÇÃO = O horário agendado para exportação de dados formatado como exportTime=YYYYMMDDHHMM.
DESTINATION_INSTANCE_NAME = O nome da instância específica do destino.
DESTINATION_INSTANCE_ID = Um identificador exclusivo para a instância de destino.
Observe a ID de fluxo de dados na resposta. Essa ID será necessária na próxima etapa, ao recuperar as execuções do fluxo de dados, para validar as exportações bem-sucedidas do conjunto de dados.
Obter as execuções de fluxo de dados get-dataflow-runs
Para verificar as execuções de um fluxo de dados, use a API de execuções de fluxo de dados:
Solicitação
Obter execuções de fluxo de dados - Solicitação
Na solicitação para recuperar execuções de fluxo de dados, adicione como parâmetro de consulta a ID do fluxo de dados obtida na etapa anterior ao criar o fluxo de dados.
Verificar se o conjunto de dados foi exportado com êxito verify
Ao exportar conjuntos de dados, o Experience Platform cria um arquivo .json ou .parquet no local de armazenamento fornecido. Espere que um novo arquivo seja depositado no local de armazenamento de acordo com o agendamento de exportação fornecido ao criar um fluxo de dados.
O Experience Platform cria uma estrutura de pastas no local de armazenamento especificado, onde deposita os arquivos exportados do conjunto de dados. Uma nova pasta é criada para cada exportação, seguindo o padrão abaixo:
O nome de arquivo padrão é gerado aleatoriamente e garante que os nomes de arquivo exportados sejam exclusivos.
Arquivos de conjunto de dados de exemplo sample-files
A presença desses arquivos no local de armazenamento é a confirmação de uma exportação bem-sucedida. Para entender como os arquivos exportados são estruturados, você pode baixar um .arquivo parquet ou .arquivo json de amostra.
Arquivos de conjunto de dados compactados compressed-dataset-files
Na etapa para criar uma conexão de destino, você pode selecionar os arquivos do conjunto de dados exportados a serem compactados.
Observe a diferença no formato de arquivo entre os dois tipos de arquivo, quando compactados:
Ao exportar arquivos JSON compactados, o formato de arquivo exportado é json.gz
Ao exportar arquivos parquet compactados, o formato de arquivo exportado é gz.parquet
Arquivos JSON podem ser exportados somente em um modo compactado.
Manipulação de erros de API api-error-handling
Os endpoints de API neste tutorial seguem os princípios gerais de mensagem de erro da API Experience Platform. Consulte códigos de status da API e erros no cabeçalho da solicitação no guia de solução de problemas da Platform para obter mais informações sobre como interpretar respostas de erro.
Seguindo este tutorial, você conectou com sucesso o Platform a um de seus destinos de armazenamento na nuvem em lote preferidos e configurou um fluxo de dados para o respectivo destino para exportar conjuntos de dados. Consulte as seguintes páginas para obter mais detalhes, como editar fluxos de dados existentes usando a API do Serviço de fluxo: