Exportar conjuntos de dados para destinos de armazenamento na nuvem
- Essa funcionalidade está disponível para clientes que compraram o pacote Real-Time CDP Prime ou Ultimate, Adobe Journey Optimizer ou Customer Journey Analytics. Entre em contato com o representante da Adobe para obter mais informações.
Este artigo explica o fluxo de trabalho necessário para exportar conjuntos de dados da Adobe Experience Platform para o local de armazenamento na nuvem preferido, como Amazon S3, locais SFTP ou Google Cloud Storage usando a interface do usuário do Experience Platform.
Você também pode usar as APIs de Experience Platform para exportar conjuntos de dados. Leia o tutorial da API de conjuntos de dados de exportação para obter mais informações.
Conjuntos de dados disponíveis para exportação datasets-to-export
Os conjuntos de dados que você pode exportar variam com base no aplicativo Experience Platform (Real-Time CDP, Adobe Journey Optimizer), no nível (Prime ou Ultimate) e em qualquer complemento que você tenha adquirido (por exemplo: Data Distiller).
Use a tabela abaixo para entender quais tipos de conjunto de dados você pode exportar, dependendo do aplicativo, da camada do produto e de qualquer complemento adquirido:
- Conjuntos de dados de Perfil e Evento de experiência criados na interface do Experience Platform após assimilar ou coletar dados por meio de Fontes, SDK da Web, SDK móvel, Conector de dados do Analytics e Audience Manager.
- Conjunto de dados de Instantâneo de Perfil gerado pelo sistema.
Tutorial em vídeo video-tutorial
Assista ao vídeo abaixo para obter uma explicação completa do fluxo de trabalho descrito nesta página, os benefícios de usar a funcionalidade de conjunto de dados de exportação e alguns casos de uso sugeridos.
Destinos compatíveis supported-destinations
Atualmente, você pode exportar conjuntos de dados para os destinos de armazenamento na nuvem destacados na captura de tela e listados abaixo.
Quando ativar públicos ou exportar conjuntos de dados when-to-activate-audiences-or-activate-datasets
Alguns destinos baseados em arquivo no catálogo do Experience Platform são compatíveis com a ativação de público-alvo e a exportação de conjunto de dados.
- Considere ativar públicos-alvo quando quiser que seus dados sejam estruturados em perfis agrupados por interesses ou qualificações de público-alvo.
- Como alternativa, considere as exportações de conjunto de dados ao procurar exportar conjuntos de dados brutos, que não são agrupados ou estruturados por interesses ou qualificações de público-alvo. Você pode usar esses dados para relatórios, fluxos de trabalho de ciência de dados e muitos outros casos de uso. Por exemplo, como administrador, engenheiro de dados ou analista, você pode exportar dados do Experience Platform para sincronizar com o data warehouse, usar em ferramentas de análise de BI, ferramentas de aprendizado de máquina na nuvem externas ou armazenar em seu sistema para necessidades de armazenamento de longo prazo.
Este documento contém todas as informações necessárias para exportar conjuntos de dados. Se você quiser ativar públicos-alvo para destinos de marketing por email ou armazenamento na nuvem, leia Ativar dados de público-alvo para destinos de exportação de perfil em lote.
Pré-requisitos prerequisites
Para exportar conjuntos de dados para destinos de armazenamento na nuvem, você deve ter se conectado com êxito a um destino. Se ainda não tiver feito isso, vá para o catálogo de destinos, navegue pelos destinos compatíveis e configure o destino que deseja usar.
Permissões necessárias permissions
Para exportar conjuntos de dados, você precisa de Exibir Destinos, Exibir Conjuntos de Dados e Gerenciar e Ativar Destinos de Conjuntos de Dados permissões de controle de acesso. Leia a visão geral do controle de acesso ou contate o administrador do produto para obter as permissões necessárias.
Para garantir que você tenha as permissões necessárias para exportar conjuntos de dados e que o destino seja compatível com a exportação de conjuntos de dados, navegue pelo catálogo de destinos. Se um destino tiver um controle Ativar ou Exportar conjuntos de dados, você terá as permissões apropriadas.
Selecione seu destino select-destination
Siga as instruções para selecionar um destino em que você possa exportar seus conjuntos de dados:
-
Vá para Conexões > Destinos e selecione a guia Catálogo.
-
Selecione Ativar ou Exportar conjuntos de dados no cartão correspondente ao destino para o qual você deseja exportar conjuntos de dados.
-
Selecione Conjuntos de dados, selecione a conexão de destino para a qual você deseja exportar conjuntos de dados e selecione Avançar.
- A exibição Selecionar conjuntos de dados é exibida. Prossiga para a próxima seção para selecionar seus conjuntos de dados para exportação.
Selecione seus conjuntos de dados select-datasets
Use as caixas de seleção à esquerda dos nomes dos conjuntos de dados para selecionar os conjuntos de dados que você deseja exportar para o destino e selecione Avançar.
Programar exportação do conjunto de dados scheduling
Use a etapa Agendamento para:
- Defina uma data de início e uma data de término, bem como uma cadência de exportação para suas exportações do conjunto de dados.
- Configure se os arquivos do conjunto de dados exportados devem exportar a associação completa do conjunto de dados ou apenas alterações incrementais na associação em cada ocorrência de exportação.
- Personalize o caminho da pasta no local de armazenamento para onde os conjuntos de dados devem ser exportados. Leia mais sobre como editar o caminho da pasta de exportação.
Use o controle Editar agenda na página para editar a cadência de exportação das exportações, bem como para selecionar se deseja exportar arquivos completos ou incrementais.
A opção Exportar arquivos incrementais está selecionada por padrão. Isso aciona uma exportação de um ou vários arquivos que representam um instantâneo completo do conjunto de dados. Os arquivos subsequentes são adições incrementais ao conjunto de dados desde a exportação anterior. Você também pode selecionar Exportar arquivos completos. Nesse caso, selecione a frequência Uma vez para uma exportação única e completa do conjunto de dados.
-
Use o seletor de Frequência para selecionar a frequência de exportação:
- Diariamente: agendar exportações de arquivos incrementais uma vez por dia, todos os dias, no horário especificado.
- Por hora: agende exportações de arquivos incrementais a cada 3, 6, 8 ou 12 horas.
-
Use o seletor Hora para escolher a hora do dia, no formato UTC, em que a exportação deve ocorrer.
-
Use o seletor Data para escolher o intervalo em que a exportação deve ocorrer.
-
Selecione Salvar para salvar o agendamento e prosseguir para a etapa Revisão.
Editar caminho da pasta edit-folder-path
Selecione Editar caminho da pasta para personalizar a estrutura de pastas no local de armazenamento onde os conjuntos de dados exportados são depositados.
Você pode usar várias macros disponíveis para personalizar um nome de pasta desejado. Clique duas vezes em uma macro para adicioná-la ao caminho da pasta e use / entre as macros para separar as pastas.
Depois de selecionar as macros desejadas, você pode visualizar a estrutura de pastas que será criada no local de armazenamento. O primeiro nível na estrutura de pastas representa o Caminho da pasta indicado quando você se conectou ao destino para exportar conjuntos de dados.
Revisar review
Na página Revisão, você pode ver um resumo da sua seleção. Selecione Cancelar para interromper o fluxo, Voltar para modificar suas configurações ou Concluir para confirmar sua seleção e começar a exportar conjuntos de dados para o destino.
Verificar se o conjunto de dados foi exportado com êxito verify
Ao exportar conjuntos de dados, o Experience Platform cria um ou vários arquivos .json ou .parquet no local de armazenamento fornecido. Espere que os novos arquivos sejam depositados no local de armazenamento de acordo com o agendamento de exportação fornecido.
O Experience Platform cria uma estrutura de pastas no local de armazenamento especificado, onde deposita os arquivos exportados do conjunto de dados. O padrão de exportação de pasta padrão é mostrado abaixo, mas você pode personalizar a estrutura de pastas com suas macros preferidas.
folder-name-you-provided - representa o caminho da Pasta indicado quando você se conectou ao destino para exportar conjuntos de dados.folder-name-you-provided/datasetID/exportTime=YYYYMMDDHHMM
O nome de arquivo padrão é gerado aleatoriamente e garante que os nomes de arquivo exportados sejam exclusivos.
Arquivos de conjunto de dados de exemplo sample-files
A presença desses arquivos no local de armazenamento é a confirmação de uma exportação bem-sucedida. Para entender como os arquivos exportados são estruturados, você pode baixar um .arquivo parquet ou .arquivo json de amostra.
Arquivos de conjunto de dados compactados compressed-dataset-files
Em conectar ao fluxo de trabalho de destino, você pode selecionar os arquivos do conjunto de dados exportados a serem compactados, conforme mostrado abaixo:
Observe a diferença no formato de arquivo entre os dois tipos de arquivo, quando compactados:
- Ao exportar arquivos JSON compactados, o formato de arquivo exportado é
json.gz. O formato do JSON exportado é o NDJSON, que é o formato de intercâmbio padrão no ecossistema de big data. A Adobe recomenda usar um cliente compatível com NDJSON para ler os arquivos exportados. - Ao exportar arquivos parquet compactados, o formato de arquivo exportado é
gz.parquet
Há suporte para exportações para arquivos JSON somente no modo compactado. As exportações para arquivos Parquet são suportadas em um modo compactado e descompactado.
Remover conjuntos de dados dos destinos remove-dataset
Para remover conjuntos de dados de um fluxo de dados existente, siga as etapas abaixo:
-
Faça logon na interface do usuário do Experience Platform e selecione Destinos na barra de navegação esquerda. Selecione Procurar no cabeçalho superior para exibir seus fluxos de dados de destino existentes.
note tip TIP Selecione o ícone de filtro 
-
Na coluna Dados de ativação, selecione o controle de conjuntos de dados para exibir todos os conjuntos de dados mapeados para esse fluxo de dados de exportação.
-
A página Dados de ativação do destino é exibida. Use as caixas de seleção no lado esquerdo da lista de conjuntos de dados para selecionar os conjuntos de dados que você deseja remover e selecione Remover conjuntos de dados no painel direito para acionar a caixa de diálogo de confirmação de remoção do conjunto de dados.
-
Na caixa de diálogo de confirmação, selecione Remover para remover imediatamente o conjunto de dados das exportações para o destino.
Direitos de exportação do conjunto de dados licensing-entitlement
Consulte os documentos de descrição do produto para entender quantos dados você está autorizado a exportar para cada aplicativo Experience Platform, por ano. Por exemplo, você pode exibir a Descrição do Produto Real-Time CDP aqui.
Observe que os direitos de exportação de dados para diferentes aplicativos não são aditivos. Por exemplo, isso significa que, se você comprar o Real-Time CDP Ultimate e o Adobe Journey Optimizer Ultimate, o direito de exportação do perfil será o maior dos dois direitos, de acordo com as descrições do produto. Os direitos de volume são calculados calculando o número total de perfis licenciados e multiplicando por 500 KB para o Real-Time CDP Prime ou 700 KB para o Real-Time CDP Ultimate para determinar o volume de dados ao qual você tem direito.
Por outro lado, se você adquiriu complementos, como o Data Distiller, o limite de exportação de dados ao qual você tem direito representa a soma da camada do produto e do complemento.
Você pode exibir e acompanhar suas exportações de perfil em relação aos limites contratuais no painel de uso de licença.
Limitações conhecidas known-limitations
Lembre-se das seguintes limitações da versão de disponibilidade geral das exportações do conjunto de dados:
- Atualmente, você só pode exportar arquivos incrementais e uma data de término não pode ser selecionada para suas exportações de conjunto de dados.
- O Experience Platform pode exportar vários arquivos mesmo para conjuntos de dados pequenos. A exportação de conjuntos de dados foi projetada para integração de sistema para sistema e otimizada para desempenho, portanto, o número de arquivos exportados não é personalizável.
- Nomes de arquivos exportados não podem ser personalizados no momento.
- No momento, os conjuntos de dados criados por meio da API não estão disponíveis para exportação.
- No momento, a interface não impede que você exclua um conjunto de dados que está sendo exportado para um destino. Não exclua conjuntos de dados que estejam sendo exportados para destinos. Remova o conjunto de dados de um fluxo de dados de destino antes de excluí-lo.
- Atualmente, as métricas de monitoramento para exportações de conjunto de dados estão misturadas com números para exportações de perfil, de modo que não refletem os números reais exportados.
- Os dados com um carimbo de data e hora com mais de 365 dias são excluídos das exportações do conjunto de dados. Para obter mais informações, exiba as medidas de proteção para exportações agendadas do conjunto de dados
Perguntas frequentes faq
É possível gerar um arquivo sem uma pasta se apenas salvarmos em / como o caminho da pasta? Além disso, se não exigirmos um caminho de pasta, como os arquivos com nomes duplicados serão gerados em uma pasta ou local?
+++
A partir da versão de setembro de 2024, é possível personalizar o nome da pasta e até mesmo usar / para exportar arquivos para todos os conjuntos de dados na mesma pasta. O Adobe não recomenda isso para destinos que exportam vários conjuntos de dados, pois os nomes de arquivo gerados pelo sistema pertencentes a conjuntos de dados diferentes serão misturados na mesma pasta.
+++
Você pode rotear o arquivo de manifesto para uma pasta e os arquivos de dados para outra pasta?
+++
Não, não há nenhum recurso para copiar o arquivo de manifesto para um local diferente.
+++
Podemos controlar o sequenciamento ou o tempo de entrega do arquivo?
+++
Há opções para agendar a exportação. Não há opções para atrasar ou sequenciar a cópia dos arquivos. Eles são copiados para o local de armazenamento assim que são gerados.
+++
Que formatos estão disponíveis para o arquivo de manifesto?
+++
O arquivo de manifesto está no formato .json.
+++
A API está disponível para o arquivo de manifesto?
+++
Nenhuma API está disponível para o arquivo de manifesto, mas inclui uma lista de arquivos que compreende a exportação.
+++
É possível adicionar mais detalhes ao arquivo de manifesto (ou seja, contagem de registros)? Em caso afirmativo, como?
+++
Não há possibilidade de adicionar mais informações ao arquivo de manifesto. A contagem de registros está disponível através da entidade flowRun (consultável via API). Leia mais em Monitoramento de destinos.
+++
Como os arquivos de dados são divididos? Quantos registros por arquivo?
+++
Os arquivos de dados são divididos pelo particionamento padrão no data lake do Experience Platform. Conjuntos de dados maiores têm um número maior de partições. O particionamento padrão não pode ser configurado pelo usuário, pois está otimizado para leitura.
+++
É possível definir um limite (número de registros por arquivo)?
+++
Não, não é possível.
+++
Como reenviar um conjunto de dados caso o envio inicial esteja incorreto?
+++
As tentativas são implementadas automaticamente para a maioria dos tipos de erros do sistema.
+++