Um fluxo de dados é uma tarefa agendada que recupera e assimila dados de uma fonte para um conjunto de dados da Adobe Experience Platform. Este tutorial fornece etapas para configurar um novo fluxo de dados usando sua conta de protocolos.
Este tutorial requer uma compreensão funcional dos seguintes componentes do Adobe Experience Platform:
Além disso, este tutorial exige que você já tenha criado uma conta de protocolos. Uma lista de tutoriais para criar diferentes conectores de protocolo na interface do usuário pode ser encontrada na visão geral dos conectores de origem.
Depois de criar sua conta de protocolos, a etapa Select data é exibida, fornecendo uma interface interativa para explorar sua hierarquia de arquivos.
Você pode usar a opção Search na parte superior da página para identificar rapidamente os dados de origem que pretende usar.
A opção de dados de origem da pesquisa está disponível para todos os conectores de origem baseados em tabelas, excluindo os conectores Analytics, Classificações, Hubs de eventos e Kinesis.
Depois de encontrar os dados de origem, selecione o diretório e clique em Next.
A etapa Mapping é exibida, fornecendo uma interface interativa para mapear os dados de origem para um conjunto de dados Platform.
Escolha um conjunto de dados para os dados de entrada que serão assimilados. Você pode usar um conjunto de dados existente ou criar um novo conjunto de dados.
Para assimilar dados em um conjunto de dados existente, selecione Use existing dataset e clique no ícone do conjunto de dados.
A caixa de diálogo Select dataset é exibida. Encontre o conjunto de dados que deseja usar, selecione-o e clique em Continue.
Para assimilar dados em um novo conjunto de dados, selecione Create new dataset e insira um nome e uma descrição para o conjunto de dados nos campos fornecidos.
Você pode anexar um campo de esquema inserindo um nome de esquema na barra de pesquisa Select schema. Você também pode selecionar o ícone suspenso para ver uma lista de schemas existentes. Como alternativa, você pode selecionar Advanced search para acessar a tela de esquemas existentes, incluindo seus respectivos detalhes.
Durante essa etapa, você pode ativar seu conjunto de dados para Real-time Customer Profile e criar uma exibição holística dos atributos e comportamentos de uma entidade. Os dados de todos os conjuntos de dados ativados serão incluídos em Profile e as alterações serão aplicadas quando você salvar o fluxo de dados.
Alterne o botão Profile dataset para ativar o conjunto de dados de destino para Profile.
A caixa de diálogo Select schema é exibida. Selecione o schema que deseja aplicar ao novo conjunto de dados e clique em Done.
Com base em suas necessidades, você pode optar por mapear campos diretamente ou usar funções de mapeador para transformar dados de origem para derivar valores calculados ou calculados. Para obter mais informações sobre mapeamento de dados e funções de mapeador, consulte o tutorial em mapear dados CSV para campos de esquema XDM.
Platform fornece recomendações inteligentes para campos mapeados automaticamente com base no esquema de destino ou conjunto de dados selecionado. Você pode ajustar manualmente as regras de mapeamento de acordo com seus casos de uso.
Selecione Preview data para ver os resultados do mapeamento de até 100 linhas de dados de amostra do conjunto de dados selecionado.
Durante a visualização, a coluna de identidade é priorizada como o primeiro campo, pois são as informações principais necessárias ao validar resultados de mapeamento.
Depois que os dados de origem forem mapeados, selecione Close.
A etapa Scheduling é exibida, permitindo configurar um agendamento de assimilação para assimilar automaticamente os dados de origem selecionados usando os mapeamentos configurados. A tabela a seguir descreve os diferentes campos configuráveis para programação:
Campo | Descrição |
---|---|
Frequência | As frequências selecionáveis incluem Once , Minute , Hour , Day e Week . |
Intervalo | Um número inteiro que define o intervalo para a frequência selecionada. |
Hora de início | Um carimbo de data e hora UTC indicando quando a primeira assimilação está definida para ocorrer. |
Preenchimento retroativo | Um valor booleano que determina quais dados são assimilados inicialmente. Se Backfill estiver ativado, todos os arquivos atuais no caminho especificado serão assimilados durante a primeira assimilação agendada. Se Backfill estiver desativado, somente os arquivos carregados entre a primeira execução da assimilação e a hora de início serão assimilados. Os arquivos carregados antes da hora de início não serão assimilados. |
Coluna Delta | Uma opção com um conjunto filtrado de campos do schema de origem do tipo, data ou hora. Esse campo é usado para diferenciar dados novos e existentes. Os dados incrementais serão assimilados com base no carimbo de data e hora da coluna selecionada. |
Os fluxos de dados são projetados para assimilar dados automaticamente de forma programada. Comece selecionando a frequência de assimilação. Em seguida, defina o intervalo para designar o período entre duas execuções de fluxo. O valor do intervalo deve ser um número inteiro diferente de zero e deve ser definido como maior ou igual a 15.
Para definir a hora de início da assimilação, ajuste a data e a hora exibidas na caixa de hora de início. Como alternativa, você pode selecionar o ícone de calendário para editar o valor de hora de início. A hora de início deve ser maior ou igual à hora UTC atual.
Selecione Load incremental data by para atribuir a coluna delta. Este campo estabelece uma distinção entre dados novos e dados existentes.
Para configurar a assimilação única, selecione a seta suspensa de frequência e selecione Once.
Interval e não Backfill são visíveis durante uma ingestão única.
Depois de fornecer os valores apropriados ao agendamento, selecione Next.
A etapa Dataflow detail é exibida, permitindo nomear e fornecer uma breve descrição sobre o novo fluxo de dados.
Durante esse processo, também é possível ativar Partial ingestion e Error diagnostics. Habilitar Partial ingestion fornece a capacidade de assimilar dados contendo erros até um determinado limite. Quando Partial ingestion estiver ativado, arraste o seletor Error threshold % para ajustar o limite de erro do lote. Como alternativa, você pode ajustar manualmente o limite selecionando a caixa de entrada. Para obter mais informações, consulte a visão geral da ingestão parcial de lote.
Forneça valores para o fluxo de dados e selecione Next.
A etapa Review é exibida, permitindo que você revise o novo fluxo de dados antes de ele ser criado. Os detalhes são agrupados nas seguintes categorias:
Depois de revisar o fluxo de dados, clique em Finish e aguarde algum tempo para que o fluxo de dados seja criado.
Depois que o fluxo de dados for criado, você poderá monitorar os dados que estão sendo assimilados por meio dele para ver informações sobre taxas de ingestão, sucesso e erros. Para obter mais informações sobre como monitorar o fluxo de dados, consulte o tutorial em monitorando contas e fluxos de dados na interface do usuário.
Você pode excluir fluxos de dados que não são mais necessários ou foram criados incorretamente usando a função Delete disponível no espaço de trabalho Dataflows. Para obter mais informações sobre como excluir fluxos de dados, consulte o tutorial em excluir fluxos de dados na interface do usuário.
Ao seguir este tutorial, você criou com sucesso um fluxo de dados para trazer dados de um sistema de automação de marketing e ganhou informações sobre o monitoramento de conjuntos de dados. Os dados recebidos agora podem ser usados por serviços Platform downstream, como Real-time Customer Profile e Data Science Workspace. Consulte os seguintes documentos para obter mais detalhes:
As seções a seguir fornecem informações adicionais para trabalhar com conectores de origem.
Quando um fluxo de dados é criado, ele imediatamente se torna ativo e assimila dados de acordo com o cronograma que foi fornecido. Você pode desativar um fluxo de dados ativo a qualquer momento seguindo as instruções abaixo.
Na tela Dataflows, selecione o nome do fluxo de dados que deseja desativar.
A coluna Properties aparece no lado direito da tela. Este painel contém um botão de alternância Enabled. Clique no botão de alternância para desativar o fluxo de dados. A mesma alternância pode ser usada para reativar um fluxo de dados depois que ele for desativado.
Os dados de entrada do conector de origem podem ser usados para enriquecer e preencher os dados de Real-time Customer Profile. Para obter mais informações sobre como preencher os dados Real-time Customer Profile, consulte o tutorial em População do perfil.