Visão geral da assimilação de dados
No Adobe Experience Platform, a assimilação de dados é o transporte de dados de fontes variadas para uma mídia de armazenamento, onde podem ser acessados, usados e analisados por uma organização. A assimilação de dados na Experience Platform pode ser agrupada em duas categorias principais: assimilação por transmissão e assimilação em lote.
Em assimilação em lote e por transmissão, há vários métodos diferentes que você pode usar para assimilar seus dados na Experience Platform. Esses métodos incluem o uso de uma variedade de fontes e a conexão a essas fontes para, em seguida, trazer dados para a Experience Platform.
Leia este documento para obter uma visão geral das várias maneiras diferentes de assimilar dados no Experience Platform.
Assimilação por transmissão streaming
Você pode usar a assimilação por transmissão para enviar dados de dispositivos cliente e do lado do servidor para a Experience Platform em tempo real. O Experience Platform oferece suporte ao uso de entradas de dados para transmitir dados de experiência recebidos, que são mantidos em conjuntos de dados habilitados para transmissão no data lake. As entradas de dados podem ser configuradas para autenticar automaticamente os dados coletados, garantindo que os dados sejam provenientes de uma fonte confiável.
Para obter mais informações, leia a visão geral da assimilação de streaming.
Assimilação em lote batch
No Experience Platform, um lote é um conjunto de dados coletados por um período e processados juntos como uma única unidade. Os conjuntos de dados são compostos de lotes. Você pode usar a assimilação em lote para assimilar dados na Experience Platform como arquivos em lote. Depois de assimilados, os lotes fornecem metadados que descrevem o número de registros assimilados com êxito, bem como quaisquer registros com falha e mensagens de erro associadas.
Os arquivos de dados carregados manualmente, como arquivos CSV simples (mapeados para esquemas XDM) e arquivos parquet, devem ser assimilados usando esse método.
Para obter mais informações, leia a visão geral de assimilação de lotes.
Origens sources
Você também pode assimilar dados se conectando a Fontes do Experience Platform. O Experience Platform mantém um catálogo de várias fontes de dados diferentes às quais você pode se conectar e assimilar dados. Essas origens podem ser aplicativos nativos do Adobe, como a origem do Adobe Analytics ou a origem do Marketo Engage. Você também pode se conectar a fontes de terceiros, como a fonte Amazon S3 e a fonte Google Cloud Storage.
As fontes são agrupadas em diferentes categorias, como armazenamentos em nuvem, bancos de dados e sistemas CRM. Uma determinada fonte pode oferecer suporte à assimilação em lote ou por transmissão.
Com origens, você pode assimilar dados de várias origens de dados diferentes e de diferentes categorias de caso de uso. Além disso, a assimilação de dados por meio de uma origem oferece a oportunidade de realizar a autenticação na fonte de dados externa, configurar um agendamento de assimilação e gerenciar a taxa de transferência de assimilação.
Para obter mais informações, leia a visão geral das fontes para obter mais informações.
Criação de esquema com ML ml-assisted-schema-creation
Para integrar rapidamente novas fontes de dados, agora é possível usar algoritmos de aprendizado de máquina do para gerar um esquema a partir de dados de amostra. Essa automação simplifica a criação de esquemas precisos, reduz erros e acelera o processo, da coleta de dados à análise e aos insights.
Consulte o Guia de criação de esquema assistido por aprendizado de máquina para obter mais informações sobre este fluxo de trabalho.
Preparação de dados data-prep
Embora o preparo de dados não seja um método de assimilação, ele é uma parte importante do processo de assimilação de dados. Use as funções de preparação de dados para mapear, transformar e validar dados de e para o Experience Data Model (XDM) antes de criar um fluxo de dados para assimilar seus dados para o Experience Platform. O preparo de dados é exibido como a etapa "Mapeamento" na interface do usuário do Experience Platform durante o processo de assimilação de dados.
Para obter mais informações, leia a visão geral da preparação de dados.
Métodos de assimilação de streaming streaming-ingestion-methods
A tabela a seguir descreve a variedade de métodos que podem ser usados para assimilar dados de transmissão na Experience Platform.
Métodos de assimilação em lote batch-ingestion-methods
A tabela a seguir descreve a variedade de métodos que podem ser usados para assimilar dados em lote no Experience Platform.
Próximas etapas e recursos adicionais
Este documento forneceu uma breve introdução aos diferentes aspectos do Data Ingestion em Experience Platform. Continue lendo a documentação de visão geral de cada método de assimilação para se familiarizar com seus diferentes recursos, casos de uso e práticas recomendadas. Você também pode complementar seu aprendizado assistindo ao vídeo de visão geral da assimilação abaixo. Para obter informações sobre como o Experience Platform rastreia os metadados de registros assimilados, consulte a visão geral do Serviço de Catálogo.
