Présentation de Data Ingestion
Dans Adobe Experience Platform, l’ingestion de données est le transport de données provenant de sources variées vers un support de stockage où elles peuvent être accessibles, utilisées et analysées par une organisation. Dans Experience Platform, l’ingestion de données peut être regroupée en deux catégories principales : ingestion par flux et ingestion par lots.
Sous ingestion par lots et en flux continu , vous pouvez utiliser plusieurs méthodes différentes pour ingérer vos données dans Experience Platform. Ces méthodes incluent l’utilisation de diverses sources et la connexion à ces sources pour importer ensuite des données dans Experience Platform.
Lisez ce document pour obtenir un aperçu des nombreuses façons dont les données peuvent être ingérées dans Experience Platform.
Ingestion en flux continu streaming
Vous pouvez utiliser l’ingestion par flux pour envoyer en temps réel des données à Experience Platform à partir d’appareils côté client et côté serveur. Experience Platform prend en charge l’utilisation des entrées de données pour diffuser des données d’expérience entrantes, qui sont conservées dans les jeux de données activés dans le flux au sein du lac de données. Les entrées de données peuvent être configurées pour authentifier automatiquement les données qu’elles collectent, en veillant à ce que celles-ci proviennent d’une source approuvée.
Pour plus d’informations, consultez la présentation de l’ingestion en flux continu.
Ingestion par lots batch
Dans Experience Platform, un lot est un ensemble de données collectées sur une période de temps et traitées ensemble comme une seule unité. Les jeux de données sont constitués de lots. Vous pouvez utiliser l’ingestion par lots pour ingérer des données dans Experience Platform sous forme de fichiers de lots. Une fois ingérés, les lots fournissent des métadonnées qui décrivent le nombre d’enregistrements correctement ingérés ainsi que les enregistrements ayant échoué et les messages d’erreur associés.
Les fichiers de données chargés manuellement, tels que les fichiers CSV plats (mappés à des schémas XDM) et les fichiers parquet, doivent être ingérés à l’aide de cette méthode.
Pour plus d’informations, consultez la présentation de l’ingestion par lots.
Sources sources
Vous pouvez également ingérer des données en vous connectant aux sources Experience Platform. Experience Platform conserve un catalogue de différentes sources de données auxquelles vous pouvez vous connecter et à partir desquelles vous pouvez ingérer des données. Ces sources peuvent être des applications Adobe natives telles que la source Adobe Analytics ou la source Marketo Engage. Vous pouvez également vous connecter à des sources tierces telles que la source de Amazon S3 et la source de Google Cloud Storage.
Les sources sont regroupées en différentes catégories, telles que les stockages dans le cloud, les bases de données et les systèmes CRM. Une source donnée peut prendre en charge l’ingestion par lots ou par flux.
Avec les sources, vous pouvez ingérer des données provenant de plusieurs sources de données différentes et de différentes catégories de cas d’utilisation. En outre, l’ingestion de données via une source vous donne la possibilité de vous authentifier auprès de la source de données externe, de configurer un planning d’ingestion et de gérer le débit d’ingestion.
Pour plus d’informations, reportez-vous à la présentation des sources.
Création de schémas assistée par ML ml-assisted-schema-creation
Pour intégrer rapidement de nouvelles sources de données, vous pouvez désormais utiliser des algorithmes de machine learning pour générer un schéma à partir de données d’exemple. Cette automatisation simplifie la création de schémas précis, réduit les erreurs et accélère le processus de la collecte de données à l’analyse et aux informations.
Pour plus d’informations sur ce workflow🔗 consultez le guide de création de schéma assistée par machine learning .
Préparation des données data-prep
Bien que la préparation des données ne soit pas une méthode d’ingestion, elle constitue une partie importante du processus d’ingestion des données. Utilisez les fonctions de préparation de données pour mapper, transformer et valider les données vers et depuis le modèle de données d’expérience (XDM) avant de créer un flux de données pour ingérer vos données dans Experience Platform. La préparation des données apparaît comme l’étape de « mappage » dans l’interface utilisateur d’Experience Platform au cours du processus d’ingestion des données.
Pour plus d’informations, consultez la présentation de la préparation des données.
Méthodes d’ingestion en flux continu streaming-ingestion-methods
Le tableau suivant décrit les différentes méthodes que vous pouvez utiliser pour ingérer des données de flux vers Experience Platform.
Méthodes d’ingestion par lots batch-ingestion-methods
Le tableau suivant décrit les différentes méthodes que vous pouvez utiliser pour ingérer des données par lots vers Experience Platform.
Étapes suivantes et ressources supplémentaires
Ce document vous a présenté brièvement les différents aspects de Data Ingestion dans Experience Platform. Poursuivez votre lecture de la documentation de présentation de chaque méthode d’ingestion pour vous familiariser avec leurs différentes capacités, les cas d’utilisation et les bonnes pratiques. Vous pouvez également compléter votre apprentissage en regardant la vidéo de présentation de lʼingestion ci-dessous. Pour en savoir plus sur la manière dont Experience Platform suit les métadonnées pour les enregistrements ingérés, reportez-vous à la présentation du service de catalogue.
