Exporter des jeux de données à l’aide de Flow Service API

AVAILABILITY
  • Cette fonctionnalité est disponible pour les clients qui ont acheté le package Real-Time CDP Prime et Ultimate, Adobe Journey Optimizer ou Customer Journey Analytics. Pour plus d’informations, contactez votre représentant d’Adobe.
IMPORTANT
Action item : la version de septembre 2024 de Experience Platform introduit l’option permettant de définir une date endTime pour exporter les flux de données du jeu de données. Adobe introduit également une date de fin par défaut du 1er mai 2025 pour tous les flux de données d’exportation de jeux de données créés avant la version de septembre. Pour l’un de ces flux de données, vous devez mettre à jour manuellement la date de fin dans le flux de données avant la date de fin, sinon vos exportations pour arrêt à cette date. Utilisez l’interface utilisateur de l’Experience Platform pour afficher les flux de données qui seront définis pour s’arrêter le 1er mai.
De même, pour les flux de données que vous créez sans spécifier de date endTime, ils sont définis par défaut sur une heure de fin six mois à compter de leur création.

Cet article explique le processus requis pour utiliser Flow Service API afin d’exporter des jeux de données de Adobe Experience Platform vers l’emplacement de stockage dans le cloud de votre choix, tel que Amazon S3, les emplacements SFTP ou Google Cloud Storage.

TIP
Vous pouvez également utiliser l’interface utilisateur Experience Platform pour exporter des jeux de données. Pour plus d’informations, consultez le tutoriel sur l’interface utilisateur des jeux de données d’exportation .

Jeux de données disponibles pour l’exportation datasets-to-export

Les jeux de données que vous pouvez exporter dépendent de l’application Experience Platform (Real-Time CDP, Adobe Journey Optimizer), du niveau (Prime ou Ultimate) et des modules complémentaires que vous avez achetés (par exemple : Data Distiller).

Reportez-vous au tableau sur la page du tutoriel de l’interface utilisateur pour comprendre les jeux de données que vous pouvez exporter.

Destinations prises en charge supported-destinations

Actuellement, vous pouvez exporter des jeux de données vers les destinations de stockage dans le cloud mises en évidence dans la capture d’écran et répertoriées ci-dessous.

Destinations qui prennent en charge les exportations de jeux de données

Commencer get-started

Aperçu : étapes de création d’une destination et d’exportation de jeux de données

Ce guide nécessite une compréhension professionnelle des composants suivants d’Adobe Experience Platform :

  • Experience Platform datasets : toutes les données correctement ingérées dans Adobe Experience Platform sont conservées dans Data Lake en tant que jeux de données. Un jeu de données est une structure de stockage et de gestion pour la collecte de données, généralement sous la forme d’un tableau, qui contient un schéma (des colonnes) et des champs (des lignes). Les jeux de données contiennent également des métadonnées qui décrivent divers aspects des données stockées.
    • Sandboxes : Experience Platform fournit des sandbox virtuels qui divisent une instance Platform unique en environnements virtuels distincts pour favoriser le développement et l’évolution d’applications d’expérience digitale.

Les sections suivantes apportent des informations supplémentaires que vous devez connaître pour exporter des jeux de données vers des destinations de stockage dans le cloud dans Platform.

Autorisations nécessaires permissions

Pour exporter des jeux de données, vous avez besoin des , d’afficher les jeux de données et de 🔗 autorisations de contrôle d’accès pour gérer et activer les destinations de jeu de données. Lisez la présentation du contrôle d’accès ou contactez votre administrateur de produit pour obtenir les autorisations requises.

Pour vous assurer que vous disposez des autorisations nécessaires pour exporter des jeux de données et que la destination prend en charge l’exportation de jeux de données, parcourez le catalogue des destinations. Si une destination comporte un contrôle Activer ou Exporter des jeux de données, vous disposez des autorisations appropriées.

Lecture d’exemples d’appels API reading-sample-api-calls

Ce tutoriel fournit des exemples d’appels API pour démontrer comment formater vos requêtes. Il s’agit notamment de chemins d’accès, d’en-têtes requis et de payloads de requêtes correctement formatés. L’exemple JSON renvoyé dans les réponses de l’API est également fourni. Pour plus d’informations sur les conventions utilisées dans la documentation pour les exemples d’appels d’API, voir la section concernant la lecture d’exemples d’appels d’API dans le guide de dépannage Experience Platform.

Collecter des valeurs pour les en-têtes obligatoires et facultatifs gather-values-headers

Pour lancer des appels vers des API Platform, vous devez d’abord suivre le tutoriel sur l’authentification Experience Platform. Le tutoriel d’authentification fournit les valeurs de chacun des en-têtes requis dans tous les appels d’API Experience Platform, comme indiqué ci-dessous :

  • Authorization: Bearer {ACCESS_TOKEN}
  • x-api-key : {API_KEY}
  • x-gw-ims-org-id : {ORG_ID}

Les ressources dans Experience Platform peuvent être isolées dans des sandbox spécifiques. Dans les requêtes aux API Platform, vous pouvez spécifier le nom et l’identifiant du sandbox dans lequel l’opération aura lieu. Il s’agit de paramètres facultatifs.

  • x-sandbox-name : {SANDBOX_NAME}
NOTE
Pour plus d’informations sur les sandbox dans Experience Platform, consultez la documentation de présentation des sandbox.

Toutes les requêtes qui contiennent un payload (POST, PUT, PATCH) nécessitent un en-tête de type de média supplémentaire :

  • Content-Type: application/json

Documentation de référence sur les API api-reference-documentation

Ce tutoriel vous permet de trouver la documentation de référence relative à toutes les opérations API. Reportez-vous à la documentation Flow Service - API de destinations sur le site web Adobe Developer. Nous vous recommandons de consulter ce tutoriel et la documentation de référence sur les API en parallèle.

Glossaire glossary

Pour obtenir des descriptions des termes que vous rencontrerez dans ce tutoriel sur l’API, consultez la section de glossaire de la documentation de référence sur l’API.

Rassemblez les spécifications de connexion et les spécifications de flux pour la destination souhaitée. gather-connection-spec-flow-spec

Avant de démarrer le workflow pour exporter un jeu de données, identifiez les identifiants de spécification de connexion et de flux de la destination vers laquelle vous envisagez d’exporter des jeux de données. Utilisez le tableau ci-dessous à titre de référence.

Destination
Spécification de connexion
Spécification de flux
Amazon S3
4fce964d-3f37-408f-9778-e597338a21ee
269ba276-16fc-47db-92b0-c1049a3c131f
Azure Blob Storage
6d6b59bf-fb58-4107-9064-4d246c0e5bb2
95bd8965-fc8a-4119-b9c3-944c2c2df6d2
Azure Data Lake Gen 2(ADLS Gen2)
be2c3209-53bc-47e7-ab25-145db8b873e1
17be2013-2549-41ce-96e7-a70363bec293
Data Landing Zone(DLZ)
10440537-2a7b-4583-ac39-ed38d4b848e8
cd2fc47e-e838-4f38-a581-8fff2f99b63a
Google Cloud Storage
c5d93acb-ea8b-4b14-8f53-02138444ae99
585c15c4-6cbf-4126-8f87-e26bff78b657
SFTP
36965a81-b1c6-401b-99f8-22508f1e6a26
354d6aad-4754-46e4-a576-1b384561c440

Vous avez besoin de ces identifiants pour construire différentes entités Flow Service. Vous devez également vous référer à certaines parties de l’ Connection Spec lui-même pour configurer certaines entités afin que vous puissiez récupérer l’ Connection Spec de Flow Service APIs. Consultez les exemples ci-dessous de récupération des spécifications de connexion pour toutes les destinations dans le tableau :

Amazon S3

Requête

accordion
Récupérer connection spec pour Amazon S3
code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/4fce964d-3f37-408f-9778-e597338a21ee' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'

Réponse

accordion
Amazon S3 - Spécification de la connexion
code language-json
{
    "items": [
        {
            "id": "4fce964d-3f37-408f-9778-e597338a21ee",
            "name": "Amazon S3",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
//...
Stockage Azure Blob

Requête

accordion
Récupérer connection spec pour Azure Blob Storage
code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/6d6b59bf-fb58-4107-9064-4d246c0e5bb2' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'

Réponse

accordion
Azure Blob Storage - Connection spec
code language-json
{
    "items": [
        {
            "id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2",
            "name": "Azure Blob Storage",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
//...
Azure Data Lake Gen 2(ADLS Gen2)

Requête

accordion
Récupérer connection spec pour Azure Data Lake Gen 2(ADLS Gen2)
code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/be2c3209-53bc-47e7-ab25-145db8b873e1' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'

Réponse

accordion
Azure Data Lake Gen 2(ADLS Gen2) - Connection spec
code language-json
{
    "items": [
        {
            "id": "be2c3209-53bc-47e7-ab25-145db8b873e1",
            "name": "Azure Data Lake Gen2",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
//...
Zone d’entrée de données (DLZ)

Requête

accordion
Récupérer connection spec pour Data Landing Zone(DLZ)
code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/10440537-2a7b-4583-ac39-ed38d4b848e8' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'

Réponse

accordion
Data Landing Zone(DLZ) - Connection spec
code language-json
{
    "items": [
        {
            "id": "10440537-2a7b-4583-ac39-ed38d4b848e8",
            "name": "Data Landing Zone",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
//...
Google Cloud Storage

Requête

accordion
Récupérer connection spec pour Google Cloud Storage
code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/c5d93acb-ea8b-4b14-8f53-02138444ae99' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'

Réponse

accordion
Google Cloud Storage - Connection spec
code language-json
{
    "items": [
        {
            "id": "c5d93acb-ea8b-4b14-8f53-02138444ae99",
            "name": "Google Cloud Storage",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
//...
SFTP

Requête

accordion
Récupérer connection spec pour SFTP
code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/36965a81-b1c6-401b-99f8-22508f1e6a26' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'

Réponse

accordion
SFTP - Connection spec
code language-json
{
    "items": [
        {
            "id": "36965a81-b1c6-401b-99f8-22508f1e6a26",
            "name": "SFTP",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
//...

Suivez les étapes ci-dessous pour configurer un flux de données de jeu de données vers une destination de stockage dans le cloud. Pour certaines étapes, les requêtes et les réponses diffèrent entre les différentes destinations de stockage dans le cloud. Dans ces cas, utilisez les onglets de la page pour récupérer les requêtes et réponses spécifiques à la destination à laquelle vous souhaitez vous connecter et exporter des jeux de données. Veillez à utiliser les connection spec et flow spec corrects pour la destination que vous configurez.

Récupération d’une liste de jeux de données retrieve-list-of-available-datasets

Diagramme affichant l’étape 1 dans le workflow d’exportation des jeux de données

Pour récupérer une liste de jeux de données éligibles à l’activation, commencez par effectuer un appel API vers le point de terminaison ci-dessous.

recommendation-more-help

Requête

Récupération des jeux de données éligibles - Requête
code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/23598e46-f560-407b-88d5-ea6207e49db0/configs?outputType=activationDatasets&outputField=datasets&start=0&limit=20&properties=name,state' \
--header 'accept: application/json' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-api-key: {API_KEY}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'

Notez que pour récupérer les jeux de données éligibles, l’identifiant connection spec utilisé dans l’URL de requête doit être l’identifiant de spécification de connexion au lac de données, 23598e46-f560-407b-88d5-ea6207e49db0, et les deux paramètres de requête outputField=datasets et outputType=activationDatasets doivent être spécifiés. Tous les autres paramètres de requête sont les paramètres standard pris en charge par l’ API Catalog Service.

Réponse

Récupération des jeux de données - Réponse
code language-json
{
    "items": [
        {
            "id": "5ef3e324052581191aa6a466",
            "name": "AAM Authenticated Profiles Meta Data",
            "description": "Activation profile export dataset",
            "fileDescription": {
                "persisted": true,
                "containerFormat": "parquet",
                "format": "parquet"
            },
            "aspect": "production",
            "state": "DRAFT"
        },
        {
            "id": "5ef3e3259ad2a1191ab7dd7d",
            "name": "AAM Devices Data",
            "description": "Activation profile export dataset",
            "fileDescription": {
                "persisted": true,
                "containerFormat": "parquet",
                "format": "parquet"
            },
            "aspect": "production",
            "state": "DRAFT"
        },
        {
            "id": "5ef3e325582424191b1beb42",
            "name": "AAM Devices Profile Meta Data",
            "description": "Activation profile export dataset",
            "fileDescription": {
                "persisted": true,
                "containerFormat": "parquet",
                "format": "parquet"
            },
            "aspect": "production",
            "state": "DRAFT"
        },
        {
            "id": "5ef3e328582424191b1beb44",
            "name": "AAM Realtime",
            "description": "Activation profile export dataset",
            "fileDescription": {
                "persisted": true,
                "containerFormat": "parquet",
                "format": "parquet"
            },
            "aspect": "production",
            "state": "DRAFT"
        },
        {
            "id": "5ef3e328fe742a191b2b3ea5",
            "name": "AAM Realtime Profile Updates",
            "description": "Activation profile export dataset",
            "fileDescription": {
                "persisted": true,
                "containerFormat": "parquet",
                "format": "parquet"
            },
            "aspect": "production",
            "state": "DRAFT"
        }
    ],
    "pageInfo": {
        "start": 0,
        "end": 4,
        "total": 149,
        "hasNext": true
    }
}

Une réponse réussie contient une liste de jeux de données éligibles à l’activation. Ces jeux de données peuvent être utilisés lors de la création de la connexion source à l’étape suivante.

Pour plus d’informations sur les différents paramètres de réponse pour chaque jeu de données renvoyé, reportez-vous à la documentation du développeur de l’API des jeux de données.

Créer une connexion source create-source-connection

Diagramme affichant l’étape 2 dans le workflow d’exportation des jeux de données

Après avoir récupéré la liste des jeux de données à exporter, vous pouvez créer une connexion source à l’aide de ces identifiants de jeu de données.

Requête

Créer une connexion source - Requête

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple de requête, qui fournissent des informations supplémentaires. Supprimez les commentaires insérés dans la requête lorsque vous copiez-collez la requête dans votre terminal de votre choix.

code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-16
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/sourceConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
  "name": "Connecting to Data Lake",
  "description": "Data Lake source connection to export datasets",
  "connectionSpec": {
    "id": "23598e46-f560-407b-88d5-ea6207e49db0", // this connection spec ID is always the same for Source Connections
    "version": "1.0"
  },
  "params": {
    "datasets": [ // datasets to activate
      {
        "dataSetId": "5ef3e3259ad2a1191ab7dd7d",
        "name": "AAM Devices Data"
      }
    ]
  }
}'

Réponse

Créer une connexion source - Réponse
code language-json
{
    "id": "900df191-b983-45cd-90d5-4c7a0326d650",
    "etag": "\"0500ebe1-0000-0200-0000-63e28d060000\""
}

Une réponse réussie renvoie l’identifiant (id) de la nouvelle connexion source et un etag. Notez l’identifiant de connexion source, car vous en aurez besoin ultérieurement lors de la création du flux de données.

N’oubliez pas que :

  • La connexion source créée au cours de cette étape doit être liée à un flux de données pour que ses jeux de données soient activés vers une destination. Pour plus d’informations sur la liaison d’une connexion source à un flux de données, reportez-vous à la section Création d’un flux de données .
  • Les identifiants de jeu de données d’une connexion source ne peuvent pas être modifiés après la création. Si vous devez ajouter ou supprimer des jeux de données d’une connexion source, vous devez créer une nouvelle connexion source et lier l’identifiant de la nouvelle connexion source au flux de données.

Création d’une connexion de base (cible) create-base-connection

Diagramme affichant l’étape 3 dans le workflow d’exportation des jeux de données

Une connexion de base stocke en toute sécurité les informations d’identification vers votre destination. Selon le type de destination, les informations d’identification nécessaires pour s’authentifier sur cette destination peuvent varier. Pour trouver ces paramètres d’authentification, récupérez d’abord le connection spec pour la destination souhaitée, comme décrit dans la section Spécifications de connexion et spécifications de flux, puis regardez le authSpec de la réponse. Référencez les onglets ci-dessous pour les propriétés authSpec de toutes les destinations prises en charge.

Amazon S3
accordion
Amazon S3 - Connection spec présentant auth spec

Notez la ligne mise en surbrillance avec des commentaires intégrés dans l’exemple connection spec ci-dessous, qui fournit des informations supplémentaires sur l’emplacement des paramètres d’authentification dans connection spec.

code language-json line-numbers data-start-1 data-line-offset-4 h-8
{
    "items": [
        {
            "id": "4fce964d-3f37-408f-9778-e597338a21ee",
            "name": "Amazon S3",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [ // describes the authentication parameters
                {
                    "name": "Access Key",
                    "type": "KeyBased",
                    "spec": {
                        "$schema": "http://json-schema.org/draft-07/schema#",
                        "description": "Defines auth params required for connecting to amazon-s3",
                        "type": "object",
                        "properties": {
                            "s3AccessKey": {
                                "description": "Access key id",
                                "type": "string",
                                "pattern": "^[A-Z2-7]{20}$"
                            },
                            "s3SecretKey": {
                                "description": "Secret access key for the user account",
                                "type": "string",
                                "format": "password",
                                "pattern": "^[A-Za-z0-9\/+]{40}$"
                            }
                        },
                        "required": [
                            "s3SecretKey",
                            "s3AccessKey"
                        ]
                    }
                }
            ],
//...
Stockage Azure Blob
accordion
Azure Blob Storage - Connection spec présentant auth spec

Notez la ligne mise en surbrillance avec des commentaires intégrés dans l’exemple connection spec ci-dessous, qui fournit des informations supplémentaires sur l’emplacement des paramètres d’authentification dans connection spec.

code language-json line-numbers data-start-1 data-line-offset-4 h-8
{
    "items": [
        {
            "id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2",
            "name": "Azure Blob Storage",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [ // describes the authentication parameters
                {
                    "name": "ConnectionString",
                    "type": "ConnectionString",
                    "spec": {
                        "$schema": "http://json-schema.org/draft-07/schema#",
                        "description": "Connection String for Azure Blob based destinations",
                        "type": "object",
                        "properties": {
                            "connectionString": {
                                "description": "connection string for login",
                                "type": "string",
                                "format": "password"
                            }
                        },
                        "required": [
                            "connectionString"
                        ]
                    }
                }
            ],
//...
Azure Data Lake Gen 2(ADLS Gen2)
accordion
Azure Data Lake Gen 2(ADLS Gen2) - Connection spec présentant auth spec

Notez la ligne mise en surbrillance avec des commentaires intégrés dans l’exemple connection spec ci-dessous, qui fournit des informations supplémentaires sur l’emplacement des paramètres d’authentification dans connection spec.

code language-json line-numbers data-start-1 data-line-offset-4 h-8
{
    "items": [
        {
            "id": "be2c3209-53bc-47e7-ab25-145db8b873e1",
            "name": "Azure Data Lake Gen2",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [ // describes the authentication parameters
                {
                    "name": "Azure Service Principal Auth",
                    "type": "AzureServicePrincipal",
                    "spec": {
                        "$schema": "http://json-schema.org/draft-07/schema#",
                        "description": "defines auth params required for connecting to adlsgen2 using service principal",
                        "type": "object",
                        "properties": {
                            "url": {
                                "description": "Endpoint for Azure Data Lake Storage Gen2.",
                                "type": "string"
                            },
                            "servicePrincipalId": {
                                "description": "Service Principal Id to connect to ADLSGen2.",
                                "type": "string"
                            },
                            "servicePrincipalKey": {
                                "description": "Service Principal Key to connect to ADLSGen2.",
                                "type": "string",
                                "format": "password"
                            },
                            "tenant": {
                                "description": "Tenant information(domain name or tenant ID).",
                                "type": "string"
                            }
                        },
                        "required": [
                            "servicePrincipalKey",
                            "url",
                            "tenant",
                            "servicePrincipalId"
                        ]
                    }
                }
            ],
//...
Zone d’entrée de données (DLZ)
accordion
Data Landing Zone(DLZ) - Connection spec présentant auth spec
note note
NOTE
La destination de la zone d’entrée des données ne nécessite pas un auth spec.
code language-json
{
    "items": [
        {
            "id": "10440537-2a7b-4583-ac39-ed38d4b848e8",
            "name": "Data Landing Zone",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [],
//...
Google Cloud Storage
accordion
Google Cloud Storage - Connection spec présentant auth spec

Notez la ligne mise en surbrillance avec des commentaires intégrés dans l’exemple connection spec ci-dessous, qui fournit des informations supplémentaires sur l’emplacement des paramètres d’authentification dans connection spec.

code language-json line-numbers data-start-1 data-line-offset-4 h-8
{
    "items": [
        {
            "id": "c5d93acb-ea8b-4b14-8f53-02138444ae99",
            "name": "Google Cloud Storage",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [ // describes the authentication parameters
                {
                    "name": "Google Cloud Storage authentication credentials",
                    "type": "GoogleCloudStorageAuth",
                    "spec": {
                        "$schema": "http://json-schema.org/draft-07/schema#",
                        "description": "defines auth params required for connecting to google cloud storage connector.",
                        "type": "object",
                        "properties": {
                            "accessKeyId": {
                                "description": "Access Key Id for the user account",
                                "type": "string"
                            },
                            "secretAccessKey": {
                                "description": "Secret Access Key for the user account",
                                "type": "string",
                                "format": "password"
                            }
                        },
                        "required": [
                            "accessKeyId",
                            "secretAccessKey"
                        ]
                    }
                }
            ],
//...
SFTP
accordion
SFTP - Connection spec avec auth spec
note note
NOTE
La destination SFTP contient deux éléments distincts dans auth spec, car elle prend en charge l’authentification par mot de passe et par clé SSH.

Notez la ligne mise en surbrillance avec des commentaires intégrés dans l’exemple connection spec ci-dessous, qui fournit des informations supplémentaires sur l’emplacement des paramètres d’authentification dans connection spec.

code language-json line-numbers data-start-1 data-line-offset-4 h-8
{
    "items": [
        {
            "id": "36965a81-b1c6-401b-99f8-22508f1e6a26",
            "name": "SFTP",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [ // describes the authentication parameters
                {
                    "name": "SFTP with Password",
                    "type": "SFTP",
                    "spec": {
                        "$schema": "http://json-schema.org/draft-07/schema#",
                        "description": "defines auth params required for connecting to sftp locations with a password",
                        "type": "object",
                        "properties": {
                            "domain": {
                                "description": "Domain of server",
                                "type": "string"
                            },
                            "username": {
                                "description": "Username",
                                "type": "string"
                            },
                            "password": {
                                "description": "Password",
                                "type": "string",
                                "format": "password"
                            }
                        },
                        "required": [
                            "password",
                            "domain",
                            "username"
                        ]
                    }
                },
                {
                    "name": "SFTP with SSH Key",
                    "type": "SFTP",
                    "spec": {
                        "$schema": "http://json-schema.org/draft-07/schema#",
                        "description": "defines auth params required for connecting to sftp locations using SSH Key",
                        "type": "object",
                        "properties": {
                            "domain": {
                                "description": "Domain of server",
                                "type": "string"
                            },
                            "username": {
                                "description": "Username",
                                "type": "string"
                            },
                            "sshKey": {
                                "description": "Base64 string of the private SSH key",
                                "type": "string",
                                "format": "password",
                                "contentEncoding": "base64",
                                "uiAttributes": {
                                    "tooltip": {
                                        "id": "platform_destinations_connect_sftp_ssh",
                                        "fallbackUrl": "http://www.adobe.com/go/destinations-sftp-connection-parameters-en "
                                    }
                                }
                            }
                        },
                        "required": [
                            "sshKey",
                            "domain",
                            "username"
                        ]
                    }
                }
            ],
//...

En utilisant les propriétés spécifiées dans la spécification d’authentification (c’est-à-dire authSpec à partir de la réponse), vous pouvez créer une connexion de base avec les informations d’identification requises, spécifiques à chaque type de destination, comme illustré dans les exemples ci-dessous :

Amazon S3

Requête

accordion
Amazon S3 - Requête de connexion de base
note tip
TIP
Pour plus d’informations sur la manière d’obtenir les informations d’authentification requises, reportez-vous à la section Authentification à la destination de la page de documentation de destination Amazon S3.

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple de requête, qui fournissent des informations supplémentaires. Supprimez les commentaires insérés dans la requête lorsque vous copiez-collez la requête dans votre terminal de votre choix.

code language-shell line-numbers data-start-1 data-line-offset-4 h-18
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
  "name": "Amazon S3 Base Connection",
  "auth": {
    "specName": "Access Key",
    "params": {
      "s3SecretKey": "<Add secret key>",
      "s3AccessKey": "<Add access key>"
    }
  },
  "connectionSpec": {
    "id": "4fce964d-3f37-408f-9778-e597338a21ee", // Amazon S3 connection spec
    "version": "1.0"
  }
}'

Réponse

accordion
Amazon S3 Réponse de connexion de base
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Stockage Azure Blob

Requête

accordion
Azure Blob Storage - Requête de connexion de base
note tip
TIP
Pour plus d’informations sur la manière d’obtenir les informations d’authentification requises, reportez-vous à la section Authentification à la destination de la page de documentation de destination Azure Blob Storage.

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple de requête, qui fournissent des informations supplémentaires. Supprimez les commentaires insérés dans la requête lorsque vous copiez-collez la requête dans votre terminal de votre choix.

code language-shell line-numbers data-start-1 data-line-offset-4 h-16
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
  "name": "Azure Blob Storage Base Connection",
  "auth": {
    "specName": "ConnectionString",
    "params": {
      "connectionString": "<Add Azure Blob connection string>"
    }
  },
  "connectionSpec": {
    "id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2", // Azure Blob Storage connection spec
    "version": "1.0"
  }
}'

Réponse

accordion
Azure Blob Storage - Réponse de connexion de base
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Azure Data Lake Gen 2(ADLS Gen2)

Requête

accordion
Azure Data Lake Gen 2(ADLS Gen2) - Requête de connexion de base
note tip
TIP
Pour plus d’informations sur la manière d’obtenir les informations d’authentification requises, reportez-vous à la section Authentification à la destination de la page de documentation de destination Azure Data Lake Gen 2 (ADLS Gen2).

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple de requête, qui fournissent des informations supplémentaires. Supprimez les commentaires insérés dans la requête lorsque vous copiez-collez la requête dans votre terminal de votre choix.

code language-shell line-numbers data-start-1 data-line-offset-4 h-20
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
  "name": "Azure Data Lake Gen 2(ADLS Gen2) Base Connection",
  "auth": {
    "specName": "Azure Service Principal Auth",
    "params": {
      "servicePrincipalKey": "<Add servicePrincipalKey>",
      "url": "<Add url>",
      "tenant": "<Add tenant>",
      "servicePrincipalId": "<Add servicePrincipalId>"
    }
  },
  "connectionSpec": {
    "id": "be2c3209-53bc-47e7-ab25-145db8b873e1", // Azure Data Lake Gen 2(ADLS Gen2) connection spec
    "version": "1.0"
  }
}'

Réponse

accordion
Azure Data Lake Gen 2(ADLS Gen2) - Réponse de connexion de base
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Zone d’entrée de données (DLZ)

Requête

accordion
Data Landing Zone(DLZ) - Requête de connexion de base
note tip
TIP
Aucune information d’identification d’authentification n’est requise pour la destination de la zone d’entrée des données. Pour plus d’informations, reportez-vous à la section Authentification à la destination de la page de documentation de destination de la zone d’entrée de données.
code language-shell
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
  "name": "Data Landing Zone(DLZ) Base Connection"
}'

Réponse

accordion
Data Landing Zone - Réponse de connexion de base
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Google Cloud Storage

Requête

accordion
Google Cloud Storage - Requête de connexion de base
note tip
TIP
Pour plus d’informations sur la manière d’obtenir les informations d’authentification requises, reportez-vous à la section Authentification à la destination de la page de documentation de destination du stockage dans le cloud Google.

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple de requête, qui fournissent des informations supplémentaires. Supprimez les commentaires insérés dans la requête lorsque vous copiez-collez la requête dans votre terminal de votre choix.

code language-shell line-numbers data-start-1 data-line-offset-4 h-18
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
  "name": "Google Cloud Storage Base Connection",
  "auth": {
    "specName": "Google Cloud Storage authentication credentials",
    "params": {
      "accessKeyId": "<Add accessKeyId>",
      "secretAccessKey": "<Add secret Access Key>"
    }
  },
  "connectionSpec": {
    "id": "c5d93acb-ea8b-4b14-8f53-02138444ae99", // Google Cloud Storage connection spec
    "version": "1.0"
  }
}'

Réponse

accordion
Google Cloud Storage - Réponse de connexion de base
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
SFTP

Requête

accordion
SFTP avec mot de passe - Demande de connexion de base
note tip
TIP
Pour plus d’informations sur la manière d’obtenir les informations d’authentification requises, reportez-vous à la section Authentification à la destination de la page de documentation de destination SFTP.

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple de requête, qui fournissent des informations supplémentaires. Supprimez les commentaires insérés dans la requête lorsque vous copiez-collez la requête dans votre terminal de votre choix.

code language-shell line-numbers data-start-1 data-line-offset-4 h-19
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
  "name": "SFTP with password Base Connection",
  "auth": {
    "specName": "SFTP with Password",
    "params": {
      "domain": "<Add domain>",
      "username": "<Add username>",
      "password": "<Add password>"
    }
  },
  "connectionSpec": {
    "id": "36965a81-b1c6-401b-99f8-22508f1e6a26", // SFTP connection spec
    "version": "1.0"
  }
}'
accordion
SFTP avec clé SSH - requête de connexion de base
note tip
TIP
Pour plus d’informations sur la manière d’obtenir les informations d’authentification requises, reportez-vous à la section Authentification à la destination de la page de documentation de destination SFTP.

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple de requête, qui fournissent des informations supplémentaires. Supprimez les commentaires insérés dans la requête lorsque vous copiez-collez la requête dans votre terminal de votre choix.

code language-shell line-numbers data-start-1 data-line-offset-4 h-19
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
  "name": "SFTP with SSH key Base Connection",
  "auth": {
    "specName": "SFTP with SSH Key",
    "params": {
      "domain": "<Add domain>",
      "username": "<Add username>",
      "sshKey": "<Add SSH key>"
    }
  },
  "connectionSpec": {
    "id": "36965a81-b1c6-401b-99f8-22508f1e6a26", // SFTP connection spec
    "version": "1.0"
  }
}'

Réponse

accordion
SFTP : réponse de connexion de base
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}

Notez l’identifiant de connexion de la réponse. Cet identifiant sera requis à l’étape suivante lors de la création de la connexion cible.

Créer une connexion cible create-target-connection

Diagramme affichant l’étape 4 dans le workflow d’exportation des jeux de données

Ensuite, vous devez créer une connexion cible qui stocke les paramètres d’exportation de vos jeux de données. Les paramètres d’exportation incluent l’emplacement, le format de fichier, la compression et d’autres détails. Reportez-vous aux propriétés targetSpec fournies dans la spécification de connexion de la destination pour comprendre les propriétés prises en charge pour chaque type de destination. Référencez les onglets ci-dessous pour les propriétés targetSpec de toutes les destinations prises en charge.

IMPORTANT
Les exportations vers les fichiers JSON sont prises en charge en mode compressé uniquement. Les exportations vers les fichiers Parquet sont prises en charge en modes compressé et non compressé.
Le format du fichier JSON exporté est NDJSON, qui est le format d’échange standard dans l’écosystème de données massives. Adobe recommande d’utiliser un client compatible NDJSON pour lire les fichiers exportés.
Amazon S3
accordion
Amazon S3 - Connection spec présentant les paramètres de connexion cible

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple connection spec ci-dessous, qui fournissent des informations supplémentaires sur l’emplacement des paramètres target spec dans la spécification de connexion. Vous pouvez également voir dans l’exemple ci-dessous les paramètres cibles not applicables aux destinations d’exportation de jeux de données.

code language-json line-numbers data-start-1 data-line-offset-4 h-10 h-41 h-56
{
    "items": [
        {
            "id": "4fce964d-3f37-408f-9778-e597338a21ee",
            "name": "Amazon S3",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [...],
            "encryptionSpecs": [...],
            "targetSpec": { // describes the target connection parameters
                "name": "User based target",
                "type": "UserNamespace",
                "spec": {
                    "$schema": "http://json-schema.org/draft-07/schema#",
                    "type": "object",
                    "properties": {
                        "bucketName": {
                            "title": "Bucket name",
                            "description": "Bucket name",
                            "type": "string",
                            "pattern": "(?=^.{3,63}$)(?!^(\\d+\\.)+\\d+$)(^(([a-z0-9]|[a-z0-9][a-z0-9\\-]*[a-z0-9])\\.)*([a-z0-9]|[a-z0-9][a-z0-9\\-]*[a-z0-9])$)",
                            "uiAttributes": {
                                "tooltip": {
                                    "id": "platform_destinations_connect_s3_bucket",
                                    "fallbackUrl": "http://www.adobe.com/go/destinations-amazon-s3-connection-parameters-en"
                                }
                            }
                        },
                        "path": {
                            "title": "Folder path",
                            "description": "Output path for copying files",
                            "type": "string",
                            "pattern": "^[0-9a-zA-Z\/\\!\\-_\\.\\*\\''\\(\\)]*((\\%SEGMENT_(NAME|ID)\\%)?\/?)+$",
                            "uiAttributes": {
                                "tooltip": {
                                    "id": "platform_destinations_connect_s3_folderpath",
                                    "fallbackUrl": "http://www.adobe.com/go/destinations-amazon-s3-connection-parameters-en"
                                }
                            }
                        },
                        "fileType": {...}, // not applicable to dataset destinations
                        "datasetFileType": {
                            "conditional": {
                                "field": "flowSpec.attributes._workflow",
                                "operator": "CONTAINS",
                                "value": "DATASETS"
                            },
                            "title": "File Type",
                            "description": "Select file format",
                            "type": "string",
                            "enum": [
                                "JSON",
                                "PARQUET"
                            ]
                        },
                        "csvOptions": {...}, // not applicable to dataset destinations
                        "compression": {
                            "title": "Compression format",
                            "description": "Select the desired file compression format.",
                            "type": "string",
                            "enum": [
                                "NONE",
                                "GZIP"
                            ]
                        }
                    },
                    "required": [
                        "bucketName",
                        "path",
                        "datasetFileType",
                        "compression",
                        "fileType"
                    ]
                }
//...
Stockage Azure Blob
accordion
Azure Blob Storage - Connection spec présentant les paramètres de connexion cible

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple connection spec ci-dessous, qui fournissent des informations supplémentaires sur l’emplacement des paramètres target spec dans la spécification de connexion. Vous pouvez également voir dans l’exemple ci-dessous les paramètres cibles not applicables aux destinations d’exportation de jeux de données.

code language-json line-numbers data-start-1 data-line-offset-4 h-10 h-29 h-44
{
    "items": [
        {
            "id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2",
            "name": "Azure Blob Storage",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [...],
            "encryptionSpecs": [...],
            "targetSpec": { // describes the target connection parameters
                "name": "User based target",
                "type": "UserNamespace",
                "spec": {
                    "$schema": "http://json-schema.org/draft-07/schema#",
                    "type": "object",
                    "properties": {
                        "path": {
                            "title": "Folder path",
                            "description": "Output path (relative) indicating where to upload the data",
                            "type": "string",
                            "pattern": "^[0-9a-zA-Z\/\\!\\-_\\.\\*\\'\\(\\)]+$"
                        },
                        "container": {
                            "title": "Container",
                            "description": "Container within the storage where to upload the data",
                            "type": "string",
                            "pattern": "^[a-z0-9](?!.*--)[a-z0-9-]{1,61}[a-z0-9]$"
                        },
                        "fileType": {...}, // not applicable to dataset destinations
                        "datasetFileType": {
                            "conditional": {
                                "field": "flowSpec.attributes._workflow",
                                "operator": "CONTAINS",
                                "value": "DATASETS"
                            },
                            "title": "File Type",
                            "description": "Select file format",
                            "type": "string",
                            "enum": [
                                "JSON",
                                "PARQUET"
                            ]
                        },
                        "csvOptions": {...}, // not applicable to dataset destinations
                        "compression": {
                            "title": "Compression format",
                            "description": "Select the desired file compression format.",
                            "type": "string",
                            "enum": [
                                "NONE",
                                "GZIP"
                            ]
                        }
                    },
                    "required": [
                        "container",
                        "path",
                        "datasetFileType",
                        "compression",
                        "fileType"
                    ]
                }
//...
Azure Data Lake Gen 2(ADLS Gen2)
accordion
Azure Data Lake Gen 2(ADLS Gen2) - Connection spec présentant les paramètres de connexion cible

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple connection spec ci-dessous, qui fournissent des informations supplémentaires sur l’emplacement des paramètres target spec dans la spécification de connexion. Vous pouvez également voir dans l’exemple ci-dessous les paramètres cibles not applicables aux destinations d’exportation de jeux de données.

code language-json line-numbers data-start-1 data-line-offset-4 h-10 h-22 h-37
{
    "items": [
        {
            "id": "be2c3209-53bc-47e7-ab25-145db8b873e1",
            "name": "Azure Data Lake Gen2",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [...],
            "encryptionSpecs": [...],
            "targetSpec": { // describes the target connection parameters
                "name": "User based target",
                "type": "UserNamespace",
                "spec": {
                    "$schema": "http://json-schema.org/draft-07/schema#",
                    "type": "object",
                    "properties": {
                        "path": {
                            "title": "Folder path",
                            "description": "Enter the path to your Azure Data Lake Storage folder",
                            "type": "string"
                        },
                        "fileType": {...}, // not applicable to dataset destinations
                        "datasetFileType": {
                            "conditional": {
                                "field": "flowSpec.attributes._workflow",
                                "operator": "CONTAINS",
                                "value": "DATASETS"
                            },
                            "title": "File Type",
                            "description": "Select file format",
                            "type": "string",
                            "enum": [
                                "JSON",
                                "PARQUET"
                            ]
                        },
                        "csvOptions":{...}, // not applicable to dataset destinations
                        "compression": {
                            "title": "Compression format",
                            "description": "Select the desired file compression format.",
                            "type": "string",
                            "enum": [
                                "NONE",
                                "GZIP"
                            ]
                        }
                    },
                    "required": [
                        "path",
                        "datasetFileType",
                        "compression",
                        "fileType"
                    ]
                }
//...
Zone d’entrée de données (DLZ)
accordion
Data Landing Zone(DLZ) - Connection spec présentant les paramètres de connexion cible

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple connection spec ci-dessous, qui fournissent des informations supplémentaires sur l’emplacement des paramètres target spec dans la spécification de connexion. Vous pouvez également voir dans l’exemple ci-dessous les paramètres cibles not applicables aux destinations d’exportation de jeux de données.

code language-json line-numbers data-start-1 data-line-offset-4 h-9 h-21 h-36
"items": [
    {
        "id": "10440537-2a7b-4583-ac39-ed38d4b848e8",
        "name": "Data Landing Zone",
        "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
        "version": "1.0",
        "authSpec": [],
        "encryptionSpecs": [],
        "targetSpec": { // describes the target connection parameters
            "name": "User based target",
            "type": "UserNamespace",
            "spec": {
                "$schema": "http://json-schema.org/draft-07/schema#",
                "type": "object",
                "properties": {
                    "path": {
                        "title": "Folder path",
                        "description": "Enter the path to your Azure Data Lake Storage folder",
                        "type": "string"
                    },
                    "fileType": {...}, // not applicable to dataset destinations
                    "datasetFileType": {
                        "conditional": {
                            "field": "flowSpec.attributes._workflow",
                            "operator": "CONTAINS",
                            "value": "DATASETS"
                        },
                        "title": "File Type",
                        "description": "Select file format",
                        "type": "string",
                        "enum": [
                            "JSON",
                            "PARQUET"
                        ]
                    },
                    "csvOptions": {...}, // not applicable to dataset destinations
                    "compression": {
                        "title": "Compression format",
                        "description": "Select the desired file compression format.",
                        "type": "string",
                        "enum": [
                            "NONE",
                            "GZIP"
                        ]
                    }
                },
                "required": [
                    "path",
                    "datasetFileType",
                    "compression",
                    "fileType"
                ]
            }
//...
Google Cloud Storage
accordion
Google Cloud Storage - Connection spec présentant les paramètres de connexion cible

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple connection spec ci-dessous, qui fournissent des informations supplémentaires sur l’emplacement des paramètres target spec dans la spécification de connexion. Vous pouvez également voir dans l’exemple ci-dessous les paramètres cibles not applicables aux destinations d’exportation de jeux de données.

code language-json line-numbers data-start-1 data-line-offset-4 h-10 h-29 h-44
{
    "items": [
        {
            "id": "c5d93acb-ea8b-4b14-8f53-02138444ae99",
            "name": "Google Cloud Storage",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [...],
            "encryptionSpecs": [...],
            "targetSpec": { // describes the target connection parameters
                "name": "User based target",
                "type": "UserNamespace",
                "spec": {
                    "$schema": "http://json-schema.org/draft-07/schema#",
                    "type": "object",
                    "properties": {
                        "bucketName": {
                            "title": "Bucket name",
                            "description": "Bucket name",
                            "type": "string",
                            "pattern": "(?!^goog.*$)(?!^.*g(o|0)(o|0)gle.*$)(((?=^.{3,63}$)(^([a-z0-9]|[a-z0-9][a-z0-9\\-_]*)[a-z0-9]$))|((?=^.{3,222}$)(?!^(\\d+\\.)+\\d+$)(^(([a-z0-9]{1,63}|[a-z0-9][a-z0-9\\-_]{1,61}[a-z0-9])\\.)*([a-z0-9]{1,63}|[a-z0-9][a-z0-9\\-_]{1,61}[a-z0-9])$)))"
                        },
                        "path": {
                            "title": "Folder path",
                            "description": "Output path for copying files",
                            "type": "string",
                            "pattern": "^[0-9a-zA-Z\/\\!\\-_\\.\\*\\''\\(\\)]*((\\%SEGMENT_(NAME|ID)\\%)?\/?)+$"
                        },
                        "fileType": {...}, // not applicable to dataset destinations
                        "datasetFileType": {
                            "conditional": {
                                "field": "flowSpec.attributes._workflow",
                                "operator": "CONTAINS",
                                "value": "DATASETS"
                            },
                            "title": "File Type",
                            "description": "Select file format",
                            "type": "string",
                            "enum": [
                                "JSON",
                                "PARQUET"
                            ]
                        },
                        "csvOptions": {...}, // not applicable to dataset destinations
                        "compression": {
                            "title": "Compression format",
                            "description": "Select the desired file compression format.",
                            "type": "string",
                            "enum": [
                                "NONE",
                                "GZIP"
                            ]
                        }
                    },
                    "required": [
                        "bucketName",
                        "path",
                        "datasetFileType",
                        "compression",
                        "fileType"
                    ]
                }
//...
SFTP
accordion
SFTP - Connection spec présentant les paramètres de connexion cible

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple connection spec ci-dessous, qui fournissent des informations supplémentaires sur l’emplacement des paramètres target spec dans la spécification de connexion. Vous pouvez également voir dans l’exemple ci-dessous les paramètres cibles not applicables aux destinations d’exportation de jeux de données.

code language-json line-numbers data-start-1 data-line-offset-4 h-10 h-22 h-37
{
    "items": [
        {
            "id": "36965a81-b1c6-401b-99f8-22508f1e6a26",
            "name": "SFTP",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [...],
            "encryptionSpecs": [...],
            "targetSpec": { // describes the target connection parameters
                "name": "User based target",
                "type": "UserNamespace",
                "spec": {
                    "$schema": "http://json-schema.org/draft-07/schema#",
                    "type": "object",
                    "properties": {
                        "remotePath": {
                            "title": "Folder path",
                            "description": "Enter your folder path",
                            "type": "string"
                        },
                        "fileType": {...}, // not applicable to dataset destinations
                        "datasetFileType": {
                            "conditional": {
                                "field": "flowSpec.attributes._workflow",
                                "operator": "CONTAINS",
                                "value": "DATASETS"
                            },
                            "title": "File Type",
                            "description": "Select file format",
                            "type": "string",
                            "enum": [
                                "JSON",
                                "PARQUET"
                            ]
                        },
                        "csvOptions": {...}, // not applicable to dataset destinations
                        "compression": {
                            "title": "Compression format",
                            "description": "Select the desired file compression format.",
                            "type": "string",
                            "enum": [
                                "GZIP",
                                "NONE"
                            ]
                        }
                    },
                    "required": [
                        "remotePath",
                        "datasetFileType",
                        "compression",
                        "fileType"
                    ]
                },
//...

En utilisant la spécification ci-dessus, vous pouvez créer une requête de connexion cible spécifique à la destination de stockage dans le cloud souhaitée, comme indiqué dans les onglets ci-dessous.

Amazon S3

Requête

accordion
Amazon S3 - Requête de connexion Target
note tip
TIP
Pour plus d’informations sur la manière d’obtenir les paramètres de cible requis, reportez-vous à la section Remplir les détails de destination de la page de documentation de destination Amazon S3.
Pour obtenir d’autres valeurs prises en charge de datasetFileType, consultez la documentation de référence de l’API.

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple de requête, qui fournissent des informations supplémentaires. Supprimez les commentaires insérés dans la requête lorsque vous copiez-collez la requête dans votre terminal de votre choix.

code language-shell line-numbers data-start-1 data-line-offset-4 h-19
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Amazon S3 Target Connection",
    "baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
    "params": {
        "mode": "Server-to-server",
        "bucketName": "your-bucket-name",
        "path": "folder/subfolder",
        "compression": "NONE",
        "datasetFileType": "JSON"
    },
    "connectionSpec": {
        "id": "4fce964d-3f37-408f-9778-e597338a21ee", // Amazon S3 connection spec id
        "version": "1.0"
    }
}'

Réponse

accordion
Connexion à Target - Réponse
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Stockage Azure Blob

Requête

accordion
Azure Blob Storage - Requête de connexion Target
note tip
TIP
Pour plus d’informations sur la manière d’obtenir les paramètres de cible requis, reportez-vous à la section Remplir les détails de destination de la page de documentation de destination Azure Blob Storage.
Pour obtenir d’autres valeurs prises en charge de datasetFileType, consultez la documentation de référence de l’API.

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple de requête, qui fournissent des informations supplémentaires. Supprimez les commentaires insérés dans la requête lorsque vous copiez-collez la requête dans votre terminal de votre choix.

code language-shell line-numbers data-start-1 data-line-offset-4 h-19
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Azure Blob Storage Target Connection",
    "baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
    "params": {
        "mode": "Server-to-server",
        "container": "your-container-name",
        "path": "folder/subfolder",
        "compression": "NONE",
        "datasetFileType": "JSON"
    },
    "connectionSpec": {
        "id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2", // Azure Blob Storage connection spec id
        "version": "1.0"
    }
}'

Réponse

accordion
Connexion à Target - Réponse
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Azure Data Lake Gen 2(ADLS Gen2)

Requête

accordion
Azure Blob Storage - Requête de connexion Target
note tip
TIP
Pour plus d’informations sur la manière d’obtenir les paramètres de cible requis, reportez-vous à la section Remplir les détails de destination de la page de documentation de destination Azure Data Lake Gen 2(ADLS Gen2).
Pour obtenir d’autres valeurs prises en charge de datasetFileType, consultez la documentation de référence de l’API.

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple de requête, qui fournissent des informations supplémentaires. Supprimez les commentaires insérés dans la requête lorsque vous copiez-collez la requête dans votre terminal de votre choix.

code language-shell line-numbers data-start-1 data-line-offset-4 h-18
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Azure Data Lake Gen 2(ADLS Gen2) Target Connection",
    "baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
    "params": {
        "mode": "Server-to-server",
        "path": "folder/subfolder",
        "compression": "NONE",
        "datasetFileType": "JSON"
    },
    "connectionSpec": {
        "id": "be2c3209-53bc-47e7-ab25-145db8b873e1", // Azure Data Lake Gen 2(ADLS Gen2) connection spec id
        "version": "1.0"
    }
}'

Réponse

accordion
Connexion à Target - Réponse
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Zone d’entrée de données (DLZ)

Requête

accordion
Data Landing Zone - Requête de connexion Target
note tip
TIP
Pour plus d’informations sur la manière d’obtenir les paramètres de cible requis, reportez-vous à la section Remplir les détails de destination de la page de documentation de destination Data Landing Zone.
Pour obtenir d’autres valeurs prises en charge de datasetFileType, consultez la documentation de référence de l’API.

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple de requête, qui fournissent des informations supplémentaires. Supprimez les commentaires insérés dans la requête lorsque vous copiez-collez la requête dans votre terminal de votre choix.

code language-shell line-numbers data-start-1 data-line-offset-4 h-18
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Data Landing Zone Target Connection",
    "baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
    "params": {
        "mode": "Server-to-server",
        "path": "folder/subfolder",
        "compression": "NONE",
        "datasetFileType": "JSON"
    },
    "connectionSpec": {
        "id": "10440537-2a7b-4583-ac39-ed38d4b848e8", // Data Landing Zone connection spec id
        "version": "1.0"
    }
}'

Réponse

accordion
Connexion à Target - Réponse
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Google Cloud Storage

Requête

accordion
Google Cloud Storage - Requête de connexion Target
note tip
TIP
Pour plus d’informations sur la manière d’obtenir les paramètres de cible requis, reportez-vous à la section Remplir les détails de destination de la page de documentation de destination Google Cloud Storage.
Pour obtenir d’autres valeurs prises en charge de datasetFileType, consultez la documentation de référence de l’API.

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple de requête, qui fournissent des informations supplémentaires. Supprimez les commentaires insérés dans la requête lorsque vous copiez-collez la requête dans votre terminal de votre choix.

code language-shell line-numbers data-start-1 data-line-offset-4 h-19
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Google Cloud Storage Target Connection",
    "baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
    "params": {
        "mode": "Server-to-server",
        "bucketName": "your-bucket-name",
        "path": "folder/subfolder",
        "compression": "NONE",
        "datasetFileType": "JSON"
    },
    "connectionSpec": {
        "id": "c5d93acb-ea8b-4b14-8f53-02138444ae99", // Google Cloud Storage connection spec id
        "version": "1.0"
    }
}'

Réponse

accordion
Connexion à Target - Réponse
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
SFTP

Requête

accordion
SFTP - Demande de connexion Target
note tip
TIP
Pour plus d’informations sur la manière d’obtenir les paramètres de cible requis, reportez-vous à la section Remplir les détails de destination de la page de documentation de destination SFTP.
Pour obtenir d’autres valeurs prises en charge de datasetFileType, consultez la documentation de référence de l’API.

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple de requête, qui fournissent des informations supplémentaires. Supprimez les commentaires insérés dans la requête lorsque vous copiez-collez la requête dans votre terminal de votre choix.

code language-shell line-numbers data-start-1 data-line-offset-4 h-18
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "SFTP Target Connection",
    "baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
    "params": {
        "mode": "Server-to-server",
        "remotePath": "folder/subfolder",
        "compression": "NONE",
        "datasetFileType": "JSON"
    },
    "connectionSpec": {
        "id": "36965a81-b1c6-401b-99f8-22508f1e6a26", // SFTP connection spec id
        "version": "1.0"
    }
}'

Réponse

accordion
Connexion à Target - Réponse
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}

Notez l’identifiant de connexion Target de la réponse. Cet identifiant sera requis à l’étape suivante lors de la création du flux de données pour exporter des jeux de données.

Créer un flux de données create-dataflow

Diagramme affichant l’étape 5 dans le workflow d’exportation des jeux de données

La dernière étape de la configuration de destination consiste à configurer un flux de données. Un flux de données relie des entités créées précédemment et fournit également des options pour configurer le planning d’exportation du jeu de données. Pour créer le flux de données, utilisez les payloads ci-dessous, en fonction de la destination de stockage dans le cloud souhaitée, et remplacez les identifiants d’entité des étapes précédentes.

Amazon S3

Requête

accordion
Créer un flux de données de jeu de données vers la destination Amazon S3 - Requête

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple de requête, qui fournissent des informations supplémentaires. Supprimez les commentaires insérés dans la requête lorsque vous copiez-collez la requête dans votre terminal de votre choix.

code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Activate datasets to an Amazon S3 cloud storage destination",
    "description": "This operation creates a dataflow to export datasets to an Amazon S3 cloud storage destination",
    "flowSpec": {
        "id": "269ba276-16fc-47db-92b0-c1049a3c131f", // Amazon S3 flow spec ID
        "version": "1.0"
    },
    "sourceConnectionIds": [
        "<FROM_STEP_CREATE_SOURCE_CONNECTION>"
    ],
    "targetConnectionIds": [
        "<FROM_STEP_CREATE_TARGET_CONNECTION>"
    ],
    "transformations": [],
    "scheduleParams": { // specify the scheduling info
        "exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
        "interval": 3, // also supports 6, 9, 12 hour increments
        "timeUnit": "hour", // also supports "day" for daily increments.
        "interval": 1, // when you select "timeUnit": "day"
        "startTime": 1675901210, // UNIX timestamp start time (in seconds)
        "endTime": 1975901210, // UNIX timestamp end time (in seconds)
        "foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
    }
}'

Le tableau ci-dessous fournit des descriptions de tous les paramètres de la section scheduleParams, ce qui vous permet de personnaliser les heures d’exportation, la fréquence, l’emplacement, etc. pour vos exportations de jeux de données.

table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 layout-auto
Paramètre Description
exportMode Sélectionnez "DAILY_FULL_EXPORT" ou "FIRST_FULL_THEN_INCREMENTAL". Pour plus d’informations sur les deux options, reportez-vous aux sections Exporter les fichiers complets et Exporter les fichiers incrémentiels dans le tutoriel sur l’activation des destinations par lot. Les trois options d’exportation disponibles sont :
Fichier complet - Une fois : "DAILY_FULL_EXPORT" ne peut être utilisé qu’en combinaison avec timeUnit:day et interval:0 pour une exportation complète unique du jeu de données. Les exportations complètes quotidiennes des jeux de données ne sont pas prises en charge. Si vous avez besoin d’exportations quotidiennes, utilisez l’option d’exportation incrémentielle.
Exports quotidiens incrémentiels : sélectionnez "FIRST_FULL_THEN_INCREMENTAL", timeUnit:day et interval : 1 pour les exportations incrémentielles quotidiennes.
Exports horaires incrémentiels : sélectionnez "FIRST_FULL_THEN_INCREMENTAL", timeUnit:hour et interval :3,6,9 ou 12 pour les exportations incrémentielles horaires.
timeUnit Sélectionnez day ou hour selon la fréquence à laquelle vous souhaitez exporter les fichiers de jeux de données.
interval Sélectionnez 1 lorsque le timeUnit est un jour et 3,6,9,12 lorsque l’unité de temps est hour.
startTime Date et heure, en secondes UNIX, auxquelles les exportations de jeux de données doivent commencer.
endTime Date et heure, en secondes UNIX, auxquelles l’exportation du jeu de données doit se terminer.
foldernameTemplate

Indiquez la structure de nom de dossier attendue dans l’emplacement de stockage où les fichiers exportés seront déposés.

  • DATASET_ID = Identifiant unique du jeu de données.
  • DESTINATION = Nom de la destination.
  • DATETIME = Date et heure au format aaaaMMdd_HHmss.
  • EXPORT_TIME = L’heure planifiée de l’exportation des données au format exportTime=YYYYMMDDHHMM.
  • DESTINATION_INSTANCE_NAME = Nom de l’instance spécifique de la destination.
  • DESTINATION_INSTANCE_ID = Identifiant unique de l’instance de destination.
  • SANDBOX_NAME = Nom de l’environnement de test.
  • ORGANIZATION_NAME = Nom de l’organisation.

Réponse

accordion
Créer un flux de données - Réponse
code language-json
{
    "id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Stockage Azure Blob

Requête

accordion
Créer un flux de données de jeu de données vers la destination Azure Blob Storage - Requête

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple de requête, qui fournissent des informations supplémentaires. Supprimez les commentaires insérés dans la requête lorsque vous copiez-collez la requête dans votre terminal de votre choix.

code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Activate datasets to an Azure Blob Storage cloud storage destination",
    "description": "This operation creates a dataflow to export datasets to an Azure Blob Storage cloud storage destination",
    "flowSpec": {
        "id": "95bd8965-fc8a-4119-b9c3-944c2c2df6d2", // Azure Blob Storage flow spec ID
        "version": "1.0"
    },
    "sourceConnectionIds": [
        "<FROM_STEP_CREATE_SOURCE_CONNECTION>"
    ],
    "targetConnectionIds": [
        "<FROM_STEP_CREATE_TARGET_CONNECTION>"
    ],
    "transformations": [],
    "scheduleParams": { // specify the scheduling info
        "exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
        "interval": 3, // also supports 6, 9, 12 hour increments
        "timeUnit": "hour", // also supports "day" for daily increments.
        "interval": 1, // when you select "timeUnit": "day"
        "startTime": 1675901210, // UNIX timestamp start time (in seconds)
        "endTime": 1975901210, // UNIX timestamp end time (in seconds)
        "foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
    }
}'

Le tableau ci-dessous fournit des descriptions de tous les paramètres de la section scheduleParams, ce qui vous permet de personnaliser les heures d’exportation, la fréquence, l’emplacement, etc. pour vos exportations de jeux de données.

table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 layout-auto
Paramètre Description
exportMode Sélectionnez "DAILY_FULL_EXPORT" ou "FIRST_FULL_THEN_INCREMENTAL". Pour plus d’informations sur les deux options, reportez-vous aux sections Exporter les fichiers complets et Exporter les fichiers incrémentiels dans le tutoriel sur l’activation des destinations par lot. Les trois options d’exportation disponibles sont :
Fichier complet - Une fois : "DAILY_FULL_EXPORT" ne peut être utilisé qu’en combinaison avec timeUnit:day et interval:0 pour une exportation complète unique du jeu de données. Les exportations complètes quotidiennes des jeux de données ne sont pas prises en charge. Si vous avez besoin d’exportations quotidiennes, utilisez l’option d’exportation incrémentielle.
Exports quotidiens incrémentiels : sélectionnez "FIRST_FULL_THEN_INCREMENTAL", timeUnit:day et interval : 1 pour les exportations incrémentielles quotidiennes.
Exports horaires incrémentiels : sélectionnez "FIRST_FULL_THEN_INCREMENTAL", timeUnit:hour et interval :3,6,9 ou 12 pour les exportations incrémentielles horaires.
timeUnit Sélectionnez day ou hour selon la fréquence à laquelle vous souhaitez exporter les fichiers de jeux de données.
interval Sélectionnez 1 lorsque le timeUnit est un jour et 3,6,9,12 lorsque l’unité de temps est hour.
startTime Date et heure, en secondes UNIX, auxquelles les exportations de jeux de données doivent commencer.
endTime Date et heure, en secondes UNIX, auxquelles l’exportation du jeu de données doit se terminer.
foldernameTemplate

Indiquez la structure de nom de dossier attendue dans l’emplacement de stockage où les fichiers exportés seront déposés.

  • DATASET_ID = Identifiant unique du jeu de données.
  • DESTINATION = Nom de la destination.
  • DATETIME = Date et heure au format aaaaMMdd_HHmss.
  • EXPORT_TIME = L’heure planifiée de l’exportation des données au format exportTime=YYYYMMDDHHMM.
  • DESTINATION_INSTANCE_NAME = Nom de l’instance spécifique de la destination.
  • DESTINATION_INSTANCE_ID = Identifiant unique de l’instance de destination.
  • SANDBOX_NAME = Nom de l’environnement de test.
  • ORGANIZATION_NAME = Nom de l’organisation.

Réponse

accordion
Créer un flux de données - Réponse
code language-json
{
    "id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Azure Data Lake Gen 2(ADLS Gen2)

Requête

accordion
Créer un flux de données de jeu de données vers la destination Azure Data Lake Gen 2(ADLS Gen2) - Requête

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple de requête, qui fournissent des informations supplémentaires. Supprimez les commentaires insérés dans la requête lorsque vous copiez-collez la requête dans votre terminal de votre choix.

code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Activate datasets to an Azure Data Lake Gen 2(ADLS Gen2) cloud storage destination",
    "description": "This operation creates a dataflow to export datasets to an Azure Data Lake Gen 2(ADLS Gen2) cloud storage destination",
    "flowSpec": {
        "id": "17be2013-2549-41ce-96e7-a70363bec293", // Azure Data Lake Gen 2(ADLS Gen2) flow spec ID
        "version": "1.0"
    },
    "sourceConnectionIds": [
        "<FROM_STEP_CREATE_SOURCE_CONNECTION>"
    ],
    "targetConnectionIds": [
        "<FROM_STEP_CREATE_TARGET_CONNECTION>"
    ],
    "transformations": [],
    "scheduleParams": { // specify the scheduling info
        "exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
        "interval": 3, // also supports 6, 9, 12 hour increments
        "timeUnit": "hour", // also supports "day" for daily increments.
        "interval": 1, // when you select "timeUnit": "day"
        "startTime": 1675901210, // UNIX timestamp start time (in seconds)
        "endTime": 1975901210, // UNIX timestamp end time (in seconds)
        "foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
    }
}'

Le tableau ci-dessous fournit des descriptions de tous les paramètres de la section scheduleParams, ce qui vous permet de personnaliser les heures d’exportation, la fréquence, l’emplacement, etc. pour vos exportations de jeux de données.

table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 layout-auto
Paramètre Description
exportMode Sélectionnez "DAILY_FULL_EXPORT" ou "FIRST_FULL_THEN_INCREMENTAL". Pour plus d’informations sur les deux options, reportez-vous aux sections Exporter les fichiers complets et Exporter les fichiers incrémentiels dans le tutoriel sur l’activation des destinations par lot. Les trois options d’exportation disponibles sont :
Fichier complet - Une fois : "DAILY_FULL_EXPORT" ne peut être utilisé qu’en combinaison avec timeUnit:day et interval:0 pour une exportation complète unique du jeu de données. Les exportations complètes quotidiennes des jeux de données ne sont pas prises en charge. Si vous avez besoin d’exportations quotidiennes, utilisez l’option d’exportation incrémentielle.
Exports quotidiens incrémentiels : sélectionnez "FIRST_FULL_THEN_INCREMENTAL", timeUnit:day et interval : 1 pour les exportations incrémentielles quotidiennes.
Exports horaires incrémentiels : sélectionnez "FIRST_FULL_THEN_INCREMENTAL", timeUnit:hour et interval :3,6,9 ou 12 pour les exportations incrémentielles horaires.
timeUnit Sélectionnez day ou hour selon la fréquence à laquelle vous souhaitez exporter les fichiers de jeux de données.
interval Sélectionnez 1 lorsque le timeUnit est un jour et 3,6,9,12 lorsque l’unité de temps est hour.
startTime Date et heure, en secondes UNIX, auxquelles les exportations de jeux de données doivent commencer.
endTime Date et heure, en secondes UNIX, auxquelles l’exportation du jeu de données doit se terminer.
foldernameTemplate

Indiquez la structure de nom de dossier attendue dans l’emplacement de stockage où les fichiers exportés seront déposés.

  • DATASET_ID = Identifiant unique du jeu de données.
  • DESTINATION = Nom de la destination.
  • DATETIME = Date et heure au format aaaaMMdd_HHmss.
  • EXPORT_TIME = L’heure planifiée de l’exportation des données au format exportTime=YYYYMMDDHHMM.
  • DESTINATION_INSTANCE_NAME = Nom de l’instance spécifique de la destination.
  • DESTINATION_INSTANCE_ID = Identifiant unique de l’instance de destination.
  • SANDBOX_NAME = Nom de l’environnement de test.
  • ORGANIZATION_NAME = Nom de l’organisation.

Réponse

accordion
Créer un flux de données - Réponse
code language-json
{
    "id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Zone d’entrée de données (DLZ)

Requête

accordion
Créer un flux de données de jeu de données vers la destination Data Landing Zone - Requête

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple de requête, qui fournissent des informations supplémentaires. Supprimez les commentaires insérés dans la requête lorsque vous copiez-collez la requête dans votre terminal de votre choix.

code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Activate datasets to a Data Landing Zone cloud storage destination",
    "description": "This operation creates a dataflow to export datasets to a Data Landing Zone cloud storage destination",
    "flowSpec": {
        "id": "cd2fc47e-e838-4f38-a581-8fff2f99b63a", // Data Landing Zone flow spec ID
        "version": "1.0"
    },
    "sourceConnectionIds": [
        "<FROM_STEP_CREATE_SOURCE_CONNECTION>"
    ],
    "targetConnectionIds": [
        "<FROM_STEP_CREATE_TARGET_CONNECTION>"
    ],
    "transformations": [],
    "scheduleParams": { // specify the scheduling info
        "exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
        "interval": 3, // also supports 6, 9, 12 hour increments
        "timeUnit": "hour", // also supports "day" for daily increments.
        "interval": 1, // when you select "timeUnit": "day"
        "startTime": 1675901210, // UNIX timestamp start time (in seconds)
        "endTime": 1975901210, // UNIX timestamp end time (in seconds)
        "foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
    }
}'

Le tableau ci-dessous fournit des descriptions de tous les paramètres de la section scheduleParams, ce qui vous permet de personnaliser les heures d’exportation, la fréquence, l’emplacement, etc. pour vos exportations de jeux de données.

table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 layout-auto
Paramètre Description
exportMode Sélectionnez "DAILY_FULL_EXPORT" ou "FIRST_FULL_THEN_INCREMENTAL". Pour plus d’informations sur les deux options, reportez-vous aux sections Exporter les fichiers complets et Exporter les fichiers incrémentiels dans le tutoriel sur l’activation des destinations par lot. Les trois options d’exportation disponibles sont :
Fichier complet - Une fois : "DAILY_FULL_EXPORT" ne peut être utilisé qu’en combinaison avec timeUnit:day et interval:0 pour une exportation complète unique du jeu de données. Les exportations complètes quotidiennes des jeux de données ne sont pas prises en charge. Si vous avez besoin d’exportations quotidiennes, utilisez l’option d’exportation incrémentielle.
Exports quotidiens incrémentiels : sélectionnez "FIRST_FULL_THEN_INCREMENTAL", timeUnit:day et interval : 1 pour les exportations incrémentielles quotidiennes.
Exports horaires incrémentiels : sélectionnez "FIRST_FULL_THEN_INCREMENTAL", timeUnit:hour et interval :3,6,9 ou 12 pour les exportations incrémentielles horaires.
timeUnit Sélectionnez day ou hour selon la fréquence à laquelle vous souhaitez exporter les fichiers de jeux de données.
interval Sélectionnez 1 lorsque le timeUnit est un jour et 3,6,9,12 lorsque l’unité de temps est hour.
startTime Date et heure, en secondes UNIX, auxquelles les exportations de jeux de données doivent commencer.
endTime Date et heure, en secondes UNIX, auxquelles l’exportation du jeu de données doit se terminer.
foldernameTemplate

Indiquez la structure de nom de dossier attendue dans l’emplacement de stockage où les fichiers exportés seront déposés.

  • DATASET_ID = Identifiant unique du jeu de données.
  • DESTINATION = Nom de la destination.
  • DATETIME = Date et heure au format aaaaMMdd_HHmss.
  • EXPORT_TIME = L’heure planifiée de l’exportation des données au format exportTime=YYYYMMDDHHMM.
  • DESTINATION_INSTANCE_NAME = Nom de l’instance spécifique de la destination.
  • DESTINATION_INSTANCE_ID = Identifiant unique de l’instance de destination.
  • SANDBOX_NAME = Nom de l’environnement de test.
  • ORGANIZATION_NAME = Nom de l’organisation.

Réponse

accordion
Créer un flux de données - Réponse
code language-json
{
    "id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Google Cloud Storage

Requête

accordion
Créer un flux de données de jeu de données vers la destination Google Cloud Storage - Requête

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple de requête, qui fournissent des informations supplémentaires. Supprimez les commentaires insérés dans la requête lorsque vous copiez-collez la requête dans votre terminal de votre choix.

code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Activate datasets to a Google Cloud Storage cloud storage destination",
    "description": "This operation creates a dataflow to export datasets to a Google Cloud Storage destination",
    "flowSpec": {
        "id": "585c15c4-6cbf-4126-8f87-e26bff78b657", // Google Cloud Storage flow spec ID
        "version": "1.0"
    },
    "sourceConnectionIds": [
        "<FROM_STEP_CREATE_SOURCE_CONNECTION>"
    ],
    "targetConnectionIds": [
        "<FROM_STEP_CREATE_TARGET_CONNECTION>"
    ],
    "transformations": [],
    "scheduleParams": { // specify the scheduling info
        "exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
        "interval": 3, // also supports 6, 9, 12 hour increments
        "timeUnit": "hour", // also supports "day" for daily increments.
        "interval": 1, // when you select "timeUnit": "day"
        "startTime": 1675901210, // UNIX timestamp start time (in seconds)
        "endTime": 1975901210, // UNIX timestamp end time (in seconds)
        "foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
    }
}'

Le tableau ci-dessous fournit des descriptions de tous les paramètres de la section scheduleParams, ce qui vous permet de personnaliser les heures d’exportation, la fréquence, l’emplacement, etc. pour vos exportations de jeux de données.

table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 layout-auto
Paramètre Description
exportMode Sélectionnez "DAILY_FULL_EXPORT" ou "FIRST_FULL_THEN_INCREMENTAL". Pour plus d’informations sur les deux options, reportez-vous aux sections Exporter les fichiers complets et Exporter les fichiers incrémentiels dans le tutoriel sur l’activation des destinations par lot. Les trois options d’exportation disponibles sont :
Fichier complet - Une fois : "DAILY_FULL_EXPORT" ne peut être utilisé qu’en combinaison avec timeUnit:day et interval:0 pour une exportation complète unique du jeu de données. Les exportations complètes quotidiennes des jeux de données ne sont pas prises en charge. Si vous avez besoin d’exportations quotidiennes, utilisez l’option d’exportation incrémentielle.
Exports quotidiens incrémentiels : sélectionnez "FIRST_FULL_THEN_INCREMENTAL", timeUnit:day et interval : 1 pour les exportations incrémentielles quotidiennes.
Exports horaires incrémentiels : sélectionnez "FIRST_FULL_THEN_INCREMENTAL", timeUnit:hour et interval :3,6,9 ou 12 pour les exportations incrémentielles horaires.
timeUnit Sélectionnez day ou hour selon la fréquence à laquelle vous souhaitez exporter les fichiers de jeux de données.
interval Sélectionnez 1 lorsque le timeUnit est un jour et 3,6,9,12 lorsque l’unité de temps est hour.
startTime Date et heure, en secondes UNIX, auxquelles les exportations de jeux de données doivent commencer.
endTime Date et heure, en secondes UNIX, auxquelles l’exportation du jeu de données doit se terminer.
foldernameTemplate

Indiquez la structure de nom de dossier attendue dans l’emplacement de stockage où les fichiers exportés seront déposés.

  • DATASET_ID = Identifiant unique du jeu de données.
  • DESTINATION = Nom de la destination.
  • DATETIME = Date et heure au format aaaaMMdd_HHmss.
  • EXPORT_TIME = L’heure planifiée de l’exportation des données au format exportTime=YYYYMMDDHHMM.
  • DESTINATION_INSTANCE_NAME = Nom de l’instance spécifique de la destination.
  • DESTINATION_INSTANCE_ID = Identifiant unique de l’instance de destination.
  • SANDBOX_NAME = Nom de l’environnement de test.
  • ORGANIZATION_NAME = Nom de l’organisation.

Réponse

accordion
Créer un flux de données - Réponse
code language-json
{
    "id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
SFTP

Requête

accordion
Créer un flux de données de jeu de données vers la destination SFTP - Requête

Notez les lignes surlignées avec des commentaires intégrés dans l’exemple de requête, qui fournissent des informations supplémentaires. Supprimez les commentaires insérés dans la requête lorsque vous copiez-collez la requête dans votre terminal de votre choix.

code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Activate datasets to an SFTP cloud storage destination",
    "description": "This operation creates a dataflow to export datasets to an SFTP cloud storage destination",
    "flowSpec": {
        "id": "354d6aad-4754-46e4-a576-1b384561c440", // SFTP flow spec ID
        "version": "1.0"
    },
    "sourceConnectionIds": [
        "<FROM_STEP_CREATE_SOURCE_CONNECTION>"
    ],
    "targetConnectionIds": [
        "<FROM_STEP_CREATE_TARGET_CONNECTION>"
    ],
    "transformations": [],
    "scheduleParams": { // specify the scheduling info
        "exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
        "interval": 3, // also supports 6, 9, 12 hour increments
        "timeUnit": "hour", // also supports "day" for daily increments.
        "interval": 1, // when you select "timeUnit": "day"
        "startTime": 1675901210, // UNIX timestamp start time (in seconds)
        "endTime": 1975901210, // UNIX timestamp end time (in seconds)
        "foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
    }
}'

Le tableau ci-dessous fournit des descriptions de tous les paramètres de la section scheduleParams, ce qui vous permet de personnaliser les heures d’exportation, la fréquence, l’emplacement, etc. pour vos exportations de jeux de données.

table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 layout-auto
Paramètre Description
exportMode Sélectionnez "DAILY_FULL_EXPORT" ou "FIRST_FULL_THEN_INCREMENTAL". Pour plus d’informations sur les deux options, reportez-vous aux sections Exporter les fichiers complets et Exporter les fichiers incrémentiels dans le tutoriel sur l’activation des destinations par lot. Les trois options d’exportation disponibles sont :
Fichier complet - Une fois : "DAILY_FULL_EXPORT" ne peut être utilisé qu’en combinaison avec timeUnit:day et interval:0 pour une exportation complète unique du jeu de données. Les exportations complètes quotidiennes des jeux de données ne sont pas prises en charge. Si vous avez besoin d’exportations quotidiennes, utilisez l’option d’exportation incrémentielle.
Exports quotidiens incrémentiels : sélectionnez "FIRST_FULL_THEN_INCREMENTAL", timeUnit:day et interval : 1 pour les exportations incrémentielles quotidiennes.
Exports horaires incrémentiels : sélectionnez "FIRST_FULL_THEN_INCREMENTAL", timeUnit:hour et interval :3,6,9 ou 12 pour les exportations incrémentielles horaires.
timeUnit Sélectionnez day ou hour selon la fréquence à laquelle vous souhaitez exporter les fichiers de jeux de données.
interval Sélectionnez 1 lorsque le timeUnit est un jour et 3,6,9,12 lorsque l’unité de temps est hour.
startTime Date et heure, en secondes UNIX, auxquelles les exportations de jeux de données doivent commencer.
endTime Date et heure, en secondes UNIX, auxquelles l’exportation du jeu de données doit se terminer.
foldernameTemplate

Indiquez la structure de nom de dossier attendue dans l’emplacement de stockage où les fichiers exportés seront déposés.

  • DATASET_ID = Identifiant unique du jeu de données.
  • DESTINATION = Nom de la destination.
  • DATETIME = Date et heure au format aaaaMMdd_HHmss.
  • EXPORT_TIME = L’heure planifiée de l’exportation des données au format exportTime=YYYYMMDDHHMM.
  • DESTINATION_INSTANCE_NAME = Nom de l’instance spécifique de la destination.
  • DESTINATION_INSTANCE_ID = Identifiant unique de l’instance de destination.
  • SANDBOX_NAME = Nom de l’environnement de test.
  • ORGANIZATION_NAME = Nom de l’organisation.

Réponse

accordion
Créer un flux de données - Réponse
code language-json
{
    "id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}

Notez l’identifiant du flux de données de la réponse. Cet identifiant sera requis à l’étape suivante lors de la récupération des exécutions du flux de données pour valider les exportations réussies du jeu de données.

Obtention des exécutions de flux de données get-dataflow-runs

Diagramme affichant l’étape 6 dans le workflow d’exportation des jeux de données

Pour vérifier les exécutions d’un flux de données, utilisez l’API des exécutions de flux de données :

Requête

Obtenir les exécutions de flux de données - Requête

Dans la requête de récupération des exécutions de flux de données, ajoutez en tant que paramètre de requête l’identifiant de flux de données obtenu à l’étape précédente, lors de la création du flux de données.

code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/runs?property=flowId==eb54b3b3-3949-4f12-89c8-64eafaba858f' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \

Réponse

Obtenir les exécutions de flux de données - Réponse
code language-json
{
    "items": [
        {
            "id": "4b7728dd-83c9-4c38-95a4-24ddab545404",
            "createdAt": 1675807718296,
            "updatedAt": 1675807731834,
            "createdBy": "aep_activation_batch@AdobeID",
            "updatedBy": "acp_foundation_connectors@AdobeID",
            "createdClient": "aep_activation_batch",
            "updatedClient": "acp_foundation_connectors",
            "sandboxId": "7dfdcd30-0a09-11ea-8ea6-7bf93ce86c28",
            "sandboxName": "sand-1",
            "imsOrgId": "5555467B5D8013E50A494220@AdobeOrg",
            "flowId": "aae5ec63-b0ac-4808-9a44-abf2ea67bd5a",
            "flowSpec": {
                "id": "615d3489-36d2-4671-9467-4ae1129facd3",
                "version": "1.0"
            },
            "providerRefId": "ba56f98e0c49b572adb249980c39b1c7",
            "etag": "\"08005e9e-0000-0200-0000-63e2cbf30000\"",
            "metrics": {
                "durationSummary": {
                    "startedAtUTC": 1675807719411,
                    "completedAtUTC": 1675807719416
                },
                "sizeSummary": {
                    "inputBytes": 0
                },
                "recordSummary": {
                    "inputRecordCount": 0,
                    "skippedRecordCount": 0,
                    "sourceSummaries": [
                        {
                            "id": "ea2b1205-4692-49de-b448-ebf75b1d188a",
                            "inputRecordCount": 0,
                            "skippedRecordCount": 0,
                            "entitySummaries": [
                                {
//...

Vous trouverez des informations sur les différents paramètres renvoyés par l’API Dataflow run dans la documentation de référence de l’API.

Vérifier l’exportation réussie d’un jeu de données verify

Lors de l’exportation de jeux de données, Experience Platform crée un fichier .json ou .parquet dans l’emplacement de stockage que vous avez fourni. Attendez-vous à ce qu’un nouveau fichier soit déposé dans votre emplacement de stockage selon le planning d’exportation que vous avez fourni lors de la création d’un flux de données.

Experience Platform crée une structure de dossiers dans l’emplacement de stockage que vous avez spécifié, où il dépose les fichiers de jeu de données exportés. Un nouveau dossier est créé pour chaque heure d’exportation, selon le modèle ci-dessous :

folder-name-you-provided/datasetID/exportTime=YYYYMMDDHHMM

Le nom de fichier par défaut est généré de manière aléatoire pour garantir que les noms de fichier exportés soient uniques.

Exemples de fichiers de jeu de données sample-files

La présence de ces fichiers dans votre emplacement de stockage confirme que l’activation a été réalisée avec succès. Pour comprendre la structure des fichiers exportés, vous pouvez télécharger un exemple de fichier parquet ou de fichier JSON.

Fichiers de jeux de données compressés compressed-dataset-files

À l’étape créer une connexion cible, vous pouvez sélectionner les fichiers de jeu de données exportés à compresser.

Notez la différence de format de fichier entre les deux types de fichiers, lorsqu’ils sont compressés :

  • Lors de l’exportation de fichiers JSON compressés, le format de fichier exporté est json.gz
  • Lors de l’exportation de fichiers parquet compressés, le format de fichier exporté est gz.parquet
  • Les fichiers JSON peuvent uniquement être exportés en mode compressé.

Gestion des erreurs d’API api-error-handling

Les points de terminaison d’API de ce tutoriel suivent les principes généraux des messages d’erreur de l’API d’Experience Platform. Pour plus d’informations sur l’interprétation des réponses d’erreur, reportez-vous aux codes d’état d’API et erreurs d’en-tête de requête dans le guide de dépannage de Platform.

Questions fréquentes faq

Affichez une liste des questions fréquentes sur les exportations de jeux de données.

Étapes suivantes next-steps

En suivant ce tutoriel, vous avez réussi à connecter Platform à l’une de vos destinations de stockage dans le cloud par lots préférées et à configurer un flux de données vers la destination correspondante pour exporter les jeux de données. Consultez les pages suivantes pour plus d’informations, telles que la modification des flux de données existants à l’aide de l’API Flow Service :

7f4d1967-bf93-4dba-9789-bb6b505339d6