Documentatie Experience Platform Handleiding voor bestemmingen

Gegevenssets exporteren met de Flow Service API

Last update: Fri Sep 29 2023 00:00:00 GMT+0000 (Coordinated Universal Time)

Onderwerpen:
Destinations

Gemaakt voor:

Beheerder
Gebruiker

AVAILABILITY

Deze functionaliteit is beschikbaar voor klanten die het Real-Time CDP-pakket Premier en Ultimate, Adobe Journey Optimizer of Customer Journey Analytics hebben aangeschaft. Neem contact op met uw Adobe voor meer informatie.

In dit artikel wordt uitgelegd welke workflow nodig is om de Flow Service API om te exporteren gegevenssets van Adobe Experience Platform naar uw voorkeurslocatie voor cloudopslag, zoals Amazon S3, SFTP-locaties, of Google Cloud Storage.

TIP

U kunt het gebruikersinterface van het Experience Platform ook gebruiken om datasets uit te voeren. Lees de UI-zelfstudie voor het exporteren van gegevenssets voor meer informatie .

Beschikbare gegevensbestanden voor exporteren datasets-to-export

De gegevenssets die u kunt exporteren, zijn afhankelijk van de toepassing Experience Platform (Real-Time CDP, Adobe Journey Optimizer), de laag (Premier of Ultimate) en alle invoegtoepassingen die u hebt aangeschaft (bijvoorbeeld Data Distiller).

Zie de tabel op de pagina met zelfstudies voor de gebruikersinterface om te begrijpen welke datasets u kunt uitvoeren.

Ondersteunde doelen supported-destinations

Momenteel, kunt u datasets naar de bestemmingen van de wolkenopslag uitvoeren die in het schermafbeelding worden benadrukt en hieronder worden vermeld.

Doelen die de uitvoer van gegevenssets ondersteunen

Aan de slag get-started

Overzicht - de stappen om een bestemming tot stand te brengen en datasets uit te voeren

Deze handleiding vereist een goed begrip van de volgende onderdelen van Adobe Experience Platform:

Experience Platform datasets: Alle gegevens die met succes in Adobe Experience Platform worden ingevoerd, blijven binnen de Data Lake als datasets. Een dataset is een opslag en beheersconstructie voor een inzameling van gegevens, typisch een lijst, die een schema (kolommen) en gebieden (rijen) bevat. Datasets bevatten ook metagegevens die verschillende aspecten van de gegevens beschrijven die ze opslaan.
Sandboxes: Experience Platform biedt virtuele sandboxen die één enkele partitie maken Platform in afzonderlijke virtuele omgevingen om toepassingen voor digitale ervaringen te ontwikkelen en te ontwikkelen.

De volgende secties verstrekken extra informatie die u moet weten om datasets naar de bestemmingen van de wolkenopslag in Platform uit te voeren.

Vereiste machtigingen permissions

Om datasets uit te voeren, hebt u nodig View Destinations, View Datasets, en Manage and Activate Dataset Destinations toegangsbeheermachtigingen. Lees de toegangsbeheeroverzicht of neem contact op met de productbeheerder om de vereiste machtigingen te verkrijgen.

Om ervoor te zorgen dat u de noodzakelijke toestemmingen hebt om datasets uit te voeren en dat de bestemming het uitvoeren van datasets steunt, doorblader de bestemmingscatalogus. Als een doel een Activate of een Export datasets controle, dan hebt u de aangewezen toestemmingen.

API-voorbeeldaanroepen lezen reading-sample-api-calls

Deze zelfstudie biedt voorbeeld-API-aanroepen om aan te tonen hoe uw verzoeken moeten worden opgemaakt. Dit zijn paden, vereiste kopteksten en correct opgemaakte ladingen voor aanvragen. Voorbeeld-JSON die wordt geretourneerd in API-reacties, wordt ook verschaft. Voor informatie over de conventies die worden gebruikt in documentatie voor voorbeeld-API-aanroepen raadpleegt u de sectie over voorbeeld-API-aanroepen lezen in de Experience Platform gids voor probleemoplossing.

Waarden verzamelen voor vereiste en optionele koppen gather-values-headers

Om vraag te maken aan Platform API's, moet u eerst de Zelfstudie over verificatie van Experience Platforms. Het voltooien van de zelfstudie over verificatie biedt de waarden voor elk van de vereiste kopteksten in alle Experience Platform API-aanroepen, zoals hieronder wordt getoond:

Toestemming: houder {ACCESS_TOKEN}
x-api-key: {API_KEY}
x-gw-ims-org-id: {ORG_ID}

Bronnen in Experience Platform kan worden geïsoleerd naar specifieke virtuele sandboxen. In verzoeken om Platform API's kunt u de naam en id opgeven van de sandbox waarin de bewerking plaatsvindt. Dit zijn optionele parameters.

x-sandbox-name: {SANDBOX_NAME}

NOTE

Voor meer informatie over sandboxen in Experience Platform, zie de overzichtsdocumentatie van sandbox.

Alle verzoeken die een nuttige lading (POST, PUT, PATCH) bevatten vereisen een extra media type kopbal:

Inhoudstype: application/json

API-naslagdocumentatie api-reference-documentation

In deze zelfstudie vindt u begeleidende referentiedocumentatie voor alle API-bewerkingen. Zie de Flow Service - Doelen-API-documentatie op de Adobe Developer-website. We raden u aan deze zelfstudie en de API-naslagdocumentatie parallel te gebruiken.

Woordenlijst glossary

Lees voor beschrijvingen van de termen die u in deze API-zelfstudie zult tegenkomen de verklarende woordenlijst van de API-naslagdocumentatie.

Verbindingsspecificaties en stroomspecificaties voor uw gewenste doel verzamelen gather-connection-spec-flow-spec

Alvorens de werkschema te beginnen om een dataset uit te voeren, identificeer de verbindingsspecificatie en stroom specificiteit IDs van de bestemming waarnaar u datasets wilt uitvoeren. Gebruik de onderstaande tabel ter referentie.

Bestemming

Verbindingsspecificatie

Stroomspecificatie

Amazon S3

4fce964d-3f37-408f-9778-e597338a21ee

269ba276-16fc-47db-92b0-c1049a3c131f

Azure Blob Storage

6d6b59bf-fb58-4107-9064-4d246c0e5bb2

95bd8965-fc8a-4119-b9c3-944c2c2df6d2

Azure Data Lake Gen 2(ADLS Gen2)

be2c3209-53bc-47e7-ab25-145db8b873e1

17be2013-2549-41ce-96e7-a70363bec293

Data Landing Zone(DLZ)

10440537-2a7b-4583-ac39-ed38d4b848e8

cd2fc47e-e838-4f38-a581-8fff2f99b63a

Google Cloud Storage

c5d93acb-ea8b-4b14-8f53-02138444ae99

585c15c4-6cbf-4126-8f87-e26bff78b657

SFTP

36965a81-b1c6-401b-99f8-22508f1e6a26

354d6aad-4754-46e4-a576-1b384561c440

U hebt deze id's nodig om verschillende Flow Service entiteiten. U moet ook naar delen van het dialoogvenster Connection Spec om bepaalde entiteiten in te stellen zodat u de Connection Spec van Flow Service APIs. Zie de voorbeelden hieronder van het terugwinnen van verbindingsspecificaties voor alle bestemmingen in de lijst:

Amazon S3

Verzoek

accordion

Ophalen connection spec for Amazon S3

code language-shell

curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/4fce964d-3f37-408f-9778-e597338a21ee' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'

Antwoord

accordion

Amazon S3 - Verbindingsspecificatie

code language-json
`{ "items": [ { "id": "4fce964d-3f37-408f-9778-e597338a21ee", "name": "Amazon S3", "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4", "version": "1.0", //...`

Azure Blob Storage

Verzoek

accordion

Ophalen connection spec for Azure Blob Storage

code language-shell

curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/6d6b59bf-fb58-4107-9064-4d246c0e5bb2' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'

Antwoord

accordion

Azure Blob Storage - Connection spec

code language-json
`{ "items": [ { "id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2", "name": "Azure Blob Storage", "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4", "version": "1.0", //...`

Azure Data Lake Gen 2 (ADLS Gen2)

Verzoek

accordion

Ophalen connection spec for Azure Data Lake Gen 2(ADLS Gen2)

code language-shell

curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/be2c3209-53bc-47e7-ab25-145db8b873e1' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'

Antwoord

accordion

Azure Data Lake Gen 2(ADLS Gen2) - Connection spec

code language-json
`{ "items": [ { "id": "be2c3209-53bc-47e7-ab25-145db8b873e1", "name": "Azure Data Lake Gen2", "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4", "version": "1.0", //...`

Data Landing Zone (DLZ)

Verzoek

accordion

Ophalen connection spec for Data Landing Zone(DLZ)

code language-shell

curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/10440537-2a7b-4583-ac39-ed38d4b848e8' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'

Antwoord

accordion

Data Landing Zone(DLZ) - Connection spec

code language-json
`{ "items": [ { "id": "10440537-2a7b-4583-ac39-ed38d4b848e8", "name": "Data Landing Zone", "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4", "version": "1.0", //...`

Google Cloud Storage

Verzoek

accordion

Ophalen connection spec for Google Cloud Storage

code language-shell

curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/c5d93acb-ea8b-4b14-8f53-02138444ae99' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'

Antwoord

accordion

Google Cloud Storage - Connection spec

code language-json
`{ "items": [ { "id": "c5d93acb-ea8b-4b14-8f53-02138444ae99", "name": "Google Cloud Storage", "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4", "version": "1.0", //...`

SFTP

Verzoek

accordion

Ophalen connection spec voor SFTP

code language-shell

curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/36965a81-b1c6-401b-99f8-22508f1e6a26' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'

Antwoord

accordion

SFTP - Connection spec

code language-json
`{ "items": [ { "id": "36965a81-b1c6-401b-99f8-22508f1e6a26", "name": "SFTP", "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4", "version": "1.0", //...`

Voer de onderstaande stappen uit om een gegevenssetgegevensstroom in te stellen naar een opslaglocatie in de cloud. Voor sommige stappen verschillen de verzoeken en antwoorden tussen de verschillende cloudopslagbestemmingen. In die gevallen, gebruik de lusjes op de pagina om de verzoeken en de reacties terug te winnen specifiek voor de bestemming die u wilt verbinden en datasets uitvoeren naar. Zorg ervoor dat u de juiste connection spec en flow spec voor de bestemming u vormt.

Een lijst met gegevenssets ophalen retrieve-list-of-available-datasets

Diagram dat stap 1 in het werkschema van de uitvoerdatasets toont

Om een lijst van datasets terug te winnen geschikt voor activering, begin door een API vraag aan het hieronder eindpunt te maken.

recommendation-more-help

Verzoek

In aanmerking komende gegevenssets ophalen - Verzoek

code language-shell

code language-shell
`curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/23598e46-f560-407b-88d5-ea6207e49db0/configs?outputType=activationDatasets&outputField=datasets&start=0&limit=20&properties=name,state' \ --header 'accept: application/json' \ --header 'x-gw-ims-org-id: {ORG_ID}' \ --header 'x-api-key: {API_KEY}' \ --header 'x-sandbox-name: {SANDBOX_NAME}' \ --header 'Authorization: Bearer {ACCESS_TOKEN}'`

curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/23598e46-f560-407b-88d5-ea6207e49db0/configs?outputType=activationDatasets&outputField=datasets&start=0&limit=20&properties=name,state' \
--header 'accept: application/json' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-api-key: {API_KEY}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'

Merk op dat om in aanmerking komende datasets terug te winnen, connection spec Id die wordt gebruikt in de aanvraag-URL, moet de specificatie-id van de gegevensmeerbronverbinding zijn. 23598e46-f560-407b-88d5-ea6207e49db0en de twee queryparameters outputField=datasets en outputType=activationDatasets moet worden gespecificeerd. Alle andere vraagparameters zijn standaarddegenen die door worden gesteund Catalogusservice-API.

Antwoord

Gegevenssets ophalen - Reactie

code language-json

code language-json
{ "items": [ { "id": "5ef3e324052581191aa6a466", "name": "AAM Authenticated Profiles Meta Data", "description": "Activation profile export dataset", "fileDescription": { "persisted": true, "containerFormat": "parquet", "format": "parquet" }, "aspect": "production", "state": "DRAFT" }, { "id": "5ef3e3259ad2a1191ab7dd7d", "name": "AAM Devices Data", "description": "Activation profile export dataset", "fileDescription": { "persisted": true, "containerFormat": "parquet", "format": "parquet" }, "aspect": "production", "state": "DRAFT" }, { "id": "5ef3e325582424191b1beb42", "name": "AAM Devices Profile Meta Data", "description": "Activation profile export dataset", "fileDescription": { "persisted": true, "containerFormat": "parquet", "format": "parquet" }, "aspect": "production", "state": "DRAFT" }, { "id": "5ef3e328582424191b1beb44", "name": "AAM Realtime", "description": "Activation profile export dataset", "fileDescription": { "persisted": true, "containerFormat": "parquet", "format": "parquet" }, "aspect": "production", "state": "DRAFT" }, { "id": "5ef3e328fe742a191b2b3ea5", "name": "AAM Realtime Profile Updates", "description": "Activation profile export dataset", "fileDescription": { "persisted": true, "containerFormat": "parquet", "format": "parquet" }, "aspect": "production", "state": "DRAFT" } ], "pageInfo": { "start": 0, "end": 4, "total": 149, "hasNext": true } }

{
    "items": [
        {
            "id": "5ef3e324052581191aa6a466",
            "name": "AAM Authenticated Profiles Meta Data",
            "description": "Activation profile export dataset",
            "fileDescription": {
                "persisted": true,
                "containerFormat": "parquet",
                "format": "parquet"
            },
            "aspect": "production",
            "state": "DRAFT"
        },
        {
            "id": "5ef3e3259ad2a1191ab7dd7d",
            "name": "AAM Devices Data",
            "description": "Activation profile export dataset",
            "fileDescription": {
                "persisted": true,
                "containerFormat": "parquet",
                "format": "parquet"
            },
            "aspect": "production",
            "state": "DRAFT"
        },
        {
            "id": "5ef3e325582424191b1beb42",
            "name": "AAM Devices Profile Meta Data",
            "description": "Activation profile export dataset",
            "fileDescription": {
                "persisted": true,
                "containerFormat": "parquet",
                "format": "parquet"
            },
            "aspect": "production",
            "state": "DRAFT"
        },
        {
            "id": "5ef3e328582424191b1beb44",
            "name": "AAM Realtime",
            "description": "Activation profile export dataset",
            "fileDescription": {
                "persisted": true,
                "containerFormat": "parquet",
                "format": "parquet"
            },
            "aspect": "production",
            "state": "DRAFT"
        },
        {
            "id": "5ef3e328fe742a191b2b3ea5",
            "name": "AAM Realtime Profile Updates",
            "description": "Activation profile export dataset",
            "fileDescription": {
                "persisted": true,
                "containerFormat": "parquet",
                "format": "parquet"
            },
            "aspect": "production",
            "state": "DRAFT"
        }
    ],
    "pageInfo": {
        "start": 0,
        "end": 4,
        "total": 149,
        "hasNext": true
    }
}

style

shade-box

Een succesvol antwoord bevat een lijst met gegevenssets die in aanmerking komen voor activering. Deze datasets kunnen worden gebruikt wanneer het construeren van de bronverbinding in de volgende stap.

Voor informatie over de diverse reactieparameters voor elke teruggekeerde dataset, verwijs naar Documentatie voor ontwikkelaars van de API voor gegevenssets.

Een bronverbinding maken create-source-connection

Diagram dat stap 2 in het werkschema van de uitvoerdatasets toont

Na het terugwinnen van de lijst van datasets die u wilt uitvoeren, kunt u een bronverbinding tot stand brengen gebruikend die dataset IDs.

Verzoek

Bronverbinding maken - Verzoek

Maak een notitie van de gemarkeerde regels met inline opmerkingen in het aanvraagvoorbeeld, die aanvullende informatie bevatten. Verwijder de inline commentaren in het verzoek wanneer het kopiëren-kleeft van het verzoek in uw terminal van keus.

code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-16

code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-16
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/sourceConnections' \ --header 'accept: application/json' \ --header 'x-api-key: {API_KEY}' \ --header 'x-gw-ims-org-id: {ORG_ID}' \ --header 'x-sandbox-name: {SANDBOX_NAME}' \ --header 'Content-Type: application/json' \ --header 'Authorization: Bearer {ACCESS_TOKEN}' \ --data-raw '{ "name": "Connecting to Data Lake", "description": "Data Lake source connection to export datasets", "connectionSpec": { "id": "23598e46-f560-407b-88d5-ea6207e49db0", // this connection spec ID is always the same for Source Connections "version": "1.0" }, "params": { "datasets": [ // datasets to activate { "dataSetId": "5ef3e3259ad2a1191ab7dd7d", "name": "AAM Devices Data" } ] } }'

curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/sourceConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
  "name": "Connecting to Data Lake",
  "description": "Data Lake source connection to export datasets",
  "connectionSpec": {
    "id": "23598e46-f560-407b-88d5-ea6207e49db0", // this connection spec ID is always the same for Source Connections
    "version": "1.0"
  },
  "params": {
    "datasets": [ // datasets to activate
      {
        "dataSetId": "5ef3e3259ad2a1191ab7dd7d",
        "name": "AAM Devices Data"
      }
    ]
  }
}'

Antwoord

Bronverbinding maken - Reactie

code language-json
`{ "id": "900df191-b983-45cd-90d5-4c7a0326d650", "etag": "\"0500ebe1-0000-0200-0000-63e28d060000\"" }`

style

shade-box

Een geslaagde reactie retourneert de id (id) van de nieuwe bronverbinding en een etag. Noteer de bron-verbindings-id zoals u deze later nodig hebt wanneer u de gegevensstroom maakt.

Houd er rekening mee dat:

De bronverbinding die in deze stap wordt gecreeerd moet met een dataflow voor zijn datasets worden verbonden om aan een bestemming te worden geactiveerd. Zie de een gegevensstroom maken voor informatie over hoe te om een bronverbinding aan een dataflow te verbinden.
De dataset IDs van een bronverbinding kan niet na verwezenlijking worden gewijzigd. Als u datasets uit een bronverbinding moet toevoegen of verwijderen, moet u een nieuwe bronverbinding tot stand brengen en identiteitskaart van de nieuwe bronverbinding met dataflow verbinden.

Een basisverbinding (doel) maken create-base-connection

Diagram dat stap 3 in het werkschema van de uitvoerdatasets toont

Een basisverbinding slaat veilig de geloofsbrieven aan uw bestemming op. Afhankelijk van het bestemmingstype, kunnen de geloofsbrieven nodig om tegen die bestemming voor authentiek te verklaren variëren. Om deze authentificatieparameters te vinden, wint eerst terug connection spec voor het gewenste doel zoals beschreven in de sectie Verbindingsspecificaties en stroomspecificaties verzamelen en bekijk dan de authSpec van de respons. Verwijs naar de tabbladen hieronder voor de authSpec eigenschappen van alle ondersteunde doelen.

Amazon S3

accordion

Amazon S3 - Connection spec tonen auth spec

De gemarkeerde regel met inline opmerkingen in het dialoogvenster connection spec voorbeeld hieronder, dat extra informatie over verstrekt waar te om de authentificatieparameters in te vinden connection spec.

code language-json line-numbers data-start-1 data-line-offset-4 h-8

{
    "items": [
        {
            "id": "4fce964d-3f37-408f-9778-e597338a21ee",
            "name": "Amazon S3",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [ // describes the authentication parameters
                {
                    "name": "Access Key",
                    "type": "KeyBased",
                    "spec": {
                        "$schema": "http://json-schema.org/draft-07/schema#",
                        "description": "Defines auth params required for connecting to amazon-s3",
                        "type": "object",
                        "properties": {
                            "s3AccessKey": {
                                "description": "Access key id",
                                "type": "string",
                                "pattern": "^[A-Z2-7]{20}$"
                            },
                            "s3SecretKey": {
                                "description": "Secret access key for the user account",
                                "type": "string",
                                "format": "password",
                                "pattern": "^[A-Za-z0-9\/+]{40}$"
                            }
                        },
                        "required": [
                            "s3SecretKey",
                            "s3AccessKey"
                        ]
                    }
                }
            ],
//...

Azure Blob Storage

accordion

Azure Blob Storage - Connection spec tonen auth spec

code language-json line-numbers data-start-1 data-line-offset-4 h-8

{
    "items": [
        {
            "id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2",
            "name": "Azure Blob Storage",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [ // describes the authentication parameters
                {
                    "name": "ConnectionString",
                    "type": "ConnectionString",
                    "spec": {
                        "$schema": "http://json-schema.org/draft-07/schema#",
                        "description": "Connection String for Azure Blob based destinations",
                        "type": "object",
                        "properties": {
                            "connectionString": {
                                "description": "connection string for login",
                                "type": "string",
                                "format": "password"
                            }
                        },
                        "required": [
                            "connectionString"
                        ]
                    }
                }
            ],
//...

Azure Data Lake Gen 2 (ADLS Gen2)

accordion

Azure Data Lake Gen 2(ADLS Gen2) - Connection spec tonen auth spec

code language-json line-numbers data-start-1 data-line-offset-4 h-8

{
    "items": [
        {
            "id": "be2c3209-53bc-47e7-ab25-145db8b873e1",
            "name": "Azure Data Lake Gen2",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [ // describes the authentication parameters
                {
                    "name": "Azure Service Principal Auth",
                    "type": "AzureServicePrincipal",
                    "spec": {
                        "$schema": "http://json-schema.org/draft-07/schema#",
                        "description": "defines auth params required for connecting to adlsgen2 using service principal",
                        "type": "object",
                        "properties": {
                            "url": {
                                "description": "Endpoint for Azure Data Lake Storage Gen2.",
                                "type": "string"
                            },
                            "servicePrincipalId": {
                                "description": "Service Principal Id to connect to ADLSGen2.",
                                "type": "string"
                            },
                            "servicePrincipalKey": {
                                "description": "Service Principal Key to connect to ADLSGen2.",
                                "type": "string",
                                "format": "password"
                            },
                            "tenant": {
                                "description": "Tenant information(domain name or tenant ID).",
                                "type": "string"
                            }
                        },
                        "required": [
                            "servicePrincipalKey",
                            "url",
                            "tenant",
                            "servicePrincipalId"
                        ]
                    }
                }
            ],
//...

Data Landing Zone (DLZ)

accordion

Data Landing Zone(DLZ) - Connection spec tonen auth spec

note note
NOTE
De bestemming van de Gebied van Gegevens Landing vereist geen auth spec.

code language-json
`{ "items": [ { "id": "10440537-2a7b-4583-ac39-ed38d4b848e8", "name": "Data Landing Zone", "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4", "version": "1.0", "authSpec": [], //...`

Google Cloud Storage

accordion

Google Cloud Storage - Connection spec tonen auth spec

code language-json line-numbers data-start-1 data-line-offset-4 h-8

{
    "items": [
        {
            "id": "c5d93acb-ea8b-4b14-8f53-02138444ae99",
            "name": "Google Cloud Storage",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [ // describes the authentication parameters
                {
                    "name": "Google Cloud Storage authentication credentials",
                    "type": "GoogleCloudStorageAuth",
                    "spec": {
                        "$schema": "http://json-schema.org/draft-07/schema#",
                        "description": "defines auth params required for connecting to google cloud storage connector.",
                        "type": "object",
                        "properties": {
                            "accessKeyId": {
                                "description": "Access Key Id for the user account",
                                "type": "string"
                            },
                            "secretAccessKey": {
                                "description": "Secret Access Key for the user account",
                                "type": "string",
                                "format": "password"
                            }
                        },
                        "required": [
                            "accessKeyId",
                            "secretAccessKey"
                        ]
                    }
                }
            ],
//...

SFTP

accordion

SFTP - Connection spec tonen auth spec

note note
NOTE
De bestemming SFTP bevat twee afzonderlijke punten in auth spec, omdat deze zowel wachtwoord- als SSH-sleutelverificatie ondersteunt.

code language-json line-numbers data-start-1 data-line-offset-4 h-8

{
    "items": [
        {
            "id": "36965a81-b1c6-401b-99f8-22508f1e6a26",
            "name": "SFTP",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [ // describes the authentication parameters
                {
                    "name": "SFTP with Password",
                    "type": "SFTP",
                    "spec": {
                        "$schema": "http://json-schema.org/draft-07/schema#",
                        "description": "defines auth params required for connecting to sftp locations with a password",
                        "type": "object",
                        "properties": {
                            "domain": {
                                "description": "Domain of server",
                                "type": "string"
                            },
                            "username": {
                                "description": "Username",
                                "type": "string"
                            },
                            "password": {
                                "description": "Password",
                                "type": "string",
                                "format": "password"
                            }
                        },
                        "required": [
                            "password",
                            "domain",
                            "username"
                        ]
                    }
                },
                {
                    "name": "SFTP with SSH Key",
                    "type": "SFTP",
                    "spec": {
                        "$schema": "http://json-schema.org/draft-07/schema#",
                        "description": "defines auth params required for connecting to sftp locations using SSH Key",
                        "type": "object",
                        "properties": {
                            "domain": {
                                "description": "Domain of server",
                                "type": "string"
                            },
                            "username": {
                                "description": "Username",
                                "type": "string"
                            },
                            "sshKey": {
                                "description": "Base64 string of the private SSH key",
                                "type": "string",
                                "format": "password",
                                "contentEncoding": "base64",
                                "uiAttributes": {
                                    "tooltip": {
                                        "id": "platform_destinations_connect_sftp_ssh",
                                        "fallbackUrl": "http://www.adobe.com/go/destinations-sftp-connection-parameters-en "
                                    }
                                }
                            }
                        },
                        "required": [
                            "sshKey",
                            "domain",
                            "username"
                        ]
                    }
                }
            ],
//...

De eigenschappen gebruiken die in de verificatiespecificatie (d.w.z. authSpec vanuit de reactie) kunt u een basisverbinding maken met de vereiste referenties, specifiek voor elk doeltype, zoals in de volgende voorbeelden wordt getoond:

Amazon S3

Verzoek

accordion

Amazon S3 - Aanvraag voor basisverbinding

note tip
TIP
Voor informatie over hoe te om de vereiste authentificatiegeloofsbrieven te verkrijgen, verwijs naar authenticeren naar doel sectie van de Amazon S3 pagina van de bestemmingsdocumentatie.

code language-shell line-numbers data-start-1 data-line-offset-4 h-18

curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
  "name": "Amazon S3 Base Connection",
  "auth": {
    "specName": "Access Key",
    "params": {
      "s3SecretKey": "<Add secret key>",
      "s3AccessKey": "<Add access key>"
    }
  },
  "connectionSpec": {
    "id": "4fce964d-3f37-408f-9778-e597338a21ee", // Amazon S3 connection spec
    "version": "1.0"
  }
}'

Antwoord

accordion

Amazon S3 Reactie basisverbinding

code language-json
`{ "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c", "etag": "\"0000d781-0000-0200-0000-63e29f420000\"" }`

Azure Blob Storage

Verzoek

accordion

Azure Blob Storage - Aanvraag voor basisverbinding

note tip
TIP
Voor informatie over hoe te om de vereiste authentificatiegeloofsbrieven te verkrijgen, verwijs naar authenticeren naar doel sectie van de Azure Blob Storage-doeldocumentatiepagina.

code language-shell line-numbers data-start-1 data-line-offset-4 h-16

curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
  "name": "Azure Blob Storage Base Connection",
  "auth": {
    "specName": "ConnectionString",
    "params": {
      "connectionString": "<Add Azure Blob connection string>"
    }
  },
  "connectionSpec": {
    "id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2", // Azure Blob Storage connection spec
    "version": "1.0"
  }
}'

Antwoord

accordion

Azure Blob Storage - Basisverbindingsreactie

code language-json
`{ "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c", "etag": "\"0000d781-0000-0200-0000-63e29f420000\"" }`

Azure Data Lake Gen 2 (ADLS Gen2)

Verzoek

accordion

Azure Data Lake Gen 2(ADLS Gen2) - Aanvraag voor basisverbinding

note tip
TIP
Voor informatie over hoe te om de vereiste authentificatiegeloofsbrieven te verkrijgen, verwijs naar authenticeren naar doel sectie van de bestemmingsdocumentatiepagina van Azure Data Lake Gen 2 (ADLS Gen2).

code language-shell line-numbers data-start-1 data-line-offset-4 h-20

curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
  "name": "Azure Data Lake Gen 2(ADLS Gen2) Base Connection",
  "auth": {
    "specName": "Azure Service Principal Auth",
    "params": {
      "servicePrincipalKey": "<Add servicePrincipalKey>",
      "url": "<Add url>",
      "tenant": "<Add tenant>",
      "servicePrincipalId": "<Add servicePrincipalId>"
    }
  },
  "connectionSpec": {
    "id": "be2c3209-53bc-47e7-ab25-145db8b873e1", // Azure Data Lake Gen 2(ADLS Gen2) connection spec
    "version": "1.0"
  }
}'

Antwoord

accordion

Azure Data Lake Gen 2(ADLS Gen2) - Basisverbindingsreactie

code language-json
`{ "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c", "etag": "\"0000d781-0000-0200-0000-63e29f420000\"" }`

Data Landing Zone (DLZ)

Verzoek

accordion

Data Landing Zone(DLZ) - Aanvraag voor basisverbinding

note tip
TIP
Er zijn geen verificatiereferenties vereist voor de bestemming Landing Zone voor gegevens. Raadpleeg voor meer informatie de authenticeren naar doel sectie van de de bestemmingsdocumentatiepagina van de Gebied van Gegevens.

code language-shell

curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
  "name": "Data Landing Zone(DLZ) Base Connection"
}'

Antwoord

accordion

Data Landing Zone - Basisverbindingsreactie

code language-json
`{ "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c", "etag": "\"0000d781-0000-0200-0000-63e29f420000\"" }`

Google Cloud Storage

Verzoek

accordion

Google Cloud Storage - Aanvraag voor basisverbinding

note tip
TIP
Voor informatie over hoe te om de vereiste authentificatiegeloofsbrieven te verkrijgen, verwijs naar authenticeren naar doel op de pagina met doeldocumentatie voor Google Cloud Storage.

code language-shell line-numbers data-start-1 data-line-offset-4 h-18

curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
  "name": "Google Cloud Storage Base Connection",
  "auth": {
    "specName": "Google Cloud Storage authentication credentials",
    "params": {
      "accessKeyId": "<Add accessKeyId>",
      "secretAccessKey": "<Add secret Access Key>"
    }
  },
  "connectionSpec": {
    "id": "c5d93acb-ea8b-4b14-8f53-02138444ae99", // Google Cloud Storage connection spec
    "version": "1.0"
  }
}'

Antwoord

accordion

Google Cloud Storage - Basisverbindingsreactie

code language-json
`{ "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c", "etag": "\"0000d781-0000-0200-0000-63e29f420000\"" }`

SFTP

Verzoek

accordion

SFTP met wachtwoord - de Verzoek van de Verbinding van de basis

note tip
TIP
Voor informatie over hoe te om de vereiste authentificatiegeloofsbrieven te verkrijgen, verwijs naar authenticeren naar doel van de pagina van de de bestemmingsdocumentatie van SFTP.

code language-shell line-numbers data-start-1 data-line-offset-4 h-19

curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
  "name": "SFTP with password Base Connection",
  "auth": {
    "specName": "SFTP with Password",
    "params": {
      "domain": "<Add domain>",
      "username": "<Add username>",
      "password": "<Add password>"
    }
  },
  "connectionSpec": {
    "id": "36965a81-b1c6-401b-99f8-22508f1e6a26", // SFTP connection spec
    "version": "1.0"
  }
}'

accordion

SFTP met SSH-sleutel - Aanvraag voor basisverbinding

note tip
TIP
Voor informatie over hoe te om de vereiste authentificatiegeloofsbrieven te verkrijgen, verwijs naar authenticeren naar doel van de pagina van de de bestemmingsdocumentatie van SFTP.

code language-shell line-numbers data-start-1 data-line-offset-4 h-19

curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
  "name": "SFTP with SSH key Base Connection",
  "auth": {
    "specName": "SFTP with SSH Key",
    "params": {
      "domain": "<Add domain>",
      "username": "<Add username>",
      "sshKey": "<Add SSH key>"
    }
  },
  "connectionSpec": {
    "id": "36965a81-b1c6-401b-99f8-22508f1e6a26", // SFTP connection spec
    "version": "1.0"
  }
}'

Antwoord

accordion

SFTP - De reactie van de basisverbinding

code language-json
`{ "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c", "etag": "\"0000d781-0000-0200-0000-63e29f420000\"" }`

Noteer de verbinding-id in het antwoord. Deze id is vereist in de volgende stap bij het maken van de doelverbinding.

Een doelverbinding maken create-target-connection

Diagram dat stap 4 in het werkschema van uitvoerdatasets toont

Daarna, moet u een doelverbinding tot stand brengen die de uitvoerparameters voor uw datasets opslaat. Exportparameters zijn onder andere locatie, bestandsindeling, compressie en andere details. Zie de targetSpec eigenschappen verstrekt in de de verbindingsspecificatie van de bestemming om de gesteunde eigenschappen voor elk bestemmingstype te begrijpen. Verwijs naar de tabbladen hieronder voor de targetSpec eigenschappen van alle ondersteunde doelen.

WARNING

Exporteren naar JSON-bestanden worden alleen in de gecomprimeerde modus ondersteund. Exporteren naar Parquet bestanden worden ondersteund in een gecomprimeerde en niet-gecomprimeerde modus.

Amazon S3

accordion

Amazon S3 - Connection spec doelverbindingsparameters weergeven

Let op de gemarkeerde regels met inline opmerkingen in het dialoogvenster connection spec voorbeeld hieronder, die extra informatie verstrekken over waar te om te vinden target spec parameters in de verbindingsspecificatie. U kunt ook in het voorbeeld zien waaronder doelparameters niet van toepassing op gegevenssetuitvoerbestemmingen.

code language-json line-numbers data-start-1 data-line-offset-4 h-10 h-41 h-56

{
    "items": [
        {
            "id": "4fce964d-3f37-408f-9778-e597338a21ee",
            "name": "Amazon S3",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [...],
            "encryptionSpecs": [...],
            "targetSpec": { // describes the target connection parameters
                "name": "User based target",
                "type": "UserNamespace",
                "spec": {
                    "$schema": "http://json-schema.org/draft-07/schema#",
                    "type": "object",
                    "properties": {
                        "bucketName": {
                            "title": "Bucket name",
                            "description": "Bucket name",
                            "type": "string",
                            "pattern": "(?=^.{3,63}$)(?!^(\\d+\\.)+\\d+$)(^(([a-z0-9]|[a-z0-9][a-z0-9\\-]*[a-z0-9])\\.)*([a-z0-9]|[a-z0-9][a-z0-9\\-]*[a-z0-9])$)",
                            "uiAttributes": {
                                "tooltip": {
                                    "id": "platform_destinations_connect_s3_bucket",
                                    "fallbackUrl": "http://www.adobe.com/go/destinations-amazon-s3-connection-parameters-en"
                                }
                            }
                        },
                        "path": {
                            "title": "Folder path",
                            "description": "Output path for copying files",
                            "type": "string",
                            "pattern": "^[0-9a-zA-Z\/\\!\\-_\\.\\*\\''\\(\\)]*((\\%SEGMENT_(NAME|ID)\\%)?\/?)+$",
                            "uiAttributes": {
                                "tooltip": {
                                    "id": "platform_destinations_connect_s3_folderpath",
                                    "fallbackUrl": "http://www.adobe.com/go/destinations-amazon-s3-connection-parameters-en"
                                }
                            }
                        },
                        "fileType": {...}, // not applicable to dataset destinations
                        "datasetFileType": {
                            "conditional": {
                                "field": "flowSpec.attributes._workflow",
                                "operator": "CONTAINS",
                                "value": "DATASETS"
                            },
                            "title": "File Type",
                            "description": "Select file format",
                            "type": "string",
                            "enum": [
                                "JSON",
                                "PARQUET"
                            ]
                        },
                        "csvOptions": {...}, // not applicable to dataset destinations
                        "compression": {
                            "title": "Compression format",
                            "description": "Select the desired file compression format.",
                            "type": "string",
                            "enum": [
                                "NONE",
                                "GZIP"
                            ]
                        }
                    },
                    "required": [
                        "bucketName",
                        "path",
                        "datasetFileType",
                        "compression",
                        "fileType"
                    ]
                }
//...

Azure Blob Storage

accordion

Azure Blob Storage - Connection spec doelverbindingsparameters weergeven

code language-json line-numbers data-start-1 data-line-offset-4 h-10 h-29 h-44

{
    "items": [
        {
            "id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2",
            "name": "Azure Blob Storage",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [...],
            "encryptionSpecs": [...],
            "targetSpec": { // describes the target connection parameters
                "name": "User based target",
                "type": "UserNamespace",
                "spec": {
                    "$schema": "http://json-schema.org/draft-07/schema#",
                    "type": "object",
                    "properties": {
                        "path": {
                            "title": "Folder path",
                            "description": "Output path (relative) indicating where to upload the data",
                            "type": "string",
                            "pattern": "^[0-9a-zA-Z\/\\!\\-_\\.\\*\\'\\(\\)]+$"
                        },
                        "container": {
                            "title": "Container",
                            "description": "Container within the storage where to upload the data",
                            "type": "string",
                            "pattern": "^[a-z0-9](?!.*--)[a-z0-9-]{1,61}[a-z0-9]$"
                        },
                        "fileType": {...}, // not applicable to dataset destinations
                        "datasetFileType": {
                            "conditional": {
                                "field": "flowSpec.attributes._workflow",
                                "operator": "CONTAINS",
                                "value": "DATASETS"
                            },
                            "title": "File Type",
                            "description": "Select file format",
                            "type": "string",
                            "enum": [
                                "JSON",
                                "PARQUET"
                            ]
                        },
                        "csvOptions": {...}, // not applicable to dataset destinations
                        "compression": {
                            "title": "Compression format",
                            "description": "Select the desired file compression format.",
                            "type": "string",
                            "enum": [
                                "NONE",
                                "GZIP"
                            ]
                        }
                    },
                    "required": [
                        "container",
                        "path",
                        "datasetFileType",
                        "compression",
                        "fileType"
                    ]
                }
//...

Azure Data Lake Gen 2 (ADLS Gen2)

accordion

Azure Data Lake Gen 2(ADLS Gen2) - Connection spec doelverbindingsparameters weergeven

code language-json line-numbers data-start-1 data-line-offset-4 h-10 h-22 h-37

{
    "items": [
        {
            "id": "be2c3209-53bc-47e7-ab25-145db8b873e1",
            "name": "Azure Data Lake Gen2",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [...],
            "encryptionSpecs": [...],
            "targetSpec": { // describes the target connection parameters
                "name": "User based target",
                "type": "UserNamespace",
                "spec": {
                    "$schema": "http://json-schema.org/draft-07/schema#",
                    "type": "object",
                    "properties": {
                        "path": {
                            "title": "Folder path",
                            "description": "Enter the path to your Azure Data Lake Storage folder",
                            "type": "string"
                        },
                        "fileType": {...}, // not applicable to dataset destinations
                        "datasetFileType": {
                            "conditional": {
                                "field": "flowSpec.attributes._workflow",
                                "operator": "CONTAINS",
                                "value": "DATASETS"
                            },
                            "title": "File Type",
                            "description": "Select file format",
                            "type": "string",
                            "enum": [
                                "JSON",
                                "PARQUET"
                            ]
                        },
                        "csvOptions":{...}, // not applicable to dataset destinations
                        "compression": {
                            "title": "Compression format",
                            "description": "Select the desired file compression format.",
                            "type": "string",
                            "enum": [
                                "NONE",
                                "GZIP"
                            ]
                        }
                    },
                    "required": [
                        "path",
                        "datasetFileType",
                        "compression",
                        "fileType"
                    ]
                }
//...

Data Landing Zone (DLZ)

accordion

Data Landing Zone(DLZ) - Connection spec doelverbindingsparameters weergeven

code language-json line-numbers data-start-1 data-line-offset-4 h-9 h-21 h-36

"items": [
    {
        "id": "10440537-2a7b-4583-ac39-ed38d4b848e8",
        "name": "Data Landing Zone",
        "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
        "version": "1.0",
        "authSpec": [],
        "encryptionSpecs": [],
        "targetSpec": { // describes the target connection parameters
            "name": "User based target",
            "type": "UserNamespace",
            "spec": {
                "$schema": "http://json-schema.org/draft-07/schema#",
                "type": "object",
                "properties": {
                    "path": {
                        "title": "Folder path",
                        "description": "Enter the path to your Azure Data Lake Storage folder",
                        "type": "string"
                    },
                    "fileType": {...}, // not applicable to dataset destinations
                    "datasetFileType": {
                        "conditional": {
                            "field": "flowSpec.attributes._workflow",
                            "operator": "CONTAINS",
                            "value": "DATASETS"
                        },
                        "title": "File Type",
                        "description": "Select file format",
                        "type": "string",
                        "enum": [
                            "JSON",
                            "PARQUET"
                        ]
                    },
                    "csvOptions": {...}, // not applicable to dataset destinations
                    "compression": {
                        "title": "Compression format",
                        "description": "Select the desired file compression format.",
                        "type": "string",
                        "enum": [
                            "NONE",
                            "GZIP"
                        ]
                    }
                },
                "required": [
                    "path",
                    "datasetFileType",
                    "compression",
                    "fileType"
                ]
            }
//...

Google Cloud Storage

accordion

Google Cloud Storage - Connection spec doelverbindingsparameters weergeven

code language-json line-numbers data-start-1 data-line-offset-4 h-10 h-29 h-44

{
    "items": [
        {
            "id": "c5d93acb-ea8b-4b14-8f53-02138444ae99",
            "name": "Google Cloud Storage",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [...],
            "encryptionSpecs": [...],
            "targetSpec": { // describes the target connection parameters
                "name": "User based target",
                "type": "UserNamespace",
                "spec": {
                    "$schema": "http://json-schema.org/draft-07/schema#",
                    "type": "object",
                    "properties": {
                        "bucketName": {
                            "title": "Bucket name",
                            "description": "Bucket name",
                            "type": "string",
                            "pattern": "(?!^goog.*$)(?!^.*g(o|0)(o|0)gle.*$)(((?=^.{3,63}$)(^([a-z0-9]|[a-z0-9][a-z0-9\\-_]*)[a-z0-9]$))|((?=^.{3,222}$)(?!^(\\d+\\.)+\\d+$)(^(([a-z0-9]{1,63}|[a-z0-9][a-z0-9\\-_]{1,61}[a-z0-9])\\.)*([a-z0-9]{1,63}|[a-z0-9][a-z0-9\\-_]{1,61}[a-z0-9])$)))"
                        },
                        "path": {
                            "title": "Folder path",
                            "description": "Output path for copying files",
                            "type": "string",
                            "pattern": "^[0-9a-zA-Z\/\\!\\-_\\.\\*\\''\\(\\)]*((\\%SEGMENT_(NAME|ID)\\%)?\/?)+$"
                        },
                        "fileType": {...}, // not applicable to dataset destinations
                        "datasetFileType": {
                            "conditional": {
                                "field": "flowSpec.attributes._workflow",
                                "operator": "CONTAINS",
                                "value": "DATASETS"
                            },
                            "title": "File Type",
                            "description": "Select file format",
                            "type": "string",
                            "enum": [
                                "JSON",
                                "PARQUET"
                            ]
                        },
                        "csvOptions": {...}, // not applicable to dataset destinations
                        "compression": {
                            "title": "Compression format",
                            "description": "Select the desired file compression format.",
                            "type": "string",
                            "enum": [
                                "NONE",
                                "GZIP"
                            ]
                        }
                    },
                    "required": [
                        "bucketName",
                        "path",
                        "datasetFileType",
                        "compression",
                        "fileType"
                    ]
                }
//...

SFTP

accordion

SFTP - Connection spec doelverbindingsparameters weergeven

code language-json line-numbers data-start-1 data-line-offset-4 h-10 h-22 h-37

{
    "items": [
        {
            "id": "36965a81-b1c6-401b-99f8-22508f1e6a26",
            "name": "SFTP",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [...],
            "encryptionSpecs": [...],
            "targetSpec": { // describes the target connection parameters
                "name": "User based target",
                "type": "UserNamespace",
                "spec": {
                    "$schema": "http://json-schema.org/draft-07/schema#",
                    "type": "object",
                    "properties": {
                        "remotePath": {
                            "title": "Folder path",
                            "description": "Enter your folder path",
                            "type": "string"
                        },
                        "fileType": {...}, // not applicable to dataset destinations
                        "datasetFileType": {
                            "conditional": {
                                "field": "flowSpec.attributes._workflow",
                                "operator": "CONTAINS",
                                "value": "DATASETS"
                            },
                            "title": "File Type",
                            "description": "Select file format",
                            "type": "string",
                            "enum": [
                                "JSON",
                                "PARQUET"
                            ]
                        },
                        "csvOptions": {...}, // not applicable to dataset destinations
                        "compression": {
                            "title": "Compression format",
                            "description": "Select the desired file compression format.",
                            "type": "string",
                            "enum": [
                                "GZIP",
                                "NONE"
                            ]
                        }
                    },
                    "required": [
                        "remotePath",
                        "datasetFileType",
                        "compression",
                        "fileType"
                    ]
                },
//...

Aan de hand van de bovenstaande specificatie kunt u een aanvraag voor een doelverbinding samenstellen die specifiek is voor uw gewenste bestemming voor cloudopslag, zoals weergegeven in de onderstaande tabbladen.

Amazon S3

Verzoek

accordion

Amazon S3 - Aanvraag voor doelverbinding

note tip
TIP
Voor informatie over hoe te om de vereiste doelparameters te verkrijgen, verwijs naar bestemmingsdetails invullen van de Amazon S3 pagina met doeldocumentatie. Voor andere ondersteunde waarden van `datasetFileType`Zie de API-naslagdocumentatie.

code language-shell line-numbers data-start-1 data-line-offset-4 h-19

curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Amazon S3 Target Connection",
    "baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
    "params": {
        "mode": "Server-to-server",
        "bucketName": "your-bucket-name",
        "path": "folder/subfolder",
        "compression": "NONE",
        "datasetFileType": "JSON"
    },
    "connectionSpec": {
        "id": "4fce964d-3f37-408f-9778-e597338a21ee", // Amazon S3 connection spec id
        "version": "1.0"
    }
}'

Antwoord

accordion

Target-verbinding - Reactie

code language-json
`{ "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c", "etag": "\"0000d781-0000-0200-0000-63e29f420000\"" }`

Azure Blob Storage

Verzoek

accordion

Azure Blob Storage - Aanvraag voor doelverbinding

note tip
TIP
Voor informatie over hoe te om de vereiste doelparameters te verkrijgen, verwijs naar bestemmingsdetails invullen van de Azure Blob Storage pagina met doeldocumentatie. Voor andere ondersteunde waarden van `datasetFileType`Zie de API-naslagdocumentatie.

code language-shell line-numbers data-start-1 data-line-offset-4 h-19

curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Azure Blob Storage Target Connection",
    "baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
    "params": {
        "mode": "Server-to-server",
        "container": "your-container-name",
        "path": "folder/subfolder",
        "compression": "NONE",
        "datasetFileType": "JSON"
    },
    "connectionSpec": {
        "id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2", // Azure Blob Storage connection spec id
        "version": "1.0"
    }
}'

Antwoord

accordion

Target-verbinding - Reactie

code language-json
`{ "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c", "etag": "\"0000d781-0000-0200-0000-63e29f420000\"" }`

Azure Data Lake Gen 2 (ADLS Gen2)

Verzoek

accordion

Azure Blob Storage - Aanvraag voor doelverbinding

note tip
TIP
Voor informatie over hoe te om de vereiste doelparameters te verkrijgen, verwijs naar bestemmingsdetails invullen sectie van de Azure Data Lake Gen 2(ADLS Gen2) pagina met doeldocumentatie. Voor andere ondersteunde waarden van `datasetFileType`Zie de API-naslagdocumentatie.

code language-shell line-numbers data-start-1 data-line-offset-4 h-18

curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Azure Data Lake Gen 2(ADLS Gen2) Target Connection",
    "baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
    "params": {
        "mode": "Server-to-server",
        "path": "folder/subfolder",
        "compression": "NONE",
        "datasetFileType": "JSON"
    },
    "connectionSpec": {
        "id": "be2c3209-53bc-47e7-ab25-145db8b873e1", // Azure Data Lake Gen 2(ADLS Gen2) connection spec id
        "version": "1.0"
    }
}'

Antwoord

accordion

Target-verbinding - Reactie

code language-json
`{ "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c", "etag": "\"0000d781-0000-0200-0000-63e29f420000\"" }`

Data Landing Zone (DLZ)

Verzoek

accordion

Data Landing Zone - Aanvraag voor doelverbinding

note tip
TIP
Voor informatie over hoe te om de vereiste doelparameters te verkrijgen, verwijs naar bestemmingsdetails invullen van de Data Landing Zone pagina met doeldocumentatie. Voor andere ondersteunde waarden van `datasetFileType`Zie de API-naslagdocumentatie.

code language-shell line-numbers data-start-1 data-line-offset-4 h-18

curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Data Landing Zone Target Connection",
    "baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
    "params": {
        "mode": "Server-to-server",
        "path": "folder/subfolder",
        "compression": "NONE",
        "datasetFileType": "JSON"
    },
    "connectionSpec": {
        "id": "10440537-2a7b-4583-ac39-ed38d4b848e8", // Data Landing Zone connection spec id
        "version": "1.0"
    }
}'

Antwoord

accordion

Target-verbinding - Reactie

code language-json
`{ "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c", "etag": "\"0000d781-0000-0200-0000-63e29f420000\"" }`

Google Cloud Storage

Verzoek

accordion

Google Cloud Storage - Aanvraag voor doelverbinding

note tip
TIP
Voor informatie over hoe te om de vereiste doelparameters te verkrijgen, verwijs naar bestemmingsdetails invullen van de Google Cloud Storage pagina met doeldocumentatie. Voor andere ondersteunde waarden van `datasetFileType`Zie de API-naslagdocumentatie.

code language-shell line-numbers data-start-1 data-line-offset-4 h-19

curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Google Cloud Storage Target Connection",
    "baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
    "params": {
        "mode": "Server-to-server",
        "bucketName": "your-bucket-name",
        "path": "folder/subfolder",
        "compression": "NONE",
        "datasetFileType": "JSON"
    },
    "connectionSpec": {
        "id": "c5d93acb-ea8b-4b14-8f53-02138444ae99", // Google Cloud Storage connection spec id
        "version": "1.0"
    }
}'

Antwoord

accordion

Target-verbinding - Reactie

code language-json
`{ "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c", "etag": "\"0000d781-0000-0200-0000-63e29f420000\"" }`

SFTP

Verzoek

accordion

SFTP - verzoek van de Verbinding van het doel

note tip
TIP
Voor informatie over hoe te om de vereiste doelparameters te verkrijgen, verwijs naar bestemmingsdetails invullen van de pagina van de de bestemmingsdocumentatie van SFTP. Voor andere ondersteunde waarden van `datasetFileType`Zie de API-naslagdocumentatie.

code language-shell line-numbers data-start-1 data-line-offset-4 h-18

curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "SFTP Target Connection",
    "baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
    "params": {
        "mode": "Server-to-server",
        "remotePath": "folder/subfolder",
        "compression": "NONE",
        "datasetFileType": "JSON"
    },
    "connectionSpec": {
        "id": "36965a81-b1c6-401b-99f8-22508f1e6a26", // SFTP connection spec id
        "version": "1.0"
    }
}'

Antwoord

accordion

Doelverbinding - Reactie

code language-json
`{ "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c", "etag": "\"0000d781-0000-0200-0000-63e29f420000\"" }`

Noteer de doel-verbindings-id uit het antwoord. Deze id zal in de volgende stap worden vereist wanneer het creëren van dataflow om datasets uit te voeren.

Een gegevensstroom maken create-dataflow

Diagram dat stap 5 in het werkschema van de uitvoerdatasets toont

De definitieve stap in de bestemmingsconfiguratie is aan opstelling een dataflow. Een dataflow verbindt eerder gecreeerd entiteiten samen en verstrekt ook opties om het programma van de datasetuitvoer te vormen. Om de gegevensstroom tot stand te brengen, gebruik hieronder de ladingen, afhankelijk van uw gewenste bestemming van de wolkenopslag, en vervang entiteit IDs van vorige stappen.

Amazon S3

Verzoek

accordion

Gegevensset maken naar Amazon S3 doel - verzoek

code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25

curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Activate datasets to an Amazon S3 cloud storage destination",
    "description": "This operation creates a dataflow to export datasets to an Amazon S3 cloud storage destination",
    "flowSpec": {
        "id": "269ba276-16fc-47db-92b0-c1049a3c131f", // Amazon S3 flow spec ID
        "version": "1.0"
    },
    "sourceConnectionIds": [
        "<FROM_STEP_CREATE_SOURCE_CONNECTION>"
    ],
    "targetConnectionIds": [
        "<FROM_STEP_CREATE_TARGET_CONNECTION>"
    ],
    "transformations": [],
    "scheduleParams": { // specify the scheduling info
        "interval": 3, // also supports 6, 9, 12 hour increments
        "timeUnit": "hour", // also supports "day" for daily increments. Use "interval": 1 when you select "timeUnit": "day"
        "startTime": 1675901210 // UNIX timestamp start time (in seconds)
    }
}'

Antwoord

accordion

Gegevensstroom maken - Reactie

code language-json
`{ "id": "eb54b3b3-3949-4f12-89c8-64eafaba858f", "etag": "\"0000d781-0000-0200-0000-63e29f420000\"" }`

Azure Blob Storage

Verzoek

accordion

Gegevensset maken naar Azure Blob Storage doel - verzoek

code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25

curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Activate datasets to an Azure Blob Storage cloud storage destination",
    "description": "This operation creates a dataflow to export datasets to an Azure Blob Storage cloud storage destination",
    "flowSpec": {
        "id": "95bd8965-fc8a-4119-b9c3-944c2c2df6d2", // Azure Blob Storage flow spec ID
        "version": "1.0"
    },
    "sourceConnectionIds": [
        "<FROM_STEP_CREATE_SOURCE_CONNECTION>"
    ],
    "targetConnectionIds": [
        "<FROM_STEP_CREATE_TARGET_CONNECTION>"
    ],
    "transformations": [],
    "scheduleParams": { // specify the scheduling info
        "interval": 3, // also supports 6, 9, 12, 24 hour increments
        "timeUnit": "hour",
        "startTime": 1675901210 // UNIX timestamp start time(in seconds)
    }
}'

Antwoord

accordion

Gegevensstroom maken - Reactie

code language-json
`{ "id": "eb54b3b3-3949-4f12-89c8-64eafaba858f", "etag": "\"0000d781-0000-0200-0000-63e29f420000\"" }`

Azure Data Lake Gen 2 (ADLS Gen2)

Verzoek

accordion

Gegevensset maken naar Azure Data Lake Gen 2(ADLS Gen2) doel - verzoek

code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25

curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Activate datasets to an Azure Data Lake Gen 2(ADLS Gen2) cloud storage destination",
    "description": "This operation creates a dataflow to export datasets to an Azure Data Lake Gen 2(ADLS Gen2) cloud storage destination",
    "flowSpec": {
        "id": "17be2013-2549-41ce-96e7-a70363bec293", // Azure Data Lake Gen 2(ADLS Gen2) flow spec ID
        "version": "1.0"
    },
    "sourceConnectionIds": [
        "<FROM_STEP_CREATE_SOURCE_CONNECTION>"
    ],
    "targetConnectionIds": [
        "<FROM_STEP_CREATE_TARGET_CONNECTION>"
    ],
    "transformations": [],
    "scheduleParams": { // specify the scheduling info
        "interval": 3, // also supports 6, 9, 12, 24 hour increments
        "timeUnit": "hour",
        "startTime": 1675901210 // UNIX timestamp start time(in seconds)
    }
}'

Antwoord

accordion

Gegevensstroom maken - Reactie

code language-json
`{ "id": "eb54b3b3-3949-4f12-89c8-64eafaba858f", "etag": "\"0000d781-0000-0200-0000-63e29f420000\"" }`

Data Landing Zone (DLZ)

Verzoek

accordion

Gegevensset maken naar Data Landing Zone doel - verzoek

code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25

curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Activate datasets to a Data Landing Zone cloud storage destination",
    "description": "This operation creates a dataflow to export datasets to a Data Landing Zone cloud storage destination",
    "flowSpec": {
        "id": "cd2fc47e-e838-4f38-a581-8fff2f99b63a", // Data Landing Zone flow spec ID
        "version": "1.0"
    },
    "sourceConnectionIds": [
        "<FROM_STEP_CREATE_SOURCE_CONNECTION>"
    ],
    "targetConnectionIds": [
        "<FROM_STEP_CREATE_TARGET_CONNECTION>"
    ],
    "transformations": [],
    "scheduleParams": { // specify the scheduling info
        "interval": 3, // also supports 6, 9, 12, 24 hour increments
        "timeUnit": "hour",
        "startTime": 1675901210 // UNIX timestamp start time(in seconds)
    }
}'

Antwoord

accordion

Gegevensstroom maken - Reactie

code language-json
`{ "id": "eb54b3b3-3949-4f12-89c8-64eafaba858f", "etag": "\"0000d781-0000-0200-0000-63e29f420000\"" }`

Google Cloud Storage

Verzoek

accordion

Gegevensset maken naar Google Cloud Storage doel - verzoek

code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25

curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Activate datasets to a Google Cloud Storage cloud storage destination",
    "description": "This operation creates a dataflow to export datasets to a Google Cloud Storage destination",
    "flowSpec": {
        "id": "585c15c4-6cbf-4126-8f87-e26bff78b657", // Google Cloud Storage flow spec ID
        "version": "1.0"
    },
    "sourceConnectionIds": [
        "<FROM_STEP_CREATE_SOURCE_CONNECTION>"
    ],
    "targetConnectionIds": [
        "<FROM_STEP_CREATE_TARGET_CONNECTION>"
    ],
    "transformations": [],
    "scheduleParams": { // specify the scheduling info
        "interval": 3, // also supports 6, 9, 12, 24 hour increments
        "timeUnit": "hour",
        "startTime": 1675901210 // UNIX timestamp start time(in seconds)
    }
}'

Antwoord

accordion

Gegevensstroom maken - Reactie

code language-json
`{ "id": "eb54b3b3-3949-4f12-89c8-64eafaba858f", "etag": "\"0000d781-0000-0200-0000-63e29f420000\"" }`

SFTP

Verzoek

accordion

Gegevensset maken gegevensstroom naar SFTP-bestemming - Verzoek

code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25

curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Activate datasets to an SFTP cloud storage destination",
    "description": "This operation creates a dataflow to export datasets to an SFTP cloud storage destination",
    "flowSpec": {
        "id": "354d6aad-4754-46e4-a576-1b384561c440", // SFTP flow spec ID
        "version": "1.0"
    },
    "sourceConnectionIds": [
        "<FROM_STEP_CREATE_SOURCE_CONNECTION>"
    ],
    "targetConnectionIds": [
        "<FROM_STEP_CREATE_TARGET_CONNECTION>"
    ],
    "transformations": [],
    "scheduleParams": { // specify the scheduling info
        "interval": 3, // also supports 6, 9, 12, 24 hour increments
        "timeUnit": "hour",
        "startTime": 1675901210 // UNIX timestamp start time(in seconds)
    }
}'

Antwoord

accordion

Gegevensstroom maken - Reactie

code language-json
`{ "id": "eb54b3b3-3949-4f12-89c8-64eafaba858f", "etag": "\"0000d781-0000-0200-0000-63e29f420000\"" }`

Noteer de Dataflow-id uit het antwoord. Deze id wordt vereist in de volgende stap bij het ophalen van de gegevensstroomuitvoering om de geslaagde export van de gegevensset te valideren.

De gegevensstroomuitvoering ophalen get-dataflow-runs

Diagram dat stap 6 in het werkschema van de uitvoerdatasets toont

Om de uitvoering van een gegevensstroom te controleren, gebruik Dataflow loops API:

Verzoek

Dataflow-uitvoering ophalen - Verzoek

In het verzoek om dataflow looppas terug te winnen, voeg als vraagparameter dataflow identiteitskaart toe die u in de vorige stap verwierf, toen het creëren van dataflow.

code language-shell

curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/runs?property=flowId==eb54b3b3-3949-4f12-89c8-64eafaba858f' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \

Antwoord

DataFlow-runtime ophalen

code language-json

{
    "items": [
        {
            "id": "4b7728dd-83c9-4c38-95a4-24ddab545404",
            "createdAt": 1675807718296,
            "updatedAt": 1675807731834,
            "createdBy": "aep_activation_batch@AdobeID",
            "updatedBy": "acp_foundation_connectors@AdobeID",
            "createdClient": "aep_activation_batch",
            "updatedClient": "acp_foundation_connectors",
            "sandboxId": "7dfdcd30-0a09-11ea-8ea6-7bf93ce86c28",
            "sandboxName": "sand-1",
            "imsOrgId": "5555467B5D8013E50A494220@AdobeOrg",
            "flowId": "aae5ec63-b0ac-4808-9a44-abf2ea67bd5a",
            "flowSpec": {
                "id": "615d3489-36d2-4671-9467-4ae1129facd3",
                "version": "1.0"
            },
            "providerRefId": "ba56f98e0c49b572adb249980c39b1c7",
            "etag": "\"08005e9e-0000-0200-0000-63e2cbf30000\"",
            "metrics": {
                "durationSummary": {
                    "startedAtUTC": 1675807719411,
                    "completedAtUTC": 1675807719416
                },
                "sizeSummary": {
                    "inputBytes": 0
                },
                "recordSummary": {
                    "inputRecordCount": 0,
                    "skippedRecordCount": 0,
                    "sourceSummaries": [
                        {
                            "id": "ea2b1205-4692-49de-b448-ebf75b1d188a",
                            "inputRecordCount": 0,
                            "skippedRecordCount": 0,
                            "entitySummaries": [
                                {
//...

style

shade-box

U vindt informatie over de de diverse parameters die door de Dataflow-runtime-API worden geretourneerd in de API-naslagdocumentatie.

Controleren of gegevensset is geëxporteerd verify

Bij het exporteren van gegevenssets maakt Experience Platform een .json of .parquet in de opslaglocatie die u hebt opgegeven. Een nieuw bestand dat op uw opslaglocatie moet worden geplaatst, wordt verwacht volgens het exportschema dat u hebt opgegeven toen een gegevensstroom maken.

Experience Platform leidt tot een omslagstructuur in de opslagplaats u specificeerde, waar het de uitgevoerde datasetdossiers bewaart. Voor elke exporttijd wordt een nieuwe map gemaakt volgens het onderstaande patroon:

folder-name-you-provided/datasetID/exportTime=YYYYMMDDHHMM

De standaardbestandsnaam wordt willekeurig gegenereerd en zorgt ervoor dat geëxporteerde bestandsnamen uniek zijn.

Voorbeeldgegevenssetbestanden sample-files

De aanwezigheid van deze bestanden op uw opslaglocatie is een bevestiging van een geslaagde export. Als u wilt weten hoe de geëxporteerde bestanden zijn gestructureerd, kunt u een voorbeeld downloaden .parquet-bestand of .json-bestand.

Gecomprimeerde gegevensbestanden compressed-dataset-files

In de stap naar een doelverbinding maken, kunt u de geëxporteerde gegevenssetbestanden selecteren die u wilt comprimeren.

Houd rekening met het verschil in bestandsindeling tussen de twee bestandstypen bij het comprimeren:

Bij het exporteren van gecomprimeerde JSON-bestanden is de geëxporteerde bestandsindeling json.gz
Bij het exporteren van gecomprimeerde parketbestanden is de geëxporteerde bestandsindeling gz.parquet

API-foutafhandeling api-error-handling

De API-eindpunten in deze zelfstudie volgen de algemene beginselen van het API-foutbericht voor Experience Platforms. Zie API-statuscodes en aanvragen, koptekstfouten in de het oplossen van problemengids van het Platform voor meer informatie over het interpreteren van foutenreacties.

Volgende stappen next-steps

Door deze zelfstudie te volgen, hebt u Platform met succes verbonden met één van uw aangewezen bestemmingen van de de opslagopslag van de partijwolk en opstelling een dataflow aan de respectieve bestemming om datasets uit te voeren. Zie de volgende pagina's voor meer informatie, zoals hoe u bestaande gegevensstromen kunt bewerken met de Flow Service API:

7f4d1967-bf93-4dba-9789-bb6b505339d6