Den här funktionaliteten är tillgänglig för kunder som har köpt Real-Time CDP Prime och Ultimate, Adobe Journey Optimizer eller Customer Journey Analytics. Kontakta din Adobe-representant om du vill ha mer information.
IMPORTANT
Åtgärdsobjekt: I september 2024-versionen av Experience Platformintroduceras alternativet att ange ett endTime-datum för dataflöden för exportdatamängd. Adobe introducerar också ett standardslutdatum som är 1 maj 2025 för alla datauppsättningsexportdataflöden som skapats före september-versionen. För dessa dataflöden måste du uppdatera slutdatumet i dataflödet manuellt före slutdatumet, annars kan exporten stoppas på det datumet. Använd användargränssnittet i Experience Platform för att se vilka dataflöden som ska stoppas den 1 maj.
Detsamma gäller för alla dataflöden som du skapar utan att ange ett endTime-datum. Dessa kommer att ha en sluttid på sex månader från den tidpunkt då de skapades.
I den här artikeln förklaras det arbetsflöde som krävs för att använda Flow Service API för att exportera datauppsättningar från Adobe Experience Platform till den önskade molnlagringsplatsen, till exempel Amazon S3, SFTP-platser eller Google Cloud Storage.
TIP
Du kan också använda användargränssnittet i Experience Platform för att exportera datauppsättningar. Mer information finns i självstudiekursen Exportera datauppsättningar.
Tillgängliga datauppsättningar för export datasets-to-export
Vilka datauppsättningar du kan exportera beror på Experience Platform (Real-Time CDP, Adobe Journey Optimizer), nivån (Prime eller Ultimate) och eventuella tillägg som du har köpt (till exempel Data Distiller).
Se tabellen på självstudiesidan för att förstå vilka datauppsättningar du kan exportera.
Mål som stöds supported-destinations
För närvarande kan du exportera datauppsättningar till molnlagringsmål som markeras i skärmbilden och visas nedan.
Handboken kräver en fungerande förståelse av följande komponenter i Adobe Experience Platform:
Experience Platform datasets: Alla data som har importerats till Adobe Experience Platform lagras i Data Lake som datauppsättningar. En datauppsättning är en lagrings- och hanteringskonstruktion för en datamängd, vanligtvis en tabell, som innehåller ett schema (kolumner) och fält (rader). Datauppsättningar innehåller också metadata som beskriver olika aspekter av de data som lagras.
Sandboxes: Experience Platform innehåller virtuella sandlådor som partitionerar en enskild Platform-instans till separata virtuella miljöer för att hjälpa till att utveckla och utveckla program för digitala upplevelser.
I följande avsnitt finns ytterligare information som du måste känna till för att kunna exportera datauppsättningar till molnlagringsmål i Platform.
Nödvändiga behörigheter permissions
Om du vill exportera datauppsättningar behöver du behörigheterna View Destinations, View Datasets och Manage and Activate Dataset Destinationsåtkomstkontroll. Läs åtkomstkontrollsöversikten eller kontakta produktadministratören för att få den behörighet som krävs.
Bläddra i målkatalogen för att kontrollera att du har de behörigheter som krävs för att exportera datauppsättningar och att målet har stöd för att exportera datauppsättningar. Om ett mål har en Activate- eller Export datasets-kontroll har du rätt behörighet.
Läser exempel-API-anrop reading-sample-api-calls
I den här självstudiekursen finns exempel-API-anrop som visar hur du formaterar dina begäranden. Det kan vara sökvägar, obligatoriska rubriker och korrekt formaterade begärandenyttolaster. Ett exempel på JSON som returneras i API-svar finns också. Information om de konventioner som används i dokumentationen för exempel-API-anrop finns i avsnittet Så här läser du exempel-API-anrop i felsökningsguiden för Experience Platform.
Samla in värden för obligatoriska och valfria rubriker gather-values-headers
För att kunna anropa Platform API:er måste du först slutföra Experience Platform-autentiseringssjälvstudiekursen. När du slutför självstudiekursen för autentisering visas värdena för var och en av de obligatoriska rubrikerna i alla Experience Platform API-anrop, vilket visas nedan:
Behörighet: Bärare {ACCESS_TOKEN}
x-api-key: {API_KEY}
x-gw-ims-org-id: {ORG_ID}
Resurser i Experience Platform kan isoleras till specifika virtuella sandlådor. I förfrågningar till Platform API:er kan du ange namnet och ID:t för sandlådan som åtgärden ska utföras i. Dessa är valfria parametrar.
Du hittar referensdokumentation för alla API-åtgärder i den här självstudiekursen. Se dokumentationen för Flow Service - Destinations API på Adobe Developer webbplats. Vi rekommenderar att du använder den här självstudiekursen och API-referensdokumentationen parallellt.
Ordlista glossary
Beskrivningar av de termer som du kommer att stöta på i den här API-självstudiekursen finns i ordboksavsnittet i API-referensdokumentationen.
Samla anslutningsspecifikationer och flödesspecifikationer för det önskade målet gather-connection-spec-flow-spec
Innan du startar arbetsflödet för att exportera en datauppsättning ska du identifiera anslutningsspec och flödesspec-ID för den destination som du tänker exportera datauppsättningar till. Använd tabellen nedan som referens.
Mål
Anslutningsspecifikation
Flödesspecifikation
Amazon S3
4fce964d-3f37-408f-9778-e597338a21ee
269ba276-16fc-47db-92b0-c1049a3c131f
Azure Blob Storage
6d6b59bf-fb58-4107-9064-4d246c0e5bb2
95bd8965-fc8a-4119-b9c3-944c2c2df6d2
Azure Data Lake Gen 2(ADLS Gen2)
be2c3209-53bc-47e7-ab25-145db8b873e1
17be2013-2549-41ce-96e7-a70363bec293
Data Landing Zone(DLZ)
10440537-2a7b-4583-ac39-ed38d4b848e8
cd2fc47e-e838-4f38-a581-8fff2f99b63a
Google Cloud Storage
c5d93acb-ea8b-4b14-8f53-02138444ae99
585c15c4-6cbf-4126-8f87-e26bff78b657
SFTP
36965a81-b1c6-401b-99f8-22508f1e6a26
354d6aad-4754-46e4-a576-1b384561c440
Du behöver dessa ID:n för att skapa olika Flow Service-entiteter. Du måste också referera till delar av själva Connection Spec för att konfigurera vissa entiteter så att du kan hämta Connection Spec från Flow Service APIs. Se exemplen nedan om hur du hämtar anslutningsspecifikationer för alla mål i tabellen:
Följ stegen nedan för att konfigurera ett datauppsättningsdataflöde till ett molnlagringsmål. I vissa steg skiljer sig förfrågningarna och svaren mellan de olika molnlagringsmålen. I dessa fall använder du flikarna på sidan för att hämta förfrågningar och svar som är specifika för målet som du vill ansluta och exportera datauppsättningar till. Använd rätt connection spec och flow spec för målet som du konfigurerar.
Hämta en lista med datauppsättningar retrieve-list-of-available-datasets
Om du vill hämta en lista över datauppsättningar som är berättigade för aktivering börjar du med att göra ett API-anrop till slutpunkten nedan.
Observera att för att kunna hämta giltiga datauppsättningar måste det connection spec-ID som används i förfrågnings-URL:en vara datakällans spec-ID, 23598e46-f560-407b-88d5-ea6207e49db0, och de två frågeparametrarna outputField=datasets och outputType=activationDatasets måste anges. Alla andra frågeparametrar är de standardparametrar som stöds av katalogtjänstens API.
Ett svar innehåller en lista över datauppsättningar som kan aktiveras. Dessa datauppsättningar kan användas när du skapar källanslutningen i nästa steg.
När du har hämtat listan över datauppsättningar som du vill exportera kan du skapa en källanslutning med dessa datauppsättnings-ID:n.
Begäran
Skapa källanslutning - begäran
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Ett lyckat svar returnerar ID:t (id) för den nyligen skapade källanslutningen och etag. Anteckna källanslutnings-ID som du behöver det senare när du skapar dataflödet.
Kom ihåg följande:
Källanslutningen som skapas i det här steget måste länkas till ett dataflöde för att dess datauppsättningar ska aktiveras till ett mål. Mer information om hur du länkar en källanslutning till ett dataflöde finns i avsnittet Skapa ett dataflöde.
Det går inte att ändra datauppsättnings-ID:n för en källanslutning när den har skapats. Om du behöver lägga till eller ta bort datauppsättningar från en källanslutning måste du skapa en ny källanslutning och länka ID:t för den nya källanslutningen till dataflödet.
Skapa en (mål) basanslutning create-base-connection
En basanslutning lagrar autentiseringsuppgifterna på ditt mål på ett säkert sätt. Beroende på måltypen kan de autentiseringsuppgifter som krävs för att autentisera mot det målet variera. Om du vill hitta de här autentiseringsparametrarna hämtar du först connection spec för det önskade målet enligt beskrivningen i avsnittet Samla anslutningsspecifikationer och flödesspecifikationer och tittar sedan på authSpec för svaret. Referera till flikarna nedan för authSpec-egenskaperna för alla mål som stöds.
Amazon S3
accordion
Amazon S3 - Connection spec visar auth spec
Observera den markerade raden med textbundna kommentarer i exemplet connection spec nedan, som innehåller ytterligare information om var autentiseringsparametrarna i connection spec ska hittas.
Azure Blob Storage - Connection spec visar auth spec
Observera den markerade raden med textbundna kommentarer i exemplet connection spec nedan, som innehåller ytterligare information om var autentiseringsparametrarna i connection spec ska hittas.
Azure Data Lake Gen 2(ADLS Gen2) - Connection spec visar auth spec
Observera den markerade raden med textbundna kommentarer i exemplet connection spec nedan, som innehåller ytterligare information om var autentiseringsparametrarna i connection spec ska hittas.
Google Cloud Storage - Connection spec visar auth spec
Observera den markerade raden med textbundna kommentarer i exemplet connection spec nedan, som innehåller ytterligare information om var autentiseringsparametrarna i connection spec ska hittas.
{
"items": [
{
"id": "c5d93acb-ea8b-4b14-8f53-02138444ae99",
"name": "Google Cloud Storage",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [ // describes the authentication parameters
{
"name": "Google Cloud Storage authentication credentials",
"type": "GoogleCloudStorageAuth",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"description": "defines auth params required for connecting to google cloud storage connector.",
"type": "object",
"properties": {
"accessKeyId": {
"description": "Access Key Id for the user account",
"type": "string"
},
"secretAccessKey": {
"description": "Secret Access Key for the user account",
"type": "string",
"format": "password"
}
},
"required": [
"accessKeyId",
"secretAccessKey"
]
}
}
],
//...
SFTP
accordion
SFTP - Connection spec visar auth spec
note note
NOTE
SFTP-målet innehåller två separata objekt i auth spec, eftersom det stöder både lösenord- och SSH-nyckelautentisering.
Observera den markerade raden med textbundna kommentarer i exemplet connection spec nedan, som innehåller ytterligare information om var autentiseringsparametrarna i connection spec ska hittas.
Med hjälp av egenskaperna som anges i autentiseringsspecifikationen (dvs. authSpec från svaret) kan du skapa en basanslutning med de nödvändiga autentiseringsuppgifterna, som är specifika för varje måltyp, vilket visas i exemplen nedan:
Amazon S3
Begäran
accordion
Amazon S3 - Bas anslutningsbegäran
note tip
TIP
Mer information om hur du får de inloggningsuppgifter som krävs finns i avsnittet Autentisera till mål på dokumentationssidan för Amazon S3-målet.
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Mer information om hur du hämtar de autentiseringsuppgifter som krävs finns i avsnittet Autentisera till mål på dokumentationssidan för Azure Blob Storage-målet.
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Azure Data Lake Gen 2(ADLS Gen2) - Bas anslutningsbegäran
note tip
TIP
Mer information om hur du får de autentiseringsuppgifter som krävs finns i avsnittet Autentisera till mål på sidan med måldokumentation för Azure Data Lake Gen 2 (ADLS Gen2).
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Inga autentiseringsuppgifter krävs för Data Landing Zone-målet. Mer information finns i avsnittet Autentisera till mål på dokumentationssidan för Data Landing Zone-målet.
Mer information om hur du får de autentiseringsuppgifter som krävs finns i avsnittet Autentisera till mål på dokumentationssidan för Google Cloud-lagringsmålet.
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Mer information om hur du hämtar de autentiseringsuppgifter som krävs finns i avsnittet Autentisera till mål på dokumentationssidan för SFTP-målet.
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Mer information om hur du hämtar de autentiseringsuppgifter som krävs finns i avsnittet Autentisera till mål på dokumentationssidan för SFTP-målet.
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Observera anslutnings-ID från svaret. Detta ID krävs i nästa steg när du skapar målanslutningen.
Skapa en målanslutning create-target-connection
Därefter måste du skapa en målanslutning som lagrar exportparametrarna för datauppsättningarna. Exportparametrar omfattar plats, filformat, komprimering och annan information. Mer information om vilka egenskaper som stöds för varje måltyp finns i targetSpec-egenskaperna i målets anslutningsspecifikation. Referera till flikarna nedan för targetSpec-egenskaperna för alla mål som stöds.
IMPORTANT
Export till JSON-filer stöds endast i komprimerat läge. Exportera till Parquet filer stöds i både komprimerat och okomprimerat läge.
Formatet på den exporterade JSON-filen är NDJSON, som är standardformatet för utbyte i big data-ekosystemet. Adobe rekommenderar att du använder en NDJSON-kompatibel klient för att läsa de exporterade filerna.
Amazon S3
accordion
Amazon S3 - Connection spec med målanslutningsparametrar
Observera de markerade raderna med textbundna kommentarer i exemplet connection spec nedan, som innehåller ytterligare information om var target spec -parametrarna ska hittas i anslutningsspecifikationen. I exemplet nedan kan du också se vilka målparametrar som inte är tillämpliga på exportdestinationer för datauppsättningar.
Azure Blob Storage - Connection spec med målanslutningsparametrar
Observera de markerade raderna med textbundna kommentarer i exemplet connection spec nedan, som innehåller ytterligare information om var target spec -parametrarna ska hittas i anslutningsspecifikationen. I exemplet nedan kan du också se vilka målparametrar som inte är tillämpliga på exportdestinationer för datauppsättningar.
Azure Data Lake Gen 2(ADLS Gen2) - Connection spec med målanslutningsparametrar
Observera de markerade raderna med textbundna kommentarer i exemplet connection spec nedan, som innehåller ytterligare information om var target spec -parametrarna ska hittas i anslutningsspecifikationen. I exemplet nedan kan du också se vilka målparametrar som inte är tillämpliga på exportdestinationer för datauppsättningar.
{
"items": [
{
"id": "be2c3209-53bc-47e7-ab25-145db8b873e1",
"name": "Azure Data Lake Gen2",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [...],
"encryptionSpecs": [...],
"targetSpec": { // describes the target connection parameters
"name": "User based target",
"type": "UserNamespace",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"path": {
"title": "Folder path",
"description": "Enter the path to your Azure Data Lake Storage folder",
"type": "string"
},
"fileType": {...}, // not applicable to dataset destinations
"datasetFileType": {
"conditional": {
"field": "flowSpec.attributes._workflow",
"operator": "CONTAINS",
"value": "DATASETS"
},
"title": "File Type",
"description": "Select file format",
"type": "string",
"enum": [
"JSON",
"PARQUET"
]
},
"csvOptions":{...}, // not applicable to dataset destinations
"compression": {
"title": "Compression format",
"description": "Select the desired file compression format.",
"type": "string",
"enum": [
"NONE",
"GZIP"
]
}
},
"required": [
"path",
"datasetFileType",
"compression",
"fileType"
]
}
//...
Data Landing Zone(DLZ)
accordion
Data Landing Zone(DLZ) - Connection spec med målanslutningsparametrar
Observera de markerade raderna med textbundna kommentarer i exemplet connection spec nedan, som innehåller ytterligare information om var target spec -parametrarna ska hittas i anslutningsspecifikationen. I exemplet nedan kan du också se vilka målparametrar som inte är tillämpliga på exportdestinationer för datauppsättningar.
Google Cloud Storage - Connection spec med målanslutningsparametrar
Observera de markerade raderna med textbundna kommentarer i exemplet connection spec nedan, som innehåller ytterligare information om var target spec -parametrarna ska hittas i anslutningsspecifikationen. I exemplet nedan kan du också se vilka målparametrar som inte är tillämpliga på exportdestinationer för datauppsättningar.
SFTP - Connection spec med målanslutningsparametrar
Observera de markerade raderna med textbundna kommentarer i exemplet connection spec nedan, som innehåller ytterligare information om var target spec -parametrarna ska hittas i anslutningsspecifikationen. I exemplet nedan kan du också se vilka målparametrar som inte är tillämpliga på exportdestinationer för datauppsättningar.
Genom att använda specifikationen ovan kan du skapa en målanslutningsbegäran som är specifik för ditt molnlagringsmål, vilket visas på flikarna nedan.
Amazon S3
Begäran
accordion
Amazon S3 - Målanslutningsbegäran
note tip
TIP
Mer information om hur du hämtar de målparametrar som krävs finns i avsnittet fyll i målinformation på dokumentationssidan för Amazon S3. Andra värden som stöds av datasetFileType finns i API-referensdokumentationen.
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Mer information om hur du hämtar de målparametrar som krävs finns i avsnittet fyll i målinformation på dokumentationssidan för Azure Blob Storage. Andra värden som stöds av datasetFileType finns i API-referensdokumentationen.
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Mer information om hur du hämtar de nödvändiga målparametrarna finns i avsnittet fyll i målinformation på sidan för Azure Data Lake Gen 2(ADLS Gen2)-måldokumentation. Andra värden som stöds av datasetFileType finns i API-referensdokumentationen.
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Mer information om hur du hämtar de målparametrar som krävs finns i avsnittet fyll i målinformation på dokumentationssidan för Data Landing Zone. Andra värden som stöds av datasetFileType finns i API-referensdokumentationen.
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Mer information om hur du hämtar de målparametrar som krävs finns i avsnittet fyll i målinformation på dokumentationssidan för Google Cloud Storage. Andra värden som stöds av datasetFileType finns i API-referensdokumentationen.
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Mer information om hur du hämtar de målparametrar som krävs finns i avsnittet fyll i målinformation på dokumentationssidan för SFTP-målet. Andra värden som stöds av datasetFileType finns i API-referensdokumentationen.
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Anteckna målanslutnings-ID från svaret. Detta ID krävs i nästa steg när du skapar dataflödet för att exportera datauppsättningar.
Skapa ett dataflöde create-dataflow
Det sista steget i målkonfigurationen är att konfigurera ett dataflöde. Ett dataflöde knyter ihop enheter som skapats tidigare och innehåller även alternativ för att konfigurera exportschemat för datauppsättningar. Om du vill skapa dataflödet använder du nyttolasterna nedan, beroende på vilket molnlagringsmål du vill ha, och ersätter enhets-ID:n från tidigare steg.
Amazon S3
Begäran
accordion
Skapa datauppsättningsdataflöde till målet Amazon S3 - begäran
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to an Amazon S3 cloud storage destination",
"description": "This operation creates a dataflow to export datasets to an Amazon S3 cloud storage destination",
"flowSpec": {
"id": "269ba276-16fc-47db-92b0-c1049a3c131f", // Amazon S3 flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
Tabellen nedan innehåller beskrivningar av alla parametrar i avsnittet scheduleParams som gör att du kan anpassa exporttider, frekvens, plats och annat för datauppsättningsexporter.
Välj "DAILY_FULL_EXPORT" eller "FIRST_FULL_THEN_INCREMENTAL". Mer information om de två alternativen finns i exportera fullständiga filer och exportera inkrementella filer i självstudiekursen om aktivering av gruppmål. De tre tillgängliga exportalternativen är: Fullständig fil - En gång: "DAILY_FULL_EXPORT" kan bara användas i kombination med timeUnit:day och interval:0 för en engångs fullständig export av datauppsättningen. Daglig fullständig export av datauppsättningar stöds inte. Om du behöver exportera varje dag använder du alternativet för stegvis export. Inkrementell daglig export: Välj "FIRST_FULL_THEN_INCREMENTAL", timeUnit:day och interval :1 för daglig inkrementell export. Inkrementell timexport: Välj "FIRST_FULL_THEN_INCREMENTAL", timeUnit:hour och interval :3,6,9 eller 12 för timvis inkrementell export.
timeUnit
Välj day eller hour beroende på hur ofta du vill exportera datauppsättningsfiler.
interval
Välj 1 när timeUnit är dag och 3,6,9,12 när tidsenheten är hour.
startTime
Datum och tid i UNIX-sekunder då datauppsättningsexporten ska starta.
endTime
Datum och tid i UNIX-sekunder då datauppsättningsexporten ska avslutas.
foldernameTemplate
Ange den förväntade mappnamnsstrukturen på lagringsplatsen där de exporterade filerna ska placeras.
DATASET_ID = En unik identifierare för datauppsättningen.
MÅL = Målets namn.
DATETIME = Datum och tid formaterat som yyyyMMdd_HHmmss.
EXPORT_TIME = Den schemalagda tiden för dataexport formaterad som exportTime=YYYYMMDDHHMM.
DESTINATION_INSTANCE_NAME = Namnet på målinstansen.
DESTINATION_INSTANCE_ID = En unik identifierare för målinstansen.
Skapa datauppsättningsdataflöde till målet Azure Blob Storage - begäran
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to an Azure Blob Storage cloud storage destination",
"description": "This operation creates a dataflow to export datasets to an Azure Blob Storage cloud storage destination",
"flowSpec": {
"id": "95bd8965-fc8a-4119-b9c3-944c2c2df6d2", // Azure Blob Storage flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
Tabellen nedan innehåller beskrivningar av alla parametrar i avsnittet scheduleParams som gör att du kan anpassa exporttider, frekvens, plats och annat för datauppsättningsexporter.
Välj "DAILY_FULL_EXPORT" eller "FIRST_FULL_THEN_INCREMENTAL". Mer information om de två alternativen finns i exportera fullständiga filer och exportera inkrementella filer i självstudiekursen om aktivering av gruppmål. De tre tillgängliga exportalternativen är: Fullständig fil - En gång: "DAILY_FULL_EXPORT" kan bara användas i kombination med timeUnit:day och interval:0 för en engångs fullständig export av datauppsättningen. Daglig fullständig export av datauppsättningar stöds inte. Om du behöver exportera varje dag använder du alternativet för stegvis export. Inkrementell daglig export: Välj "FIRST_FULL_THEN_INCREMENTAL", timeUnit:day och interval :1 för daglig inkrementell export. Inkrementell timexport: Välj "FIRST_FULL_THEN_INCREMENTAL", timeUnit:hour och interval :3,6,9 eller 12 för timvis inkrementell export.
timeUnit
Välj day eller hour beroende på hur ofta du vill exportera datauppsättningsfiler.
interval
Välj 1 när timeUnit är dag och 3,6,9,12 när tidsenheten är hour.
startTime
Datum och tid i UNIX-sekunder då datauppsättningsexporten ska starta.
endTime
Datum och tid i UNIX-sekunder då datauppsättningsexporten ska avslutas.
foldernameTemplate
Ange den förväntade mappnamnsstrukturen på lagringsplatsen där de exporterade filerna ska placeras.
DATASET_ID = En unik identifierare för datauppsättningen.
MÅL = Målets namn.
DATETIME = Datum och tid formaterat som yyyyMMdd_HHmmss.
EXPORT_TIME = Den schemalagda tiden för dataexport formaterad som exportTime=YYYYMMDDHHMM.
DESTINATION_INSTANCE_NAME = Namnet på målinstansen.
DESTINATION_INSTANCE_ID = En unik identifierare för målinstansen.
Skapa datauppsättningsdataflöde till målet Azure Data Lake Gen 2(ADLS Gen2) - begäran
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to an Azure Data Lake Gen 2(ADLS Gen2) cloud storage destination",
"description": "This operation creates a dataflow to export datasets to an Azure Data Lake Gen 2(ADLS Gen2) cloud storage destination",
"flowSpec": {
"id": "17be2013-2549-41ce-96e7-a70363bec293", // Azure Data Lake Gen 2(ADLS Gen2) flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
Tabellen nedan innehåller beskrivningar av alla parametrar i avsnittet scheduleParams som gör att du kan anpassa exporttider, frekvens, plats och annat för datauppsättningsexporter.
Välj "DAILY_FULL_EXPORT" eller "FIRST_FULL_THEN_INCREMENTAL". Mer information om de två alternativen finns i exportera fullständiga filer och exportera inkrementella filer i självstudiekursen om aktivering av gruppmål. De tre tillgängliga exportalternativen är: Fullständig fil - En gång: "DAILY_FULL_EXPORT" kan bara användas i kombination med timeUnit:day och interval:0 för en engångs fullständig export av datauppsättningen. Daglig fullständig export av datauppsättningar stöds inte. Om du behöver exportera varje dag använder du alternativet för stegvis export. Inkrementell daglig export: Välj "FIRST_FULL_THEN_INCREMENTAL", timeUnit:day och interval :1 för daglig inkrementell export. Inkrementell timexport: Välj "FIRST_FULL_THEN_INCREMENTAL", timeUnit:hour och interval :3,6,9 eller 12 för timvis inkrementell export.
timeUnit
Välj day eller hour beroende på hur ofta du vill exportera datauppsättningsfiler.
interval
Välj 1 när timeUnit är dag och 3,6,9,12 när tidsenheten är hour.
startTime
Datum och tid i UNIX-sekunder då datauppsättningsexporten ska starta.
endTime
Datum och tid i UNIX-sekunder då datauppsättningsexporten ska avslutas.
foldernameTemplate
Ange den förväntade mappnamnsstrukturen på lagringsplatsen där de exporterade filerna ska placeras.
DATASET_ID = En unik identifierare för datauppsättningen.
MÅL = Målets namn.
DATETIME = Datum och tid formaterat som yyyyMMdd_HHmmss.
EXPORT_TIME = Den schemalagda tiden för dataexport formaterad som exportTime=YYYYMMDDHHMM.
DESTINATION_INSTANCE_NAME = Namnet på målinstansen.
DESTINATION_INSTANCE_ID = En unik identifierare för målinstansen.
Skapa datauppsättningsdataflöde till målet Data Landing Zone - begäran
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to a Data Landing Zone cloud storage destination",
"description": "This operation creates a dataflow to export datasets to a Data Landing Zone cloud storage destination",
"flowSpec": {
"id": "cd2fc47e-e838-4f38-a581-8fff2f99b63a", // Data Landing Zone flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
Tabellen nedan innehåller beskrivningar av alla parametrar i avsnittet scheduleParams som gör att du kan anpassa exporttider, frekvens, plats och annat för datauppsättningsexporter.
Välj "DAILY_FULL_EXPORT" eller "FIRST_FULL_THEN_INCREMENTAL". Mer information om de två alternativen finns i exportera fullständiga filer och exportera inkrementella filer i självstudiekursen om aktivering av gruppmål. De tre tillgängliga exportalternativen är: Fullständig fil - En gång: "DAILY_FULL_EXPORT" kan bara användas i kombination med timeUnit:day och interval:0 för en engångs fullständig export av datauppsättningen. Daglig fullständig export av datauppsättningar stöds inte. Om du behöver exportera varje dag använder du alternativet för stegvis export. Inkrementell daglig export: Välj "FIRST_FULL_THEN_INCREMENTAL", timeUnit:day och interval :1 för daglig inkrementell export. Inkrementell timexport: Välj "FIRST_FULL_THEN_INCREMENTAL", timeUnit:hour och interval :3,6,9 eller 12 för timvis inkrementell export.
timeUnit
Välj day eller hour beroende på hur ofta du vill exportera datauppsättningsfiler.
interval
Välj 1 när timeUnit är dag och 3,6,9,12 när tidsenheten är hour.
startTime
Datum och tid i UNIX-sekunder då datauppsättningsexporten ska starta.
endTime
Datum och tid i UNIX-sekunder då datauppsättningsexporten ska avslutas.
foldernameTemplate
Ange den förväntade mappnamnsstrukturen på lagringsplatsen där de exporterade filerna ska placeras.
DATASET_ID = En unik identifierare för datauppsättningen.
MÅL = Målets namn.
DATETIME = Datum och tid formaterat som yyyyMMdd_HHmmss.
EXPORT_TIME = Den schemalagda tiden för dataexport formaterad som exportTime=YYYYMMDDHHMM.
DESTINATION_INSTANCE_NAME = Namnet på målinstansen.
DESTINATION_INSTANCE_ID = En unik identifierare för målinstansen.
Skapa datauppsättningsdataflöde till målet Google Cloud Storage - begäran
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to a Google Cloud Storage cloud storage destination",
"description": "This operation creates a dataflow to export datasets to a Google Cloud Storage destination",
"flowSpec": {
"id": "585c15c4-6cbf-4126-8f87-e26bff78b657", // Google Cloud Storage flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
Tabellen nedan innehåller beskrivningar av alla parametrar i avsnittet scheduleParams som gör att du kan anpassa exporttider, frekvens, plats och annat för datauppsättningsexporter.
Välj "DAILY_FULL_EXPORT" eller "FIRST_FULL_THEN_INCREMENTAL". Mer information om de två alternativen finns i exportera fullständiga filer och exportera inkrementella filer i självstudiekursen om aktivering av gruppmål. De tre tillgängliga exportalternativen är: Fullständig fil - En gång: "DAILY_FULL_EXPORT" kan bara användas i kombination med timeUnit:day och interval:0 för en engångs fullständig export av datauppsättningen. Daglig fullständig export av datauppsättningar stöds inte. Om du behöver exportera varje dag använder du alternativet för stegvis export. Inkrementell daglig export: Välj "FIRST_FULL_THEN_INCREMENTAL", timeUnit:day och interval :1 för daglig inkrementell export. Inkrementell timexport: Välj "FIRST_FULL_THEN_INCREMENTAL", timeUnit:hour och interval :3,6,9 eller 12 för timvis inkrementell export.
timeUnit
Välj day eller hour beroende på hur ofta du vill exportera datauppsättningsfiler.
interval
Välj 1 när timeUnit är dag och 3,6,9,12 när tidsenheten är hour.
startTime
Datum och tid i UNIX-sekunder då datauppsättningsexporten ska starta.
endTime
Datum och tid i UNIX-sekunder då datauppsättningsexporten ska avslutas.
foldernameTemplate
Ange den förväntade mappnamnsstrukturen på lagringsplatsen där de exporterade filerna ska placeras.
DATASET_ID = En unik identifierare för datauppsättningen.
MÅL = Målets namn.
DATETIME = Datum och tid formaterat som yyyyMMdd_HHmmss.
EXPORT_TIME = Den schemalagda tiden för dataexport formaterad som exportTime=YYYYMMDDHHMM.
DESTINATION_INSTANCE_NAME = Namnet på målinstansen.
DESTINATION_INSTANCE_ID = En unik identifierare för målinstansen.
Skapa datauppsättningsdataflöde till SFTP-mål - begäran
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to an SFTP cloud storage destination",
"description": "This operation creates a dataflow to export datasets to an SFTP cloud storage destination",
"flowSpec": {
"id": "354d6aad-4754-46e4-a576-1b384561c440", // SFTP flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
Tabellen nedan innehåller beskrivningar av alla parametrar i avsnittet scheduleParams som gör att du kan anpassa exporttider, frekvens, plats och annat för datauppsättningsexporter.
Välj "DAILY_FULL_EXPORT" eller "FIRST_FULL_THEN_INCREMENTAL". Mer information om de två alternativen finns i exportera fullständiga filer och exportera inkrementella filer i självstudiekursen om aktivering av gruppmål. De tre tillgängliga exportalternativen är: Fullständig fil - En gång: "DAILY_FULL_EXPORT" kan bara användas i kombination med timeUnit:day och interval:0 för en engångs fullständig export av datauppsättningen. Daglig fullständig export av datauppsättningar stöds inte. Om du behöver exportera varje dag använder du alternativet för stegvis export. Inkrementell daglig export: Välj "FIRST_FULL_THEN_INCREMENTAL", timeUnit:day och interval :1 för daglig inkrementell export. Inkrementell timexport: Välj "FIRST_FULL_THEN_INCREMENTAL", timeUnit:hour och interval :3,6,9 eller 12 för timvis inkrementell export.
timeUnit
Välj day eller hour beroende på hur ofta du vill exportera datauppsättningsfiler.
interval
Välj 1 när timeUnit är dag och 3,6,9,12 när tidsenheten är hour.
startTime
Datum och tid i UNIX-sekunder då datauppsättningsexporten ska starta.
endTime
Datum och tid i UNIX-sekunder då datauppsättningsexporten ska avslutas.
foldernameTemplate
Ange den förväntade mappnamnsstrukturen på lagringsplatsen där de exporterade filerna ska placeras.
DATASET_ID = En unik identifierare för datauppsättningen.
MÅL = Målets namn.
DATETIME = Datum och tid formaterat som yyyyMMdd_HHmmss.
EXPORT_TIME = Den schemalagda tiden för dataexport formaterad som exportTime=YYYYMMDDHHMM.
DESTINATION_INSTANCE_NAME = Namnet på målinstansen.
DESTINATION_INSTANCE_ID = En unik identifierare för målinstansen.
Anteckna dataflödes-ID från svaret. Detta ID krävs i nästa steg när dataflödet hämtas för att validera den lyckade datauppsättningsexporten.
Hämta dataflödeskörningar get-dataflow-runs
Använd API:t för dataflödeskörning om du vill kontrollera körningarna av ett dataflöde:
Begäran
Get data aflow running - Request
I begäran om att hämta dataflödeskörningar lägger du till det dataflödes-ID som du fick i föregående steg som frågeparameter när du skapade dataflödet.
När du exporterar datauppsättningar skapar Experience Platform en .json- eller .parquet-fil på den lagringsplats som du angav. En ny fil förväntas placeras på din lagringsplats enligt det exportschema som du angav när ett dataflöde skapades.
Experience Platform skapar en mappstruktur på den lagringsplats du angav, där den sparar de exporterade datauppsättningsfilerna. En ny mapp skapas för varje exporttid enligt mönstret nedan:
Standardfilnamnet genereras slumpmässigt och säkerställer att de exporterade filnamnen är unika.
Exempeldatauppsättningsfiler sample-files
De här filerna finns i din lagringsplats, vilket är en bekräftelse på att exporten lyckades. Om du vill veta hur de exporterade filerna är strukturerade kan du hämta ett exempel på filen .parqueteller .json.
I steget för att skapa en målanslutning kan du välja vilka exporterade datauppsättningsfiler som ska komprimeras.
Observera skillnaden i filformat mellan de två filtyperna när de komprimeras:
Vid export av komprimerade JSON-filer är det exporterade filformatet json.gz
Vid export av komprimerade parquet-filer är det exporterade filformatet gz.parquet
JSON-filer kan bara exporteras i komprimerat läge.
API-felhantering api-error-handling
API-slutpunkterna i den här självstudiekursen följer de allmänna felmeddelandeprinciperna för Experience Platform API. Mer information om hur du tolkar felsvar finns i API-statuskoder och begäranrubrikfel i felsökningsguiden för plattformen.
Genom att följa den här självstudiekursen har du anslutit Platform till en av dina favoritplatser för batchmolnlagring och konfigurerat ett dataflöde till respektive mål för att exportera datauppsättningar. På följande sidor finns mer information, till exempel om hur du redigerar befintliga dataflöden med API:t för Flow Service:
