Den här funktionaliteten är tillgänglig för kunder som har köpt Real-Time CDP Prime och Ultimate, Adobe Journey Optimizer eller Customer Journey Analytics. Kontakta din Adobe-representant om du vill ha mer information.
I den här artikeln förklaras vilket arbetsflöde som krävs för att använda Flow Service API till export datauppsättningar från Adobe Experience Platform till den molnlagringsplats du föredrar, som Amazon S3, SFTP-platser, eller Google Cloud Storage.
Tillgängliga datauppsättningar för export datasets-to-export
Vilka datauppsättningar du kan exportera beror på Experience Platform (Real-Time CDP, Adobe Journey Optimizer), nivån (Prime eller Ultimate) och eventuella tillägg som du har köpt (till exempel Data Distiller).
Handboken kräver en fungerande förståelse av följande komponenter i Adobe Experience Platform:
Experience Platform datasets: Alla data som har importerats till Adobe Experience Platform lagras i Data Lake som datauppsättningar. En datauppsättning är en lagrings- och hanteringskonstruktion för en datamängd, vanligtvis en tabell, som innehåller ett schema (kolumner) och fält (rader). Datauppsättningar innehåller också metadata som beskriver olika aspekter av de data som lagras.
Sandboxes: Experience Platform innehåller virtuella sandlådor som partitionerar en enda Platform till separata virtuella miljöer för att utveckla och utveckla applikationer för digitala upplevelser.
I följande avsnitt finns ytterligare information som du måste känna till för att kunna exportera datauppsättningar till molnlagringsmål i Platform.
Nödvändiga behörigheter permissions
Om du vill exportera datauppsättningar måste du ha View Destinations, View Datasets och Manage and Activate Dataset Destinationsbehörigheter för åtkomstkontroll. Läs åtkomstkontroll - översikt eller kontakta produktadministratören för att få de behörigheter som krävs.
Bläddra i målkatalogen för att kontrollera att du har de behörigheter som krävs för att exportera datauppsättningar och att målet har stöd för att exportera datauppsättningar. Om ett mål har en Activate eller en Export datasets har du rätt behörighet.
Läser exempel-API-anrop reading-sample-api-calls
I den här självstudiekursen finns exempel-API-anrop som visar hur du formaterar dina begäranden. Det kan vara sökvägar, obligatoriska rubriker och korrekt formaterade begärandenyttolaster. Ett exempel på JSON som returneras i API-svar finns också. Information om konventionerna som används i dokumentationen för exempel-API-anrop finns i avsnittet om läsa exempel-API-anrop i Experience Platform felsökningsguide.
Samla in värden för obligatoriska och valfria rubriker gather-values-headers
För att ringa Platform API:er måste du först slutföra Självstudiekurs om autentisering av Experience Platform. När du är klar med självstudiekursen för autentisering visas värdena för var och en av de obligatoriska rubrikerna i alla Experience Platform API-anrop enligt nedan:
Behörighet: Bearer {ACCESS_TOKEN}
x-api-key: {API_KEY}
x-gw-ims-org-id: {ORG_ID}
Resurser i Experience Platform kan isoleras till specifika virtuella sandlådor. I förfrågningar till Platform API:er kan du ange namn och ID för sandlådan som åtgärden ska utföras i. Dessa är valfria parametrar.
Beskrivningar av termer som du kommer att stöta på i den här API-självstudiekursen finns i ordlista API-referensdokumentationen.
Samla anslutningsspecifikationer och flödesspecifikationer för det önskade målet gather-connection-spec-flow-spec
Innan du startar arbetsflödet för att exportera en datauppsättning ska du identifiera anslutningsspec och flödesspec-ID för den destination som du tänker exportera datauppsättningar till. Använd tabellen nedan som referens.
Destination
Anslutningsspecifikation
Flödesspecifikation
Amazon S3
4fce964d-3f37-408f-9778-e597338a21ee
269ba276-16fc-47db-92b0-c1049a3c131f
Azure Blob Storage
6d6b59bf-fb58-4107-9064-4d246c0e5bb2
95bd8965-fc8a-4119-b9c3-944c2c2df6d2
Azure Data Lake Gen 2(ADLS Gen2)
be2c3209-53bc-47e7-ab25-145db8b873e1
17be2013-2549-41ce-96e7-a70363bec293
Data Landing Zone(DLZ)
10440537-2a7b-4583-ac39-ed38d4b848e8
cd2fc47e-e838-4f38-a581-8fff2f99b63a
Google Cloud Storage
c5d93acb-ea8b-4b14-8f53-02138444ae99
585c15c4-6cbf-4126-8f87-e26bff78b657
SFTP
36965a81-b1c6-401b-99f8-22508f1e6a26
354d6aad-4754-46e4-a576-1b384561c440
Du behöver dessa ID:n för att kunna skapa olika Flow Service enheter. Du måste även referera till delar av Connection Spec sig själv för att konfigurera vissa enheter så att du kan hämta Connection Spec från Flow Service APIs. Se exemplen nedan om hur du hämtar anslutningsspecifikationer för alla mål i tabellen:
Följ stegen nedan för att konfigurera ett datauppsättningsdataflöde till ett molnlagringsmål. I vissa steg skiljer sig förfrågningarna och svaren mellan de olika molnlagringsmålen. I dessa fall använder du flikarna på sidan för att hämta förfrågningar och svar som är specifika för målet som du vill ansluta och exportera datauppsättningar till. Använd rätt connection spec och flow spec för målet som du konfigurerar.
Hämta en lista med datauppsättningar retrieve-list-of-available-datasets
Om du vill hämta en lista över datauppsättningar som är berättigade för aktivering börjar du med att göra ett API-anrop till slutpunkten nedan.
Observera att om du vill hämta giltiga datauppsättningar kan du connection spec ID:t som används i URL:en för begäran måste vara det specifika ID:t för datakällanslutningen för datasjön. 23598e46-f560-407b-88d5-ea6207e49db0och de två frågeparametrarna outputField=datasets och outputType=activationDatasets måste anges. Alla andra frågeparametrar är de standardparametrar som stöds av Katalogtjänstens API.
Ett svar innehåller en lista över datauppsättningar som kan aktiveras. Dessa datauppsättningar kan användas när du skapar källanslutningen i nästa steg.
När du har hämtat listan över datauppsättningar som du vill exportera kan du skapa en källanslutning med dessa datauppsättnings-ID:n.
Begäran
Skapa källanslutning - begäran
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Ett godkänt svar returnerar ID:t (id) av den nyligen skapade källanslutningen och etag. Anteckna källanslutnings-ID som du behöver det senare när du skapar dataflödet.
Kom ihåg följande:
Källanslutningen som skapas i det här steget måste länkas till ett dataflöde för att dess datauppsättningar ska aktiveras till ett mål. Se skapa ett dataflöde om du vill ha information om hur du länkar en källanslutning till ett dataflöde.
Det går inte att ändra datauppsättnings-ID:n för en källanslutning när den har skapats. Om du behöver lägga till eller ta bort datauppsättningar från en källanslutning måste du skapa en ny källanslutning och länka ID:t för den nya källanslutningen till dataflödet.
Skapa en (mål) basanslutning create-base-connection
En basanslutning lagrar autentiseringsuppgifterna på ditt mål på ett säkert sätt. Beroende på måltypen kan de autentiseringsuppgifter som krävs för att autentisera mot det målet variera. Om du vill hitta de här autentiseringsparametrarna hämtar du först connection spec för det önskade målet enligt beskrivningen i avsnittet Samla anslutningsspecifikationer och flödesspecifikationer och sedan titta på authSpec av svaret. Se flikarna nedan för authSpec egenskaper för alla mål som stöds.
Amazon S3
accordion
Amazon S3 - Connection spec visa auth spec
Lägg märke till den markerade raden med textbundna kommentarer i connection spec nedan, som innehåller ytterligare information om var autentiseringsparametrarna finns i connection spec.
Azure Blob Storage - Connection spec visa auth spec
Lägg märke till den markerade raden med textbundna kommentarer i connection spec nedan, som innehåller ytterligare information om var autentiseringsparametrarna finns i connection spec.
Azure Data Lake Gen 2(ADLS Gen2) - Connection spec visa auth spec
Lägg märke till den markerade raden med textbundna kommentarer i connection spec nedan, som innehåller ytterligare information om var autentiseringsparametrarna finns i connection spec.
Google Cloud Storage - Connection spec visa auth spec
Lägg märke till den markerade raden med textbundna kommentarer i connection spec nedan, som innehåller ytterligare information om var autentiseringsparametrarna finns i connection spec.
{
"items": [
{
"id": "c5d93acb-ea8b-4b14-8f53-02138444ae99",
"name": "Google Cloud Storage",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [ // describes the authentication parameters
{
"name": "Google Cloud Storage authentication credentials",
"type": "GoogleCloudStorageAuth",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"description": "defines auth params required for connecting to google cloud storage connector.",
"type": "object",
"properties": {
"accessKeyId": {
"description": "Access Key Id for the user account",
"type": "string"
},
"secretAccessKey": {
"description": "Secret Access Key for the user account",
"type": "string",
"format": "password"
}
},
"required": [
"accessKeyId",
"secretAccessKey"
]
}
}
],
//...
SFTP
accordion
SFTP - Connection spec visa auth spec
note note
NOTE
SFTP-målet innehåller två separata objekt i auth spec, eftersom det har stöd för både lösenord och SSH-nyckelautentisering.
Lägg märke till den markerade raden med textbundna kommentarer i connection spec nedan, som innehåller ytterligare information om var autentiseringsparametrarna finns i connection spec.
Använda de egenskaper som anges i autentiseringsspecifikationen (dvs. authSpec från svaret) kan du skapa en basanslutning med de nödvändiga inloggningsuppgifterna, som är specifika för varje måltyp, vilket visas i exemplen nedan:
Amazon S3
Begäran
accordion
Amazon S3 - Bas anslutningsbegäran
note tip
TIP
Mer information om hur du får de inloggningsuppgifter som krävs finns i autentisera mot mål på sidan för Amazon S3-måldokumentation.
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Mer information om hur du får de inloggningsuppgifter som krävs finns i autentisera mot mål på dokumentationssidan för Azure Blob Storage-målet.
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Azure Data Lake Gen 2(ADLS Gen2) - Bas anslutningsbegäran
note tip
TIP
Mer information om hur du får de inloggningsuppgifter som krävs finns i autentisera mot mål på sidan med måldokumentation för Azure Data Lake Gen 2 (ADLS Gen2).
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Inga autentiseringsuppgifter krävs för Data Landing Zone-målet. Mer information finns i autentisera mot mål på dokumentationssidan för Data Landing Zone-destinationen.
Mer information om hur du får de inloggningsuppgifter som krävs finns i autentisera mot mål på sidan för måldokumentation för Google Cloud-lagring.
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Mer information om hur du får de inloggningsuppgifter som krävs finns i autentisera mot mål på dokumentationssidan för SFTP-målet.
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Mer information om hur du får de inloggningsuppgifter som krävs finns i autentisera mot mål på dokumentationssidan för SFTP-målet.
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Observera anslutnings-ID från svaret. Detta ID krävs i nästa steg när du skapar målanslutningen.
Skapa en målanslutning create-target-connection
Därefter måste du skapa en målanslutning som lagrar exportparametrarna för datauppsättningarna. Exportparametrar omfattar plats, filformat, komprimering och annan information. Se targetSpec egenskaper som anges i målets anslutningsspecifikation för att förstå vilka egenskaper som stöds för varje måltyp. Se flikarna nedan för targetSpec egenskaper för alla mål som stöds.
WARNING
Export till JSON-filer stöds endast i komprimerat läge. Exporterar till Parquet filer stöds i komprimerat och okomprimerat läge.
Amazon S3
accordion
Amazon S3 - Connection spec visa målanslutningsparametrar
Lägg märke till de markerade raderna med textbundna kommentarer i connection spec nedan, som innehåller ytterligare information om var du hittar target spec parametrar i anslutningsspecifikationen. I exemplet nedan kan du också se vilka målparametrar som är not gäller för datauppsättningsexportdestinationer.
Azure Blob Storage - Connection spec visa målanslutningsparametrar
Lägg märke till de markerade raderna med textbundna kommentarer i connection spec nedan, som innehåller ytterligare information om var du hittar target spec parametrar i anslutningsspecifikationen. I exemplet nedan kan du också se vilka målparametrar som är not gäller för datauppsättningsexportdestinationer.
Azure Data Lake Gen 2(ADLS Gen2) - Connection spec visa målanslutningsparametrar
Lägg märke till de markerade raderna med textbundna kommentarer i connection spec nedan, som innehåller ytterligare information om var du hittar target spec parametrar i anslutningsspecifikationen. I exemplet nedan kan du också se vilka målparametrar som är not gäller för datauppsättningsexportdestinationer.
{
"items": [
{
"id": "be2c3209-53bc-47e7-ab25-145db8b873e1",
"name": "Azure Data Lake Gen2",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [...],
"encryptionSpecs": [...],
"targetSpec": { // describes the target connection parameters
"name": "User based target",
"type": "UserNamespace",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"path": {
"title": "Folder path",
"description": "Enter the path to your Azure Data Lake Storage folder",
"type": "string"
},
"fileType": {...}, // not applicable to dataset destinations
"datasetFileType": {
"conditional": {
"field": "flowSpec.attributes._workflow",
"operator": "CONTAINS",
"value": "DATASETS"
},
"title": "File Type",
"description": "Select file format",
"type": "string",
"enum": [
"JSON",
"PARQUET"
]
},
"csvOptions":{...}, // not applicable to dataset destinations
"compression": {
"title": "Compression format",
"description": "Select the desired file compression format.",
"type": "string",
"enum": [
"NONE",
"GZIP"
]
}
},
"required": [
"path",
"datasetFileType",
"compression",
"fileType"
]
}
//...
Datalandningszon (DLZ)
accordion
Data Landing Zone(DLZ) - Connection spec visa målanslutningsparametrar
Lägg märke till de markerade raderna med textbundna kommentarer i connection spec nedan, som innehåller ytterligare information om var du hittar target spec parametrar i anslutningsspecifikationen. I exemplet nedan kan du också se vilka målparametrar som är not gäller för datauppsättningsexportdestinationer.
Google Cloud Storage - Connection spec visa målanslutningsparametrar
Lägg märke till de markerade raderna med textbundna kommentarer i connection spec nedan, som innehåller ytterligare information om var du hittar target spec parametrar i anslutningsspecifikationen. I exemplet nedan kan du också se vilka målparametrar som är not gäller för datauppsättningsexportdestinationer.
SFTP - Connection spec visa målanslutningsparametrar
Lägg märke till de markerade raderna med textbundna kommentarer i connection spec nedan, som innehåller ytterligare information om var du hittar target spec parametrar i anslutningsspecifikationen. I exemplet nedan kan du också se vilka målparametrar som är not gäller för datauppsättningsexportdestinationer.
Genom att använda specifikationen ovan kan du skapa en målanslutningsbegäran som är specifik för ditt molnlagringsmål, vilket visas på flikarna nedan.
Amazon S3
Begäran
accordion
Amazon S3 - Begäran om målanslutning
note tip
TIP
Information om hur du hämtar de målparametrar som krävs finns i fylla i målinformation i Amazon S3 måldokumentationssida. För andra värden som stöds av datasetFileTypefinns i API-referensdokumentationen.
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Information om hur du hämtar de målparametrar som krävs finns i fylla i målinformation i Azure Blob Storage måldokumentationssida. För andra värden som stöds av datasetFileTypefinns i API-referensdokumentationen.
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Information om hur du hämtar de målparametrar som krävs finns i fylla i målinformation del av Azure Data Lake Gen 2(ADLS Gen2) måldokumentationssida. För andra värden som stöds av datasetFileTypefinns i API-referensdokumentationen.
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Information om hur du hämtar de målparametrar som krävs finns i fylla i målinformation i Data Landing Zone måldokumentationssida. För andra värden som stöds av datasetFileTypefinns i API-referensdokumentationen.
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Information om hur du hämtar de målparametrar som krävs finns i fylla i målinformation i Google Cloud Storage måldokumentationssida. För andra värden som stöds av datasetFileTypefinns i API-referensdokumentationen.
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Information om hur du hämtar de målparametrar som krävs finns i fylla i målinformation på dokumentationssidan för SFTP-målet. För andra värden som stöds av datasetFileTypefinns i API-referensdokumentationen.
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Anteckna målanslutnings-ID från svaret. Detta ID krävs i nästa steg när du skapar dataflödet för att exportera datauppsättningar.
Skapa ett dataflöde create-dataflow
Det sista steget i målkonfigurationen är att konfigurera ett dataflöde. Ett dataflöde knyter ihop enheter som skapats tidigare och innehåller även alternativ för att konfigurera exportschemat för datauppsättningar. Om du vill skapa dataflödet använder du nyttolasterna nedan, beroende på vilket molnlagringsmål du vill ha, och ersätter enhets-ID:n från tidigare steg.
Amazon S3
Begäran
accordion
Skapa datauppsättningsdataflöde till Amazon S3 mål - begäran
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Skapa datauppsättningsdataflöde till Azure Blob Storage mål - begäran
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Skapa datauppsättningsdataflöde till Azure Data Lake Gen 2(ADLS Gen2) mål - begäran
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Skapa datauppsättningsdataflöde till Data Landing Zone mål - begäran
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Skapa datauppsättningsdataflöde till Google Cloud Storage mål - begäran
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Skapa datauppsättningsdataflöde till SFTP-mål - begäran
Lägg märke till de markerade raderna med textbundna kommentarer i exemplet med begäran som ger ytterligare information. Ta bort de textbundna kommentarerna i begäran när du kopierar och klistrar in begäran i valfri terminal.
Anteckna dataflödes-ID från svaret. Detta ID krävs i nästa steg när dataflödet hämtas för att validera den lyckade datauppsättningsexporten.
Hämta dataflödeskörningar get-dataflow-runs
Använd API:t för dataflödeskörning om du vill kontrollera körningarna av ett dataflöde:
Begäran
Get data aflow running - Request
I begäran om att hämta dataflödeskörningar lägger du till det dataflödes-ID som du fick i föregående steg som frågeparameter när du skapade dataflödet.
När du exporterar datauppsättningar skapas en .json eller .parquet filen på lagringsplatsen som du angav. Förvänta dig att en ny fil ska placeras på din lagringsplats enligt det exportschema som du angav när skapa ett dataflöde.
Experience Platform skapar en mappstruktur på den lagringsplats du angav, där den sparar de exporterade datauppsättningsfilerna. En ny mapp skapas för varje exporttid enligt mönstret nedan:
Standardfilnamnet genereras slumpmässigt och säkerställer att de exporterade filnamnen är unika.
Exempeldatauppsättningsfiler sample-files
De här filerna finns i din lagringsplats, vilket är en bekräftelse på att exporten lyckades. Om du vill veta hur de exporterade filerna är strukturerade kan du hämta ett exempel .parquet-fil eller .json-fil.
I steget till skapa en målanslutningkan du välja vilka exporterade datauppsättningsfiler som ska komprimeras.
Observera skillnaden i filformat mellan de två filtyperna när de komprimeras:
När du exporterar komprimerade JSON-filer är det exporterade filformatet json.gz
Vid export av komprimerade parquet-filer är det exporterade filformatet gz.parquet
API-felhantering api-error-handling
API-slutpunkterna i den här självstudiekursen följer de allmänna felmeddelandeprinciperna för Experience Platform API. Se API-statuskoder och fel i begäranhuvudet i felsökningsguiden för plattformen för mer information om hur du tolkar felsvar.
Nästa steg next-steps
Genom att följa den här självstudiekursen har du anslutit Platform till en av dina favoritplatser för batchmolnlagring och konfigurerat ett dataflöde till respektive mål för att exportera datauppsättningar. På följande sidor finns mer information, till exempel om hur du redigerar befintliga dataflöden med API:t för Flow Service: