Skapa ett dataflöde för att importera data från en CRM till Experience Platform
Läs den här vägledningen när du vill lära dig hur du skapar ett dataflöde och importerar data till Adobe Experience Platform med Flow Service API.
Kom igång
Handboken kräver en fungerande förståelse av följande komponenter i Experience Platform:
- Gruppinmatning: Upptäck hur du snabbt och effektivt kan överföra stora datavolymer i grupper.
- Katalogtjänst: Ordna och håll reda på datauppsättningarna i Experience Platform.
- Dataprep: Omforma och mappa inkommande data så att de matchar schemakraven.
- Dataflöden: Konfigurera och hantera pipelines som flyttar dina data från källor till mål.
- XDM-scheman (Experience Data Model): Strukturera dina data med XDM-scheman så att de kan användas i Experience Platform.
- Sandlådor: Testa och utveckla säkert i isolerade miljöer utan att påverka produktionsdata.
- Källor: Lär dig ansluta externa datakällor till Experience Platform.
Använda Experience Platform API:er
Mer information om hur du kan ringa anrop till Experience Platform API:er finns i guiden komma igång med Experience Platform API:er.
Skapa basanslutning base
Om du vill skapa ett dataflöde för källan måste du ha ett fullständigt autentiserat källkonto och dess motsvarande grundläggande anslutnings-ID. Om du inte har det här ID:t kan du gå till källkatalogen och hitta en lista med källor som du kan skapa en basanslutning för.
Skapa ett mål-XDM-schema target-schema
Ett XDM-schema (Experience Data Model) är ett standardiserat sätt att organisera och beskriva kundupplevelsedata i Experience Platform. Om du vill importera källdata till Experience Platform måste du först skapa ett mål-XDM-schema som definierar strukturen och datatyperna som du vill importera. Det här schemat fungerar som en plan för den Experience Platform-datauppsättning där dina inmatade data finns.
Ett mål-XDM-schema kan skapas genom att en POST-begäran till schemats register-APIutförs. Mer information om hur du skapar ett XDM-målschema finns i följande guider:
När du har skapat målschemat $id kommer det att krävas senare för måldatauppsättningen och målmappningen.
Skapa en måldatauppsättning target-dataset
En datamängd är en lagrings- och hanteringskonstruktion för en datamängd som vanligtvis är strukturerad som en tabell med kolumner (schema) och rader (fält). Data som har importerats till Experience Platform lagras i datasjön som datauppsättningar. Under det här steget kan du antingen skapa en ny datauppsättning eller använda en befintlig.
Du kan skapa en måldatamängd genom att göra en POST-begäran till katalogtjänstens API, samtidigt som du anger målschemats ID i nyttolasten. Detaljerade steg om hur du skapar en måldatauppsättning finns i guiden om att skapa en datauppsättning med API:t.
API-format
| code language-http |
|---|
|
Begäran
I följande exempel visas hur du skapar en måldatauppsättning som är aktiverad för kundprofilsinmatning i realtid. I den här begäran är egenskapen unifiedProfile inställd på true (under objektet tags), vilket innebär att Experience Platform ska inkludera datauppsättningen i kundprofilen i realtid.
| code language-shell |
|---|
|
| table 0-row-2 1-row-2 2-row-2 3-row-2 | |
|---|---|
| Egenskap | Beskrivning |
name |
Ett beskrivande namn för måldatauppsättningen. Använd ett tydligt och unikt namn för att göra det enklare att identifiera och hantera datauppsättningen i framtida åtgärder. |
schemaRef.id |
ID för ditt mål-XDM-schema. |
tags.unifiedProfile |
Ett booleskt värde som informerar Experience Platform om data ska hämtas till kundprofilen i realtid. |
Svar
Ett svar returnerar ID:t för måldatauppsättningen. Detta ID krävs senare för att skapa en målanslutning.
| code language-json |
|---|
|
Skapa en källanslutning source
En källanslutning definierar hur data hämtas till Experience Platform från en extern källa. Den anger både källsystemet och formatet för inkommande data och refererar till en basanslutning som innehåller autentiseringsinformation. Varje källanslutning är unik för din organisation.
- För filbaserade källor (till exempel molnlagring) kan en källanslutning innehålla inställningar som kolumnavgränsare, kodningstyp, komprimeringstyp, reguljära uttryck för filval och huruvida filer ska importeras rekursivt.
- För tabellbaserade källor (t.ex. databaser, CRM och leverantörer av automatiserad marknadsföring) kan en källanslutning ange detaljer som tabellnamn och kolumnmappningar.
Om du vill skapa en källanslutning gör du en POST-begäran till /sourceConnections-slutpunkten för Flow Service API:t och anger ditt grundläggande anslutnings-ID, anslutningsspecifikations-ID och sökväg till källdatafilen.
API-format
POST /sourceConnections
Begäran
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/sourceConnections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "ACME source connection",
"description": "A source connection for ACME contact data",
"baseConnectionId": "6990abad-977d-41b9-a85d-17ea8cf1c0e4",
"data": {
"format": "tabular"
},
"params": {
"tableName": "Contact",
"columns": [
{
"name": "TestID",
"type": "string",
"xdm": {
"type": "string"
}
},
{
"name": "Name",
"type": "string",
"xdm": {
"type": "string"
}
},
{
"name": "Datefield",
"type": "string",
"meta:xdmType": "date-time",
"xdm": {
"type": "string",
"format": "date-time"
}
}
]
},
"connectionSpec": {
"id": "cfc0fee1-7dc0-40ef-b73e-d8b134c436f5",
"version": "1.0"
}
}'
namedescriptionbaseConnectionIdid för din basanslutning. Du kan hämta detta ID genom att autentisera källan till Experience Platform med API:t Flow Service.data.formattabular för tabellbaserade källor (t.ex. databaser, CRM och leverantörer av automatiserad marknadsföring).params.tableNameparams.columnsconnectionSpec.idSvar
Ett lyckat svar returnerar ID:t för din källanslutning. Detta ID krävs för att skapa ett dataflöde och importera dina data.
{
"id": "b7581b59-c603-4df1-a689-d23d7ac440f3",
"etag": "\"ef05d265-0000-0200-0000-6019e0080000\""
}
Skapa en målanslutning target
En målanslutning representerar anslutningen till målet där inkapslade data kommer in. Om du vill skapa en målanslutning måste du ange det fasta ID för anslutningsspecifikation som är associerat med datasjön. Detta anslutningsspecifikations-ID är: c604ff05-7f1a-43c0-8e18-33bf874cb11c.
API-format
POST /targetConnections
Begäran
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "ACME target connection",
"description": "ACME target connection",
"data": {
"schema": {
"id": "https://ns.adobe.com/{TENANT_ID}/schemas/52b59140414aa6a370ef5e21155fd7a686744b8739ecc168",
"version": "application/vnd.adobe.xed-full+json;version=1"
}
},
"params": {
"dataSetId": "6889f4f89b982b2b90bc1207"
},
"connectionSpec": {
"id": "c604ff05-7f1a-43c0-8e18-33bf874cb11c",
"version": "1.0"
}
}'
namedescriptiondata.schema.idparams.dataSetIdconnectionSpec.idc604ff05-7f1a-43c0-8e18-33bf874cb11c.Mappning mapping
Mappa sedan källdata till målschemat som måldatauppsättningen följer. Skapa en mappning genom att göra en POST-begäran till mappingSets-slutpunkten för Data Prep API. Inkludera ditt mål-XDM-schema-ID och information om de mappningsuppsättningar som du vill skapa.
API-format
POST /mappingSets
Begäran
curl -X POST \
'https://platform.adobe.io/data/foundation/conversion/mappingSets' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"version": 0,
"xdmSchema": "https://ns.adobe.com/{TENANT_ID}/schemas/52b59140414aa6a370ef5e21155fd7a686744b8739ecc168",
"xdmVersion": "1.0",
"id": null,
"mappings": [
{
"destinationXdmPath": "_id",
"sourceAttribute": "TestID",
"identity": false,
"identityGroup": null,
"namespaceCode": null,
"version": 0
},
{
"destinationXdmPath": "person.name.fullName",
"sourceAttribute": "Name",
"identity": false,
"identityGroup": null,
"namespaceCode": null,
"version": 0
},
{
"destinationXdmPath": "person.birthDate",
"sourceAttribute": "Datefield",
"identity": false,
"identityGroup": null,
"namespaceCode": null,
"version": 0
}
]
}'
xdmSchema$id för mål-XDM-schemat.Svar
Ett lyckat svar returnerar information om den nyligen skapade mappningen inklusive dess unika identifierare (id). Detta ID krävs i ett senare steg för att skapa ett dataflöde.
{
"id": "93ddfa69c4864d978832b1e5ef6ec3b9",
"version": 0,
"createdDate": 1612309018666,
"modifiedDate": 1612309018666,
"createdBy": "{CREATED_BY}",
"modifiedBy": "{MODIFIED_BY}"
}
Hämta dataflödesspecifikationer flow-specs
Innan du kan skapa ett dataflöde måste du först hämta de dataflödesspecifikationer som motsvarar källan. Om du vill hämta den här informationen skickar du en GET-begäran till /flowSpecs-slutpunkten för API:t Flow Service.
API-format
GET /flowSpecs?property=name=="{NAME}"
property=name=="{NAME}"Namnet på dataflödesspecifikationen.
- För filbaserade källor (till exempel molnlagring) anger du värdet
CloudStorageToAEP. - Ange det här värdet till
CRMToAEPför tabellbaserade källor (t.ex. databaser, CRM och leverantörer av automatiserad marknadsföring).
Begäran
curl -X GET \
'https://platform.adobe.io/data/foundation/flowservice/flowSpecs?property=name=="CRMToAEP"' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}'
Svar
Ett lyckat svar returnerar information om dataflödesspecifikationen som ansvarar för att hämta data från källan till Experience Platform. Svaret innehåller den unika flödesspecifikation id som krävs för att skapa ett nytt dataflöde.
Kontrollera items.sourceConnectionSpecIds-arrayen i svaret för att försäkra dig om att du använder rätt dataflödesspecifikation. Bekräfta att anslutningsspecifikations-ID:t för källan finns med i den här listan.
| code language-json |
|---|
|
Skapa ett dataflöde dataflow
Ett dataflöde är en konfigurerad pipeline som överför data mellan Experience Platform-tjänster. Det definierar hur data hämtas från externa källor (som databaser, molnlagring eller API:er), bearbetas och dirigeras till måldatamängder. Dessa datauppsättningar används sedan av tjänster som identitetstjänst, kundprofil i realtid och destinationer för aktivering och analys.
Om du vill skapa ett dataflöde måste du ange värden för följande objekt:
Under det här steget kan du använda följande parametrar i scheduleParams för att konfigurera ett intag-schema för ditt dataflöde:
startTimefrequencyHur ofta du har fått i dig läkemedlet. Konfigurera frekvens för att ange hur ofta dataflödet ska köras. Du kan ange frekvensen till:
once: Ställ in din frekvens påonceför att skapa en engångsinmatning. Inställningarna för intervall och bakåtfyllnad är inte tillgängliga för engångsinmatningsjobb. Som standard är schemaläggningsfrekvensen inställd på en gång.minute: Ställ in din frekvens påminuteför att schemalägga ditt dataflöde att importera data per minut.hour: Ställ in din frekvens påhourför att schemalägga ditt dataflöde att importera data per timme.day: Ställ in din frekvens pådayför att schemalägga ditt dataflöde att importera data per dag.week: Ställ in din frekvens påweekför att schemalägga ditt dataflöde att importera data per vecka.
intervalIntervallet mellan efterföljande inmatningar (krävs för alla frekvenser utom once). Konfigurera intervallinställningen för att fastställa tidsramen mellan varje intag. Om din frekvens till exempel är inställd på dag och intervallet är 15, kommer dataflödet att köras var 15:e dag. Du kan inte ange intervallet till noll. Det minsta tillåtna intervallvärdet för varje frekvens är följande:
once: ingenminute: 15hour: 1day: 1week: 1
backfillstartTime.API-format
POST /flows
Begäran
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/flows' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "ACME Contact Dataflow",
"description": "A dataflow for ACME contact data",
"flowSpec": {
"id": "14518937-270c-4525-bdec-c2ba7cce3860",
"version": "1.0"
},
"sourceConnectionIds": [
"b7581b59-c603-4df1-a689-d23d7ac440f3"
],
"targetConnectionIds": [
"320f119a-5ac1-4ab1-88ea-eb19e674ea2e"
],
"transformations": [
{
"name": "Copy",
"params": {
"deltaColumn": {
"name": "Datefield",
"dateFormat": "YYYY-MM-DD",
"timezone": "UTC"
}
}
},
{
"name": "Mapping",
"params": {
"mappingId": "93ddfa69c4864d978832b1e5ef6ec3b9",
"mappingVersion": 0
}
}
],
"scheduleParams": {
"startTime": "1612310466",
"frequency":"minute",
"interval":"15",
"backfill": "true"
}
}'
namedescriptionflowSpec.idsourceConnectionIdstargetConnectionIdstransformations.params.deltaColumdeltaColumn är yyyy-MM-dd HH:mm:ss. För Microsoft Dynamics är det format som stöds för deltaColumn yyyy-MM-ddTHH:mm:ssZ.transformations.params.deltaColumn.dateFormattransformations.params.deltaColumn.timeZonetransformations.params.mappingIdscheduleParams.startTimescheduleParams.frequencyonce, minute, hour, day eller week.scheduleParams.intervalscheduleParams.backfilltrue eller false) som avgör om historiska data (bakåtfyllnad) ska importeras när dataflödet skapas.Svar
Ett lyckat svar returnerar ID:t (id) för det nyskapade dataflödet.
{
"id": "ae0a9777-b322-4ac1-b0ed-48ae9e497c7e",
"etag": "\"770029f8-0000-0200-0000-6019e7d40000\""
}
Använd gränssnittet för att validera API-arbetsflödet validate-in-ui
Du kan använda Experience Platform användargränssnitt för att validera skapandet av dataflödet. Navigera till katalogen Sources i Experience Platform-gränssnittet och välj sedan Dataflows på rubrikflikarna. Använd sedan kolumnen Dataflow Name och leta reda på dataflödet som du skapade med API:t Flow Service.
Du kan validera ditt dataflöde ytterligare via gränssnittet Dataflow activity. Använd den högra listen för att visa API usage-information om dataflödet. I det här avsnittet visas samma dataflödes-ID, datauppsättnings-ID och mappnings-ID som genererades när dataflödet skapades i Flow Service.
Nästa steg
I den här självstudiekursen får du hjälp med att skapa ett dataflöde i Experience Platform med hjälp av API:t Flow Service. Du lärde dig att skapa och konfigurera nödvändiga komponenter, inklusive mål-XDM-schema, datauppsättning, källanslutning, målanslutning och själva dataflödet. Genom att följa dessa steg kan du automatisera inmatningen av data från externa källor till Experience Platform, vilket gör att underordnade tjänster som kundprofil och destinationer i realtid kan utnyttja dina inmatade data för avancerade användningsfall.
Övervaka dataflödet
När dataflödet har skapats kan du övervaka dess prestanda direkt i Experience Platform-gränssnittet. Detta inkluderar spårning av ingångsfrekvens, framgångsmått och eventuella fel som inträffar. Mer information om hur du övervakar dataflöde finns i självstudiekursen Övervaka konton och dataflöden.
Uppdatera ditt dataflöde
Om du vill uppdatera konfigurationer för schemaläggning, mappning eller allmän information för dataflöden går du till självstudiekursen Uppdatera källfilens dataflöden.
Ta bort ditt dataflöde
Du kan ta bort dataflöden som inte längre är nödvändiga eller som har skapats felaktigt med funktionen Delete som finns på arbetsytan i Dataflows. Mer information om hur du tar bort dataflöden finns i självstudiekursen Ta bort dataflöden.