Skapa ett dataflöde för CRM-källor med Flow Service API
I den här självstudiekursen beskrivs hur du hämtar data från en CRM-källa och tar dem till plattformen med Flow Service API.
Komma igång
Den här självstudiekursen kräver även att du har en fungerande förståelse för följande komponenter i Adobe Experience Platform:
-
Experience Data Model (XDM) System: Det standardiserade ramverk som Experience Platform använder för att ordna kundupplevelsedata.
- Grunderna för schemakomposition: Lär dig mer om de grundläggande byggstenarna i XDM-scheman, inklusive viktiga principer och bästa praxis när det gäller schemakomposition.
- Utvecklarhandbok för schemaregister: Innehåller viktig information som du behöver känna till för att kunna utföra anrop till API:t för schemaregister. Detta inkluderar
{TENANT_ID}
, begreppet"behållare" och de rubriker som krävs för att göra en begäran (med särskild uppmärksamhet på rubriken Godkänn och dess möjliga värden).
-
Catalog Service: Katalog är ett arkivsystem för dataplatser och -länkar inom Experience Platform.
-
Batch ingestion: Med API:t för gruppinmatning kan du importera data till Experience Platform som gruppfiler.
-
Sandlådor: Experience Platform tillhandahåller virtuella sandlådor som partitionerar en enda plattformsinstans i separata virtuella miljöer för att utveckla och utveckla program för digitala upplevelser.
Använda plattforms-API:er
Mer information om hur du kan anropa API:er för plattformar finns i handboken komma igång med plattforms-API:er.
Skapa en källanslutning source
Du kan skapa en källanslutning genom att göra en POST-förfrågan till Flow Service API. En källanslutning består av ett anslutnings-ID, en sökväg till källdatafilen och ett anslutnings-spec-ID.
Om du vill skapa en källanslutning måste du också definiera ett uppräkningsvärde för dataformatattributet.
Använd följande uppräkningsvärden för filbaserade kopplingar:
delimited
json
parquet
För alla tabellbaserade kopplingar anger du värdet till tabular
.
API-format
POST /sourceConnections
Begäran
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/sourceConnections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "Salesforce source connection",
"baseConnectionId": "4cb0c374-d3bb-4557-b139-5712880adc55",
"description": "Salesforce source connection",
"data": {
"format": "tabular",
},
"params": {
"tableName": "Accounts",
"columns": [
{
"name": "first_name",
"type": "string",
"xdm": {
"type": "String"
}
},
{
"name": "last_name",
"type": "string",
"xdm": {
"type": "String"
}
},
{
"name": "email",
"type": "string",
"xdm": {
"type": "String"
}
}
]
},
"connectionSpec": {
"id": "ccfc0fee1-7dc0-40ef-b73e-d8b134c436f5",
"version": "1.0"
}
}'
baseConnectionId
params.path
connectionSpec.id
Svar
Ett godkänt svar returnerar den unika identifieraren (id
) för den nyligen skapade källanslutningen. Detta ID krävs i ett senare steg för att skapa ett dataflöde.
{
"id": "9a603322-19d2-4de9-89c6-c98bd54eb184"
"etag": "\"4a00038b-0000-0200-0000-5ebc47fd0000\""
}
Skapa ett mål-XDM-schema target-schema
För att källdata ska kunna användas i Platform måste ett målschema skapas för att strukturera källdata efter dina behov. Målschemat används sedan för att skapa en plattformsdatauppsättning där källdata finns.
Ett mål-XDM-schema kan skapas genom att utföra en POST-begäran till API för schemaregister.
Detaljerade anvisningar om hur du skapar ett XDM-målschema finns i självstudiekursen om skapa ett schema med API.
Skapa en måldatauppsättning target-dataset
En måldatauppsättning kan skapas genom att en POST till Katalogtjänstens API, som tillhandahåller målschemats ID i nyttolasten.
Detaljerade anvisningar om hur du skapar en måldatauppsättning finns i självstudiekursen om skapa en datauppsättning med API.
Skapa en målanslutning
En målanslutning representerar anslutningen till målet där inkapslade data kommer in. Om du vill skapa en målanslutning måste du ange det fasta anslutnings-spec-ID som är associerat med datasjön. Detta anslutningsspec-ID är: c604ff05-7f1a-43c0-8e18-33bf874cb11c
.
Nu har du de unika identifierarna ett målschema, en måldatamängd och ett anslutningsspec-ID till datasjön. Använda Flow Service API kan du skapa en målanslutning genom att ange dessa identifierare tillsammans med den datauppsättning som kommer att innehålla inkommande källdata.
API-format
POST /targetConnections
Begäran
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "Salesforce target connection",
"description": "Salesforce target connection",
"data": {
"schema": {
"id": "https://ns.adobe.com/{TENANT_ID}/schemas/417a33eg81a221bd10495920574gfa2d",
"version": "application/vnd.adobe.xed-full+json;version=1"
}
},
"params": {
"dataSetId": "5c8c3c555033b814b69f947f"
},
"connectionSpec": {
"id": "c604ff05-7f1a-43c0-8e18-33bf874cb11c",
"version": "1.0"
}
}'
data.schema.id
$id
av mål-XDM-schemat.data.schema.version
application/vnd.adobe.xed-full+json;version=1
, som returnerar den senaste delversionen av schemat.params.dataSetId
connectionSpec.id
c604ff05-7f1a-43c0-8e18-33bf874cb11c
.{
"id": "4ee890c7-519c-4291-bd20-d64186b62da8",
"etag": "\"2a007aa8-0000-0200-0000-5e597aaf0000\""
}
Skapa en mappning mapping
För att källdata ska kunna hämtas till en måldatamängd måste den först mappas till målschemat som måldatamängden följer.
Skapa en mappningsuppsättning genom att göra en POST-förfrågan till mappingSets
slutpunkt för Data Prep API när du tillhandahöll ditt mål-XDM-schema $id
och information om de mappningsuppsättningar som du vill skapa.
API-format
POST /conversion/mappingSets
Begäran
curl -X POST \
'https://platform.adobe.io/data/foundation/conversion/mappingSets' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"version": 0,
"xdmSchema": "https://ns.adobe.com/{TENANT_ID}/schemas/417a33eg81a221bd10495920574gfa2d",
"xdmVersion": "1.0",
"id": null,
"mappings": [
{
"destinationXdmPath": "person.name.firstName",
"sourceAttribute": "first_name",
"identity": false,
"identityGroup": null,
"namespaceCode": null,
"version": 0
},
{
"destinationXdmPath": "person.name.lastName",
"sourceAttribute": "last_name",
"identity": false,
"identityGroup": null,
"namespaceCode": null,
"version": 0
},
{
"destinationXdmPath": "personalEmail.address",
"sourceAttribute": "email",
"identity": false,
"identityGroup": null,
"namespaceCode": null,
"version": 0
}
]
}'
xdmSchema
Svar
Ett godkänt svar returnerar information om den nyligen skapade mappningen inklusive dess unika identifierare (id
). Detta värde krävs i ett senare steg för att skapa ett dataflöde.
{
"id": "500a9b747fcf4908a21917d49bd61780",
"version": 0,
"createdDate": 1591043336298,
"modifiedDate": 1591043336298,
"createdBy": "{CREATED_BY}",
"modifiedBy": "{MODIFIED_BY}"
}
Hämta dataflödesspecifikationer specs
Ett dataflöde ansvarar för att samla in data från källor och föra in dem i plattformen. För att kunna skapa ett dataflöde måste du först hämta de dataflödesspecifikationer som ansvarar för att samla in CRM-data.
API-format
GET /flowSpecs?property=name=="CRMToAEP"
Begäran
curl -X GET \
'https://platform.adobe.io/data/foundation/flowservice/flowSpecs?property=name==%22CRMToAEP%22' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}'
Svar
Ett lyckat svar returnerar information om dataflödesspecifikationen som ansvarar för att hämta data från källan till plattformen. Svaret innehåller den unika flödesspecifikationen id
krävs för att skapa ett nytt dataflöde.
code language-json |
---|
|
Skapa ett dataflöde
Det sista steget mot att samla in CRM-data är att skapa ett dataflöde. Nu har du förberett följande obligatoriska värden:
Ett dataflöde ansvarar för att schemalägga och samla in data från en källa. Du kan skapa ett dataflöde genom att utföra en begäran om POST samtidigt som du anger de tidigare angivna värdena i nyttolasten.
Om du vill schemalägga ett intag måste du först ange starttidsvärdet till epok time i sekunder. Sedan måste du ange frekvensvärdet till ett av de fem alternativen: once
, minute
, hour
, day
, eller week
. Intervallvärdet anger perioden mellan två på varandra följande inmatningar och att skapa en engångsinmatning kräver inget intervall. För alla andra frekvenser måste intervallvärdet anges till lika med eller större än 15
.
API-format
POST /flows
Begäran
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/flows' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "Salesforce dataflow",
"description": "Salesforce dataflow",
"flowSpec": {
"id": "9753525b-82c7-4dce-8a9b-5ccfce2b9876",
"version": "1.0"
},
"sourceConnectionIds": [
"9a603322-19d2-4de9-89c6-c98bd54eb184"
],
"targetConnectionIds": [
"4ee890c7-519c-4291-bd20-d64186b62da8"
],
"transformations": [
{
"name": "Copy",
"params": {
"deltaColumn": {
"name": "updatedAt",
"dateFormat": "YYYY-MM-DD",
"timezone": "UTC"
}
}
},
{
"name": "Mapping",
"params": {
"mappingId": "500a9b747fcf4908a21917d49bd61780",
"mappingVersion": 0
}
}
],
"scheduleParams": {
"startTime": "1567411548",
"frequency":"minute",
"interval":"30"
}
}'
flowSpec.id
sourceConnectionIds
targetConnectionIds
transformations.params.mappingId
transformations.params.deltaColum
deltaColumn
är yyyy-MM-dd HH:mm:ss
. Om du använder Microsoft Dynamics är det format som stöds för deltaColumn
är yyyy-MM-ddTHH:mm:ssZ
.transformations.params.mappingId
scheduleParams.startTime
scheduleParams.frequency
once
, minute
, hour
, day
, eller week
.scheduleParams.interval
once
och ska vara större än eller lika med 15
för andra frekvensvärden.Svar
Ett godkänt svar returnerar ID:t (id
) av det nya dataflödet.
{
"id": "8256cfb4-17e6-432c-a469-6aedafb16cd5"
"etag": "\"04004fe9-0000-0200-0000-5ebc4c8b0000\""
}
Övervaka dataflödet
När dataflödet har skapats kan du övervaka de data som importeras genom det för att se information om flödeskörningar, slutförandestatus och fel. Mer information om hur du övervakar dataflöden finns i självstudiekursen om övervaka dataflöden i API:t
Nästa steg
Genom att följa den här självstudiekursen har du skapat en källanslutning för att samla in data från ett CRM-system på schemalagd basis. Inkommande data kan nu användas av plattformstjänster längre fram i kedjan som Real-Time Customer Profile och Data Science Workspace. Mer information finns i följande dokument:
Bilaga
I följande avsnitt visas de olika CRM-källanslutningarna och deras anslutningsspecifikationer.
Anslutningsspecifikation
38ad80fe-8b06-4938-94f4-d4ee80266b07
cfc0fee1-7dc0-40ef-b73e-d8b134c436f5