Een gegevensstroom maken om gegevens van een CRM in Experience Platform in te voeren
Lees deze gids om te leren hoe te om een dataflow tot stand te brengen en gegevens in Adobe Experience Platform in te voeren gebruikend Flow Service API .
Aan de slag
Deze handleiding vereist een goed begrip van de volgende onderdelen van Experience Platform:
- Inname van de Partij : Ontdek hoe u grote volumes van gegevens in partijen snel en efficiënt kunt uploaden.
- de Dienst van de Catalogus : Organiseer en houd spoor van uw datasets in Experience Platform.
- Prep van Gegevens : Transformeer en breng uw inkomende gegevens in kaart om uw schemavereisten aan te passen.
- Dataflows : Opstelling en beheer de pijpleidingen die uw gegevens van bronnen aan bestemmingen bewegen.
- Schema's van de Gegevens van de Ervaring Model (XDM) : Structuur uw gegevens gebruikend schema's XDM zodat is het klaar voor gebruik in Experience Platform.
- Sandboxen : Test en ontwikkel veilig in geïsoleerde milieu's zonder productiegegevens te beïnvloeden.
- Bronnen : Leer hoe te om uw externe gegevensbronnen met Experience Platform te verbinden.
Experience Platform API's gebruiken
Voor informatie over hoe te om vraag aan Experience Platform APIs met succes te maken, lees de gids op begonnen wordt met Experience Platform APIs .
Basisverbinding maken base
Als u een gegevensstroom voor uw bron wilt maken, hebt u een volledig geverifieerde bronaccount en de bijbehorende basis-verbindings-id nodig. Als u dit identiteitskaart niet hebt, bezoek de broncatalogus om een lijst van bronnen te vinden waarvoor u een basisverbinding kunt tot stand brengen.
Een doel-XDM-schema maken target-schema
Een schema van de Gegevens van de Ervaring van het Model (XDM) verstrekt een gestandaardiseerde manier om gegevens van de klantenervaring binnen Experience Platform te organiseren en te beschrijven. Om uw brongegevens in Experience Platform in te voeren, moet u eerst een doelXDM schema tot stand brengen dat de structuur en de soorten gegevens bepaalt u wilt opnemen. Dit schema dient als blauwdruk voor de dataset van Experience Platform waar uw opgenomen gegevens zullen verblijven.
Een doelXDM schema kan worden gecreeerd door een POST- verzoek aan de Registratie API van het Schema uit te voeren. Lees de volgende hulplijnen voor gedetailleerde stappen over het maken van een doel-XDM-schema:
Zodra gecreeerd, zal het doelXDM schema $id later voor uw doeldataset en afbeelding worden vereist.
Een doelgegevensset maken target-dataset
Een dataset is een opslag en beheersconstructie voor een inzameling van gegevens, typisch gestructureerd zoals een lijst met kolommen (schema) en rijen (gebieden). De gegevens die met succes in Experience Platform worden opgenomen worden opgeslagen binnen het gegevensmeer als datasets. Tijdens deze stap, kunt u of een nieuwe dataset tot stand brengen of bestaande gebruiken.
U kunt een doeldataset tot stand brengen door een POST- verzoek aan de Dienst API van de Catalogus te doen, terwijl het verstrekken van identiteitskaart van het doelschema binnen de nuttige lading. Voor gedetailleerde stappen op hoe te om een doeldataset tot stand te brengen, lees de gids bij het creëren van een dataset gebruikend API .
API formaat
| code language-http |
|---|
|
Verzoek
Het volgende voorbeeld toont hoe te om een doeldataset tot stand te brengen die voor Echte - tijdInname van het Profiel van de Klant wordt toegelaten. In deze aanvraag wordt de eigenschap unifiedProfile ingesteld op true (onder het tags -object), die Experience Platform opgeeft de gegevensset op te nemen in Real-Time Customer Profile.
| code language-shell |
|---|
|
| table 0-row-2 1-row-2 2-row-2 3-row-2 | |
|---|---|
| Eigenschap | Beschrijving |
name |
Een beschrijvende naam voor uw doeldataset. Gebruik een duidelijke en unieke naam om het gemakkelijker te maken om uw dataset in toekomstige verrichtingen te identificeren en te beheren. |
schemaRef.id |
De id van uw doel-XDM-schema. |
tags.unifiedProfile |
Een Booleaanse waarde die Experience Platform laat weten of de gegevens moeten worden ingevoerd in Real-Time klantprofiel. |
Reactie
Een succesvolle reactie keert identiteitskaart van uw doeldataset terug. Deze id is later vereist om een doelverbinding te maken.
| code language-json |
|---|
|
Een bronverbinding maken source
Een bronverbinding definieert hoe gegevens vanuit een externe bron naar Experience Platform worden overgebracht. Het specificeert zowel het bronsysteem als het formaat van de inkomende gegevens, en het verwijst een basisverbinding die authentificatiedetails bevat. Elke bronverbinding is uniek voor uw organisatie.
- Voor bestandsgebaseerde bronnen (zoals cloudopslagbestanden) kan een bronverbinding instellingen bevatten zoals kolomscheidingsteken, coderingstype, compressietype, reguliere expressies voor bestandsselectie en of bestanden recursief moeten worden ingesloten.
- Voor op lijst-gebaseerde bronnen (zoals gegevensbestanden, CRMs, en de leveranciers van de marketing automatisering), kan een bronverbinding details zoals de lijstnaam en kolomafbeeldingen specificeren.
Als u een bronverbinding wilt maken, vraagt u een POST-aanvraag naar het /sourceConnections -eindpunt van de Flow Service API en geeft u de id van de basisverbinding, de verbindingsspecificatie-id en het pad naar het brongegevensbestand op.
API formaat
POST /sourceConnections
Verzoek
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/sourceConnections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "ACME source connection",
"description": "A source connection for ACME contact data",
"baseConnectionId": "6990abad-977d-41b9-a85d-17ea8cf1c0e4",
"data": {
"format": "tabular"
},
"params": {
"tableName": "Contact",
"columns": [
{
"name": "TestID",
"type": "string",
"xdm": {
"type": "string"
}
},
{
"name": "Name",
"type": "string",
"xdm": {
"type": "string"
}
},
{
"name": "Datefield",
"type": "string",
"meta:xdmType": "date-time",
"xdm": {
"type": "string",
"format": "date-time"
}
}
]
},
"connectionSpec": {
"id": "cfc0fee1-7dc0-40ef-b73e-d8b134c436f5",
"version": "1.0"
}
}'
namedescriptionbaseConnectionIdid van uw basisverbinding. U kunt deze id ophalen door de bron te verifiëren bij Experience Platform met de API van Flow Service .data.formattabular voor bronnen op basis van tabellen (zoals databases, CRM's en providers van marketingautomatisering).params.tableNameparams.columnsconnectionSpec.idReactie
Een succesvolle reactie keert identiteitskaart van uw bronverbinding terug. Deze id is vereist om een gegevensstroom te maken en uw gegevens in te voeren.
{
"id": "b7581b59-c603-4df1-a689-d23d7ac440f3",
"etag": "\"ef05d265-0000-0200-0000-6019e0080000\""
}
Een doelverbinding maken target
Een doelverbinding vertegenwoordigt de verbinding aan de bestemming waar de ingesloten gegevens binnen landen. Om een doelverbinding tot stand te brengen, moet u vaste identiteitskaart van de verbindingsspecificatie verstrekken verbonden aan het gegevens meer. Deze verbindingsspecificatie-id is: c604ff05-7f1a-43c0-8e18-33bf874cb11c .
API formaat
POST /targetConnections
Verzoek
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "ACME target connection",
"description": "ACME target connection",
"data": {
"schema": {
"id": "https://ns.adobe.com/{TENANT_ID}/schemas/52b59140414aa6a370ef5e21155fd7a686744b8739ecc168",
"version": "application/vnd.adobe.xed-full+json;version=1"
}
},
"params": {
"dataSetId": "6889f4f89b982b2b90bc1207"
},
"connectionSpec": {
"id": "c604ff05-7f1a-43c0-8e18-33bf874cb11c",
"version": "1.0"
}
}'
namedescriptiondata.schema.idparams.dataSetIdconnectionSpec.idc604ff05-7f1a-43c0-8e18-33bf874cb11c.Toewijzing mapping
Daarna, kaart uw brongegevens aan het doelschema dat uw doeldataset volgt aan. Om een afbeelding tot stand te brengen, doe een POST verzoek aan het mappingSets eindpunt van Data Prep API . Neem de doel-XDM-schema-id op en de details van de toewijzingssets die u wilt maken.
API formaat
POST /mappingSets
Verzoek
curl -X POST \
'https://platform.adobe.io/data/foundation/conversion/mappingSets' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"version": 0,
"xdmSchema": "https://ns.adobe.com/{TENANT_ID}/schemas/52b59140414aa6a370ef5e21155fd7a686744b8739ecc168",
"xdmVersion": "1.0",
"id": null,
"mappings": [
{
"destinationXdmPath": "_id",
"sourceAttribute": "TestID",
"identity": false,
"identityGroup": null,
"namespaceCode": null,
"version": 0
},
{
"destinationXdmPath": "person.name.fullName",
"sourceAttribute": "Name",
"identity": false,
"identityGroup": null,
"namespaceCode": null,
"version": 0
},
{
"destinationXdmPath": "person.birthDate",
"sourceAttribute": "Datefield",
"identity": false,
"identityGroup": null,
"namespaceCode": null,
"version": 0
}
]
}'
xdmSchema$id of the target XDM schema.Reactie
Een succesvolle reactie keert details van de pas gecreëerde afbeelding met inbegrip van zijn uniek herkenningsteken (id) terug. Deze id is in een latere stap vereist om een gegevensstroom te maken.
{
"id": "93ddfa69c4864d978832b1e5ef6ec3b9",
"version": 0,
"createdDate": 1612309018666,
"modifiedDate": 1612309018666,
"createdBy": "{CREATED_BY}",
"modifiedBy": "{MODIFIED_BY}"
}
Gegevensstroomspecificaties ophalen flow-specs
Voordat u een gegevensstroom kunt maken, moet u eerst de dataflow-specificaties ophalen die overeenkomen met uw bron. Als u deze informatie wilt ophalen, vraagt u GET het /flowSpecs -eindpunt van de Flow Service API aan.
API formaat
GET /flowSpecs?property=name=="{NAME}"
property=name=="{NAME}"De naam van uw gegevensstroomspecificatie.
- Voor bestandsgebaseerde bronnen (zoals cloudopslag) stelt u deze waarde in op
CloudStorageToAEP. - Voor op tabellen gebaseerde bronnen (zoals databases, CRM's en marketingautomatiseringsproviders) stelt u deze waarde in op
CRMToAEP.
Verzoek
curl -X GET \
'https://platform.adobe.io/data/foundation/flowservice/flowSpecs?property=name=="CRMToAEP"' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}'
Reactie
Een succesvolle reactie retourneert de details van de gegevensstroomspecificatie die verantwoordelijk zijn voor het plaatsen van gegevens van uw bron naar Experience Platform. De reactie bevat de unieke flowspecificatie id die is vereist om een nieuwe gegevensstroom te maken.
Controleer de array items.sourceConnectionSpecIds in de reactie om er zeker van te zijn dat u de juiste gegevensstroomspecificatie gebruikt. Bevestig dat de id van de verbindingsspecificatie voor uw bron in deze lijst is opgenomen.
| code language-json |
|---|
|
Een gegevensstroom maken dataflow
Een dataflow is een gevormde pijpleiding die gegevens over de diensten van Experience Platform overbrengt. Het bepaalt hoe het gegeven uit externe bronnen (zoals gegevensbestanden, wolkenopslag, of APIs) wordt opgenomen, verwerkt, en verpletterd aan doeldatasets. Deze datasets worden dan gebruikt door de diensten zoals de Dienst van de Identiteit, het Profiel van de Klant in real time, en Doelen voor activering en analyse.
Als u een gegevensstroom wilt maken, moet u waarden opgeven voor de volgende items:
Tijdens deze stap, kunt u de volgende parameters in scheduleParams gebruiken om een innameschema voor uw gegevensstroom te vormen:
startTimefrequencyDe frequentie van inname. Vorm frequentie om erop te wijzen hoe vaak dataflow zou moeten lopen. U kunt de frequentie instellen op:
once: stel de frequentie in oponceom een eenmalige opname te maken. Instellingen voor interval en backfill zijn niet beschikbaar voor eenmalige innametaken. Standaard wordt de planningsfrequentie ingesteld op één keer.minute: stel de frequentie in opminuteom de gegevensstroom te plannen en gegevens per minuut in te voeren.hour: stel de frequentie in ophourom de gegevensstroom te plannen en gegevens per uur in te voeren.day: stel de frequentie in opdayom de gegevensstroom te plannen en gegevens per dag in te voeren.week: stel de frequentie in opweekom de gegevensstroom te plannen en gegevens per week in te voeren.
intervalHet interval tussen opeenvolgende inname (vereist voor alle frequenties behalve once). Vorm het interval plaatsen om het tijdkader tussen elke opname te vestigen. Bijvoorbeeld, als uw frequentie aan dag wordt geplaatst en het interval 15 is, zal dataflow om 15 dagen lopen. U kunt het interval niet instellen op nul. De minimaal toegestane intervalwaarde voor elke frequentie is als volgt:
once: n.v.t.minute: 15hour: 1day: 1week: 1
backfillstartTime .API formaat
POST /flows
Verzoek
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/flows' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "ACME Contact Dataflow",
"description": "A dataflow for ACME contact data",
"flowSpec": {
"id": "14518937-270c-4525-bdec-c2ba7cce3860",
"version": "1.0"
},
"sourceConnectionIds": [
"b7581b59-c603-4df1-a689-d23d7ac440f3"
],
"targetConnectionIds": [
"320f119a-5ac1-4ab1-88ea-eb19e674ea2e"
],
"transformations": [
{
"name": "Copy",
"params": {
"deltaColumn": {
"name": "Datefield",
"dateFormat": "YYYY-MM-DD",
"timezone": "UTC"
}
}
},
{
"name": "Mapping",
"params": {
"mappingId": "93ddfa69c4864d978832b1e5ef6ec3b9",
"mappingVersion": 0
}
}
],
"scheduleParams": {
"startTime": "1612310466",
"frequency":"minute",
"interval":"15",
"backfill": "true"
}
}'
namedescriptionflowSpec.idsourceConnectionIdstargetConnectionIdstransformations.params.deltaColumdeltaColumn is yyyy-MM-dd HH:mm:ss . Voor Microsoft Dynamics is de ondersteunde indeling voor deltaColumn yyyy-MM-ddTHH:mm:ssZ .transformations.params.deltaColumn.dateFormattransformations.params.deltaColumn.timeZonetransformations.params.mappingIdscheduleParams.startTimescheduleParams.frequencyonce, minute, hour, day of week .scheduleParams.intervalscheduleParams.backfilltrue of false ) die bepaalt of historische gegevens (backfill) moeten worden ingevoerd wanneer de gegevensstroom voor het eerst wordt gemaakt.Reactie
Een succesvolle reactie keert identiteitskaart (id) van nieuw gecreeerd dataflow terug.
{
"id": "ae0a9777-b322-4ac1-b0ed-48ae9e497c7e",
"etag": "\"770029f8-0000-0200-0000-6019e7d40000\""
}
De gebruikersinterface gebruiken om uw API-workflow te valideren validate-in-ui
U kunt de gebruikersinterface van Experience Platform gebruiken om het maken van uw gegevensstroom te bevestigen. Navigeer naar de catalogus Sources in de gebruikersinterface van Experience Platform en selecteer vervolgens Dataflows op de tabbladen voor kopteksten. Vervolgens gebruikt u de kolom Dataflow Name en zoekt u de gegevensstroom die u met de API Flow Service hebt gemaakt.
U kunt de gegevensstroom verder valideren via de interface van Dataflow activity . Gebruik de rechterrail om de API usage informatie van uw gegevensstroom te bekijken. Deze sectie toont zelfde gegevensstroom identiteitskaart, dataset identiteitskaart, en afbeelding identiteitskaart die tijdens het proces van de gegevensstroom in Flow Service werd geproduceerd.
Volgende stappen
Deze zelfstudie begeleidde u door het proces voor het maken van een gegevensstroom in Experience Platform met behulp van de Flow Service API. U leerde hoe te om de noodzakelijke componenten, met inbegrip van het doelXDM schema, dataset, bronverbinding, doelverbinding, en dataflow zelf tot stand te brengen en te vormen. Door deze stappen te volgen, kunt u de opname van gegevens van externe bronnen in Experience Platform automatiseren, toelatend de stroomafwaartse diensten zoals het Profiel van de Klant in real time en Doelen om uw ingebedde gegevens voor geavanceerde gebruiksgevallen te gebruiken.
Uw gegevensstroom controleren
Zodra uw gegevensstroom wordt gecreeerd, kunt u zijn prestaties direct in de UI van Experience Platform controleren. Dit omvat het volgen van ingangssnelheden, succesmetriek, en om het even welke fouten die voorkomen. Voor meer informatie over hoe te om dataflow te controleren, bezoek het leerprogramma op controlerekeningen en dataflows .
Uw gegevensstroom bijwerken
Om configuraties voor uw dataflows bij te werken die plannen, in kaart brengen, of algemene informatie, bezoek het leerprogramma op het bijwerken van bronnen dataflows .
Uw gegevensstroom verwijderen
U kunt gegevensstromen verwijderen die niet meer nodig zijn of die onjuist zijn gemaakt met de functie Delete die beschikbaar is in de Dataflows -werkruimte. Voor meer informatie over hoe te om dataflows te schrappen, bezoek het leerprogramma bij het schrappen van dataflows .