Gegevens van groep samenvoegen

In deze les, zult u partijgegevens in Experience Platform opnemen gebruikend diverse methodes.

Met gegevensinvoer via batch kunt u een grote hoeveelheid gegevens tegelijk in Adobe Experience Platform innemen. U kunt batchgegevens invoeren in één keer uploaden binnen de interface van Platform of met de API. U kunt ook regelmatig geplande batchuploads configureren van externe services, zoals cloudopslagservices, met Source-connectors.

de Ingenieurs van Gegevens zullen partijgegevens buiten dit leerprogramma moeten opnemen.

Voordat u de oefeningen start, bekijkt u deze korte video voor meer informatie over gegevensinvoer:

Vereiste machtigingen

In vorm toestemmingenles, u opstelling alle toegangscontroles die worden vereist om deze les te voltooien.

Voor de Bronenoefening hebt u toegang nodig tot een (S)FTP-server of cloudopslagoplossing. Er is een oplossing als u er geen hebt.

Gegevens in batches samenvoegen met de gebruikersinterface van Platform

De gegevens kunnen direct in een dataset op het datasetscherm in JSON en parquet formaten worden geupload. Dit is een goede manier om inname van sommige gegevens te testen nadat u een

De gegevens downloaden en voorbereiden

Eerst, krijg de steekproefgegevens en pas het voor uw huurder aan:

NOTE
De gegevens in het {🔗 dossier 0} luma-data.zip zijn fictief en moeten slechts voor demonstratiedoeleinden worden gebruikt.
  1. De download luma-data.zipaan uw omslag van het Luminantiemateriaal van Assets.

  2. Pak het bestand uit en maak een map met de naam luma-data die de vier gegevensbestanden bevat die we in deze les gebruiken

  3. Open luma-loyalty.json in een teksteditor en vervang alle varianten van _techmarketingdemos door uw eigen id voor onderstrepingsteken, zoals in uw eigen schema's wordt getoond:
    Onderstrepingshuurder identiteitskaart

  4. Het bijgewerkte bestand opslaan

De gegevens samenvoegen

  1. Selecteer in de gebruikersinterface van Platform de optie Datasets in de linkernavigatie

  2. Open uw Luma Loyalty Dataset

  3. Omlaag schuiven totdat u de sectie Add Data in de rechterkolom ziet

  4. Upload het luma-loyalty.json -bestand.

  5. Wanneer het bestand is geüpload, wordt een rij voor de batch weergegeven

  6. Als u de pagina na een paar minuten opnieuw laadt, ziet u dat de batch is geüpload met 1000 records en 1000 profielfragmenten.

    Ingestie

NOTE
Er zijn een paar opties, Error diagnostics en Partial ingestion, die u op verschillende schermen in deze les zult zien. Deze opties worden niet behandeld in de zelfstudie. Enkele snelle informatie:
  • Als u foutdiagnostiek inschakelt, worden gegevens over de inname van uw gegevens gegenereerd. U kunt deze gegevens vervolgens controleren met de API voor gegevenstoegang. Leer meer over het in de documentatie.
  • Gedeeltelijke invoer maakt het mogelijk gegevens met fouten in te voeren, tot een bepaalde drempel die u kunt opgeven. Leer meer over het in de documentatie

De gegevens valideren

Er zijn een paar manieren om te bevestigen dat de gegevens met succes werden opgenomen.

Valideren in de gebruikersinterface van het Platform

Om te bevestigen dat de gegevens in de dataset werden opgenomen:

  1. Selecteer op dezelfde pagina waar u de gegevens hebt ingevoerd de knop Preview dataset rechtsboven

  2. Selecteer de knoop van de Voorproef en u zou sommige ingebedde gegevens moeten kunnen zien.

    Voorproef de succesvolle dataset

Om te bevestigen dat de in Profiel aangelande gegevens (kan een paar minuten duren voor de gegevens aan land zijn):

  1. Ga naar Profiles in de linkernavigatie
  2. Selecteer het pictogram naast het veld Select identity namespace om het modaal te openen
  3. Uw naamruimte Luma Loyalty Id selecteren
  4. Voer vervolgens een van de loyaltyId -waarden uit uw gegevensset in, 5625458
  5. Selecteren View
    bevestigt een profiel van de dataset

Valideren met gebeurtenissen voor gegevensinvoer

Als u zich in de vorige les hebt geabonneerd op gegevensinsluitingsgebeurtenissen, controleert u de unieke URL van website.site. Er worden drie aanvragen weergegeven in de volgende volgorde, met daartussen enige tijd, met de volgende eventCode -waarden:

  1. ing_load_success - de batch als ingesloten
  2. ig_load_success—De batch is in de identiteitsgrafiek opgenomen
  3. ps_load_success - de batch is in de profielservice opgenomen

Web-haak van Gegevens ingestie

Zie de documentatievoor meer details op de berichten.

Gegevens in batches samenvoegen met platform-API

Laten we nu gegevens uploaden met de API.

NOTE
Gegevensarchitecten kunnen de CRM-gegevens gratis uploaden via de gebruikersinterfacemethode.

De gegevens downloaden en voorbereiden

  1. U zou reeds luma-data.zipin uw Luma Tutorial Assets omslag moeten gedownload en gedecomprimeerd.
  2. Open luma-crm.json in een teksteditor en vervang alle instanties van _techmarketingdemos door uw eigen onderstrepingsteken-huurder-id, zoals in uw schema's wordt getoond
  3. Het bijgewerkte bestand opslaan

Hiermee wordt de gegevensset-id opgehaald

Eerst krijgen wij identiteitskaart van dataset identiteitskaart van de dataset waarin wij gegevens willen opnemen:

  1. Openen Postman
  2. Als u geen toegangstoken hebt, open het verzoek OAuth: Request Access Token en selecteer verzend om een nieuw toegangstoken aan te vragen, enkel zoals u in de Postman les deed.
  3. Open uw milieuvariabelen en zorg ervoor de waarde van CONTAINER_ID nog is tenant
  4. Open het verzoek Catalog Service API > Datasets > Retrieve a list of datasets. en selecteer verzenden
  5. U krijgt een 200 OK reactie
  6. Kopieer de id van de Luma CRM Dataset uit de hoofdtekst van de reactie
    krijgt dataset identiteitskaart

De batch maken

Nu kunnen wij een partij in de dataset tot stand brengen:

  1. Download Ingestie API.postman_collection.json van Gegevensaan uw Luma Tutorial Assets omslag

  2. De verzameling importeren in Postman

  3. Selecteer de aanvraag Data Ingestion API > Batch Ingestion > Create a new batch in Catalog Service.

  4. Plak het volgende als Lichaam van het verzoek, die de waarde datasetId met uw vervangen:

    code language-json
    {
        "datasetId":"REPLACE_WITH_YOUR_OWN_DATASETID",
        "inputFormat": {
            "format": "json"
        }
    }
    
  5. Selecteer verzenden knoop

  6. Er moet een 201 Created-reactie komen met de id van de nieuwe batch!

  7. De id van de nieuwe batch kopiëren
    Gemaakte Partij

De gegevens samenvoegen

Nu kunnen we de gegevens uploaden naar de batch:

  1. Selecteer de aanvraag Data Ingestion API > Batch Ingestion > Upload a file to a dataset in a batch.

  2. In het lusje van Params, ga uw dataset identiteitskaart en batch-id in hun respectieve gebieden in

  3. In het lusje van Params, ga luma-crm.json als filePath in

  4. In het Lichaam lusje, selecteer de binaire optie

  5. Selecteer de gedownloade luma-crm.json map in de lokale Luma Tutorial Assets -map

  6. Selecteer verzenden en u zou een 200 o.k. reactie met "1"in het reactiekarakter moeten krijgen

    Geüploade Gegevens

Op dit punt, als u uw partij in het gebruikersinterface van het Platform bekijkt, zult u zien dat het in een "Loading"status is:
Het laden van de Partij

Omdat de batch-API vaak wordt gebruikt om meerdere bestanden te uploaden, moet u het Platform op de hoogte stellen wanneer een batch voltooid is. Dat zullen we in de volgende stap doen.

De batch voltooien

De batch voltooien:

  1. Selecteer de aanvraag Data Ingestion API > Batch Ingestion > Finish uploading a file to a dataset in a batch.

  2. In het lusje van Params, ga COMPLETE als actie in

  3. In het lusje van Params, ga uw partijidentiteitskaart in. Maak zich geen zorgen over dataset id of filePath, als zij aanwezig zijn.

  4. Zorg ervoor dat de URL van de POST https://platform.adobe.io/data/foundation/import/batches/:batchId?action=COMPLETE is en dat er geen overbodige verwijzingen naar de datasetId of filePath zijn.

  5. Selecteer verzenden en u zou een 200 o.k. reactie met "1"in het reactiekarakter moeten krijgen

    Volledige Partij

De gegevens valideren

Valideren in de gebruikersinterface van het Platform

Bevestig de gegevens in het gebruikersinterface van het Platform enkel zoals u voor de dataset van de Loyalty hebt geland.

Bevestig eerst de batch waaruit blijkt dat er 1000 records zijn ingeslikt:

succes van de Partij

Bevestig vervolgens de batch met de gegevensset Voorvertoning:

de voorproef van de Partij

Bevestig ten slotte dat een van uw profielen is gemaakt door een van de profielen op te zoeken met de naamruimte Luma CRM Id , bijvoorbeeld 112ca06ed53d3db37e4cea49cc45b71e

Gevonden Profiel

Er is één interessant ding dat zojuist is gebeurd en waarop ik wil wijzen. Open dat Danny Wright -profiel. Het profiel heeft zowel een Lumacrmid als een Lumaloyaltyid . Onthoud dat Luma Loyalty Schema twee identiteitsvelden bevatte, Luminantie-id en CRM-id. Nu we beide gegevenssets hebben geüpload, zijn ze samengevoegd tot één profiel. De Loyalty-gegevens hadden Daniel als voornaam en "New York City" als huisadres, terwijl de CRM-gegevens Danny als voornaam en Portland als huisadres voor de klant met dezelfde Loyalty-id hadden. We komen terug naar de reden waarom de voornaam Danny weergeeft in de les over samenvoegbeleid.

U hebt zojuist profielen samengevoegd.

Samengevoegd profiel

Valideren met gebeurtenissen voor gegevensinvoer

Als u zich in de vorige les hebt geabonneerd op gegevensinsluitingsgebeurtenissen, controleert u de unieke URL van website.site. U zou drie verzoeken moeten zien binnen komen, enkel zoals met de loyaliteitsgegevens:

Web-haak van Gegevens ingestie

Zie de documentatievoor meer details op de berichten.

Gegevens samenvoegen met workflows

Laten we eens kijken naar een andere manier om gegevens te uploaden. Met de workflows kunt u CSV-gegevens invoeren die nog niet in XDM zijn gemodelleerd.

De gegevens downloaden en voorbereiden

  1. U zou reeds luma-data.zipin uw Luma Tutorial Assets omslag moeten gedownload en gedecomprimeerd.
  2. Bevestig dat u luma-products.csv hebt

Een workflow maken

Laten we nu een workflow instellen:

  1. Ga naar Workflows in de linkernavigatie
  2. Selecteer Map CSV to XDM schema en selecteer de knop Launch
    Begin het werkschema
  3. Selecteer uw Luma Product Catalog Dataset en selecteer de Next knoop
    selecteer uw dataset
  4. Voeg het luma-products.csv -bestand toe dat u hebt gedownload en selecteer de knop Next .
    selecteer uw dataset
  5. Nu bevindt u zich in de mapperinterface, waarin u een veld van de brongegevens (een van de kolomnamen in het luma-products.csv -bestand) kunt toewijzen aan XDM-velden in het doelschema. In ons voorbeeld, zijn de kolomnamen dicht genoeg aan de namen van het schemagebied dat mapper de juiste afbeelding kan auto-ontdekken! Als de mapper het juiste veld niet automatisch kan detecteren, selecteert u het pictogram rechts van het doelveld om het juiste XDM-veld te selecteren. Ook, als u niet één van de kolommen van CSV wilt opnemen, kon u de rij van mapper schrappen. U kunt de kolomkoppen in de luma-products.csv omspelen en wijzigen om te leren hoe de mapper werkt.
  6. Selecteer de knop Finish
    selecteer uw dataset

De gegevens valideren

Wanneer de partij heeft geupload, verifieer upload door de dataset te bekijken.

Omdat Luma Product SKU een naamruimte zonder personen is, worden er geen profielen voor de productskus weergegeven.

Je moet de drie hits op je website zien.

Gegevens samenvoegen met bronnen

Oké, je deed dingen op de moeilijke manier. Nu gaan in het beloofde land van geautomatiseerde partijingestie! Als ik zeg: "SET IT!" je zegt: "VERGEET HET!" "STEL IT IN!" "VERGEET HET!" "STEL IT IN!" "VERGEET HET!" Grapje, je zou zoiets nooit doen! Oké, weer aan het werk. Je bent bijna klaar.

Ga naar Sources in de linkernavigatie om de Broncatalogus te openen. Hier ziet u verschillende kant-en-klare integraties met toonaangevende gegevens- en opslagproviders.

de catalogus van Source

Oké, we nemen gegevens in met een bronaansluiting.

Deze oefening zal kiezen-uw-eigen-avontuurstijl zijn. Ik ga het werkschema tonen gebruikend de bron van FTP schakelaar. U kunt of een verschillende Bron van de Opslag van de Wolk gebruiken die u bij uw bedrijf gebruikt, of het JSON dossier uploaden gebruikend het gegevenssetgebruikersinterface zoals wij met de loyaliteitsgegevens deden.

Veel van de Bronnen hebben een gelijkaardige configuratiewerkschema, waarin u:

  1. Voer uw verificatiegegevens in
  2. Selecteer de gegevens die u wilt invoeren
  3. Selecteer de dataset van het Platform waarin u het wilt opnemen
  4. De velden toewijzen aan uw XDM-schema
  5. Kies de frequentie waarmee u gegevens vanaf die locatie opnieuw wilt invoeren
NOTE
De gegevens voor offline aanschaf die we in deze exercitie gebruiken, bevatten gegevens over datumtijd. De gegevens van de tijd van de datum zouden in of ISO 8061 geformatteerde koorden("2018-07-10T15 :05: 59.000-08:00") of Unix Tijd moeten zijn die in milliseconden wordt geformatteerd (153126959999 (00) en worden bij inname omgezet in het doel-XDM-type. Voor meer op gegevensomzetting en andere beperkingen, zie de documentatie van de Ingestie API van de Partij.

Download, prep en upload de gegevens naar de voorkeursleverancier voor cloudopslag

  1. U zou reeds luma-data.zipin uw Luma Tutorial Assets omslag moeten gedownload en gedecomprimeerd.
  2. Open luma-offline-purchases.json in een teksteditor en vervang alle instanties van _techmarketingdemos door uw eigen onderstrepingsteken-huurder-id, zoals in uw schema's wordt getoond
  3. Werk alle tijdstempels bij, zodat de gebeurtenissen in de laatste maand plaatsvinden (zoek bijvoorbeeld naar "timestamp":"2022-06 en vervang het jaar en de maand)
  4. Kies uw voorkeursleverancier voor cloudopslag en zorg ervoor dat deze beschikbaar is in de catalogus van Sources
  5. luma-offline-purchases.json uploaden naar een locatie in uw voorkeursbureau voor cloudopslag

Vermeld de gegevens naar de gewenste locatie voor cloudopslag

  1. In de gebruikersinterface van het Platform, filter de Sources catalogus aan Cloud storage

  2. Er zijn handige koppelingen naar documentatie onder de ... .

  3. Selecteer de knop Configure in het vak van uw voorkeursleverancier voor cloudopslag
    Uitgezochte vormen

  4. Authentication is de eerste stap. Voer de naam voor uw account in, bijvoorbeeld Luma's FTP Account en uw verificatiedetails. Deze stap zou voor alle bronnen van de wolkenopslag vrij gelijkaardig moeten zijn, hoewel de gebieden lichtjes kunnen variëren. Zodra u de authentificatiedetails voor een rekening hebt ingegaan, kunt u hen voor andere bronverbindingen opnieuw gebruiken die verschillende gegevens over verschillende programma's van andere dossiers in de zelfde rekening zouden kunnen verzenden

  5. Selecteer de Connect to source button

  6. Wanneer Platform verbinding heeft met de Source, selecteert u de knop Next
    verifieer aan de bron

  7. In de stap Select data gebruikt de gebruikersinterface uw gegevens om de map op de cloudopslagoplossing te openen

  8. Selecteer de bestanden die u wilt invoeren, bijvoorbeeld luma-offline-purchases.json

  9. Als Data format selecteert u XDM JSON

  10. U kunt dan een voorbeeld van de verbindingsstructuur en voorbeeldgegevens in uw bestand bekijken

  11. Selecteer de knop Next
    Uitgezochte uw gegevensdossier(s)

  12. Selecteer in de stap Mapping de Luma Offline Purchase Events Dataset -toets en selecteer de Next -knop. Let op: aangezien de gegevens die we invoeren een JSON-bestand zijn, is er geen toewijzingsstap waarin we het bronveld aan het doelveld toewijzen. JSON-gegevens moeten zich al in XDM bevinden. Als u een CSV opnam, zou u de volledige kaartgebruiker interface op deze stap zien:
    selecteer uw dataset

  13. In de stap Scheduling kiest u de frequentie waarmee u gegevens uit de Source wilt terugnemen. Neem even de tijd om naar de opties te kijken. We gaan gewoon een eenmalige opname uitvoeren. Laat de knop Frequency aan Once en selecteer de knop Next :
    Plan uw gegevensstroom

  14. In de stap Dataflow detail kunt u een naam voor de gegevensstroom kiezen, een optionele beschrijving invoeren, de diagnose van fouten inschakelen en de opname van gegevens gedeeltelijk. Laat de instellingen ongewijzigd en selecteer de knop Next :
    geeft details van uw gegevensstroom uit

  15. In de stap Review kunt u al uw instellingen tegelijk bekijken en deze bewerken of de knop Finish selecteren

  16. Nadat u hebt opgeslagen, landt u op een scherm als dit:
    Volledig

De gegevens valideren

Wanneer de partij heeft geupload, verifieer upload door de dataset te bekijken.

Je moet de drie hits op je website zien.

Zoek het profiel met waarde 5625458 opnieuw op in de naamruimte loyaltyId om te zien of zich aankoopgebeurtenissen in hun profiel bevinden. Je moet één aankoop zien. U kunt de details van de aankoop bekijken door View JSON te selecteren:

gebeurtenis van de Aankoop in profiel

ETL-gereedschappen

De partners van de Adobe met veelvoudige verkopers ETL om gegevensopname in Experience Platform te steunen. Wegens de verscheidenheid van derdeverkopers, is ETL niet behandeld in dit leerprogramma, hoewel u welkom bent om sommige van deze middelen te herzien:

Aanvullende bronnen

Nu laat stroomgegevens gebruiken van het Web SDK

recommendation-more-help
513160b6-bf42-4c58-abdd-4f817b1cccad