Acquisire dati batch
In questa lezione, acquisirai dati batch in Experienci Platform utilizzando vari metodi.
L’inserimento di dati in batch consente di acquisire una grande quantità di dati in Adobe Experience Platform contemporaneamente. Puoi acquisire dati batch in un caricamento una tantum nell’interfaccia di Platform o utilizzando l’API. Puoi anche configurare caricamenti in batch pianificati regolarmente da servizi di terze parti, come i servizi di archiviazione cloud, utilizzando i connettori di origine.
Ingegneri dati dovrà acquisire dati batch all’esterno di questa esercitazione.
Prima di iniziare gli esercizi, guarda questo breve video per ulteriori informazioni sull’acquisizione dei dati:
Autorizzazioni richieste
In Configurare le autorizzazioni Per completare questa lezione, è necessario impostare tutti i controlli di accesso necessari.
Per l’esercizio Sources (Origini) è necessario avere accesso a un server (S)FTP o a una soluzione di archiviazione cloud. Se non ne disponi, esiste una soluzione alternativa.
Acquisire dati in batch con l’interfaccia utente di Platform
I dati possono essere caricati direttamente in un set di dati nella schermata dei set di dati in formati JSON e parquet. Questo è un ottimo modo per testare l’acquisizione di alcuni dei tuoi dati dopo aver creato una
Scaricare e preparare i dati
Innanzitutto, ottieni i dati di esempio e personalizzali per il tuo tenant:
-
Scarica luma-data.zip al tuo Risorse di esercitazione Luma cartella.
-
Decomprimi il file, creando una cartella denominata
luma-data
che contiene i quattro file di dati che utilizzeremo in questa lezione -
Apri
luma-loyalty.json
in un editor di testo e sostituire tutte le istanze di_techmarketingdemos
con il tuo id tenant underscore, come visualizzato nei tuoi schemi:
-
Salva il file aggiornato
Inserire i dati
-
Nell’interfaccia utente di Platform, seleziona Set di dati nel menu di navigazione a sinistra
-
Apri il
Luma Loyalty Dataset
-
Scorri verso il basso fino a visualizzare Aggiungi dati nella colonna di destra
-
Carica
luma-loyalty.json
file. -
Una volta caricato il file, viene visualizzata una riga per il batch
-
Se ricarichi la pagina dopo alcuni minuti, dovresti notare che il batch è stato caricato correttamente con 1000 record e 1000 frammenti di profilo.
- L’abilitazione della diagnostica degli errori genera dati sull’acquisizione dei dati, che puoi esaminare utilizzando l’API di accesso ai dati. Ulteriori informazioni in la documentazione.
- L’acquisizione parziale ti consente di acquisire dati contenenti errori, fino a una determinata soglia che puoi specificare. Ulteriori informazioni in la documentazione
Convalidare i dati
Sono disponibili alcuni modi per verificare che i dati siano stati acquisiti correttamente.
Convalida nell’interfaccia utente di Platform
Per confermare che i dati sono stati acquisiti nel set di dati:
-
Nella stessa pagina in cui hai acquisito i dati, seleziona la Anteprima set di dati pulsante in alto a destra
-
Seleziona la Anteprima e dovresti essere in grado di visualizzare alcuni dei dati acquisiti.
Per confermare che i dati sono arrivati nel profilo (potrebbero essere necessari alcuni minuti per l’atterraggio dei dati):
- Vai a Profili nel menu di navigazione a sinistra
- Seleziona l’icona accanto a Seleziona lo spazio dei nomi dell’identità per aprire il modale
- Seleziona il
Luma Loyalty Id
namespace - Quindi inserisci uno dei
loyaltyId
valori del set di dati,5625458
- Seleziona Visualizza
Convalida con eventi di acquisizione dati
Se ti sei iscritto agli eventi di acquisizione dati della lezione precedente, controlla l’URL univoco del sito webhook.site. Dovresti visualizzare tre richieste nell’ordine seguente, con un po’ di tempo tra le due, con le seguenti eventCode
valori:
ing_load_success
- il batch come acquisitoig_load_success
- il batch è stato acquisito in un grafo di identitàps_load_success
- il batch è stato acquisito nel servizio profilo
Consulta la documentazione per ulteriori dettagli sulle notifiche.
Acquisire dati in batch con API Platform
Ora carichiamo i dati utilizzando l’API.
Scaricare e preparare i dati
- Dovresti avere già scaricato e decompresso luma-data.zip nel tuo
Luma Tutorial Assets
cartella. - Apri
luma-crm.json
in un editor di testo e sostituire tutte le istanze di_techmarketingdemos
con il tuo id tenant underscore, come mostrato negli schemi - Salva il file aggiornato
Ottieni l’ID del set di dati
Innanzitutto, prendiamo l’ID del set di dati del set di dati in cui vogliamo acquisire i dati:
- Apri Postman
- Se non hai un token di accesso, apri la richiesta OAuth: Request Access Token e seleziona Invia per richiedere un nuovo token di accesso, proprio come hai fatto in Postman lezione.
- Apri le variabili di ambiente e assicurati che il valore di CONTAINER_ID è fermo
tenant
- Apri la richiesta Catalog Service API > Datasets > Retrieve a list of datasets. e seleziona Invia
- Dovresti ricevere un
200 OK
risposta - Copia l’ID del
Luma CRM Dataset
dal corpo della risposta
Creare il batch
Ora possiamo creare un batch nel set di dati:
-
Scarica Acquisizione dei dati API.postman_collection.json al tuo
Luma Tutorial Assets
cartella -
Importa la raccolta in Postman
-
Seleziona la richiesta Data Ingestion API > Batch Ingestion > Create a new batch in Catalog Service.
-
Incolla quanto segue come Corpo della richiesta, sostituzione del valore datasetId con il proprio:
code language-json { "datasetId":"REPLACE_WITH_YOUR_OWN_DATASETID", "inputFormat": { "format": "json" } }
-
Seleziona la Invia pulsante
-
Dovresti ricevere una risposta Creata 201 contenente l’ID del nuovo batch.
-
Copia il
id
del nuovo batch
Inserire i dati
Ora possiamo caricare i dati nel batch:
-
Seleziona la richiesta Data Ingestion API > Batch Ingestion > Upload a file to a dataset in a batch.
-
In Parametri , inserisci l’ID del set di dati e l’ID del batch nei rispettivi campi
-
In Parametri , immetti
luma-crm.json
come filePath -
In Corpo , seleziona la scheda binario opzione
-
Seleziona il download
luma-crm.json
dal tuo localeLuma Tutorial Assets
cartella -
Seleziona Invia e dovresti ottenere una risposta di 200 OK con "1" nel corpo della risposta
A questo punto, se osservi il batch nell’interfaccia utente di Platform, vedrai che si trova in una "Caricamento"stato:
Poiché l’API Batch viene spesso utilizzata per caricare più file, devi comunicare a Platform quando un batch è completo, operazione che eseguiremo nel passaggio successivo.
Completa il batch
Per completare il batch:
-
Seleziona la richiesta Data Ingestion API > Batch Ingestion > Finish uploading a file to a dataset in a batch.
-
In Parametri , immetti
COMPLETE
come azione -
In Parametri , immettere l'ID batch. Non preoccuparti dell’ID del set di dati o di filePath, se presente.
-
Assicurati che l’URL del POST sia
https://platform.adobe.io/data/foundation/import/batches/:batchId?action=COMPLETE
e che non siano presenti riferimenti superflui aldatasetId
ofilePath
-
Seleziona Invia e dovresti ottenere una risposta di 200 OK con "1" nel corpo della risposta
Convalidare i dati
Convalida nell’interfaccia utente di Platform
Verifica che i dati siano stati inseriti nell’interfaccia utente di Platform come hai fatto per il set di dati Fedeltà.
Innanzitutto, verifica che il batch mostri che sono stati acquisiti 1000 record:
Quindi, conferma il batch utilizzando il set di dati di anteprima:
Infine, conferma che uno dei profili è stato creato cercando uno dei profili da Luma CRM Id
spazio dei nomi, ad esempio 112ca06ed53d3db37e4cea49cc45b71e
C'è una cosa interessante che è appena successa che voglio sottolineare. Apri quella Danny Wright
profilo. Il profilo ha sia Lumacrmid
e un Lumaloyaltyid
. Ricorda la Luma Loyalty Schema
conteneva due campi di identità, ID fedeltà Luma e ID CRM. Ora che abbiamo caricato entrambi i set di dati, sono stati uniti in un singolo profilo. I dati sulla fedeltà avevano Daniel
come nome e "New York City" come indirizzo di casa, mentre i dati CRM avevano Danny
come nome e Portland
come indirizzo dell’abitazione del cliente con lo stesso ID fedeltà. Torneremo al motivo per cui viene visualizzato il nome Danny
nella lezione sui criteri di unione.
Congratulazioni, hai appena unito i profili.
Convalida con eventi di acquisizione dati
Se ti sei iscritto agli eventi di acquisizione dati della lezione precedente, controlla l’URL univoco del sito webhook.site. Dovresti ricevere tre richieste, proprio come per i dati fedeltà:
Consulta la documentazione per ulteriori dettagli sulle notifiche.
Acquisire dati con flussi di lavoro
Vediamo un altro modo di caricare i dati. La funzione Flussi di lavoro consente di acquisire dati CSV che non sono già modellati in XDM.
Scaricare e preparare i dati
- Dovresti avere già scaricato e decompresso luma-data.zip nel tuo
Luma Tutorial Assets
cartella. - Conferma di avere
luma-products.csv
Crea un flusso di lavoro
Ora configuriamo il flusso di lavoro:
- Vai a Flussi di lavoro nel menu di navigazione a sinistra
- Seleziona Mappa lo schema CSV a XDM e seleziona la Launch pulsante
- Seleziona il
Luma Product Catalog Dataset
e seleziona la Successivo pulsante
- Aggiungi il
luma-products.csv
file scaricato e seleziona il file Successivo pulsante
- Ora ti trovi nell’interfaccia di mappatura, in cui puoi mappare un campo dai dati di origine (uno dei nomi di colonna nel
luma-products.csv
XDM nello schema di destinazione. Nel nostro esempio, i nomi delle colonne sono sufficientemente vicini ai nomi dei campi dello schema da consentire al mapper di rilevare automaticamente la mappatura corretta. Se il mapper non è in grado di rilevare automaticamente il campo corretto, seleziona l’icona a destra del campo di destinazione per selezionare il campo XDM corretto. Inoltre, se non desideri acquisire una delle colonne dal file CSV, puoi eliminare la riga dal mapper. Puoi giocare e modificare le intestazioni di colonna nella sezioneluma-products.csv
per acquisire familiarità con il funzionamento del mapper. - Seleziona la Fine pulsante
Convalidare i dati
Una volta caricato il batch, verifica il caricamento visualizzando l’anteprima del set di dati.
Poiché il Luma Product SKU
è uno spazio dei nomi non relativo alle persone, non verranno visualizzati profili per gli sku del prodotto.
Dovresti vedere i tre hit nel tuo webhook.
Acquisire dati con origini
Ok, hai fatto le cose nel modo più difficile. Ora spostiamoci nella terra promessa automatizzato acquisizione batch! Quando dico, "IMPOSTA!" dite: "DIMENTICATELO!" "IMPOSTALO!" "DIMENTICATELO!" "IMPOSTALO!" "DIMENTICATELO!" Scherzi a parte, non faresti mai una cosa del genere! Ok, tornate al lavoro. Hai quasi finito.
Vai a Sorgenti nel menu di navigazione a sinistra per aprire il catalogo Sources. Qui vedrai diverse integrazioni pronte all’uso con i principali fornitori di dati e storage del settore.
Ok, acquisiamo i dati utilizzando un connettore di origine.
Questo esercizio sarà scegliere il proprio stile di avventura. Sto per mostrare il flusso di lavoro utilizzando il connettore di origine FTP. Puoi utilizzare un connettore di origine diverso per l’archiviazione cloud, utilizzato dalla tua azienda, oppure caricare il file json utilizzando l’interfaccia utente del set di dati, come abbiamo fatto con i dati fedeltà.
Molte delle origini hanno un flusso di lavoro di configurazione simile, in cui:
- Immetti i dettagli di autenticazione
- Seleziona i dati da acquisire
- Seleziona il set di dati di Platform in cui desideri acquisirlo
- Mappa i campi sullo schema XDM
- Scegli la frequenza con cui vuoi riacquisire i dati da quella posizione
Scarica, prepara e carica i dati sul fornitore di archiviazione cloud preferito
- Dovresti avere già scaricato e decompresso luma-data.zip nel tuo
Luma Tutorial Assets
cartella. - Apri
luma-offline-purchases.json
in un editor di testo e sostituire tutte le istanze di_techmarketingdemos
con il tuo id tenant underscore, come mostrato negli schemi - Aggiorna tutti i timestamp in modo che gli eventi si verifichino nell’ultimo mese (ad esempio, cerca
"timestamp":"2022-06
e sostituire l'anno e il mese) - Scegli il provider di archiviazione cloud preferito, assicurandoti che sia disponibile nella Sorgenti catalogo
- Carica
luma-offline-purchases.json
in una posizione nel provider di archiviazione cloud preferito
Inserire i dati nella posizione di archiviazione cloud preferita
-
Nell’interfaccia utente di Platform, filtra il Sorgenti catalogo a Archiviazione cloud
-
Tieni presente che nella sezione sono presenti collegamenti utili per la documentazione di
...
-
Nella casella del fornitore di archiviazione cloud preferito, seleziona la Configura pulsante
-
Autenticazione è il primo passaggio. Inserisci il nome dell’account, ad esempio
Luma's FTP Account
e i dettagli di autenticazione. Questo passaggio dovrebbe essere abbastanza simile per tutte le origini di archiviazione cloud, anche se i campi possono variare leggermente. Dopo aver immesso i dettagli di autenticazione per un account, puoi riutilizzarli per altre connessioni di origine che potrebbero inviare dati diversi su pianificazioni diverse da altri file nello stesso account -
Seleziona la Pulsante Connetti all'origine
-
Una volta che Platform si è connessa correttamente all’origine, seleziona Successivo pulsante
-
Il giorno Seleziona dati passaggio, l’interfaccia utente utilizzerà le credenziali per aprire la cartella nella soluzione di archiviazione cloud
-
Seleziona i file da acquisire, ad esempio
luma-offline-purchases.json
-
Come Formato dati, seleziona
XDM JSON
-
Puoi quindi visualizzare in anteprima la struttura json e i dati di esempio nel file
-
Seleziona la Successivo pulsante
-
Il giorno Mappatura passaggio, seleziona il tuo
Luma Offline Purchase Events Dataset
e seleziona la Successivo pulsante. Nota nel messaggio che, poiché i dati che stiamo acquisendo sono un file JSON, non esiste un passaggio di mappatura in cui mappiamo il campo sorgente al campo di destinazione. I dati JSON devono essere già in XDM. Se stavi acquisendo un CSV, visualizzeresti l’interfaccia utente di mappatura completa in questo passaggio:
-
Il giorno Pianificazione scegli la frequenza con cui vuoi riacquisire i dati dall’origine. Dedica un momento a scoprire le opzioni disponibili. Stiamo per effettuare un’acquisizione una tantum, quindi lascia Frequenza il Una volta e seleziona la Successivo pulsante:
-
Il giorno Dettagli del flusso di dati passo, puoi scegliere un nome per il flusso di dati, inserire una descrizione facoltativa, attivare la diagnostica degli errori e l’acquisizione parziale. Lascia le impostazioni invariate e seleziona la Successivo pulsante:
-
Il giorno Revisione fase, è possibile rivedere tutte le impostazioni insieme e modificarle o selezionare Fine pulsante
-
Dopo il salvataggio verrà visualizzata una schermata simile alla seguente:
Convalidare i dati
Una volta caricato il batch, verifica il caricamento visualizzando l’anteprima del set di dati.
Dovresti vedere i tre hit nel tuo webhook.
Cercare il profilo con il valore 5625458
nel loyaltyId
per verificare se nel loro profilo sono presenti eventi di acquisto. Dovresti vedere un acquisto. Puoi approfondire i dettagli dell’acquisto selezionando Visualizza JSON:
Strumenti ETL
Adobe collabora con più fornitori ETL per supportare l’acquisizione dei dati in Experienci Platform. A causa della varietà di fornitori di terze parti, ETL non è trattato in questa esercitazione, anche se è opportuno rivedere alcune di queste risorse:
Risorse aggiuntive
Ora andiamo inviare dati tramite Web SDK