Inserire dati batch

In questa lezione, i dati batch verranno inseriti in Experience Platform utilizzando vari metodi.

L’inserimento di dati in batch consente di acquisire una grande quantità di dati in Adobe Experience Platform contemporaneamente. Puoi acquisire dati batch in un caricamento una sola volta nell’interfaccia di Platform o utilizzando l’API. Puoi anche configurare caricamenti batch pianificati regolarmente da servizi di terze parti, come i servizi di archiviazione cloud, utilizzando i connettori sorgente.

I data engineer dovranno acquisire dati batch al di fuori di questo tutorial.

Prima di iniziare gli esercizi, guarda questo breve video per ulteriori informazioni sull’inserimento dei dati:

Autorizzazioni necessarie

Nella lezione Configurare le autorizzazioni , puoi impostare tutti i controlli di accesso necessari per completare la lezione, in particolare:

  • Voce di autorizzazione Gestione dati > Visualizza set di dati, Gestisci set di dati e Monitoraggio dati
  • Voci di autorizzazione Acquisizione dati > Visualizza origini e Gestisci origini
  • Voce di autorizzazione Gestione profilo > Visualizza profili
  • Voce di autorizzazione Sandbox > Luma Tutorial
  • Accesso al profilo di prodotto Luma Tutorial Platform tramite ruolo utente
  • Accesso ai ruoli per sviluppatori al profilo di prodotto Luma Tutorial Platform (per API)

Inoltre, per l'esercizio Origini è necessario accedere a un server (S)FTP o a una soluzione di archiviazione cloud.

Inserire dati in batch con l’interfaccia utente di Platform

I dati possono essere caricati direttamente in un set di dati nella schermata dei set di dati in formati JSON e parquet.

Scaricare e preparare i dati

Innanzitutto, ottieni i dati di esempio e personalizzali per il tenant:

NOTA

I dati contenuti nel file luma-data.zip sono fittizi e devono essere utilizzati solo a scopo dimostrativo.

  1. Scarica luma-data.zip nella cartella Risorse tutorial Luma .

  2. Decomprimi il file, creando una cartella denominata luma-data che contiene i quattro file di dati che utilizzeremo in questa lezione

  3. Apri luma-loyalty.json in un editor di testo e sostituisci tutte le istanze di _techmarketingdemos con il tuo id underscore-tenant, come visto nei tuoi schemi:
    ID tenant di sottolineatura

  4. Salva il file aggiornato

Inserire i dati

  1. Nell’interfaccia utente di Platform, seleziona Set di dati nel menu di navigazione a sinistra

  2. Seleziona sul tuo Luma Loyalty Dataset

  3. Scorri verso il basso fino a visualizzare la sezione Aggiungi dati nella colonna di destra

  4. Carica il file luma-loyalty.json.

  5. Una volta caricato il file, verrà visualizzata una riga per il batch

  6. Se ricarichi la pagina dopo alcuni minuti, dovresti vedere che il batch è stato caricato con successo con 1000 record e 1000 frammenti di profilo.

    Acquisizione

NOTA

In questa lezione sono disponibili alcune opzioni, Diagnostica errori e Acquisizione parziale, che verranno visualizzate su varie schermate. Queste opzioni non sono incluse nell’esercitazione. Informazioni rapide:

  • L’abilitazione della diagnostica degli errori genera dati sull’acquisizione dei dati, che puoi quindi esaminare utilizzando l’API di accesso ai dati. Per ulteriori informazioni, consulta la sezione documentazione.
  • L’acquisizione parziale consente di acquisire dati contenenti errori, fino a una determinata soglia che è possibile specificare. Ulteriori informazioni in documentazione

Convalidare i dati

Esistono alcuni modi per confermare che i dati sono stati acquisiti correttamente.

Convalida nell’interfaccia utente di Platform

Per confermare che i dati sono stati acquisiti nel set di dati:

  1. Nella stessa pagina in cui hai acquisito i dati, seleziona il pulsante Anteprima set di dati in alto a destra

  2. Seleziona il pulsante Anteprima e dovresti essere in grado di visualizzare alcuni dei dati acquisiti.

    Anteprima del set di dati di successo

Per confermare che i dati sono atterrati in Profilo (potrebbero essere necessari alcuni minuti per l’atterraggio dei dati):

  1. Vai a Profiles nella navigazione a sinistra

  2. Seleziona l’icona accanto al campo Seleziona namespace identità per aprire il modale

  3. Seleziona lo spazio dei nomi Luma Loyalty Id

  4. Quindi inserisci uno dei valori loyaltyId dal set di dati, 5625458

  5. Seleziona Visualizza

    Conferma un profilo dal set di dati

Convalida con eventi di acquisizione dati

Se hai effettuato l’abbonamento agli eventi di acquisizione dati della lezione precedente, controlla l’URL univoco del sito webhook.site. Dovresti visualizzare tre richieste nell’ordine seguente, con un po’ di tempo tra loro, con i seguenti valori eventCode:

  1. ing_load_success—il batch così acquisito
  2. ig_load_success—il batch è stato acquisito nel grafico dell'identità
  3. ps_load_success—il batch è stato acquisito nel servizio profilo

Webhook di acquisizione dati

Per ulteriori informazioni sulle notifiche, consulta la documentazione .

Inserire dati in batch con API Platform

Ora carichiamo i dati utilizzando l’API.

NOTA

Gli architetti di dati possono caricare i dati CRM tramite il metodo UI.

Scaricare e preparare i dati

  1. Dovresti aver già scaricato e decompresso luma-data.zip nella cartella Luma Tutorial Assets.
  2. Apri luma-crm.json in un editor di testo e sostituisci tutte le istanze di _techmarketingdemos con il tuo id underscore-tenant, come visto negli schemi
  3. Salva il file aggiornato

Ottieni l'ID del set di dati

Prima prendiamo l’id dell’id del set di dati in cui vogliamo acquisire i dati:

  1. Open Postman
  2. Se non hai effettuato una richiesta nelle ultime 24 ore, i token di autorizzazione probabilmente sono scaduti. Apri la richiesta Adobe I/O Access Token Generation > Local Signing (Non-production use-only) > IMS: JWT Generate + Auth via User Token e seleziona Invia per richiedere nuovi token JWT e Access, proprio come nella lezione Postman.
  3. Apri le variabili di ambiente e assicurati che il valore di CONTAINER_ID sia ancora tenant
  4. Apri la richiesta Catalog Service API > Datasets > Retrieve a list of datasets. e seleziona Invia
  5. È necessario ottenere una risposta 200 OK
  6. Copia l'id del Luma CRM Dataset dal corpo della risposta
    Ottieni l'ID del set di dati

Crea il batch

Ora possiamo creare un batch nel set di dati:

  1. Scarica Data Ingestion API.postman_collection.json nella cartella Luma Tutorial Assets

  2. Importa la raccolta in Postman

  3. Seleziona la richiesta Data Ingestion API > Batch Ingestion > Create a new batch in Catalog Service.

  4. Incolla quanto segue come Body della richiesta, sostituendo il valore datasetId con il tuo:

    {
        "datasetId":"REPLACE_WITH_YOUR_OWN_DATASETID",
        "inputFormat": {
            "format": "json"
        }
    }
    
  5. Selezionare il pulsante Invia

  6. Dovresti ottenere una risposta Creato 201 contenente l'id del nuovo batch!

  7. Copia il id del nuovo batch
    Creato in batch

Inserire i dati

Ora è possibile caricare i dati nel batch:

  1. Seleziona la richiesta Data Ingestion API > Batch Ingestion > Upload a file to a dataset in a batch.

  2. Nella scheda Parametri , inserisci l’ID set di dati e l’ID batch nei rispettivi campi

  3. Nella scheda Parametri , immetti luma-crm.json come filePath

  4. Nella scheda Corpo, seleziona l'opzione binario

  5. Seleziona il luma-crm.json scaricato dalla cartella locale Luma Tutorial Assets

  6. Seleziona Invia e dovresti ottenere una risposta di 200 OK con '1' nel corpo della risposta

    Dati caricati

A questo punto, se guardi il batch nell’interfaccia utente di Platform, lo stato è "Caricamento":
Caricamento batch

Poiché l’API Batch viene spesso utilizzata per caricare più file, devi informare Platform al termine di un batch, operazione che eseguiremo nel passaggio successivo.

Completa il batch

Per completare il batch:

  1. Seleziona la richiesta Data Ingestion API > Batch Ingestion > Finish uploading a file to a dataset in a batch.

  2. Nella scheda Parametri , immetti COMPLETE come azione

  3. Nella scheda Parametri , immetti l’ID batch. Non preoccuparti dell'id del set di dati o del filePath, se presenti.

  4. Assicurati che l'URL del POST sia https://platform.adobe.io/data/foundation/import/batches/:batchId?action=COMPLETE e che non ci siano riferimenti inutili aldatasetId filePath

  5. Seleziona Invia e dovresti ottenere una risposta di 200 OK con '1' nel corpo della risposta

    Batch completato

Convalidare i dati

Convalida nell’interfaccia utente di Platform

Convalida che i dati siano atterrati nell’interfaccia utente di Platform come per il set di dati Fedeltà.

Innanzitutto, conferma il batch mostrando che sono stati acquisiti 1000 record:

Operazione batch

Successivamente, confermare il batch utilizzando il set di dati di anteprima:

Anteprima batch

Infine, conferma che uno dei profili è stato creato ricercando uno dei profili dallo spazio dei nomi Luma CRM Id, ad esempio 112ca06ed53d3db37e4cea49cc45b71e

Profilo acquisito

C'è una cosa interessante che è appena successa e che voglio sottolineare. Apri il profilo Danny Wright. Il profilo ha sia un Lumacrmid che un Lumaloyaltyid. Ricorda che Luma Loyalty Schema conteneva due campi di identità, ID fedeltà Luma e ID CRM. Dopo aver caricato entrambi i set di dati, si sono uniti in un singolo profilo. I dati fedeltà avevano Daniel come nome e "New York City" come indirizzo principale, mentre i dati CRM avevano Danny come nome e Portland come indirizzo principale per il cliente con lo stesso ID fedeltà. Nella lezione sui criteri di unione verrà illustrato il motivo per cui il nome viene visualizzato Danny.

Congratulazioni, hai appena unito i profili!

Profilo unito

Convalida con eventi di acquisizione dati

Se hai effettuato l’abbonamento agli eventi di acquisizione dati della lezione precedente, controlla l’URL univoco del sito webhook.site. Dovresti vedere arrivare tre richieste, proprio come con i dati fedeltà:

Webhook di acquisizione dati

Per ulteriori informazioni sulle notifiche, consulta la documentazione .

Inserire dati con flussi di lavoro

Vediamo un altro modo per caricare i dati. La funzione flussi di lavoro ti consente di acquisire dati CSV che non sono già modellati in XDM.

Scaricare e preparare i dati

  1. Dovresti aver già scaricato e decompresso luma-data.zip nella cartella Luma Tutorial Assets.
  2. Conferma di avereluma-products.csv

Creazione di un flusso di lavoro

Ora configura il flusso di lavoro:

  1. Vai a Flussi di lavoro nella navigazione a sinistra
  2. Seleziona Mappa CSV nello schema XDM e seleziona il pulsante Launch
    Avvia il flusso di lavoro
  3. Seleziona il tuo Luma Product Catalog Dataset e seleziona il pulsante Avanti
    Selezionare il set di dati
  4. Aggiungi il file luma-products.csv scaricato e seleziona il pulsante Avanti
    Selezionare il set di dati
  5. Ora ti trovi nell’interfaccia mappatore, in cui puoi mappare un campo dai dati di origine (uno dei nomi di colonna nel file luma-products.csv) ai campi XDM nello schema di destinazione. Nel nostro esempio, i nomi delle colonne sono abbastanza vicini ai nomi dei campi dello schema che il mappatore è in grado di rilevare automaticamente la mappatura corretta. Se il mappatore non è stato in grado di rilevare automaticamente il campo di destra, seleziona l’icona a destra del campo di destinazione per selezionare il campo XDM corretto. Inoltre, se non desideri acquisire una delle colonne dal CSV, puoi eliminare la riga dal mappatore. Puoi giocare e modificare le intestazioni delle colonne in luma-products.csv per avere familiarità con il funzionamento della mappatura.
  6. Selezionare il pulsante Fine
    Selezionare il set di dati

Convalidare i dati

Una volta caricato il batch, verifica il caricamento visualizzando in anteprima il set di dati.

Poiché il Luma Product SKU è uno spazio dei nomi non personale, non verranno visualizzati profili per lo SKU del prodotto.

Dovresti vedere i tre risultati al tuo webhook.

Inserire dati con Origini

Ok, hai fatto le cose nel modo più difficile. Ora passiamo alla terra promessa di acquisizione batch automatizzata! Quando dico, "IMPOSTALO!" tu dici: "DIMENTICALO!" "IMPOSTALO!" "DIMENTICALO!" "IMPOSTALO!" "DIMENTICALO!" Scherzavo, non faresti mai una cosa del genere! Ok, torna al lavoro. Hai quasi finito.

Vai a Origini nel menu di navigazione a sinistra per aprire il catalogo Sorgenti. Qui puoi trovare diverse integrazioni pronte all’uso con i provider di dati e storage leader del settore.

Catalogo di origine

Ok, assimiliamo i dati utilizzando un connettore sorgente.

Questo esercizio sarà scegliere lo stile della tua avventura. Sto per mostrare il flusso di lavoro utilizzando il connettore di origine FTP. Puoi utilizzare un connettore sorgente Cloud Storage diverso che utilizzi nella tua azienda oppure caricare il file json utilizzando l’interfaccia utente del set di dati, come abbiamo fatto con i dati fedeltà.

Molte delle origini dispongono di un flusso di lavoro di configurazione simile, in cui:

  1. Immetti i dettagli di autenticazione
  2. Seleziona i dati da acquisire
  3. Seleziona il set di dati della piattaforma in cui desideri inserirlo
  4. Mappare i campi nello schema XDM
  5. Scegli la frequenza con cui desideri inserire i dati da quella posizione
NOTA

I dati di acquisto offline che utilizzeremo in questo esercizio contengono dati datetime. I dati datetime devono essere in stringhe formattate ISO 8061 ("2018-07-10T15:05:59.000-08:00") o Unix Time formattato in millisecondi (153126395 9000) e vengono convertiti al momento dell’acquisizione al tipo XDM di destinazione. Per ulteriori informazioni sulla conversione dei dati e su altri vincoli, consulta la documentazione relativa all’API di acquisizione batch.

Scarica, prepara e carica i dati sul fornitore di archiviazione cloud preferito

  1. Dovresti aver già scaricato e decompresso luma-data.zip nella cartella Luma Tutorial Assets.
  2. Apri luma-offline-purchases.json in un editor di testo e sostituisci tutte le istanze di _techmarketingdemos con il tuo id underscore-tenant, come visto negli schemi
  3. Scegli il provider di archiviazione cloud preferito, verificandone la disponibilità nel catalogo Origini
  4. Carica luma-offline-purchases.json in una posizione nel provider di archiviazione cloud preferito

Inserire i dati nella posizione di archiviazione cloud preferita

  1. Nell’interfaccia utente della piattaforma, filtra il catalogo Origini in Archiviazione cloud

  2. Tieni presente che sono disponibili collegamenti utili alla documentazione in ...

  3. Nella casella del fornitore di archiviazione cloud preferito, seleziona il pulsante Configura
    Seleziona configura

  4. ​L’autenticazione è il primo passaggio. Immetti il nome dell’account, ad esempio Luma's FTP Account e i dettagli di autenticazione. Questo passaggio deve essere abbastanza simile per tutte le origini di archiviazione cloud, anche se i campi possono variare leggermente. Una volta inseriti i dettagli di autenticazione per un account, puoi riutilizzarli per altre connessioni di origine che potrebbero inviare dati diversi su pianificazioni diverse da altri file nello stesso account

  5. Selezionare il pulsante Connetti alla sorgente

  6. Quando Platform si è connessa correttamente alla sorgente, seleziona il pulsante Avanti
    Autentica nell'origine

  7. Nel passaggio Seleziona dati, l'interfaccia utente utilizza le credenziali per aprire la cartella nella soluzione di archiviazione cloud

  8. Seleziona i file da acquisire, ad esempio luma-offline-purchases.json

  9. Come Formato dati, seleziona XDM JSON

  10. Puoi quindi visualizzare in anteprima la struttura json e i dati di esempio nel file .

  11. Selezionare il pulsante Avanti
    Selezionare i file di dati

  12. Nel passaggio Mapping , seleziona il Luma Offline Purchase Event Dataset e seleziona il pulsante Avanti . Nel messaggio viene visualizzato un messaggio che indica che, poiché i dati da acquisire sono un file JSON, non esiste un passaggio di mappatura in cui il campo di origine viene mappato al campo di destinazione. I dati JSON devono essere già in XDM. Se acquisisci un CSV, in questo passaggio viene visualizzata l’interfaccia utente di mappatura completa:
    Selezionare il set di dati

  13. Nel passaggio Pianificazione, scegli la frequenza con cui desideri inserire i dati dall'origine. Date un'occhiata alle opzioni. Stiamo per effettuare un'acquisizione una tantum, quindi lascia il pulsante Frequenza su Una volta e seleziona il pulsante Avanti :
    Pianificare il flusso di dati

  14. Nel passaggio Dettaglio flusso di dati puoi scegliere un nome per il flusso di dati, inserire una descrizione facoltativa, attivare la diagnostica degli errori e l’acquisizione parziale. Lascia le impostazioni così come sono e seleziona il pulsante Avanti :
    Modifica dei dettagli del flusso di dati

  15. Nel passaggio Rivedi è possibile esaminare tutte le impostazioni insieme e modificarle oppure selezionare il pulsante Fine

  16. Dopo il salvataggio si aprirà su uno schermo come questo:
    Completa

Convalidare i dati

Una volta caricato il batch, verifica il caricamento visualizzando in anteprima il set di dati.

Dovresti vedere i tre risultati al tuo webhook.

Ricercare nuovamente il profilo con il valore 5625458 nello spazio dei nomi loyaltyId per verificare se nel profilo sono presenti eventi di acquisto. Dovresti visualizzare un acquisto. Puoi approfondire i dettagli dell’acquisto selezionando Visualizza JSON:

Evento di acquisto nel profilo

Strumenti ETL

Partner di Adobe con più fornitori ETL per supportare l’inserimento dei dati in Experience Platform. A causa della varietà di fornitori di terze parti, ETL non è incluso in questa esercitazione, anche se puoi rivedere alcune di queste risorse:

Risorse aggiuntive

Ora eseguiamo il streaming dei dati utilizzando l'SDK per web

In questa pagina