DocumentazioneExperience PlatformAcquisire dati batch

Acquisire dati batch

Last update: Tue Jul 16 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Creato per:

  • Principiante
  • Intermedio
  • Sviluppatore

In questa lezione, acquisirai dati batch in Experience Platform utilizzando vari metodi.

L’inserimento di dati in batch consente di acquisire una grande quantità di dati in Adobe Experience Platform contemporaneamente. Puoi acquisire dati batch in un caricamento una tantum nell’interfaccia di Platform o utilizzando l’API. Puoi anche configurare caricamenti in batch pianificati regolarmente da servizi di terze parti, come i servizi di archiviazione cloud, utilizzando i connettori Source.

I Data Engineer dovranno acquisire i dati batch all'esterno di questa esercitazione.

Prima di iniziare gli esercizi, guarda questo breve video per ulteriori informazioni sull’acquisizione dei dati:

https://video.tv.adobe.com/v/346832?learn=on&captions=ita

Autorizzazioni richieste

Nella lezione Configurare le autorizzazioni è possibile impostare tutti i controlli di accesso necessari per completare la lezione.

Per l’esercizio Sources (Origini) è necessario avere accesso a un server (S)FTP o a una soluzione di archiviazione cloud. Se non ne disponi, esiste una soluzione alternativa.

Acquisire dati in batch con l’interfaccia utente di Platform

I dati possono essere caricati direttamente in un set di dati nella schermata dei set di dati in formati JSON e parquet. Questo è un ottimo modo per testare l’acquisizione di alcuni dei tuoi dati dopo aver creato una

Scaricare e preparare i dati

Innanzitutto, ottieni i dati di esempio e personalizzali per il tuo tenant:

NOTE
I dati contenuti nel file luma-data.zip sono fittizi e devono essere utilizzati solo a scopo dimostrativo.

  1. Scarica luma-data.zip nella cartella Luma Tutorial Assets.

  2. Decomprimere il file, creando una cartella denominata luma-data contenente i quattro file di dati che verranno utilizzati in questa lezione

  3. Apri luma-loyalty.json in un editor di testo e sostituisci tutte le istanze di _techmarketingdemos con il tuo ID tenant underscore, come mostrato nei tuoi schemi:
    ID tenant di sottolineatura

  4. Salva il file aggiornato

Inserire i dati

  1. Nell'interfaccia utente di Platform, seleziona Set di dati nell'area di navigazione a sinistra

  2. Apri Luma Loyalty Dataset

  3. Scorri verso il basso fino a visualizzare la sezione Aggiungi dati nella colonna di destra

  4. Carica il file luma-loyalty.json.

  5. Una volta caricato il file, viene visualizzata una riga per il batch

  6. Se ricarichi la pagina dopo alcuni minuti, dovresti notare che il batch è stato caricato correttamente con 1000 record e 1000 frammenti di profilo.

    Acquisizione

NOTE
Ci sono alcune opzioni, Diagnostica errori e Acquisizione parziale, che vedrai in diverse schermate in questa lezione. Queste opzioni non sono trattate nell'esercitazione. Informazioni rapide:
  • L’abilitazione della diagnostica degli errori genera dati sull’acquisizione dei dati, che puoi esaminare utilizzando l’API di accesso ai dati. Ulteriori informazioni sono disponibili nella documentazione.
  • L’acquisizione parziale ti consente di acquisire dati contenenti errori, fino a una determinata soglia che puoi specificare. Ulteriori informazioni sono disponibili nella documentazione

Convalidare i dati

Sono disponibili alcuni modi per verificare che i dati siano stati acquisiti correttamente.

Convalida nell’interfaccia utente di Platform

Per confermare che i dati sono stati acquisiti nel set di dati:

  1. Nella stessa pagina in cui hai acquisito i dati, seleziona il pulsante Anteprima set di dati in alto a destra

  2. Seleziona il pulsante Anteprima per visualizzare alcuni dei dati acquisiti.

    Anteprima del set di dati completato

Per confermare che i dati sono arrivati nel profilo (potrebbero essere necessari alcuni minuti per l’atterraggio dei dati):

  1. Vai a Profili nel menu di navigazione a sinistra
  2. Seleziona l'icona accanto al campo Seleziona spazio dei nomi identità per aprire il modale
  3. Seleziona il namespace Luma Loyalty Id
  4. Quindi immetti uno dei loyaltyId valori dal set di dati, 5625458
  5. Seleziona Visualizza
    Conferma un profilo dal set di dati

Convalida con eventi di acquisizione dati

Se ti sei iscritto agli eventi di acquisizione dati della lezione precedente, controlla l’URL univoco del sito webhook.site. Dovresti visualizzare tre richieste nell'ordine seguente, con un po' di tempo tra le due, con i seguenti valori eventCode:

  1. ing_load_success—il batch come acquisito
  2. ig_load_success: il batch è stato acquisito nel grafo delle identità
  3. ps_load_success - il batch è stato acquisito nel servizio profilo

Webhook di acquisizione dati

Per ulteriori dettagli sulle notifiche, consulta la documentazione.

Acquisire dati in batch con API Platform

Ora carichiamo i dati utilizzando l’API.

NOTE
Architetti dei dati, puoi caricare i dati CRM tramite il metodo dell’interfaccia utente.

Scaricare e preparare i dati

  1. Devi avere già scaricato e decompresso luma-data.zip nella cartella Luma Tutorial Assets.
  2. Apri luma-crm.json in un editor di testo e sostituisci tutte le istanze di _techmarketingdemos con il tuo ID tenant underscore, come mostrato negli schemi
  3. Salva il file aggiornato

Ottieni l’ID del set di dati

Innanzitutto, prendiamo l’ID del set di dati del set di dati in cui vogliamo acquisire i dati:

  1. Apri Postman
  2. Se non disponi di un token di accesso, apri la richiesta OAuth: Request Access Token e seleziona Invia per richiedere un nuovo token di accesso, proprio come hai fatto nella lezione Postman.
  3. Apri le variabili di ambiente e assicurati che il valore di CONTAINER_ID sia ancora tenant
  4. Apri la richiesta Catalog Service API > Datasets > Retrieve a list of datasets. e seleziona Invia
  5. Dovresti ricevere una risposta 200 OK
  6. Copia l'ID di Luma CRM Dataset dal corpo della risposta
    Ottieni ID set di dati

Creare il batch

Ora possiamo creare un batch nel set di dati:

  1. Scarica Data Ingestion API.postman_collection.json nella cartella Luma Tutorial Assets

  2. Importa la raccolta in Postman

  3. Seleziona la richiesta Data Ingestion API > Batch Ingestion > Create a new batch in Catalog Service.

  4. Incolla quanto segue come Corpo della richiesta, sostituendo il valore datasetId con il tuo:

    code language-json 
    {
    "datasetId":"REPLACE_WITH_YOUR_OWN_DATASETID",
    "inputFormat": {
        "format": "json"
    }
}

  5. Seleziona il pulsante Invia

  6. Dovresti ricevere una risposta Creata 201 contenente l’ID del nuovo batch.

  7. Copia il id del nuovo batch
    Batch creato

Inserire i dati

Ora possiamo caricare i dati nel batch:

  1. Seleziona la richiesta Data Ingestion API > Batch Ingestion > Upload a file to a dataset in a batch.

  2. Nella scheda Parametri, inserisci l'ID del set di dati e l'ID del batch nei rispettivi campi

  3. Nella scheda Params, immetti luma-crm.json come filePath

  4. Nella scheda Corpo, seleziona l'opzione binario

  5. Seleziona luma-crm.json scaricato dalla cartella Luma Tutorial Assets locale

  6. Seleziona Invia e dovresti ricevere una risposta 200 OK con "1" nel corpo della risposta

    Dati caricati

A questo punto, se esamini il batch nell'interfaccia utente di Platform, vedrai che si trova nello stato "Caricamento":
Caricamento batch

Poiché l’API Batch viene spesso utilizzata per caricare più file, devi comunicare a Platform quando un batch è completo, operazione che eseguiremo nel passaggio successivo.

Completa il batch

Per completare il batch:

  1. Seleziona la richiesta Data Ingestion API > Batch Ingestion > Finish uploading a file to a dataset in a batch.

  2. Nella scheda Parametri, immetti COMPLETE come azione

  3. Nella scheda Parametri, immetti l'ID batch. Non preoccuparti dell’ID del set di dati o di filePath, se presente.

  4. Verificare che l'URL del POST sia https://platform.adobe.io/data/foundation/import/batches/:batchId?action=COMPLETE e che non siano presenti riferimenti non necessari a datasetId o filePath

  5. Seleziona Invia e dovresti ricevere una risposta 200 OK con "1" nel corpo della risposta

    Batch completato

Convalidare i dati

Convalida nell’interfaccia utente di Platform

Verifica che i dati siano stati inseriti nell’interfaccia utente di Platform come hai fatto per il set di dati Fedeltà.

Innanzitutto, verifica che il batch mostri che sono stati acquisiti 1000 record:

Batch completato

Quindi, conferma il batch utilizzando il set di dati di anteprima:

Anteprima batch

Infine, confermare che uno dei profili è stato creato cercando uno dei profili in base allo spazio dei nomi Luma CRM Id, ad esempio 112ca06ed53d3db37e4cea49cc45b71e

Profilo acquisito

C'è una cosa interessante che è appena successa che voglio sottolineare. Apri il profilo Danny Wright. Il profilo ha sia Lumacrmid che Lumaloyaltyid. Ricorda che Luma Loyalty Schema conteneva due campi di identità, ID fedeltà Luma e ID CRM. Ora che abbiamo caricato entrambi i set di dati, sono stati uniti in un singolo profilo. I dati di fedeltà avevano Daniel come nome e "New York City" come indirizzo principale, mentre i dati di gestione delle relazioni con i clienti avevano Danny come nome e Portland come indirizzo principale per il cliente con lo stesso ID fedeltà. Verrà spiegato perché il nome visualizza Danny nella lezione sui criteri di unione.

Congratulazioni, hai appena unito i profili.

Profilo unito

Convalida con eventi di acquisizione dati

Se ti sei iscritto agli eventi di acquisizione dati della lezione precedente, controlla l’URL univoco del sito webhook.site. Dovresti ricevere tre richieste, proprio come per i dati fedeltà:

Webhook di acquisizione dati

Per ulteriori dettagli sulle notifiche, consulta la documentazione.

Acquisire dati con flussi di lavoro

Vediamo un altro modo di caricare i dati. La funzione Flussi di lavoro consente di acquisire dati CSV che non sono già modellati in XDM.

Scaricare e preparare i dati

  1. Devi avere già scaricato e decompresso luma-data.zip nella cartella Luma Tutorial Assets.
  2. Conferma di avere luma-products.csv

Creare un flusso di lavoro

Ora configuriamo il flusso di lavoro:

  1. Vai a Flussi di lavoro nel menu di navigazione a sinistra
  2. Seleziona Mappa CSV su schema XDM e seleziona il pulsante Avvia
    Avvia il flusso di lavoro
  3. Seleziona Luma Product Catalog Dataset e il pulsante Avanti
    Seleziona il set di dati
  4. Aggiungi il file luma-products.csv scaricato e seleziona il pulsante Avanti
    Seleziona il set di dati
  5. Ora ti trovi nell'interfaccia mapper, in cui puoi mappare un campo dai dati di origine (uno dei nomi di colonna nel file luma-products.csv) ai campi XDM nello schema di destinazione. Nel nostro esempio, i nomi delle colonne sono sufficientemente vicini ai nomi dei campi dello schema da consentire al mapper di rilevare automaticamente la mappatura corretta. Se il mapper non è in grado di rilevare automaticamente il campo corretto, seleziona l’icona a destra del campo di destinazione per selezionare il campo XDM corretto. Inoltre, se non desideri acquisire una delle colonne dal file CSV, puoi eliminare la riga dal mapper. Puoi giocare e modificare le intestazioni di colonna in luma-products.csv per acquisire familiarità con il funzionamento del mapper.
  6. Seleziona il pulsante Fine
    Seleziona il set di dati

Convalidare i dati

Una volta caricato il batch, verifica il caricamento visualizzando l’anteprima del set di dati.

Poiché Luma Product SKU è uno spazio dei nomi non relativo alle persone, non verranno visualizzati profili per gli SKU del prodotto.

Dovresti vedere i tre hit nel tuo webhook.

Acquisire dati con origini

Ok, hai fatto le cose nel modo più difficile. Ora spostiamoci nella terra promessa dell'acquisizione batch automatizzata. Quando dico, "IMPOSTA!" dite: "DIMENTICATELO!" "IMPOSTALO!" "DIMENTICATELO!" "IMPOSTALO!" "DIMENTICATELO!" Scherzi a parte, non faresti mai una cosa del genere! Ok, tornate al lavoro. Hai quasi finito.

Vai a Origini nel menu di navigazione a sinistra per aprire il catalogo Origini. Qui vedrai diverse integrazioni pronte all’uso con i principali fornitori di dati e storage del settore.

Catalogo Source

Ok, acquisiamo i dati utilizzando un connettore di origine.

Questo esercizio sarà scegliere il proprio stile di avventura. Sto per mostrare il flusso di lavoro utilizzando il connettore di origine FTP. Puoi utilizzare un connettore di origine diverso per l’archiviazione cloud, utilizzato dalla tua azienda, oppure caricare il file json utilizzando l’interfaccia utente del set di dati, come abbiamo fatto con i dati fedeltà.

Molte delle origini hanno un flusso di lavoro di configurazione simile, in cui:

  1. Immetti i dettagli di autenticazione
  2. Seleziona i dati da acquisire
  3. Seleziona il set di dati di Platform in cui desideri acquisirlo
  4. Mappa i campi sullo schema XDM
  5. Scegli la frequenza con cui vuoi riacquisire i dati da quella posizione
NOTE
I dati di acquisto offline che utilizzeremo in questo esercizio contengono dati datetime. I dati di Datetime devono essere in stringhe formattate ISO 8061 ("2018-07-10T15:05:59.000-08:00") o ora Unix formattate in millisecondi (1531263959000) e vengono convertiti al momento dell'acquisizione nel tipo XDM di destinazione. Per ulteriori informazioni sulla conversione dei dati e su altri vincoli, consulta la documentazione sull'API di acquisizione in batch.

Scarica, prepara e carica i dati sul fornitore di archiviazione cloud preferito

  1. Devi avere già scaricato e decompresso luma-data.zip nella cartella Luma Tutorial Assets.
  2. Apri luma-offline-purchases.json in un editor di testo e sostituisci tutte le istanze di _techmarketingdemos con il tuo ID tenant underscore, come mostrato negli schemi
  3. Aggiorna tutte le marche temporali in modo che gli eventi si verifichino nell'ultimo mese (ad esempio, cerca "timestamp":"2022-06 e sostituisci l'anno e il mese)
  4. Scegli il provider di archiviazione cloud preferito, assicurandoti che sia disponibile nel catalogo Sources
  5. Carica luma-offline-purchases.json in una posizione nel provider di archiviazione cloud preferito

Inserire i dati nella posizione di archiviazione cloud preferita

  1. Nell'interfaccia utente di Platform, filtra il catalogo Sources in archiviazione cloud

  2. Tieni presente che sono presenti collegamenti utili alla documentazione in ...

  3. Nella casella del fornitore di archiviazione cloud preferito, seleziona il pulsante Configura
    Seleziona configurazione

  4. Autenticazione è il primo passaggio. Immettere il nome dell'account, ad esempio Luma's FTP Account, e i dettagli di autenticazione. Questo passaggio dovrebbe essere abbastanza simile per tutte le origini di archiviazione cloud, anche se i campi possono variare leggermente. Dopo aver immesso i dettagli di autenticazione per un account, puoi riutilizzarli per altre connessioni di origine che potrebbero inviare dati diversi su pianificazioni diverse da altri file nello stesso account

  5. Seleziona il pulsante Connetti all'origine

  6. Quando Platform si è connessa correttamente a Source, seleziona il pulsante Avanti
    Autentica nellorigine

  7. Nel passaggio Seleziona dati, l'interfaccia utente utilizzerà le credenziali per aprire la cartella nella soluzione di archiviazione cloud

  8. Seleziona i file da acquisire, ad esempio luma-offline-purchases.json

  9. Come Formato dati, selezionare XDM JSON

  10. Puoi quindi visualizzare in anteprima la struttura json e i dati di esempio nel file

  11. Seleziona il pulsante Avanti
    Seleziona i file di dati

  12. Nel passaggio Mappatura, seleziona Luma Offline Purchase Events Dataset e il pulsante Successivo. Nota nel messaggio che, poiché i dati che stiamo acquisendo sono un file JSON, non esiste un passaggio di mappatura in cui mappiamo il campo sorgente al campo di destinazione. I dati JSON devono essere già in XDM. Se stavi acquisendo un CSV, visualizzeresti l’interfaccia utente di mappatura completa in questo passaggio:
    Seleziona il set di dati

  13. Nel passaggio Pianificazione, scegli la frequenza con cui vuoi riacquisire i dati da Source. Dedica un momento a scoprire le opzioni disponibili. Stiamo per effettuare un'acquisizione una tantum, quindi lascia Frequency su Once e seleziona il pulsante Next:
    Pianifica il flusso di dati

  14. Nel passaggio Dettagli flusso di dati, puoi scegliere un nome per il flusso di dati, immettere una descrizione facoltativa, attivare la diagnostica degli errori e l'acquisizione parziale. Lascia le impostazioni invariate e seleziona il pulsante Avanti:
    Modifica dettagli del flusso di dati

  15. Nel passaggio Rivedi, puoi rivedere tutte le impostazioni insieme e modificarle o selezionare il pulsante Termina

  16. Dopo il salvataggio verrà visualizzata una schermata simile alla seguente:
    Completo

Convalidare i dati

Una volta caricato il batch, verifica il caricamento visualizzando l’anteprima del set di dati.

Dovresti vedere i tre hit nel tuo webhook.

Cercare di nuovo il profilo con valore 5625458 nello spazio dei nomi loyaltyId per verificare se nel profilo sono presenti eventi di acquisto. Dovresti vedere un acquisto. Per approfondire i dettagli dell'acquisto, seleziona Visualizza JSON:

Evento di acquisto nel profilo

Strumenti ETL

Adobe collabora con più fornitori ETL per supportare l’acquisizione dei dati in Experience Platform. A causa della varietà di fornitori di terze parti, ETL non è trattato in questa esercitazione, anche se è opportuno rivedere alcune di queste risorse:

Risorse aggiuntive

Ora eseguiamo lo streaming dei dati tramite Web SDK

recommendation-more-help
513160b6-bf42-4c58-abdd-4f817b1cccad