Acquisire dati batch

In questa lezione, acquisirai dati batch in Experienci Platform utilizzando vari metodi.

L’inserimento di dati in batch consente di acquisire una grande quantità di dati in Adobe Experience Platform contemporaneamente. Puoi acquisire dati batch in un caricamento una tantum nell’interfaccia di Platform o utilizzando l’API. Puoi anche configurare caricamenti in batch pianificati regolarmente da servizi di terze parti, come i servizi di archiviazione cloud, utilizzando i connettori di origine.

Ingegneri dati dovrà acquisire dati batch all’esterno di questa esercitazione.

Prima di iniziare gli esercizi, guarda questo breve video per ulteriori informazioni sull’acquisizione dei dati:

Autorizzazioni richieste

In Configurare le autorizzazioni Per completare questa lezione, è necessario impostare tutti i controlli di accesso necessari.

Per l’esercizio Sources (Origini) è necessario avere accesso a un server (S)FTP o a una soluzione di archiviazione cloud. Se non ne disponi, esiste una soluzione alternativa.

Acquisire dati in batch con l’interfaccia utente di Platform

I dati possono essere caricati direttamente in un set di dati nella schermata dei set di dati in formati JSON e parquet. Questo è un ottimo modo per testare l’acquisizione di alcuni dei tuoi dati dopo aver creato una

Scaricare e preparare i dati

Innanzitutto, ottieni i dati di esempio e personalizzali per il tuo tenant:

NOTE
Dati contenuti nel luma-data.zip il file è fittizio e deve essere utilizzato solo a scopo dimostrativo.
  1. Scarica luma-data.zip al tuo Risorse di esercitazione Luma cartella.

  2. Decomprimi il file, creando una cartella denominata luma-data che contiene i quattro file di dati che utilizzeremo in questa lezione

  3. Apri luma-loyalty.json in un editor di testo e sostituire tutte le istanze di _techmarketingdemos con il tuo id tenant underscore, come visualizzato nei tuoi schemi:
    Sottolinea ID tenant

  4. Salva il file aggiornato

Inserire i dati

  1. Nell’interfaccia utente di Platform, seleziona Set di dati nel menu di navigazione a sinistra

  2. Apri il Luma Loyalty Dataset

  3. Scorri verso il basso fino a visualizzare Aggiungi dati nella colonna di destra

  4. Carica luma-loyalty.json file.

  5. Una volta caricato il file, viene visualizzata una riga per il batch

  6. Se ricarichi la pagina dopo alcuni minuti, dovresti notare che il batch è stato caricato correttamente con 1000 record e 1000 frammenti di profilo.

    Acquisizione

NOTE
Sono disponibili alcune opzioni: Diagnostica degli errori e Acquisizione parziale, che verrà visualizzata su vari schermi in questa lezione. Queste opzioni non sono trattate nell'esercitazione. Informazioni rapide:
  • L’abilitazione della diagnostica degli errori genera dati sull’acquisizione dei dati, che puoi esaminare utilizzando l’API di accesso ai dati. Ulteriori informazioni in la documentazione.
  • L’acquisizione parziale ti consente di acquisire dati contenenti errori, fino a una determinata soglia che puoi specificare. Ulteriori informazioni in la documentazione

Convalidare i dati

Sono disponibili alcuni modi per verificare che i dati siano stati acquisiti correttamente.

Convalida nell’interfaccia utente di Platform

Per confermare che i dati sono stati acquisiti nel set di dati:

  1. Nella stessa pagina in cui hai acquisito i dati, seleziona la Anteprima set di dati pulsante in alto a destra

  2. Seleziona la Anteprima e dovresti essere in grado di visualizzare alcuni dei dati acquisiti.

    Anteprima del set di dati riuscito

Per confermare che i dati sono arrivati nel profilo (potrebbero essere necessari alcuni minuti per l’atterraggio dei dati):

  1. Vai a Profili nel menu di navigazione a sinistra
  2. Seleziona l’icona accanto a Seleziona lo spazio dei nomi dell’identità per aprire il modale
  3. Seleziona il Luma Loyalty Id namespace
  4. Quindi inserisci uno dei loyaltyId valori del set di dati, 5625458
  5. Seleziona Visualizza
    Conferma un profilo dal set di dati

Convalida con eventi di acquisizione dati

Se ti sei iscritto agli eventi di acquisizione dati della lezione precedente, controlla l’URL univoco del sito webhook.site. Dovresti visualizzare tre richieste nell’ordine seguente, con un po’ di tempo tra le due, con le seguenti eventCode valori:

  1. ing_load_success- il batch come acquisito
  2. ig_load_success- il batch è stato acquisito in un grafo di identità
  3. ps_load_success- il batch è stato acquisito nel servizio profilo

Webhook di acquisizione dati

Consulta la documentazione per ulteriori dettagli sulle notifiche.

Acquisire dati in batch con API Platform

Ora carichiamo i dati utilizzando l’API.

NOTE
Architetti dei dati, puoi caricare i dati CRM tramite il metodo dell’interfaccia utente.

Scaricare e preparare i dati

  1. Dovresti avere già scaricato e decompresso luma-data.zip nel tuo Luma Tutorial Assets cartella.
  2. Apri luma-crm.json in un editor di testo e sostituire tutte le istanze di _techmarketingdemos con il tuo id tenant underscore, come mostrato negli schemi
  3. Salva il file aggiornato

Ottieni l’ID del set di dati

Innanzitutto, prendiamo l’ID del set di dati del set di dati in cui vogliamo acquisire i dati:

  1. Apri Postman
  2. Se non hai un token di accesso, apri la richiesta OAuth: Request Access Token e seleziona Invia per richiedere un nuovo token di accesso, proprio come hai fatto in Postman lezione.
  3. Apri le variabili di ambiente e assicurati che il valore di CONTAINER_ID è fermo tenant
  4. Apri la richiesta Catalog Service API > Datasets > Retrieve a list of datasets. e seleziona Invia
  5. Dovresti ricevere un 200 OK risposta
  6. Copia l’ID del Luma CRM Dataset dal corpo della risposta
    Ottieni l’ID del set di dati

Creare il batch

Ora possiamo creare un batch nel set di dati:

  1. Scarica Acquisizione dei dati API.postman_collection.json al tuo Luma Tutorial Assets cartella

  2. Importa la raccolta in Postman

  3. Seleziona la richiesta Data Ingestion API > Batch Ingestion > Create a new batch in Catalog Service.

  4. Incolla quanto segue come Corpo della richiesta, sostituzione del valore datasetId con il proprio:

    code language-json
    {
        "datasetId":"REPLACE_WITH_YOUR_OWN_DATASETID",
        "inputFormat": {
            "format": "json"
        }
    }
    
  5. Seleziona la Invia pulsante

  6. Dovresti ricevere una risposta Creata 201 contenente l’ID del nuovo batch.

  7. Copia il id del nuovo batch
    Batch creato

Inserire i dati

Ora possiamo caricare i dati nel batch:

  1. Seleziona la richiesta Data Ingestion API > Batch Ingestion > Upload a file to a dataset in a batch.

  2. In Parametri , inserisci l’ID del set di dati e l’ID del batch nei rispettivi campi

  3. In Parametri , immetti luma-crm.json come filePath

  4. In Corpo , seleziona la scheda binario opzione

  5. Seleziona il download luma-crm.json dal tuo locale Luma Tutorial Assets cartella

  6. Seleziona Invia e dovresti ottenere una risposta di 200 OK con "1" nel corpo della risposta

    Dati caricati

A questo punto, se osservi il batch nell’interfaccia utente di Platform, vedrai che si trova in una "Caricamento"stato:
Caricamento batch

Poiché l’API Batch viene spesso utilizzata per caricare più file, devi comunicare a Platform quando un batch è completo, operazione che eseguiremo nel passaggio successivo.

Completa il batch

Per completare il batch:

  1. Seleziona la richiesta Data Ingestion API > Batch Ingestion > Finish uploading a file to a dataset in a batch.

  2. In Parametri , immetti COMPLETE come azione

  3. In Parametri , immettere l'ID batch. Non preoccuparti dell’ID del set di dati o di filePath, se presente.

  4. Assicurati che l’URL del POST sia https://platform.adobe.io/data/foundation/import/batches/:batchId?action=COMPLETE e che non siano presenti riferimenti superflui al datasetId o filePath

  5. Seleziona Invia e dovresti ottenere una risposta di 200 OK con "1" nel corpo della risposta

    Batch completato

Convalidare i dati

Convalida nell’interfaccia utente di Platform

Verifica che i dati siano stati inseriti nell’interfaccia utente di Platform come hai fatto per il set di dati Fedeltà.

Innanzitutto, verifica che il batch mostri che sono stati acquisiti 1000 record:

Batch completata

Quindi, conferma il batch utilizzando il set di dati di anteprima:

Anteprima batch

Infine, conferma che uno dei profili è stato creato cercando uno dei profili da Luma CRM Id spazio dei nomi, ad esempio 112ca06ed53d3db37e4cea49cc45b71e

Profilo acquisito

C'è una cosa interessante che è appena successa che voglio sottolineare. Apri quella Danny Wright profilo. Il profilo ha sia Lumacrmid e un Lumaloyaltyid. Ricorda la Luma Loyalty Schema conteneva due campi di identità, ID fedeltà Luma e ID CRM. Ora che abbiamo caricato entrambi i set di dati, sono stati uniti in un singolo profilo. I dati sulla fedeltà avevano Daniel come nome e "New York City" come indirizzo di casa, mentre i dati CRM avevano Danny come nome e Portland come indirizzo dell’abitazione del cliente con lo stesso ID fedeltà. Torneremo al motivo per cui viene visualizzato il nome Danny nella lezione sui criteri di unione.

Congratulazioni, hai appena unito i profili.

Profilo unito

Convalida con eventi di acquisizione dati

Se ti sei iscritto agli eventi di acquisizione dati della lezione precedente, controlla l’URL univoco del sito webhook.site. Dovresti ricevere tre richieste, proprio come per i dati fedeltà:

Webhook di acquisizione dati

Consulta la documentazione per ulteriori dettagli sulle notifiche.

Acquisire dati con flussi di lavoro

Vediamo un altro modo di caricare i dati. La funzione Flussi di lavoro consente di acquisire dati CSV che non sono già modellati in XDM.

Scaricare e preparare i dati

  1. Dovresti avere già scaricato e decompresso luma-data.zip nel tuo Luma Tutorial Assets cartella.
  2. Conferma di avereluma-products.csv

Crea un flusso di lavoro

Ora configuriamo il flusso di lavoro:

  1. Vai a Flussi di lavoro nel menu di navigazione a sinistra
  2. Seleziona Mappa lo schema CSV a XDM e seleziona la Launch pulsante
    Avvia il flusso di lavoro
  3. Seleziona il Luma Product Catalog Dataset e seleziona la Successivo pulsante
    Seleziona il set di dati
  4. Aggiungi il luma-products.csv file scaricato e seleziona il file Successivo pulsante
    Seleziona il set di dati
  5. Ora ti trovi nell’interfaccia di mappatura, in cui puoi mappare un campo dai dati di origine (uno dei nomi di colonna nel luma-products.csv XDM nello schema di destinazione. Nel nostro esempio, i nomi delle colonne sono sufficientemente vicini ai nomi dei campi dello schema da consentire al mapper di rilevare automaticamente la mappatura corretta. Se il mapper non è in grado di rilevare automaticamente il campo corretto, seleziona l’icona a destra del campo di destinazione per selezionare il campo XDM corretto. Inoltre, se non desideri acquisire una delle colonne dal file CSV, puoi eliminare la riga dal mapper. Puoi giocare e modificare le intestazioni di colonna nella sezione luma-products.csv per acquisire familiarità con il funzionamento del mapper.
  6. Seleziona la Fine pulsante
    Seleziona il set di dati

Convalidare i dati

Una volta caricato il batch, verifica il caricamento visualizzando l’anteprima del set di dati.

Poiché il Luma Product SKU è uno spazio dei nomi non relativo alle persone, non verranno visualizzati profili per gli sku del prodotto.

Dovresti vedere i tre hit nel tuo webhook.

Acquisire dati con origini

Ok, hai fatto le cose nel modo più difficile. Ora spostiamoci nella terra promessa automatizzato acquisizione batch! Quando dico, "IMPOSTA!" dite: "DIMENTICATELO!" "IMPOSTALO!" "DIMENTICATELO!" "IMPOSTALO!" "DIMENTICATELO!" Scherzi a parte, non faresti mai una cosa del genere! Ok, tornate al lavoro. Hai quasi finito.

Vai a Sorgenti nel menu di navigazione a sinistra per aprire il catalogo Sources. Qui vedrai diverse integrazioni pronte all’uso con i principali fornitori di dati e storage del settore.

Catalogo di origine

Ok, acquisiamo i dati utilizzando un connettore di origine.

Questo esercizio sarà scegliere il proprio stile di avventura. Sto per mostrare il flusso di lavoro utilizzando il connettore di origine FTP. Puoi utilizzare un connettore di origine diverso per l’archiviazione cloud, utilizzato dalla tua azienda, oppure caricare il file json utilizzando l’interfaccia utente del set di dati, come abbiamo fatto con i dati fedeltà.

Molte delle origini hanno un flusso di lavoro di configurazione simile, in cui:

  1. Immetti i dettagli di autenticazione
  2. Seleziona i dati da acquisire
  3. Seleziona il set di dati di Platform in cui desideri acquisirlo
  4. Mappa i campi sullo schema XDM
  5. Scegli la frequenza con cui vuoi riacquisire i dati da quella posizione
NOTE
I dati di acquisto offline che utilizzeremo in questo esercizio contengono dati datetime. I dati di data e ora devono essere in Stringhe formattate ISO 8061 ("2018-07-10T15:05:59.000-08:00") o il tempo Unix formattato in millisecondi (1531263959000) e vengono convertiti al momento dell’acquisizione nel tipo XDM di destinazione. Per ulteriori informazioni sulla conversione dei dati e su altri vincoli, consulta Documentazione API per l’acquisizione in batch.

Scarica, prepara e carica i dati sul fornitore di archiviazione cloud preferito

  1. Dovresti avere già scaricato e decompresso luma-data.zip nel tuo Luma Tutorial Assets cartella.
  2. Apri luma-offline-purchases.json in un editor di testo e sostituire tutte le istanze di _techmarketingdemos con il tuo id tenant underscore, come mostrato negli schemi
  3. Aggiorna tutti i timestamp in modo che gli eventi si verifichino nell’ultimo mese (ad esempio, cerca "timestamp":"2022-06 e sostituire l'anno e il mese)
  4. Scegli il provider di archiviazione cloud preferito, assicurandoti che sia disponibile nella Sorgenti catalogo
  5. Carica luma-offline-purchases.json in una posizione nel provider di archiviazione cloud preferito

Inserire i dati nella posizione di archiviazione cloud preferita

  1. Nell’interfaccia utente di Platform, filtra il Sorgenti catalogo a Archiviazione cloud

  2. Tieni presente che nella sezione sono presenti collegamenti utili per la documentazione di ...

  3. Nella casella del fornitore di archiviazione cloud preferito, seleziona la Configura pulsante
    Seleziona configura

  4. Autenticazione è il primo passaggio. Inserisci il nome dell’account, ad esempio Luma's FTP Account e i dettagli di autenticazione. Questo passaggio dovrebbe essere abbastanza simile per tutte le origini di archiviazione cloud, anche se i campi possono variare leggermente. Dopo aver immesso i dettagli di autenticazione per un account, puoi riutilizzarli per altre connessioni di origine che potrebbero inviare dati diversi su pianificazioni diverse da altri file nello stesso account

  5. Seleziona la Pulsante Connetti all'origine

  6. Una volta che Platform si è connessa correttamente all’origine, seleziona Successivo pulsante
    Autentica nellorigine

  7. Il giorno Seleziona dati passaggio, l’interfaccia utente utilizzerà le credenziali per aprire la cartella nella soluzione di archiviazione cloud

  8. Seleziona i file da acquisire, ad esempio luma-offline-purchases.json

  9. Come Formato dati, seleziona XDM JSON

  10. Puoi quindi visualizzare in anteprima la struttura json e i dati di esempio nel file

  11. Seleziona la Successivo pulsante
    Seleziona i file di dati

  12. Il giorno Mappatura passaggio, seleziona il tuo Luma Offline Purchase Events Dataset e seleziona la Successivo pulsante. Nota nel messaggio che, poiché i dati che stiamo acquisendo sono un file JSON, non esiste un passaggio di mappatura in cui mappiamo il campo sorgente al campo di destinazione. I dati JSON devono essere già in XDM. Se stavi acquisendo un CSV, visualizzeresti l’interfaccia utente di mappatura completa in questo passaggio:
    Seleziona il set di dati

  13. Il giorno Pianificazione scegli la frequenza con cui vuoi riacquisire i dati dall’origine. Dedica un momento a scoprire le opzioni disponibili. Stiamo per effettuare un’acquisizione una tantum, quindi lascia Frequenza il Una volta e seleziona la Successivo pulsante:
    Pianificare il flusso di dati

  14. Il giorno Dettagli del flusso di dati passo, puoi scegliere un nome per il flusso di dati, inserire una descrizione facoltativa, attivare la diagnostica degli errori e l’acquisizione parziale. Lascia le impostazioni invariate e seleziona la Successivo pulsante:
    Modificare i dettagli del flusso di dati

  15. Il giorno Revisione fase, è possibile rivedere tutte le impostazioni insieme e modificarle o selezionare Fine pulsante

  16. Dopo il salvataggio verrà visualizzata una schermata simile alla seguente:
    Completa

Convalidare i dati

Una volta caricato il batch, verifica il caricamento visualizzando l’anteprima del set di dati.

Dovresti vedere i tre hit nel tuo webhook.

Cercare il profilo con il valore 5625458 nel loyaltyId per verificare se nel loro profilo sono presenti eventi di acquisto. Dovresti vedere un acquisto. Puoi approfondire i dettagli dell’acquisto selezionando Visualizza JSON:

Evento di acquisto nel profilo

Strumenti ETL

Adobe collabora con più fornitori ETL per supportare l’acquisizione dei dati in Experienci Platform. A causa della varietà di fornitori di terze parti, ETL non è trattato in questa esercitazione, anche se è opportuno rivedere alcune di queste risorse:

Risorse aggiuntive

Ora andiamo inviare dati tramite Web SDK

recommendation-more-help
513160b6-bf42-4c58-abdd-4f817b1cccad