Documentazione Experience Platform Acquisire dati batch

Acquisire dati batch

Ultimo aggiornamento: 5 giugno 2025

Argomenti:
Acquisizione di dati

Creato per:

Principiante
Intermedio
Sviluppatore

In questa lezione, acquisirai dati batch in Experience Platform utilizzando vari metodi.

L’inserimento di dati in batch consente di acquisire una grande quantità di dati in Adobe Experience Platform contemporaneamente. Puoi acquisire dati batch in un caricamento una tantum nell’interfaccia di Platform o utilizzando l’API. Puoi anche configurare caricamenti in batch pianificati regolarmente da servizi di terze parti, come i servizi di archiviazione cloud, utilizzando i connettori Source.

I Data Engineer dovranno acquisire i dati batch all'esterno di questa esercitazione.

Prima di iniziare gli esercizi, guarda questo breve video per ulteriori informazioni sull’acquisizione dei dati:

Autorizzazioni richieste

Nella lezione Configurare le autorizzazioni è possibile impostare tutti i controlli di accesso necessari per completare la lezione.

Per l’esercizio Sources (Origini) è necessario avere accesso a un server (S)FTP o a una soluzione di archiviazione cloud. Se non ne disponi, esiste una soluzione alternativa.

Acquisire dati in batch con l’interfaccia utente di Platform

I dati possono essere caricati direttamente in un set di dati nella schermata dei set di dati in formati JSON e parquet. Questo è un ottimo modo per testare l’acquisizione di alcuni dei tuoi dati dopo aver creato una

Scaricare e preparare i dati

Innanzitutto, ottieni i dati di esempio e personalizzali per il tuo tenant:

NOTA

I dati contenuti nel file luma-data.zip sono fittizi e devono essere utilizzati solo a scopo dimostrativo.

Scarica luma-data.zip nella cartella Luma Tutorial Assets.
Decomprimere il file, creando una cartella denominata luma-data contenente i quattro file di dati che verranno utilizzati in questa lezione
Apri luma-loyalty.json in un editor di testo e sostituisci tutte le istanze di _techmarketingdemos con il tuo ID tenant underscore, come mostrato nei tuoi schemi:
Salva il file aggiornato

Inserire i dati

Nell'interfaccia utente di Platform, seleziona Set di dati nell'area di navigazione a sinistra
Apri Luma Loyalty Dataset
Scorri verso il basso fino a visualizzare la sezione Aggiungi dati nella colonna di destra
Carica il file luma-loyalty.json.
Una volta caricato il file, viene visualizzata una riga per il batch
Se ricarichi la pagina dopo alcuni minuti, dovresti notare che il batch è stato caricato correttamente con 1000 record e 1000 frammenti di profilo.

NOTA

Ci sono alcune opzioni, Diagnostica errori e Acquisizione parziale, che vedrai in diverse schermate in questa lezione. Queste opzioni non sono trattate nell'esercitazione. Informazioni rapide:

L’abilitazione della diagnostica degli errori genera dati sull’acquisizione dei dati, che puoi esaminare utilizzando l’API di accesso ai dati. Ulteriori informazioni sono disponibili nella documentazione.
L’acquisizione parziale ti consente di acquisire dati contenenti errori, fino a una determinata soglia che puoi specificare. Ulteriori informazioni sono disponibili nella documentazione

Convalidare i dati

Sono disponibili alcuni modi per verificare che i dati siano stati acquisiti correttamente.

Convalida nell’interfaccia utente di Platform

Per confermare che i dati sono stati acquisiti nel set di dati:

Nella stessa pagina in cui hai acquisito i dati, seleziona il pulsante Anteprima set di dati in alto a destra
Seleziona il pulsante Anteprima per visualizzare alcuni dei dati acquisiti.

Per confermare che i dati sono arrivati nel profilo (potrebbero essere necessari alcuni minuti per l’atterraggio dei dati):

Vai a Profili nel menu di navigazione a sinistra
Seleziona l'icona accanto al campo Seleziona spazio dei nomi identità per aprire il modale
Seleziona il namespace Luma Loyalty Id
Quindi immetti uno dei loyaltyId valori dal set di dati, 5625458
Seleziona Visualizza

Convalida con eventi di acquisizione dati

Se ti sei iscritto agli eventi di acquisizione dati della lezione precedente, controlla l’URL univoco del sito webhook.site. Dovresti visualizzare tre richieste nell'ordine seguente, con un po' di tempo tra le due, con i seguenti valori eventCode:

ing_load_success—il batch come acquisito
ig_load_success: il batch è stato acquisito nel grafo delle identità
ps_load_success - il batch è stato acquisito nel servizio profilo

Webhook di acquisizione dati

Per ulteriori dettagli sulle notifiche, consulta la documentazione.

Acquisire dati in batch con API Platform

Ora carichiamo i dati utilizzando l’API.

NOTE

Architetti dei dati, puoi caricare i dati CRM tramite il metodo dell’interfaccia utente.

Scaricare e preparare i dati

Devi avere già scaricato e decompresso luma-data.zip nella cartella Luma Tutorial Assets.
Apri luma-crm.json in un editor di testo e sostituisci tutte le istanze di _techmarketingdemos con il tuo ID tenant underscore, come mostrato negli schemi
Salva il file aggiornato

Ottieni l’ID del set di dati

Innanzitutto, prendiamo l’ID del set di dati del set di dati in cui vogliamo acquisire i dati:

Apri Postman
Se non disponi di un token di accesso, apri la richiesta OAuth: Request Access Token e seleziona Invia per richiedere un nuovo token di accesso, proprio come hai fatto nella lezione Postman.
Apri le variabili di ambiente e assicurati che il valore di CONTAINER_ID sia ancora tenant
Apri la richiesta Catalog Service API > Datasets > Retrieve a list of datasets. e seleziona Invia
Dovresti ricevere una risposta 200 OK
Copia l'ID di Luma CRM Dataset dal corpo della risposta

Creare il batch

Ora possiamo creare un batch nel set di dati:

Scarica Data Ingestion API.postman_collection.json nella cartella Luma Tutorial Assets
Importa la raccolta in Postman
Seleziona la richiesta Data Ingestion API > Batch Ingestion > Create a new batch in Catalog Service.

Incolla quanto segue come Corpo della richiesta, sostituendo il valore datasetId con il tuo:

{
    "datasetId":"REPLACE_WITH_YOUR_OWN_DATASETID",
    "inputFormat": {
        "format": "json"
    }
}

Seleziona il pulsante Invia
Dovresti ricevere una risposta Creata 201 contenente l’ID del nuovo batch.
Copia il id del nuovo batch

Inserire i dati

Ora possiamo caricare i dati nel batch:

Seleziona la richiesta Data Ingestion API > Batch Ingestion > Upload a file to a dataset in a batch.
Nella scheda Parametri, inserisci l'ID del set di dati e l'ID del batch nei rispettivi campi
Nella scheda Params, immetti luma-crm.json come filePath
Nella scheda Corpo, seleziona l'opzione binario
Seleziona luma-crm.json scaricato dalla cartella Luma Tutorial Assets locale
Seleziona Invia e dovresti ricevere una risposta 200 OK con "1" nel corpo della risposta

A questo punto, se esamini il batch nell'interfaccia utente di Platform, vedrai che si trova nello stato "Caricamento":
Caricamento batch

Poiché l’API Batch viene spesso utilizzata per caricare più file, devi comunicare a Platform quando un batch è completo, operazione che eseguiremo nel passaggio successivo.

Completa il batch

Per completare il batch:

Seleziona la richiesta Data Ingestion API > Batch Ingestion > Finish uploading a file to a dataset in a batch.
Nella scheda Parametri, immetti COMPLETE come azione
Nella scheda Parametri, immetti l'ID batch. Non preoccuparti dell’ID del set di dati o di filePath, se presente.
Verificare che l'URL del POST sia https://platform.adobe.io/data/foundation/import/batches/:batchId?action=COMPLETE e che non siano presenti riferimenti non necessari a datasetId o filePath
Seleziona Invia e dovresti ricevere una risposta 200 OK con "1" nel corpo della risposta

Convalidare i dati

Convalida nell’interfaccia utente di Platform

Verifica che i dati siano stati inseriti nell’interfaccia utente di Platform come hai fatto per il set di dati Fedeltà.

Innanzitutto, verifica che il batch mostri che sono stati acquisiti 1000 record:

Batch completato

Quindi, conferma il batch utilizzando il set di dati di anteprima:

Anteprima batch

Infine, confermare che uno dei profili è stato creato cercando uno dei profili in base allo spazio dei nomi Luma CRM Id, ad esempio b642b4217b34b1e8d3bd915fc65c4452

Profilo acquisito

C'è una cosa interessante che è appena successa che voglio sottolineare. Apri il profilo Danny Wright. Il profilo ha sia Lumacrmid che Lumaloyaltyid. Ricorda che Luma Loyalty Schema conteneva due campi di identità, ID fedeltà Luma e ID CRM. Ora che abbiamo caricato entrambi i set di dati, sono stati uniti in un singolo profilo. I dati di fedeltà avevano Daniel come nome e "New York City" come indirizzo principale, mentre i dati di gestione delle relazioni con i clienti avevano Danny come nome e Portland come indirizzo principale per il cliente con lo stesso ID fedeltà. Verrà spiegato perché il nome visualizza Danny nella lezione sui criteri di unione.

Congratulazioni, hai appena unito i profili.

Profilo unito

Convalida con eventi di acquisizione dati

Se ti sei iscritto agli eventi di acquisizione dati della lezione precedente, controlla l’URL univoco del sito webhook.site. Dovresti ricevere tre richieste, proprio come per i dati fedeltà:

Webhook di acquisizione dati

Per ulteriori dettagli sulle notifiche, consulta la documentazione.

Acquisire dati con flussi di lavoro

Vediamo un altro modo di caricare i dati. La funzione Flussi di lavoro consente di acquisire dati CSV che non sono già modellati in XDM.

Scaricare e preparare i dati

Devi avere già scaricato e decompresso luma-data.zip nella cartella Luma Tutorial Assets.
Conferma di avere luma-products.csv

Creare un flusso di lavoro

Ora configuriamo il flusso di lavoro:

Vai a Flussi di lavoro nel menu di navigazione a sinistra
Seleziona Mappa CSV su schema XDM e seleziona il pulsante Avvia
Seleziona Luma Product Catalog Dataset e il pulsante Avanti
Aggiungi il file luma-products.csv scaricato e seleziona il pulsante Avanti
Ora ti trovi nell'interfaccia mapper, in cui puoi mappare un campo dai dati di origine (uno dei nomi di colonna nel file luma-products.csv) ai campi XDM nello schema di destinazione. Nel nostro esempio, i nomi delle colonne sono sufficientemente vicini ai nomi dei campi dello schema da consentire al mapper di rilevare automaticamente la mappatura corretta. Se il mapper non è in grado di rilevare automaticamente il campo corretto, seleziona l’icona a destra del campo di destinazione per selezionare il campo XDM corretto. Inoltre, se non desideri acquisire una delle colonne dal file CSV, puoi eliminare la riga dal mapper. Puoi giocare e modificare le intestazioni di colonna in luma-products.csv per acquisire familiarità con il funzionamento del mapper.
Seleziona il pulsante Fine

Convalidare i dati

Una volta caricato il batch, verifica il caricamento visualizzando l’anteprima del set di dati.

Poiché Luma Product SKU è uno spazio dei nomi non relativo alle persone, non verranno visualizzati profili per gli SKU del prodotto.

Dovresti vedere i tre hit nel tuo webhook.

Acquisire dati con origini

Ok, hai fatto le cose nel modo più difficile. Ora spostiamoci nella terra promessa dell'acquisizione batch automatizzata. Quando dico, "IMPOSTA!" dite: "DIMENTICATELO!" "IMPOSTALO!" "DIMENTICATELO!" "IMPOSTALO!" "DIMENTICATELO!" Scherzi a parte, non faresti mai una cosa del genere! Ok, tornate al lavoro. Hai quasi finito.

Vai a Origini nel menu di navigazione a sinistra per aprire il catalogo Origini. Qui vedrai diverse integrazioni pronte all’uso con i principali fornitori di dati e storage del settore.

Catalogo Source

Ok, acquisiamo i dati utilizzando un connettore di origine.

Questo esercizio sarà scegliere il proprio stile di avventura. Sto per mostrare il flusso di lavoro utilizzando il connettore di origine FTP. Puoi utilizzare un connettore di origine diverso per l’archiviazione cloud, utilizzato dalla tua azienda, oppure caricare il file json utilizzando l’interfaccia utente del set di dati, come abbiamo fatto con i dati fedeltà.

Molte delle origini hanno un flusso di lavoro di configurazione simile, in cui:

Immetti i dettagli di autenticazione
Seleziona i dati da acquisire
Seleziona il set di dati di Platform in cui desideri acquisirlo
Mappa i campi sullo schema XDM
Scegli la frequenza con cui vuoi riacquisire i dati da quella posizione

NOTE

I dati di acquisto offline che utilizzeremo in questo esercizio contengono dati datetime. I dati di Datetime devono essere in stringhe formattate ISO 8061 ("2018-07-10T15:05:59.000-08:00") o ora Unix formattate in millisecondi (1531263959000) e vengono convertiti al momento dell'acquisizione nel tipo XDM di destinazione. Per ulteriori informazioni sulla conversione dei dati e su altri vincoli, consulta la documentazione sull'API di acquisizione in batch.

Scarica, prepara e carica i dati sul fornitore di archiviazione cloud preferito

Devi avere già scaricato e decompresso luma-data.zip nella cartella Luma Tutorial Assets.
Apri luma-offline-purchases.json in un editor di testo e sostituisci tutte le istanze di _techmarketingdemos con il tuo ID tenant underscore, come mostrato negli schemi
Aggiorna tutte le marche temporali in modo che gli eventi si verifichino nell'ultimo mese (ad esempio, cerca "timestamp":"2022-06 e sostituisci l'anno e il mese)
Scegli il provider di archiviazione cloud preferito, assicurandoti che sia disponibile nel catalogo Sources
Carica luma-offline-purchases.json in una posizione nel provider di archiviazione cloud preferito

Inserire i dati nella posizione di archiviazione cloud preferita

Nell'interfaccia utente di Platform, filtra il catalogo Sources in archiviazione cloud
Tieni presente che sono presenti collegamenti utili alla documentazione in ...
Nella casella del fornitore di archiviazione cloud preferito, seleziona il pulsante Configura
Autenticazione è il primo passaggio. Immettere il nome dell'account, ad esempio Luma's FTP Account, e i dettagli di autenticazione. Questo passaggio dovrebbe essere abbastanza simile per tutte le origini di archiviazione cloud, anche se i campi possono variare leggermente. Dopo aver immesso i dettagli di autenticazione per un account, puoi riutilizzarli per altre connessioni di origine che potrebbero inviare dati diversi su pianificazioni diverse da altri file nello stesso account
Seleziona il pulsante Connetti all'origine
Quando Platform si è connessa correttamente a Source, seleziona il pulsante Avanti
Nel passaggio Seleziona dati, l'interfaccia utente utilizzerà le credenziali per aprire la cartella nella soluzione di archiviazione cloud
Seleziona i file da acquisire, ad esempio luma-offline-purchases.json
Come Formato dati, selezionare XDM JSON
Puoi quindi visualizzare in anteprima la struttura json e i dati di esempio nel file
Seleziona il pulsante Avanti
Nel passaggio Mappatura, seleziona Luma Offline Purchase Events Dataset e il pulsante Successivo. Nota nel messaggio che, poiché i dati che stiamo acquisendo sono un file JSON, non esiste un passaggio di mappatura in cui mappiamo il campo sorgente al campo di destinazione. I dati JSON devono essere già in XDM. Se stavi acquisendo un CSV, visualizzeresti l’interfaccia utente di mappatura completa in questo passaggio:
Nel passaggio Pianificazione, scegli la frequenza con cui vuoi riacquisire i dati da Source. Dedica un momento a scoprire le opzioni disponibili. Stiamo per effettuare un'acquisizione una tantum, quindi lascia Frequency su Once e seleziona il pulsante Next:
Nel passaggio Dettagli flusso di dati, puoi scegliere un nome per il flusso di dati, immettere una descrizione facoltativa, attivare la diagnostica degli errori e l'acquisizione parziale. Lascia le impostazioni invariate e seleziona il pulsante Avanti:
Nel passaggio Rivedi, puoi rivedere tutte le impostazioni insieme e modificarle o selezionare il pulsante Termina
Dopo il salvataggio verrà visualizzata una schermata simile alla seguente:

Convalidare i dati

Una volta caricato il batch, verifica il caricamento visualizzando l’anteprima del set di dati.

Dovresti vedere i tre hit nel tuo webhook.

Cercare di nuovo il profilo con valore 5625458 nello spazio dei nomi loyaltyId per verificare se nel profilo sono presenti eventi di acquisto. Dovresti vedere un acquisto. Per approfondire i dettagli dell'acquisto, seleziona Visualizza JSON:

Evento di acquisto nel profilo

Strumenti ETL

Adobe collabora con più fornitori ETL per supportare l’acquisizione dei dati in Experience Platform. A causa della varietà di fornitori di terze parti, ETL non è trattato in questa esercitazione, anche se è opportuno rivedere alcune di queste risorse:

Risorse aggiuntive

Ora eseguiamo lo streaming dei dati tramite Web SDK

recommendation-more-help