Konfigurera ett dataflöde för att importera batchdata från en molnlagringskälla i användargränssnittet
I den här självstudiekursen beskrivs hur du konfigurerar ett dataflöde för att hämta batchdata från molnlagringskällan till Adobe Experience Platform.
Komma igång
Den här självstudiekursen kräver en fungerande förståelse av följande komponenter i Experience Platform:
-
Experience Data Model (XDM) System: Det standardiserade ramverk som Experience Platform använder för att ordna kundupplevelsedata.
- Grundläggande om schemakomposition: Lär dig mer om grundstenarna i XDM-scheman, inklusive nyckelprinciper och bästa metoder för schemakomposition.
- Schemaredigeraren, självstudiekurs: Lär dig hur du skapar anpassade scheman med hjälp av gränssnittet för Schemaredigeraren.
-
Real-Time Customer Profile: Tillhandahåller en enhetlig konsumentprofil i realtid baserad på aggregerade data från flera källor.
Filformat som stöds
Molnlagringskällor för batchdata har stöd för följande filformat för inhämtning:
- Avgränsaravgränsade värden (DSV): Alla värden med ett tecken kan användas som avgränsare för DSV-formaterade datafiler.
- JavaScript Object Notation (JSON): JSON-formaterade datafiler måste vara XDM-kompatibla.
- Apache Parquet: Parquet-formaterade datafiler måste vara XDM-kompatibla.
- Komprimerade filer: JSON och avgränsade filer kan komprimeras som:
bzip2
,gzip
,deflate
,zipDeflate
,tarGzip
ochtar
.
Lägg till data
När du har skapat ditt molnlagringskonto visas steget Add data som ger dig ett gränssnitt där du kan utforska din molnlagringsfilshierarki och välja den mapp eller fil som du vill hämta till plattformen.
- Den vänstra delen av gränssnittet är en katalogwebbläsare som visar din molnlagringsfilshierarki.
- I den högra delen av gränssnittet kan du förhandsgranska upp till 100 rader data från en kompatibel mapp eller fil.
Markera rotmappen för att komma åt mapphierarkin. Härifrån kan du välja en enda mapp att importera alla filer i mappen rekursivt. När du importerar en hel mapp måste du se till att alla filer i den mappen har samma dataformat och schema.
När du har valt en mapp uppdateras det högra gränssnittet till en förhandsvisning av innehållet och strukturen i den första filen i den markerade mappen.
Under det här steget kan du göra flera konfigurationer av dina data innan du fortsätter. Välj först Data format och sedan lämpligt dataformat för filen i listrutan som visas.
I följande tabell visas rätt dataformat för de filtyper som stöds:
Markera en kolumnavgränsare
När du har konfigurerat dataformatet kan du ange en kolumnavgränsare när du importerar avgränsade filer. Välj alternativet Delimiter och välj sedan en avgränsare i listrutan. Menyn innehåller de vanligaste alternativen för avgränsare, inklusive kommatecken (,
), tabbar (\t
) och ett rör (|
).
Om du föredrar att använda en anpassad avgränsare väljer du Custom och anger en avgränsare med ett tecken i popup-indatafältet.
Infoga komprimerade filer
Du kan också importera komprimerade JSON-filer eller avgränsade filer genom att ange deras komprimeringstyp.
I steget Select data väljer du en komprimerad fil för inhämtning och sedan lämplig filtyp och om den är XDM-kompatibel eller inte. Välj sedan Compression type och välj sedan lämplig komprimerad filtyp för källdata.
Om du vill hämta en viss fil till plattformen markerar du en mapp och väljer sedan den fil som du vill importera. Under det här steget kan du även förhandsgranska filinnehåll för andra filer i en viss mapp med hjälp av förhandsgranskningsikonen bredvid ett filnamn.
När du är klar väljer du Next.
Ange information om dataflöde
På sidan Dataflow detail kan du välja om du vill använda en befintlig datauppsättning eller en ny datauppsättning. Under den här processen kan du även konfigurera dina data så att de importeras till profilen och aktivera inställningar som Error diagnostics, Partial ingestion och Alerts.
Använd en befintlig datamängd
Om du vill importera data till en befintlig datauppsättning väljer du Existing dataset. Du kan antingen hämta en befintlig datauppsättning med alternativet Advanced search eller genom att bläddra igenom listan med befintliga datauppsättningar i listrutan. När du har valt en datauppsättning anger du ett namn och en beskrivning för dataflödet.
Använd en ny datauppsättning
Om du vill importera till en ny datauppsättning väljer du New dataset och anger sedan ett namn på utdatauppsättningen och en valfri beskrivning. Välj sedan ett schema att mappa till med alternativet Advanced search eller genom att bläddra igenom listan med befintliga scheman i listrutan. När du har valt ett schema anger du ett namn och en beskrivning för dataflödet.
Aktivera profil- och feldiagnostik
Välj sedan alternativet Profile dataset för att aktivera datauppsättningen för profilen. På så sätt kan du skapa en helhetsbild av en enhets attribut och beteenden. Data från alla profilaktiverade datauppsättningar inkluderas i profilen och ändringarna tillämpas när du sparar dataflödet.
Error diagnostics aktiverar detaljerad generering av felmeddelanden för alla felaktiga poster som inträffar i dataflödet, medan Partial ingestion gör att du kan importera data som innehåller fel, upp till ett visst tröskelvärde som du manuellt anger. Mer information finns i översikten över partiell gruppöverföring.
Aktivera aviseringar
Du kan aktivera varningar för att få meddelanden om status för ditt dataflöde. Välj en avisering i listan om du vill prenumerera och få meddelanden om statusen för ditt dataflöde. Mer information om varningar finns i guiden prenumerera på källvarningar med användargränssnittet.
Välj Next när du är klar med informationen om dataflödet.
Mappa datafält till ett XDM-schema
Steg Mapping visas, och du får ett gränssnitt för att mappa källfälten från källschemat till rätt mål-XDM-fält i målschemat.
Plattformen ger intelligenta rekommendationer för automatiskt mappade fält baserat på det målschema eller den datamängd du valt. Du kan justera mappningsreglerna manuellt så att de passar dina användningsfall. Beroende på dina behov kan du välja att mappa fält direkt eller använda förinställningsfunktioner för data för att omvandla källdata för att härleda beräknade eller beräknade värden. Mer information om hur du använder mappningsgränssnittet och beräkningsfälten finns i Användargränssnittshandboken för dataförinställningar.
När källdata har mappats väljer du Next.
Schemalägg körning av inmatning
Steg Scheduling visas, så att du kan konfigurera ett matningsschema så att det automatiskt importerar valda källdata med de konfigurerade mappningarna. Som standard är schemaläggningen inställd på Once
. Välj Frequency och välj sedan ett alternativ i listrutan om du vill justera din inmatningsfrekvens.
Om du ställer in matningsfrekvensen på Minute
, Hour
, Day
eller Week
måste du ange ett intervall för att skapa en fast tidsram mellan varje intag. En matningsfrekvens som till exempel är inställd på Day
och ett intervall på 15
innebär att dataflödet är schemalagt att importera data var 15:e dag.
Under det här steget kan du även aktivera bakgrundsfyllning och definiera en kolumn för inkrementellt dataintag. Backfill används för att importera historiska data, medan kolumnen som du definierar för inkrementellt intag gör att nya data kan skiljas från befintliga data.
Se tabellen nedan för mer information om schemaläggningskonfigurationer.
Konfigurera frekvens för att ange hur ofta dataflödet ska köras. Du kan ange frekvensen till:
- En gång: Ställ in din frekvens på
once
för att skapa en engångsinmatning. Konfigurationer för intervall och bakåtfyllnad är inte tillgängliga när ett dataflöde för engångsinmatning skapas. Som standard är schemaläggningsfrekvensen inställd på en gång. - Minut: Ställ in din frekvens på
minute
för att schemalägga ditt dataflöde att importera data per minut. - Timme: Ställ in din frekvens på
hour
för att schemalägga ditt dataflöde att importera data per timme. - Dag: Ställ in din frekvens på
day
för att schemalägga ditt dataflöde att importera data per dag. - Vecka: Ställ in din frekvens på
week
för att schemalägga ditt dataflöde att importera data per vecka.
När du har valt en frekvens kan du konfigurera intervallinställningen för att upprätta en tidsram mellan varje intag. Om du t.ex. anger din frekvens som dag och konfigurerar intervallet till 15, kommer dataflödet att köras var 15:e dag. Du kan inte ange intervallet till noll. Det minsta tillåtna intervallvärdet för varje frekvens är följande:
- En gång: ingen/a
- Minut: 15
- Timme: 1
- Dag: 1
- Vecka: 1
Välj Next när du är klar med konfigurationen av ditt intag.
Granska ditt dataflöde
Steg Review visas, så att du kan granska det nya dataflödet innan det skapas. Informationen är grupperad i följande kategorier:
- Connection: Visar källtypen, den relevanta sökvägen för den valda källfilen och mängden kolumner i källfilen.
- Assign dataset & map fields: Visar vilka data som källdata hämtas till, inklusive det schema som datauppsättningen följer.
- Scheduling: Visar den aktiva perioden, frekvensen och intervallet för intag-schemat.
När du har granskat dataflödet klickar du på Finish och tillåt en tid innan dataflödet skapas.
Nästa steg
Genom att följa den här självstudiekursen har du skapat ett dataflöde för att hämta in data från en extern molnlagring och fått insikter om att övervaka datauppsättningar. Om du vill veta mer om hur du skapar dataflöden kan du komplettera din inlärning genom att titta på videon nedan. Inkommande data kan nu användas av Platform-tjänster längre fram i kedjan, till exempel Real-Time Customer Profile och Data Science Workspace. Mer information finns i följande dokument:
Bilaga
I följande avsnitt finns ytterligare information om hur du arbetar med källkopplingar.
Övervaka dataflödet
När dataflödet har skapats kan du övervaka de data som hämtas genom det för att visa information om hur mycket data som har importerats, hur bra de är och vilka fel som har uppstått. Mer information om hur du övervakar dataflöde finns i självstudiekursen Övervaka konton och dataflöden i användargränssnittet.
Uppdatera ditt dataflöde
Om du vill uppdatera konfigurationer för schemaläggning, mappning och allmän information för dina dataflöden går du till självstudiekursen Uppdatera källornas dataflöden i användargränssnittet
Ta bort ditt dataflöde
Du kan ta bort dataflöden som inte längre är nödvändiga eller som har skapats felaktigt med funktionen Delete som finns på arbetsytan i Dataflows. Mer information om hur du tar bort dataflöden finns i självstudiekursen Ta bort dataflöden i användargränssnittet.