Skapa ett dataflöde med hjälp av en datakälla i användargränssnittet
Ett dataflöde är en schemalagd aktivitet som hämtar och importerar data från en källa till en datauppsättning i Adobe Experience Platform. I den här självstudiekursen beskrivs hur du skapar ett dataflöde för en databaskälla med hjälp av Experience Platform-gränssnittet.
-
Om du vill skapa ett dataflöde måste du redan ha ett autentiserat konto med en datakälla. En lista med självstudiekurser för att skapa olika datakällkonton i användargränssnittet finns i källöversikten.
-
För att Experience Platform ska kunna importera data måste tidszoner för alla tabellbaserade batchkällor konfigureras till UTC. Den enda tidsstämpeln som stöds för Snowflake source är TIMESTAMP_NTZ med UTC-tid.
Komma igång
Den här självstudiekursen kräver en fungerande förståelse av följande komponenter i Experience Platform:
-
Källor: Med Experience Platform kan data hämtas från olika källor samtidigt som du kan strukturera, etikettera och förbättra inkommande data med hjälp av Experience Platform-tjänster.
-
Experience Data Model (XDM) System: Det standardiserade ramverk som Experience Platform använder för att ordna kundupplevelsedata.
- Grundläggande om schemakomposition: Lär dig mer om grundstenarna i XDM-scheman, inklusive nyckelprinciper och bästa metoder för schemakomposition.
- Schemaredigeraren, självstudiekurs: Lär dig hur du skapar anpassade scheman med hjälp av gränssnittet för Schemaredigeraren.
-
Real-Time Customer Profile: Tillhandahåller en enhetlig konsumentprofil i realtid baserad på aggregerade data från flera källor.
-
Data Prep: Tillåter datatekniker att mappa, omvandla och validera data till och från Experience Data Model (XDM).
Lägg till data
När du har skapat ditt datakällkonto för databasen visas steget Add data som ger dig ett gränssnitt där du kan utforska databaskällkontots tabellhierarki.
- Den vänstra halvan av gränssnittet är en webbläsare som visar en lista över datatabeller som finns i ditt konto. Gränssnittet innehåller också ett sökalternativ som gör att du snabbt kan identifiera de källdata som du tänker använda.
- Den högra halvan av gränssnittet är en förhandsgranskningspanel som gör att du kan förhandsgranska upp till 100 rader med data.
När du har hittat källdata markerar du tabellen och väljer sedan Next.
Ange information om dataflöde
På sidan Dataflow detail kan du välja om du vill använda en befintlig datauppsättning eller en ny datauppsättning. Under den här processen kan du även konfigurera inställningar för Profile dataset, Error diagnostics, Partial ingestion och Alerts.
Använd en befintlig datamängd
Om du vill importera data till en befintlig datauppsättning väljer du Existing dataset. Du kan antingen hämta en befintlig datauppsättning med alternativet Advanced search eller genom att bläddra igenom listan med befintliga datauppsättningar i listrutan. När du har valt en datauppsättning anger du ett namn och en beskrivning för dataflödet.
Använd en ny datauppsättning
Om du vill importera till en ny datauppsättning väljer du New dataset och anger sedan ett namn på utdatauppsättningen och en valfri beskrivning. Välj sedan ett schema att mappa till med alternativet Advanced search eller genom att bläddra igenom listan med befintliga scheman i listrutan. När du har valt ett schema anger du ett namn och en beskrivning för dataflödet.
Aktivera Profile och feldiagnostik
Välj sedan alternativet Profile dataset för att aktivera datauppsättningen för Profile. På så sätt kan du skapa en helhetsbild av en enhets attribut och beteenden. Data från alla Profile-aktiverade datauppsättningar inkluderas i Profile och ändringarna tillämpas när du sparar dataflödet.
Error diagnostics aktiverar detaljerad generering av felmeddelanden för alla felaktiga poster som inträffar i dataflödet, medan Partial ingestion gör att du kan importera data som innehåller fel, upp till ett visst tröskelvärde som du manuellt anger. Mer information finns i översikten över partiell gruppöverföring.
Aktivera aviseringar
Du kan aktivera varningar för att få meddelanden om status för ditt dataflöde. Välj en avisering i listan om du vill prenumerera och få meddelanden om statusen för ditt dataflöde. Mer information om varningar finns i guiden prenumerera på källvarningar med användargränssnittet.
Välj Next när du är klar med informationen om dataflödet.
Mappa datafält till ett XDM-schema
Steg Mapping visas, och du får ett gränssnitt för att mappa källfälten från källschemat till rätt mål-XDM-fält i målschemat.
Experience Platform ger intelligenta rekommendationer för automatiskt mappade fält baserat på det målschema eller den datamängd som du har valt. Du kan justera mappningsreglerna manuellt så att de passar dina användningsfall. Beroende på dina behov kan du välja att mappa fält direkt eller använda förinställningsfunktioner för data för att omvandla källdata för att härleda beräknade eller beräknade värden. Mer information om hur du använder mappningsgränssnittet och beräkningsfälten finns i Användargränssnittshandboken för dataförinställningar.
Kontrollkolumner som _change_request_type, som används för att hämta ändringsdata, läses under inläsning men lagras inte i målschemat.
Relationsscheman stöder även relationer mellan datauppsättningar med hjälp av primära och externa nyckelmappningar.
Mer information finns i Data Mirror översikt och relationsscheman, teknisk referens.
När källdata har mappats väljer du Next.
Schemalägg körning av inmatning
Steg Scheduling visas, så att du kan konfigurera ett matningsschema så att det automatiskt importerar valda källdata med de konfigurerade mappningarna. Som standard är schemaläggningen inställd på Once. Välj Frequency och välj sedan ett alternativ i listrutan om du vill justera din inmatningsfrekvens.
Om du ställer in matningsfrekvensen på Minute, Hour, Day eller Week måste du ange ett intervall för att skapa en fast tidsram mellan varje intag. En matningsfrekvens som till exempel är inställd på Day och ett intervall på 15 innebär att dataflödet är schemalagt att importera data var 15:e dag.
Under det här steget kan du även aktivera bakgrundsfyllning och definiera en kolumn för inkrementellt dataintag. Backfill används för att importera historiska data, medan kolumnen som du definierar för inkrementellt intag gör att nya data kan skiljas från befintliga data.
Se tabellen nedan för mer information om schemaläggningskonfigurationer.
Konfigurera frekvens för att ange hur ofta dataflödet ska köras. Du kan ange frekvensen till:
- En gång: Ställ in din frekvens på
onceför att skapa en engångsinmatning. Konfigurationer för intervall och bakåtfyllnad är inte tillgängliga när ett dataflöde för engångsinmatning skapas. Som standard är schemaläggningsfrekvensen inställd på en gång. - Minut: Ställ in din frekvens på
minuteför att schemalägga ditt dataflöde att importera data per minut. - Timme: Ställ in din frekvens på
hourför att schemalägga ditt dataflöde att importera data per timme. - Dag: Ställ in din frekvens på
dayför att schemalägga ditt dataflöde att importera data per dag. - Vecka: Ställ in din frekvens på
weekför att schemalägga ditt dataflöde att importera data per vecka. Mer information finns i avsnittet [Om att förstå schema för veckointag] (#week).
När du har valt en frekvens kan du konfigurera intervallinställningen för att upprätta en tidsram mellan varje intag. Om du t.ex. anger din frekvens som dag och konfigurerar intervallet till 15, kommer dataflödet att köras var 15:e dag. Du kan inte ange intervallet till noll. Det minsta tillåtna intervallvärdet för varje frekvens är följande:
- En gång: ingen/a
- Minut: 15
- Timme: 1
- Dag: 1
- Vecka: 1
Om schema för veckointag weekly
När du väljer att ställa in dataflödet så att det körs en gång i veckan, kommer dataflödet att köras baserat på något av följande scenarier:
- Om datakällan har skapats men inga data har importerats än kommer det första veckodataflödet att köras 7 dagar efter det att källan skapades. Detta sjudagarsintervall startar alltid från när källan skapades, oavsett när du ställer in schemat. Efter den första körningen fortsätter dataflödet att köras varje vecka enligt det konfigurerade schemat.
- Om data från källan har importerats tidigare och du schemalägger dem för veckointag igen, kommer nästa dataflöde att köras 7 dagar efter det senaste framgångsrika intaget.
Granska ditt dataflöde
Steg Review visas, så att du kan granska det nya dataflödet innan det skapas. Informationen är grupperad i följande kategorier:
- Connection: Visar källtypen, den relevanta sökvägen för den valda källfilen och mängden kolumner i källfilen.
- Assign dataset & map fields: Visar den datauppsättning som källdata kommer att importeras till, tillsammans med det associerade schemat. Om du använder ett relationsschema kontrollerar du att obligatoriska fält, som primärnyckeln och versionsidentifieraren, är korrekt mappade. Se även till att alla kolumner för registrering av ändringsdata är korrekt konfigurerade. Datauppsättningar som använder relationsscheman stöder flera datamodeller och aktiverar arbetsflöden för datainhämtning.
- Scheduling: Visar den aktiva perioden, frekvensen och intervallet för intag-schemat.
När du har granskat dataflödet väljer du Finish och tillåt en tid innan dataflödet skapas.
Övervaka dataflödet
När dataflödet har skapats kan du övervaka de data som importeras genom det för att se information om hur mycket data som har intagits, hur bra de är och vilka fel som har uppstått. Mer information om hur du övervakar dataflöde finns i självstudiekursen Övervaka konton och dataflöden i användargränssnittet.
Ta bort ditt dataflöde
Du kan ta bort dataflöden som inte längre är nödvändiga eller som har skapats felaktigt med funktionen Delete som finns på arbetsytan i Dataflows. Mer information om hur du tar bort dataflöden finns i självstudiekursen om att ta bort dataflöden i användargränssnittet.
Nästa steg
I den här självstudiekursen har du skapat ett dataflöde som hämtar data från din datakälla till Experience Platform. Inkommande data kan nu användas av Experience Platform-tjänster längre fram i kedjan, till exempel Real-Time Customer Profile och Data Science Workspace. Mer information finns i följande dokument: