DocumentatieLesbestandenBlauwdrukken

Blauwdruk over het voorbereiden en innemen van gegevens

Last update: Wed Apr 03 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Gemaakt voor:

  • Ontwikkelaar
  • Gebruiker

Gegevensvoorbereiding en inname Blauwdruk omvat alle methoden waarmee gegevens in Adobe kunnen worden bereid en opgenomen Experience Platform.

De voorbereiding van gegevens omvat de afbeelding van brongegevens aan het schema van het Model van de Gegevens van de Ervaring (XDM). Het omvat ook het uitvoeren van transformaties op gegevens, waaronder datumopmaak, veldsplitsen/samenvoegen/conversies en het samenvoegen/samenvoegen/opnieuw koppelen van records. De voorbereiding van gegevens helpt klantengegevens verenigen om bijeengevoegde/gefilterde analyse te verstrekken, met inbegrip van het melden van of het voorbereiden van gegevens voor de assemblage van het klantenprofiel/gegevenswetenschap/activering.

Architectuur

Referentiearchitectuur voor de blauwdruk voor gegevensvoorbereiding en insluiting {modal="regular"}

Gegevens-innamegardrails

In het onderstaande diagram worden de gemiddelde prestatiegaranties en latentie voor gegevensinvoer in Adobe weergegeven Experience Platform.

Experience Platform Gegevensstroom {width="90%" modal="regular"}

Methoden voor gegevensinvoer

Streaming bronnen
Methode
Vaak voorkomende gevallen
Protocollen
Overwegingen
Adobe Web/Mobile SDK
  • Gegevensverzameling van websites en mobiele apps.
  • Voorkeursmethode voor clientverzameling.
Push, HTTP, JSON
  • Voer veelvoudige Adobe toepassingen uit leveraging één enkele SDK.
HTTP API-connector
  • Verzameling van streamingbronnen, transacties, relevante klantgebeurtenissen en signalen
Push, REST API, JSON
  • Het gegeven wordt gestroomd direct aan de hub zodat geen segmentatie in real time van de Rand of gebeurtenis door:sturen.
Edge Network API
  • Inzameling van streamingbronnen, transacties, relevante klantgebeurtenissen en signalen van de wereldwijd verspreide Edge Network
Push, REST API, JSON
  • Gegevens worden gestreamd via de Edge Network. Ondersteuning voor realtime segmentatie op de rand.
Adobe-toepassingen
  • Voorafgaande implementatie van Adobe Analytics, Marketo, Campaign, Target, AAM
Push, Source Connectors en API
  • Aanbevolen aanpak is migratie naar Web/Mobile SDK boven traditionele SDK's voor toepassingen.
Streaming-bronconnectors
  • Opname van een Enterprise-gebeurtenisstream, doorgaans gebruikt voor het delen van bedrijfsgegevens naar meerdere downstreamtoepassingen.
Push, REST API, JSON
  • Moet worden gestreamd in XDM-indeling.
Streaming Sources SDK
  • Vergelijkbaar met de HTTP API-connector, maakt zelfbedieningsconfiguratiekaart van een externe gegevensstroom mogelijk.
Push, HTTP API, JSON
  • Edge Network
Batchbronnen
Methode
Vaak voorkomende gevallen
Protocollen
Overwegingen
Batchverwerking-API
  • Opname van een door een onderneming beheerde schijf. Reinigen en transformeren van gegevens vóór inname.
Push, JSON of Parquet
  • Batches en bestanden moeten worden beheerd voor inname
Batchbronaansluitingen
  • Algemene aanpak voor het opnemen van bestanden van opslaglocaties in de cloud.
  • Verbindingen met gemeenschappelijke CRM en marketing toepassingen.
  • Ideaal voor het inslikken van grote hoeveelheden historische gegevens.
Pull, CSV, JSON, Parquet
  • Niet altijd aan, onmiddellijke inname.
  • Het terugkeren van frequentiecontroles om deltadossiers minstens om de 15 minuten in te gaan.
Gegevenslandingszone
  • Adobe provisioned de opslagplaats van het dossier om dossiers aan voor opname te duwen.
Push, CSV, JSON, Parquet
- Bestanden worden geleverd met een TTL van 7 dagen
Batchbronnen SDK
  • Staat zelfbedienings configuratiekaart van een externe gegevensbron toe.
  • Ideaal voor partnerconnectors of voor een op maat gemaakte workflowervaring voor het opzetten van een bedrijfsconnector.
Pull-, REST API-, CSV- of JSON-bestanden
  • Minimumfrequentie van 15 minuten
  • Voorbeelden: MailChimp, One Trust, Zendesk
Methoden van inname
Beschrijving
Web/Mobile SDK

Latentie:

  • In real time - dezelfde paginaszameling aan Edge Network
  • Streaming opname naar profiel < 15 minuten op het 95e percentiel
  • Streaming opname naar data Lake (microbatch ~15 minuten)

Documentatie:

Streaming bronnen

Streaming bronnen
Latentie:

  • In real time - dezelfde paginaszameling aan Edge Network
  • Streaming opname naar profiel ~1 minuut
  • Streaming opname naar data Lake (microbatch ~15 minuten)
Streaming-API

Edge Network Server-API (voorkeur) - biedt ondersteuning voor Edge Services, waaronder Edge Segmentation en
Core-service-API voor gegevensverzameling - biedt geen ondersteuning voor Edge Services, routeert rechtstreeks naar de hub.
Latentie:

  • In real time - dezelfde paginaszameling aan Edge Network
  • Streaming opname naar profiel ~1 minuut
  • Streaming opname naar data Lake (microbatch ~15 minuten)
  • 7 GB/uur

Documentatie

ETL Tooling

Gebruik de hulpmiddelen van ETL om ondernemingsgegevens te wijzigen en om te zetten alvorens in Experience Platform.

Latentie:

  • De timing is afhankelijk van de externe planning van ETL-gereedschappen, en de standaardinstructies voor inname zijn van toepassing op basis van de gebruikte methode voor inname.
Batchbronnen
Gepland ophalen uit bronnen
Latentie: ~ 200 GB/uur

Documentatie
Video-Tutorials
Batch-API

Latentie:

  • Batchopname in profiel afhankelijk van grootte en verkeersbelasting ~45 minuten
  • Batchopname in het datumpigment afhankelijk van grootte en verkeersbelasting

Documentatie

Adobe Application Connectors

Automatisch gegevens opnemen die afkomstig zijn van Adobe Experience Cloud-toepassingen

Methoden voor gegevensvoorbereiding

Methoden voor het voorbereiden van gegevens
Beschrijving
Extern ETL-gereedschap (Snaplogic, Mulesoft, Informatica, enz.)
Complexe transformaties uitvoeren in ETL-gereedschappen en standaard gebruiken Experience Platform Flow Service API's of bronconnectors om de resulterende gegevens in te voeren.
Query-service - Data Prep
Verbindt, Splits, de gegevens van de Fusie, van de Transformatie, van de Vraag, en van de Filter in een nieuwe dataset. Tabel maken als selectie gebruiken (CTAS)
Documentatie
XDM Mapper- en Data Prep-functies (streaming en batch)
Bronkenmerken in CSV- of JSON-indeling toewijzen aan XDM-kenmerken tijdens Experience Platform ingestie.
Compute functions on data as it is ingested (gegevens opmaken, splitsen, samenvoegen, enzovoort).
Documentatie

Gerelateerde blogberichten

recommendation-more-help
045b7d44-713c-4708-a7a6-5dea7cc2546b