Aktivera registrering av ändringsdata för källanslutningar i API
Använd datainhämtning från Adobe Experience Platform för att synkronisera käll- och målsystemen i nära realtid.
Experience Platform har för närvarande stöd för inkrementell datakopia, som regelbundet överför nyligen skapade eller uppdaterade poster från källsystemet till inkapslade datauppsättningar. Den här metoden förlitar sig på en tidsstämpelkolumn för att spåra ändringar, men den identifierar inte borttagningar, vilket kan leda till inkonsekventa data över tid.
Om du däremot ändrar datainhämtningen hämtas och infogas, uppdateras och tas bort nästan i realtid. Denna omfattande ändringsspårning säkerställer att datauppsättningarna är helt anpassade till källsystemet och ger en fullständig ändringshistorik utöver vad inkrementell kopia stöder. Borttagningsåtgärder kräver dock särskild hänsyn eftersom de påverkar alla program som använder måldatauppsättningarna.
För registrering av ändringsdata i Experience Platform krävs Data Mirror med relationsscheman. Du kan skicka ändringsdata till Data Mirror på två sätt:
- Manuell ändringsspårning: Inkludera en
_change_request_type-kolumn i datauppsättningen för källor som inte genererar poster för registrering av ändringsdata internt - Inbyggd export av datainhämtning vid ändring: Använd poster för registrering av ändringsdata som exporterats direkt från källsystemet
Båda metoderna kräver att Data Mirror har relationsscheman för att bevara relationer och genomdriva unika lösningar.
Data Mirror med relationsscheman
Data Mirror använder relationsscheman för att utöka datainhämtningen av ändringsdata och aktivera avancerade funktioner för databassynkronisering. En översikt över Data Mirror finns i Data Mirror - översikt.
Relationsscheman utökar Experience Platform för att framtvinga unika primärnycklar, spåra ändringar på radnivå och definiera relationer på schemanivå. Med datainhämtning kan man lägga in, uppdatera och radera data direkt i datasjön, vilket minskar behovet av Extract, Transform, Load (ETL) eller manuell avstämning.
Mer information finns i Översikt över relationsscheman.
Krav för relationsschema för registrering av ändringsdata
Konfigurera följande identifierare innan du använder ett relationsschema med registrering av ändringsdata:
- Identifiera unikt varje post med en primärnyckel.
- Tillämpa uppdateringar sekventiellt med en versionsidentifierare.
- Lägg till en tidsstämpelidentifierare för tidsseriescheman.
Styra kolumnhantering control-column-handling
Använd kolumnen _change_request_type för att ange hur varje rad ska bearbetas:
u— upsert (standard om kolumnen inte finns)d- ta bort
Den här kolumnen utvärderas endast vid förtäring och lagras eller mappas inte till XDM-fält.
Arbetsflöde workflow
Så här aktiverar du registrering av ändringsdata med ett relationsschema:
-
Skapa ett relationsschema.
-
Lägg till de beskrivningar som krävs:
- Primär nyckelbeskrivning
- Versionsbeskrivare
- Tidsstämpelbeskrivning (endast tidsserie)
-
Skapa en datauppsättning från schemat och aktivera registrering av ändringsdata.
-
Endast för filbaserad inmatning: Lägg till kolumnen
_change_request_typei källfilerna om du behöver ange borttagningsåtgärder explicit. CDC-exportkonfigurationer hanterar detta automatiskt för databaskällor. -
Slutför konfigurationen av källanslutningen för att aktivera förtäring.
_change_request_type krävs bara för filbaserade källor (Amazon S3, Azure Blob, Google Cloud Storage, SFTP) när du vill styra ändringsbeteendet på radnivå explicit. För databaskällor med inbyggda CDC-funktioner hanteras ändringsåtgärder automatiskt via CDC-exportkonfigurationer. Filbaserad inmatning förutsätter att du utför en överföring som standard. Du behöver bara lägga till den här kolumnen om du vill ange borttagningsåtgärder i filöverföringen.Erbjuda ändringsdata för filbaserade källor file-based-sources
För filbaserade källor (Amazon S3, Azure Blob, Google Cloud Storage och SFTP) tar du med en _change_request_type-kolumn i filerna.
Använd de _change_request_type-värden som definieras i avsnittet Hantera kontrollkolumner ovan.
_change_request_type-kolumn med antingen u (upsert) eller d (delete) för att validera funktionerna för ändringsspårning. Adobe Journey Optimizer orkestrerade kampanjer kräver till exempel den här kolumnen för att aktivera alternativet för orkestrerad kampanj och tillåta val av datauppsättning för målinriktning. Programspecifika valideringskrav kan variera.Följ de källspecifika stegen nedan.
Lagringskällor i molnet cloud-storage-sources
Aktivera datainhämtning för molnlagringskällor genom att följa dessa steg:
-
Skapa en basanslutning för källan:
table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 Källa Grundläggande anslutningsguide Amazon S3 Skapa en Amazon S3 basanslutning Azure Blob Skapa en Azure Blob basanslutning Google Cloud Storage Skapa en Google Cloud Storage basanslutning SFTP Skapa en SFTP basanslutning
Alla molnlagringskällor använder samma _change_request_type-kolumnformat som beskrivs i avsnittet Filbaserade källor ovan.
Databaskällor database-sources
Azure Databricks
Om du vill använda registrering av ändringsdata med Azure Databricks måste du båda aktivera Ändra datafeed i källtabellerna och konfigurera Data Mirror med relationsscheman i Experience Platform.
Använd följande kommandon om du vill aktivera dataöverföring i tabeller:
Ny tabell
Om du vill använda datautmatning för ändring av en ny tabell måste du ange tabellegenskapen delta.enableChangeDataFeed till TRUE i kommandot CREATE TABLE.
CREATE TABLE student (id INT, name STRING, age INT) TBLPROPERTIES (delta.enableChangeDataFeed = true)
Befintlig tabell
Om du vill använda datautmatning för ändring av en befintlig tabell måste du ange tabellegenskapen delta.enableChangeDataFeed till TRUE i kommandot ALTER TABLE.
ALTER TABLE myDeltaTable SET TBLPROPERTIES (delta.enableChangeDataFeed = true)
Alla nya tabeller
Om du vill använda datafeed för ändring i alla nya tabeller måste du ange standardegenskaperna till TRUE.
set spark.databricks.delta.properties.defaults.enableChangeDataFeed = true;
Mer information finns i Azure Databricks handboken om hur du aktiverar feed för ändringsdata.
Läs följande dokumentation om hur du aktiverar registrering av ändringsdata för din Azure Databricks-källanslutning:
Data Landing Zone
Om du vill använda registrering av ändringsdata med Data Landing Zone måste du båda aktivera Ändra datafeed i källtabellerna och konfigurera Data Mirror med relationsscheman i Experience Platform.
Läs följande dokumentation om hur du aktiverar registrering av ändringsdata för din Data Landing Zone-källanslutning:
Google BigQuery
Om du vill använda registrering av ändringsdata med Google BigQuery måste du båda aktivera ändringshistorik i källtabellerna och konfigurera Data Mirror med relationsscheman i Experience Platform.
Om du vill aktivera ändringshistorik i Google BigQuery-källanslutningen navigerar du till Google BigQuery-sidan i Google Cloud-konsolen och anger enable_change_history som TRUE. Den här egenskapen aktiverar ändringshistorik för datatabellen.
Mer information finns i handboken om språksatser för datadefinitioner i GoogleSQL.
Läs följande dokumentation om hur du aktiverar registrering av ändringsdata för din Google BigQuery-källanslutning:
Snowflake
Om du vill använda registrering av ändringsdata med Snowflake måste du båda aktivera ändringsspårning i källtabellerna och konfigurera Data Mirror med relationsscheman i Experience Platform.
Aktivera ändringsspårning i Snowflake genom att använda ALTER TABLE och ange CHANGE_TRACKING som TRUE.
ALTER TABLE mytable SET CHANGE_TRACKING = TRUE
Mer information finns i Snowflake handboken om hur du använder ändringssatsen.
Läs följande dokumentation om hur du aktiverar registrering av ändringsdata för din Snowflake-källanslutning: