Aktivera registrering av ändringsdata för källanslutningar i API

Använd datainhämtning från Adobe Experience Platform för att synkronisera käll- och målsystemen i nära realtid.

Experience Platform har för närvarande stöd för inkrementell datakopia, som regelbundet överför nyligen skapade eller uppdaterade poster från källsystemet till inkapslade datauppsättningar. Den här metoden förlitar sig på en tidsstämpelkolumn för att spåra ändringar, men den identifierar inte borttagningar, vilket kan leda till inkonsekventa data över tid.

Om du däremot ändrar datainhämtningen hämtas och infogas, uppdateras och tas bort nästan i realtid. Denna omfattande ändringsspårning säkerställer att datauppsättningarna är helt anpassade till källsystemet och ger en fullständig ändringshistorik utöver vad inkrementell kopia stöder. Borttagningsåtgärder kräver dock särskild hänsyn eftersom de påverkar alla program som använder måldatauppsättningarna.

För registrering av ändringsdata i Experience Platform krävs Data Mirror med modellbaserade scheman (kallas även relationsscheman). Du kan skicka ändringsdata till Data Mirror på två sätt:

Båda metoderna kräver att Data Mirror har modellbaserade scheman för att bevara relationer och genomdriva unika lösningar.

Data Mirror med modellbaserade diagram

Data Mirror använder modellbaserade scheman för att utöka datainhämtningen av ändringsdata och aktivera avancerade funktioner för databassynkronisering. En översikt över Data Mirror finns i Data Mirror - översikt.

Modellbaserade scheman utökar Experience Platform för att framtvinga unika primärnycklar, spåra ändringar på radnivå och definiera relationer på schemanivå. Med datainhämtning kan man lägga in, uppdatera och radera data direkt i datasjön, vilket minskar behovet av Extract, Transform, Load (ETL) eller manuell avstämning.

Mer information finns i Modellbaserade scheman - översikt.

Modellbaserade schemakrav för registrering av ändringsdata

Konfigurera följande identifierare innan du använder ett modellbaserat schema med registrering av ändringsdata:

Styra kolumnhantering control-column-handling

Använd kolumnen _change_request_type för att ange hur varje rad ska bearbetas:

Den här kolumnen utvärderas endast vid förtäring och lagras eller mappas inte till XDM-fält.

Arbetsflöde workflow

Så här aktiverar du registrering av ändringsdata med ett modellbaserat schema:

Erbjuda ändringsdata för filbaserade källor file-based-sources

För filbaserade källor (Amazon S3, Azure Blob, Google Cloud Storage och SFTP) tar du med en _change_request_type-kolumn i filerna.

Använd de _change_request_type-värden som definieras i avsnittet Hantera kontrollkolumner ovan.

Följ de källspecifika stegen nedan.

Lagringskällor i molnet cloud-storage-sources

Aktivera datainhämtning för molnlagringskällor genom att följa dessa steg:

Alla molnlagringskällor använder samma _change_request_type-kolumnformat som beskrivs i avsnittet Filbaserade källorovan.

Databaskällor database-sources

Azure Databricks

Om du vill använda registrering av ändringsdata med Azure Databricks måste du båda aktivera Ändra datafeed i källtabellerna och konfigurera Data Mirror med modellbaserade scheman i Experience Platform.

Använd följande kommandon om du vill aktivera dataöverföring i tabeller:

Ny tabell

Om du vill använda datautmatning för ändring av en ny tabell måste du ange tabellegenskapen delta.enableChangeDataFeed till TRUE i kommandot CREATE TABLE.

CREATE TABLE student (id INT, name STRING, age INT) TBLPROPERTIES (delta.enableChangeDataFeed = true)

Befintlig tabell

Om du vill använda datautmatning för ändring av en befintlig tabell måste du ange tabellegenskapen delta.enableChangeDataFeed till TRUE i kommandot ALTER TABLE.

ALTER TABLE myDeltaTable SET TBLPROPERTIES (delta.enableChangeDataFeed = true)

Alla nya tabeller

Om du vill använda datafeed för ändring i alla nya tabeller måste du ange standardegenskaperna till TRUE.

set spark.databricks.delta.properties.defaults.enableChangeDataFeed = true;

Mer information finns i Azure Databricks handboken om hur du aktiverar feed för ändringsdata.

Läs följande dokumentation om hur du aktiverar registrering av ändringsdata för din Azure Databricks-källanslutning:

Data Landing Zone

Om du vill använda registrering av ändringsdata med Data Landing Zone måste du båda aktivera Ändra datafeed i källtabellerna och konfigurera Data Mirror med modellbaserade scheman i Experience Platform.

Läs följande dokumentation om hur du aktiverar registrering av ändringsdata för din Data Landing Zone-källanslutning:

Google BigQuery

Om du vill använda registrering av ändringsdata med Google BigQuery måste du både aktivera ändringshistorik i källtabellerna och konfigurera Data Mirror med modellbaserade scheman i Experience Platform.

Om du vill aktivera ändringshistorik i Google BigQuery-källanslutningen navigerar du till Google BigQuery-sidan i Google Cloud-konsolen och anger enable_change_history som TRUE. Den här egenskapen aktiverar ändringshistorik för datatabellen.

Mer information finns i handboken om språksatser för datadefinitioner i GoogleSQL.

Läs följande dokumentation om hur du aktiverar registrering av ändringsdata för din Google BigQuery-källanslutning:

Snowflake

Om du vill använda registrering av ändringsdata med Snowflake måste du båda aktivera ändringsspårning i källtabellerna och konfigurera Data Mirror med modellbaserade scheman i Experience Platform.

Aktivera ändringsspårning i Snowflake genom att använda ALTER TABLE och ange CHANGE_TRACKING som TRUE.

ALTER TABLE mytable SET CHANGE_TRACKING = TRUE

Mer information finns i Snowflake handboken om hur du använder ändringssatsen.

Läs följande dokumentation om hur du aktiverar registrering av ändringsdata för din Snowflake-källanslutning: