Documentatie Experience Platform Gids voor Source Connectors

Vastleggen van wijzigingsgegevens inschakelen voor bronverbindingen in de API

Last update: Wed Sep 24 2025 00:00:00 GMT+0000 (Coordinated Universal Time)

Onderwerpen:

Gemaakt voor:

Ontwikkelaar

Met de functie voor het vastleggen van wijzigingsgegevens in Adobe Experience Platform-bronnen zorgt u ervoor dat uw bron- en doelsystemen vrijwel realtime gesynchroniseerd blijven.

Experience Platform steunt momenteel stijgende gegevensexemplaar, dat periodiek nieuw gecreeerde of bijgewerkte verslagen van het bronsysteem aan de ingebedde datasets overbrengt. Deze methode baseert zich op de kolom van a timestamp om veranderingen te volgen, maar het ontdekt geen schrappingen, die tot gegevensinconsistenties in tijd kunnen leiden.

Als u daarentegen de gegevensopname wijzigt, worden de gegevens vastgelegd en worden invoegingen, updates en verwijderingen in bijna real-time toegepast. Deze uitvoerige verandering het volgen zorgt ervoor dat de datasets volledig gericht op het bronsysteem blijven en verstrekt een volledige veranderingsgeschiedenis, voorbij welke stijgende exemplaar steunt. Nochtans, schrapt verrichtingen vereisen speciale overweging aangezien zij alle toepassingen beïnvloeden die de doeldatasets gebruiken.

De gegevens van de verandering vangen in Experience Platform vereist Data Mirror met model-gebaseerde schema's(ook genoemd relationele schema's). U kunt wijzigingsgegevens op twee manieren naar Data Mirror verzenden:

Handmatige verandering het volgen: Omvat a _change_request_type kolom in uw dataset voor bronnen die niet natically veranderingsgegevens produceren vangen verslagen
de Inheemse vangst van veranderingsgegevens voert uit: De verslagen van de vangst van veranderingsgegevens van het gebruik direct uit uw bronsysteem worden uitgevoerd

Beide benaderingen vereisen Data Mirror met model-gebaseerde schema's om verhoudingen te bewaren en uniciteit af te dwingen.

Data Mirror met modelgebaseerde schema's

AVAILABILITY

Data Mirror en op model-gebaseerde schema's zijn beschikbaar aan Adobe Journey Optimizer Geordende campagnes vergunninghouders. Zij zijn ook beschikbaar als a beperkte versie voor de gebruikers van Customer Journey Analytics, afhankelijk van uw vergunning en eigenschapenactivering. Neem contact op met uw Adobe-vertegenwoordiger voor toegang.

NOTE

Geordende campagnegebruikers: Gebruik de mogelijkheden van Data Mirror die in dit document worden beschreven om met klantengegevens te werken die referentiële integriteit handhaven. Zelfs als uw bron geen opmaak voor het vastleggen van wijzigingsgegevens gebruikt, biedt Data Mirror ondersteuning voor relationele functies, zoals primaire toetsenbordhandhaving, upserts op recordniveau en schema-relaties. Deze eigenschappen verzekeren verenigbare en betrouwbare gegevensmodellering over verbonden datasets.

Data Mirror gebruikt modelgebaseerde schema's om het vastleggen van wijzigingsgegevens uit te breiden en geavanceerde mogelijkheden voor databasesynchronisatie in te schakelen. Voor een overzicht van Data Mirror, zie overzicht van Data Mirror.

Model-gebaseerde schema's breiden Experience Platform uit om primaire zeer belangrijke uniciteit af te dwingen, rij-vlakke veranderingen te volgen, en schema-vlakke verhoudingen te bepalen. Met veranderingsgegevens vangen, passen zij tussenvoegsels toe, updates, en schrapt direct in het gegevensmeer, die de behoefte aan Extraheren, Transformeren, Lading (ETL) of handverzoening verminderen.

Zie Model-Gebaseerde schema's overzichtvoor meer informatie.

Op modellen gebaseerde schemavereisten voor het vastleggen van wijzigingsgegevens

Voordat u een op een model gebaseerd schema gebruikt met het vastleggen van wijzigingsgegevens, configureert u de volgende id's:

Elke record op unieke wijze identificeren met een primaire sleutel.
Pas opeenvolgende updates toe met behulp van een versie-id.
Voeg een tijdstempel-id toe aan tijdreeksschema's.

Bediening van kolommen control-column-handling

Gebruik de kolom _change_request_type om op te geven hoe elke rij moet worden verwerkt:

u — upsert (standaardwaarde als de kolom ontbreekt)
d — delete

Deze kolom wordt alleen geëvalueerd tijdens inname en wordt niet opgeslagen of toegewezen aan XDM-velden.

Workflow workflow

Om veranderingsgegevens toe te laten vangen met een model-gebaseerd schema:

Maak een op een model gebaseerd schema.
Voeg de vereiste beschrijvingen toe:
- Descriptor primaire sleutel
- Versiebeschrijving
- de beschrijver van de tijdstempel(tijd-reeksen slechts)
Creeer een dataset van het schema en laat veranderingsgegevens toe vangen.
Alleen voor op een bestand gebaseerde invoer: voeg de kolom _change_request_type toe aan uw bronbestanden als u expliciet verwijderingsbewerkingen moet opgeven. CDC-exportconfiguraties verwerken dit automatisch voor databasebronnen.
Voltooi de instelling van de bronverbinding om opname in te schakelen.

NOTE

De kolom _change_request_type is alleen vereist voor bestandsgebaseerde bronnen (Amazon S3, Azure Blob, Google Cloud Storage, SFTP) wanneer u wijzigingsgedrag op rijniveau expliciet wilt bepalen. Voor databasebronnen met native CDC-mogelijkheden worden wijzigingsbewerkingen automatisch afgehandeld via CDC-exportconfiguraties. Op bestand gebaseerde invoer gaat standaard uit van upserbewerkingen. U hoeft deze kolom alleen toe te voegen als u verwijderbewerkingen wilt opgeven in het uploaden van bestanden.

IMPORTANT

de schrapping van Gegevens planning wordt vereist. Alle toepassingen die op model-gebaseerde schema's gebruiken moeten schrappingsimplicaties begrijpen alvorens veranderingsgegevens uit te voeren vangen. Plan voor hoe schrappingen verwante datasets, nalevingsvereisten, en stroomafwaartse processen zullen beïnvloeden. Zie overwegingen van de gegevenshygiënevoor begeleiding.

Wijzigingsgegevens opgeven voor op bestanden gebaseerde bronnen file-based-sources

IMPORTANT

Voor het vastleggen van wijzigingsgegevens op basis van bestanden is Data Mirror met modelschema's vereist. Alvorens de dossier volgende formatterende stappen hieronder te volgen, zorg ervoor u het de opstellingswerkschema van Data Mirroreerder in dit document beschreven hebt voltooid. In de onderstaande stappen wordt beschreven hoe u uw gegevensbestanden kunt opmaken met informatie over het bijhouden van wijzigingen die door Data Mirror wordt verwerkt.

Voor bestandsgebaseerde bronnen (Amazon S3 , Azure Blob , Google Cloud Storage en SFTP ) neemt u een _change_request_type -kolom op in uw bestanden.

Gebruik de _change_request_type waarden die in de worden bepaald kolom behandelendesectie hierboven.

IMPORTANT

Voor dossier-gebaseerde slechts bronnen, kunnen bepaalde toepassingen een _change_request_type kolom met of u (upsert) of d (schrapping) vereisen om verandering volgende mogelijkheden te bevestigen. Bijvoorbeeld, vereist de Adobe Journey Optimizer Geordende campagnes eigenschap deze kolom om de "Geordende campagneknevel"toe te laten en datasetselectie voor het richten toe te staan. Toepassingsspecifieke validatievereisten kunnen variëren.

Voer de onderstaande bronspecifieke stappen uit.

Opslagbronnen voor cloud cloud-storage-sources

Schakel het vastleggen van wijzigingsgegevens voor bronnen voor cloudopslag als volgt in:

Maak een basisverbinding voor uw bron:

table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2
Bron	Basisverbindingshulplijn
Amazon S3	creeer a Amazon S3 basisverbinding
Azure Blob	creeer a Azure Blob basisverbinding
Google Cloud Storage	creeer a Google Cloud Storage basisverbinding
SFTP	creeer a SFTP basisverbinding

creeer een bronverbinding voor een wolkenopslag.

Alle bronnen van de wolkenopslag gebruiken het zelfde _change_request_type kolomformaat dat in de op dossier-gebaseerde bronnenhierboven wordt beschreven sectie.

Databasebronnen database-sources

Azure Databricks

Om veranderingsgegevens te gebruiken vangt met Azure Databricks, moet u gegevenstoevoer van de verandering in uw bronlijsten toelaten en Data Mirror met model-gebaseerde schema's in Experience Platform vormen.

Gebruik de volgende opdrachten om de invoer van wijzigingsgegevens in uw tabellen in te schakelen:

Nieuwe lijst

Als u de gewijzigde gegevensinvoer wilt toepassen op een nieuwe tabel, moet u de tabeleigenschap delta.enableChangeDataFeed instellen op TRUE in de opdracht CREATE TABLE .

CREATE TABLE student (id INT, name STRING, age INT) TBLPROPERTIES (delta.enableChangeDataFeed = true)

Bestaande lijst

Als u een gewijzigde gegevensfeed wilt toepassen op een bestaande tabel, moet u de tabeleigenschap delta.enableChangeDataFeed instellen op TRUE in de opdracht ALTER TABLE .

ALTER TABLE myDeltaTable SET TBLPROPERTIES (delta.enableChangeDataFeed = true)

Alle nieuwe lijsten

Als u de gegevensfeed change wilt toepassen op alle nieuwe tabellen, moet u de standaardeigenschappen instellen op TRUE .

set spark.databricks.delta.properties.defaults.enableChangeDataFeed = true;

Voor meer informatie, lees de Azure Databricks gids bij het toelaten van de voer van veranderingsgegevens.

Lees de volgende documentatie voor stappen over het inschakelen van het vastleggen van wijzigingsgegevens voor uw Azure Databricks bronverbinding:

Data Landing Zone

Om veranderingsgegevens te gebruiken vangt met Data Landing Zone, moet u gegevenstoevoer van de verandering in uw bronlijsten toelaten en Data Mirror met model-gebaseerde schema's in Experience Platform vormen.

Lees de volgende documentatie voor stappen over het inschakelen van het vastleggen van wijzigingsgegevens voor uw Data Landing Zone bronverbinding:

Google BigQuery

Als u wijzigingsgegevens wilt vastleggen met Google BigQuery , moet u de wijzigingshistorie in uw brontabellen inschakelen en Data Mirror configureren met modelschema's in Experience Platform.

Als u wijzigingsgeschiedenis wilt inschakelen in uw Google BigQuery bronverbinding, navigeert u naar de Google BigQuery -pagina in de Google Cloud -console en stelt u enable_change_history in op TRUE . Met deze eigenschap wordt de wijzigingshistorie voor uw gegevenstabel ingeschakeld.

Voor meer informatie, lees de gids over de taalverklaringen van de gegevensdefinitie in GoogleSQL.

Lees de volgende documentatie voor stappen over het inschakelen van het vastleggen van wijzigingsgegevens voor uw Google BigQuery bronverbinding:

Snowflake

Om veranderingsgegevens te gebruiken vangen met Snowflake, moet u verandering het volgen in uw bronlijsten toelaten en Data Mirror met model-gebaseerde schema's in Experience Platform vormen.

Schakel in Snowflake de optie Wijzigingen bijhouden in met de waarden ALTER TABLE en CHANGE_TRACKING op TRUE .

ALTER TABLE mytable SET CHANGE_TRACKING = TRUE

Voor meer informatie, lees de Snowflake gids bij het gebruiken van de veranderingsclausule.

Lees de volgende documentatie voor stappen over het inschakelen van het vastleggen van wijzigingsgegevens voor uw Snowflake bronverbinding:

recommendation-more-help

337b99bb-92fb-42ae-b6b7-c7042161d089