Vastleggen van wijzigingsgegevens inschakelen voor bronverbindingen in de API
Met de functie voor het vastleggen van wijzigingsgegevens in Adobe Experience Platform-bronnen zorgt u ervoor dat uw bron- en doelsystemen vrijwel realtime gesynchroniseerd blijven.
Experience Platform steunt momenteel stijgende gegevensexemplaar, dat periodiek nieuw gecreeerde of bijgewerkte verslagen van het bronsysteem aan de ingebedde datasets overbrengt. Deze methode baseert zich op de kolom van a timestamp om veranderingen te volgen, maar het ontdekt geen schrappingen, die tot gegevensinconsistenties in tijd kunnen leiden.
Als u daarentegen de gegevensopname wijzigt, worden de gegevens vastgelegd en worden invoegingen, updates en verwijderingen in bijna real-time toegepast. Deze uitvoerige verandering het volgen zorgt ervoor dat de datasets volledig gericht op het bronsysteem blijven en verstrekt een volledige veranderingsgeschiedenis, voorbij welke stijgende exemplaar steunt. Nochtans, schrapt verrichtingen vereisen speciale overweging aangezien zij alle toepassingen beïnvloeden die de doeldatasets gebruiken.
De gegevens van de verandering vangen in Experience Platform vereist Data Mirror met relationele schema's . U kunt wijzigingsgegevens op twee manieren naar Data Mirror verzenden:
- Handmatige verandering het volgen: Omvat a
_change_request_typekolom in uw dataset voor bronnen die niet natically veranderingsgegevens produceren vangen verslagen - de Inheemse vangst van veranderingsgegevens voert uit: De verslagen van de vangst van veranderingsgegevens van het gebruik direct uit uw bronsysteem worden uitgevoerd
Beide benaderingen vereisen Data Mirror met relationele schema's om verhoudingen te bewaren en uniciteit af te dwingen.
Data Mirror met relationele schema's
Data Mirror gebruikt relationele schema's om het vastleggen van wijzigingsgegevens uit te breiden en geavanceerde mogelijkheden voor databasesynchronisatie in te schakelen. Voor een overzicht van Data Mirror, zie overzicht van Data Mirror .
Relationele schema's breiden Experience Platform uit om primaire zeer belangrijke uniciteit af te dwingen, rij-vlakke veranderingen te volgen, en schema-vlakke verhoudingen te bepalen. Met veranderingsgegevens vangen, passen zij tussenvoegsels toe, updates, en schrapt direct in het gegevensmeer, die de behoefte aan Extraheren, Transformeren, Lading (ETL) of handverzoening verminderen.
Zie Overzicht Relationele schema's voor meer informatie.
Relationele schemavereisten voor het vangen van veranderingsgegevens
Voordat u een relationeel schema gebruikt met het vastleggen van wijzigingsgegevens, configureert u de volgende id's:
- Elke record op unieke wijze identificeren met een primaire sleutel.
- Pas opeenvolgende updates toe met behulp van een versie-id.
- Voeg een tijdstempel-id toe aan tijdreeksschema's.
Bediening van kolommen control-column-handling
Gebruik de kolom _change_request_type om op te geven hoe elke rij moet worden verwerkt:
u— upsert (standaardwaarde als de kolom ontbreekt)d— delete
Deze kolom wordt alleen geëvalueerd tijdens inname en wordt niet opgeslagen of toegewezen aan XDM-velden.
Workflow workflow
Om veranderingsgegevens toe te laten vangen met een relationeel schema:
-
Maak een relationeel schema.
-
Voeg de vereiste beschrijvingen toe:
- Descriptor primaire sleutel
- Versiebeschrijving
- de beschrijver van de tijdstempel (tijd-reeksen slechts)
-
Creeer een dataset van het schema en laat veranderingsgegevens toe vangen.
-
Alleen voor op een bestand gebaseerde invoer: voeg de kolom
_change_request_typetoe aan uw bronbestanden als u expliciet verwijderingsbewerkingen moet opgeven. CDC-exportconfiguraties verwerken dit automatisch voor databasebronnen. -
Voltooi de instelling van de bronverbinding om opname in te schakelen.
_change_request_type is alleen vereist voor bestandsgebaseerde bronnen (Amazon S3, Azure Blob, Google Cloud Storage, SFTP) wanneer u wijzigingsgedrag op rijniveau expliciet wilt bepalen. Voor databasebronnen met native CDC-mogelijkheden worden wijzigingsbewerkingen automatisch afgehandeld via CDC-exportconfiguraties. Op bestand gebaseerde invoer gaat standaard uit van upserbewerkingen. U hoeft deze kolom alleen toe te voegen als u verwijderbewerkingen wilt opgeven in het uploaden van bestanden.Wijzigingsgegevens opgeven voor op bestanden gebaseerde bronnen file-based-sources
Voor bestandsgebaseerde bronnen (Amazon S3 , Azure Blob , Google Cloud Storage en SFTP ) neemt u een _change_request_type -kolom op in uw bestanden.
Gebruik de _change_request_type waarden die in de worden bepaald kolom behandelende sectie hierboven.
_change_request_type kolom met of u (upsert) of d (schrapping) vereisen om verandering volgende mogelijkheden te bevestigen. Bijvoorbeeld, vereist de Adobe Journey Optimizer Geordende campagnes eigenschap deze kolom om de "Geordende campagneknevel"toe te laten en datasetselectie voor het richten toe te staan. Toepassingsspecifieke validatievereisten kunnen variëren.Voer de onderstaande bronspecifieke stappen uit.
Opslagbronnen voor cloud cloud-storage-sources
Schakel het vastleggen van wijzigingsgegevens voor bronnen voor cloudopslag als volgt in:
-
Maak een basisverbinding voor uw bron:
table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 Bron Basisverbindingshulplijn Amazon S3 creeer a Amazon S3 basisverbinding Azure Blob creeer a Azure Blob basisverbinding Google Cloud Storage creeer a Google Cloud Storage basisverbinding SFTP creeer a SFTP basisverbinding
Alle bronnen van de wolkenopslag gebruiken het zelfde _change_request_type kolomformaat dat in de op dossier-gebaseerde bronnen hierboven wordt beschreven sectie.
Databasebronnen database-sources
Azure Databricks
Om veranderingsgegevens te gebruiken vangt met Azure Databricks, moet u voer van veranderingsgegevens in uw bronlijsten toelaten en Data Mirror met relationele schema's in Experience Platform vormen.
Gebruik de volgende opdrachten om de invoer van wijzigingsgegevens in uw tabellen in te schakelen:
Nieuwe lijst
Als u de gewijzigde gegevensinvoer wilt toepassen op een nieuwe tabel, moet u de tabeleigenschap delta.enableChangeDataFeed instellen op TRUE in de opdracht CREATE TABLE .
CREATE TABLE student (id INT, name STRING, age INT) TBLPROPERTIES (delta.enableChangeDataFeed = true)
Bestaande lijst
Als u een gewijzigde gegevensfeed wilt toepassen op een bestaande tabel, moet u de tabeleigenschap delta.enableChangeDataFeed instellen op TRUE in de opdracht ALTER TABLE .
ALTER TABLE myDeltaTable SET TBLPROPERTIES (delta.enableChangeDataFeed = true)
Alle nieuwe lijsten
Als u de gegevensfeed change wilt toepassen op alle nieuwe tabellen, moet u de standaardeigenschappen instellen op TRUE .
set spark.databricks.delta.properties.defaults.enableChangeDataFeed = true;
Voor meer informatie, lees de Azure Databricks gids bij het toelaten van de voer van veranderingsgegevens .
Lees de volgende documentatie voor stappen over het inschakelen van het vastleggen van wijzigingsgegevens voor uw Azure Databricks bronverbinding:
Data Landing Zone
Om veranderingsgegevens te gebruiken vangt met Data Landing Zone, moet u voer van veranderingsgegevens in uw bronlijsten toelaten en Data Mirror met relationele schema's in Experience Platform vormen.
Lees de volgende documentatie voor stappen over het inschakelen van het vastleggen van wijzigingsgegevens voor uw Data Landing Zone bronverbinding:
Google BigQuery
Als u wijzigingsgegevens wilt vastleggen met Google BigQuery , moet u de wijzigingshistorie in uw brontabellen inschakelen en Data Mirror configureren met relationele schema's in Experience Platform.
Als u wijzigingsgeschiedenis wilt inschakelen in uw Google BigQuery bronverbinding, navigeert u naar de Google BigQuery -pagina in de Google Cloud -console en stelt u enable_change_history in op TRUE . Met deze eigenschap wordt de wijzigingshistorie voor uw gegevenstabel ingeschakeld.
Voor meer informatie, lees de gids over de taalverklaringen van de gegevensdefinitie in GoogleSQL .
Lees de volgende documentatie voor stappen over het inschakelen van het vastleggen van wijzigingsgegevens voor uw Google BigQuery bronverbinding:
Snowflake
Om veranderingsgegevens te gebruiken vangen met Snowflake, moet u verandering het volgen in uw bronlijsten toelaten en Data Mirror met relationele schema's in Experience Platform vormen.
Schakel in Snowflake de optie Wijzigingen bijhouden in met de waarden ALTER TABLE en CHANGE_TRACKING op TRUE .
ALTER TABLE mytable SET CHANGE_TRACKING = TRUE
Voor meer informatie, lees de Snowflake gids bij het gebruiken van de veranderingsclausule .
Lees de volgende documentatie voor stappen over het inschakelen van het vastleggen van wijzigingsgegevens voor uw Snowflake bronverbinding: