Query-service (Data Distiller) en exportgegevenssets

Dit artikel schetst hoe de combinatie van de Dienst van de Vraag van het Experience Platform (Gegevens Distiller) en de uitvoer van de Dataset kan worden gebruikt om de volgende gegevens uit te voeren de uitvoergebruiksgevallen:

Adobe Analytics kan deze gebruiksgevallen uitvoeren gebruikend zijn 🔗 functionaliteit 0} van de Diefstal van Gegevens {. Gegevensfeeds zijn een krachtige manier om onbewerkte gegevens uit Adobe Analytics te halen. In dit artikel wordt beschreven hoe u vergelijkbare onbewerkte gegevens uit Experience Platform kunt ophalen, zodat u de hierboven vermelde gebruiksgevallen kunt implementeren. Indien van toepassing worden de in dit artikel beschreven functies vergeleken met Adobe Analytics Data Feeds om verschillen in gegevens en processen te verduidelijken.

Inleiding

Het uitvoeren van gegevens gebruikend de Dienst van de Vraag (Gegevens Distiller) en de uitvoer van Dataset bestaat uit:

Vereisten

Zorg ervoor dat u aan alle volgende vereisten voldoet voordat u de functionaliteit gebruikt die in dit gebruiksgeval wordt beschreven:

Query-service

De Dienst van de Vraag van het Experience Platform staat u toe om het even welke dataset in het meer van de gegevens van het Experience Platform te vragen en zich aan te sluiten alsof het een gegevensbestandlijst is. Vervolgens kunt u de resultaten vastleggen als een nieuwe gegevensset voor verder gebruik in rapportage of voor export.

U kunt het gebruikersinterface van de Dienst van de Vraag 🔗 gebruiken, a cliënt die door het protocol PostgresQLwordt aangesloten, of RESTful APIsom vragen tot stand te brengen en te plannen die de gegevens voor uw gegevensvoer verzamelen.

Query maken

U kunt alle functionaliteit van standaardANSI SQL voor UITGEZOCHTE verklaringen en andere beperkte bevelen gebruiken om vragen tot stand te brengen en uit te voeren die de gegevens voor uw gegevensvoer produceren. Zie SQL syntaxisvoor meer informatie. Buiten deze SQL-syntaxis ondersteunt Adobe:

Gegevensvoederkolommen

De XDM gebieden die u in uw vraag kunt gebruiken hangen van de schemadefinitie af waarop uw datasets worden gebaseerd. Zorg ervoor u het schema onderaan de dataset begrijpt. Zie voor meer informatie de gids UI van Datasets.

Om u te helpen om de afbeelding tussen de kolommen van het Gegevensvoer en de gebieden te bepalen XDM, zie het gebiedstoewijzing van Analytics. Zie ook het overzicht van Schema's UIvoor meer informatie over hoe te om middelen XDM, met inbegrip van schema's, klassen, gebiedsgroepen, en gegevenstypes te beheren.

Bijvoorbeeld, voor het geval u paginanaam als deel van uw gegevensvoer wilt gebruiken:

Identiteiten

In Experience Platform zijn verschillende identiteiten beschikbaar. Zorg er bij het maken van query's voor dat u de id's correct opvraagt.

Vaak vindt u identiteiten in een afzonderlijke veldgroep. In een implementatie kan ECID (ecid) worden gedefinieerd als onderdeel van een veldgroep met een core -object, dat zelf deel uitmaakt van een identification -object (bijvoorbeeld: _sampleorg.identification.core.ecid). De ECIDs zou verschillend in uw schema's kunnen worden georganiseerd.

U kunt identityMap ook gebruiken om te zoeken naar identiteiten. identityMap is van type Map en gebruikt a genestelde gegevensstructuur.

Zie identiteitsgebieden in UIvoor meer informatie bepalen over hoe te om identiteitsgebieden in Experience Platform te bepalen.

Verwijs naar Primaire herkenningstekens in de gegevens van Analyticsvoor een begrip hoe de identiteiten van Adobe Analytics aan Experience Platform identiteiten wanneer het gebruiken van de Analysebron schakelaar in kaart worden gebracht. Deze toewijzing kan als richtlijn voor vestiging uw identiteiten dienen, zelfs wanneer het gebruiken van niet de analytische bronschakelaar.

Gegevens en identificatie op bedrijfsniveau

Op basis van de implementatie worden gegevens op raakniveau die traditioneel in Adobe Analytics worden verzameld, nu opgeslagen als tijdstempelgegevens voor gebeurtenissen in Experience Platform. De volgende lijst wordt gehaald uit het gebiedstoewijzing van Analyticsen toont voorbeelden hoe te om niveau-specifieke kolommen van de Invoer van Gegevens van Adobe Analytics met overeenkomstige XDM gebieden in uw vragen in kaart te brengen. De tabel bevat ook voorbeelden van hoe treffers, bezoeken en bezoekers worden geïdentificeerd met behulp van XDM-velden.

Kolommen na

Adobe Analytics Data Feeds gebruikt het concept kolommen met een voorvoegsel post_ . Dit zijn kolommen met gegevens na verwerking. Zie Veelgestelde Veelgestelde vragen van het voer van Gegevensvoor meer informatie.

De gegevens die in datasets door de Edge Network van het Experience Platform (Web SDK, Mobiele SDK, Server API) worden verzameld hebben geen concept van post_ gebieden. Dientengevolge, post_ prefixed en niet - post_ vooraf vastgestelde de kolommen van de gegevensvoer aan de zelfde gebieden XDM in kaart brengen. Zowel page_url als post_page_url gegevensfeed-kolommen worden bijvoorbeeld toegewezen aan hetzelfde web.webPageDetails.URL XDM-veld.

Zie gegevensverwerking over Adobe Analytics en Customer Journey Analyticsvoor een overzicht van het verschil in verwerking van gegevens vergelijken.

Het kolomtype van de prefixkolom van post_, wanneer verzameld in de gegevens van het Experience Platform het meer, vereist echter geavanceerde transformaties alvorens het in een gegeven kan met succes worden gebruikt het gebruiken geval. Het uitvoeren van deze geavanceerde transformaties in uw vragen impliceert het gebruik van Adobe-bepaalde functiesvoor zittingssessie, attributie, en deduplicatie. Zie Voorbeeldenop hoe te om deze functies te gebruiken.

Zoeken

Als u gegevens uit andere gegevenssets wilt opzoeken, gebruikt u standaard SQL-functionaliteit (WHERE -component, INNER JOIN , OUTER JOIN en andere).

Berekeningen

Om berekeningen op gebieden (kolommen) uit te voeren, gebruik de standaardSQL functies (bijvoorbeeld COUNT(*)), of wiskunde en statistische exploitanten en functiesdeel van SQL van de Vonk. Ook, vensterfunctiesverlenen steun om samenvoegingen bij te werken en enige punten voor elke rij in een bevolen ondergroep terug te keren. Zie Voorbeeldenop hoe te om deze functies te gebruiken.

Geneste gegevensstructuur

De schema's waarop de datasets worden gebaseerd bevatten vaak complexe gegevenstypen, met inbegrip van geneste gegevensstructuren. Eerder vermeld identityMap is een voorbeeld van een geneste gegevensstructuur. Zie hieronder voor een voorbeeld van identityMap data.

{
   "identityMap":{
      "FPID":[
         {
            "id":"55613368189701342632255821452918751312",
            "authenticatedState":"ambiguous"
         }
      ],
      "CRM":[
         {
            "id":"2394509340-30453470347",
            "authenticatedState":"authenticated"
         }
      ]
   }
}

U kunt explode() of andere functies van Arraysvan SQL van de Vonk gebruiken om aan de gegevens binnen een genestelde gegevensstructuur, bijvoorbeeld te krijgen:

select explode(identityMap) from demosys_cja_ee_v1_website_global_v1_1 limit 15;

U kunt ook naar afzonderlijke elementen verwijzen met puntnotatie. Bijvoorbeeld:

select identityMap.ecid from demosys_cja_ee_v1_website_global_v1_1 limit 15;

Zie Werkend met genestelde gegevensstructuren in de Dienst van de Vraagvoor meer informatie.

Voorbeelden

Voor vragen:

zie:

Hieronder ziet u een voorbeeld waarin u de toewijzing op de juiste wijze kunt toepassen op verschillende sessies. Zo ziet u hoe u

+++
Details

Om dit te doen, moet je…

de functies van het venster van de Zitting voorbeeld

$$ BEGIN
   -- Disable dropping system columns
   set drop_system_columns=false;

   -- Initialize variables
   SET @last_updated_timestamp = SELECT CURRENT_TIMESTAMP;

   -- Get the last processed batch ingestion time
   SET @from_batch_ingestion_time = SELECT coalesce(last_batch_ingestion_time, 'HEAD')
      FROM checkpoint_log a
      JOIN (
            SELECT MAX(process_timestamp) AS process_timestamp
            FROM checkpoint_log
            WHERE process_name = 'data_feed'
            AND process_status = 'SUCCESSFUL'
      ) b
      ON a.process_timestamp = b.process_timestamp;

   -- Get the last batch ingestion time
   SET @to_batch_ingestion_time = SELECT MAX(_acp_system_metadata.ingestTime)
      FROM events_dataset;

   -- Sessionize the data and insert into data_feed.
   INSERT INTO data_feed
   SELECT *
   FROM (
      SELECT
            userIdentity,
            timestamp,
            SESS_TIMEOUT(timestamp, 60 * 30) OVER (
               PARTITION BY userIdentity
               ORDER BY timestamp
               ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW
            ) AS session_data,
            page_name,
            ingest_time
      FROM (
            SELECT
               userIdentity,
               timestamp,
               web.webPageDetails.name AS page_name,
               _acp_system_metadata.ingestTime AS ingest_time
            FROM events_dataset
            WHERE timestamp >= current_date - 90
      ) AS a
      ORDER BY userIdentity, timestamp ASC
   ) AS b
   WHERE b.ingest_time >= @from_batch_ingestion_time;

   -- Update the checkpoint_log table
   INSERT INTO checkpoint_log
   SELECT
      'data_feed' process_name,
      'SUCCESSFUL' process_status,
      cast(@to_batch_ingestion_time AS string) last_batch_ingestion_time,
      cast(@last_updated_timestamp AS TIMESTAMP) process_timestamp
END
$$;

de functies van het venster van de Attributie voorbeeld

$$ BEGIN
 SET drop_system_columns=false;

-- Initialize variables
 SET @last_updated_timestamp = SELECT CURRENT_TIMESTAMP;

-- Get the last processed batch ingestion time 1718755872325
 SET @from_batch_ingestion_time =
     SELECT coalesce(last_snapshot_id, 'HEAD')
     FROM checkpoint_log a
     JOIN (
         SELECT MAX(process_timestamp) AS process_timestamp
         FROM checkpoint_log
         WHERE process_name = 'data_feed'
         AND process_status = 'SUCCESSFUL'
     ) b
     ON a.process_timestamp = b.process_timestamp;

 -- Get the last batch ingestion time 1718758687865
 SET @to_batch_ingestion_time =
     SELECT MAX(_acp_system_metadata.ingestTime)
     FROM demo_data_trey_mcintyre_midvalues;

 -- Sessionize the data and insert into new_sessionized_data
 INSERT INTO new_sessionized_data
 SELECT *
 FROM (
     SELECT
         _id,
         timestamp,
         struct(User_Identity,
         cast(SESS_TIMEOUT(timestamp, 60 * 30) OVER (
             PARTITION BY User_Identity
             ORDER BY timestamp
             ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW
         ) as string) AS SessionData,
         to_timestamp(from_unixtime(ingest_time/1000, 'yyyy-MM-dd HH:mm:ss')) AS IngestTime,
         PageName,
         first_url,
         first_channel_type
           ) as _demosystem5
     FROM (
         SELECT
             _id,
             ENDUSERIDS._EXPERIENCE.MCID.ID as User_Identity,
             timestamp,
             web.webPageDetails.name AS PageName,
            attribution_first_touch(timestamp, '', web.webReferrer.url) OVER (PARTITION BY ENDUSERIDS._EXPERIENCE.MCID.ID ORDER BY timestamp ASC ROWS BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING).value AS first_url,
            attribution_first_touch(timestamp, '',channel.typeAtSource) OVER (PARTITION BY ENDUSERIDS._EXPERIENCE.MCID.ID ORDER BY timestamp ASC ROWS BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING).value AS first_channel_type,
             _acp_system_metadata.ingestTime AS ingest_time
         FROM demo_data_trey_mcintyre_midvalues
         WHERE timestamp >= current_date - 90
     )
     ORDER BY User_Identity, timestamp ASC
 )
 WHERE _demosystem5.IngestTime >= to_timestamp(from_unixtime(@from_batch_ingestion_time/1000, 'yyyy-MM-dd HH:mm:ss'));

-- Update the checkpoint_log table
INSERT INTO checkpoint_log
SELECT
   'data_feed' as process_name,
   'SUCCESSFUL' as process_status,
   cast(@to_batch_ingestion_time AS string) as last_snapshot_id,
   cast(@last_updated_timestamp AS timestamp) as process_timestamp;

END
$$;

+++

Zoekopdracht plannen

U plant de vraag om ervoor te zorgen dat de vraag wordt uitgevoerd en dat de resultaten bij uw aangewezen interval worden geproduceerd.

Query-editor gebruiken

U kunt een vraag plannen gebruikend de Redacteur van de Vraag. Wanneer het plannen van de vraag, bepaalt u een outputdataset. Zie de programma's van de Vraagvoor meer informatie.

API voor Query Service gebruiken

Alternatief kunt u RESTful APIs gebruiken om een vraag en een programma voor de vraag te bepalen. Zie de gids van de Dienst API van de Vraagvoor meer informatie.
Verzeker u de outputdataset als deel van het facultatieve ctasParameters bezit wanneer het creëren van de vraag ( creeer een vraag) of wanneer het creëren van het programma voor een vraag ( creeer een geplande vraag).

Gegevensbestanden exporteren

Zodra u hebt gecreeerd en uw vraag gepland, en de resultaten geverifieerd, kunt u de ruwe datasets aan de bestemmingen van de wolkenopslag dan uitvoeren. Deze uitvoer is in de terminologie van de Doelen van de Experience Platform die als de uitvoerbestemmingen van de Dataset wordt bedoeld. Zie datasets van de Uitvoer aan de bestemmingen van de wolkenopslagvoor een overzicht.

De volgende bestemmingen voor cloudopslag worden ondersteund:

UI EXPERIENCE PLATFORM

U kunt de uitvoer van uw outputdatasets door het Experience Platform UI uitvoeren en plannen. In dit gedeelte worden de desbetreffende stappen beschreven.

Doel selecteren

Wanneer u hebt bepaald welke bestemming van de wolkenopslag u de outputdataset aan wilt uitvoeren, selecteer de bestemming. Wanneer u nog geen bestemming voor uw aangewezen wolkenopslag hebt gevormd, moet u een nieuwe bestemmingsverbindingtot stand brengen.

Als deel van het vormen van een bestemming, kunt u

Gegevensset selecteren

Wanneer u het doel hebt geselecteerd, moet u in de volgende Select datasets stap uw outputdataset van de lijst van datasets selecteren. Als u veelvoudige geplande vragen hebt tot stand gebracht, en u de outputdatasets naar de zelfde bestemming van de wolkenopslag wilt verzenden, kunt u de overeenkomstige outputdatasets selecteren. Zie selecteren uw datasetsvoor meer informatie.

Gegevensexport voor schema

Tot slot wilt u de uitvoer van uw dataset plannen als deel van de Scheduling stap. In die stap kunt u het programma bepalen en of de uitvoer van de outputdataset incrementeel of niet zou moeten zijn. Zie de datasetuitvoer van het Programmavoor meer informatie.

Slotstappen

Overzichtuw selectie, en wanneer correct, begin uw outputdataset aan de bestemming van de wolkenopslag te exporteren.

U moet verifiëreneen succesvolle gegevensuitvoer. Bij het exporteren van gegevenssets maakt Experience Platform een of meerdere .json - of .parquet -bestanden op de opslaglocatie die in uw bestemming is gedefinieerd. Nieuwe bestanden worden naar verwachting op uw opslaglocatie gedeponeerd volgens het exportschema dat u instelt. Experience Platform maakt een mapstructuur op de opslaglocatie die u hebt opgegeven als onderdeel van de geselecteerde bestemming, waar de geëxporteerde bestanden worden opgeslagen. Voor elke exporttijd wordt een nieuwe map gemaakt, volgens het patroon: folder-name-you-provided/datasetID/exportTime=YYYYMMDDHHMM . De standaardbestandsnaam wordt willekeurig gegenereerd en zorgt ervoor dat geëxporteerde bestandsnamen uniek zijn.

Flow Service-API

Alternatief, kunt u de uitvoer van outputdatasets uitvoeren en plannen gebruikend APIs. De betrokken stappen worden gedocumenteerd in datasets van de Uitvoer door de Dienst API van de Stroom te gebruiken.

Aan de slag

Om datasets uit te voeren, verzeker u de vereiste toestemmingenhebt. Verifieer ook dat de bestemming waarnaar u uw outputdataset wilt verzenden het uitvoeren van datasets steunt. U moet dan de waarden voor vereiste en facultatieve kopballenverzamelen die u in de API vraag gebruikt. U moet ook de verbindingsspecificatie en stroom specifieke IDs van de bestemmingidentificeren u van plan bent datasets naar uit te voeren.

In aanmerking komende gegevenssets ophalen

U kunt een lijst van in aanmerking komende datasetsvoor de uitvoer terugwinnen en verifiëren of uw outputdataset deel van die lijst gebruikend GET /connectionSpecs/{id}/configsAPI uitmaakt.

Bronverbinding maken

Daarna moet u een bronverbindingvoor de outputdataset tot stand brengen, gebruikend zijn unieke identiteitskaart, die u naar de bestemming van de wolkenopslag wilt uitvoeren. U gebruikt POST /sourceConnectionsAPI.

Verifiëren voor bestemming (basisverbinding maken)

U moet nu een basisverbindingtot stand brengen om de geloofsbrieven aan uw bestemming van de wolkenopslag voor authentiek te verklaren en veilig op te slaan gebruikend POST /targetConectionAPI.

Exportparameters opgeven

Daarna, moet u een extra doelverbinding tot stand brengen die de uitvoerparametersvoor uw outputdataset opslaat gebruikend, eens meer, POST /targetConectionAPI. Deze exportparameters zijn onder andere locatie, bestandsindeling, compressie en meer.

Gegevensstroom instellen

Tot slot opstelling dataflowom ervoor te zorgen dat uw outputdataset wordt uitgevoerd naar uw bestemming van de wolkenopslag gebruikend POST /flowsAPI. In deze stap, kunt u het programma voor de uitvoer bepalen, gebruikend de scheduleParams parameter.

Gegevensstroom valideren

Om succesvolle uitvoeringen van uw dataflowte controleren, gebruik GET /runsAPI, die dataflow identiteitskaart als vraagparameter specificeren. Deze gegevensstroom-id is een id die wordt geretourneerd wanneer u de gegevensstroom instelt.

verifieereen succesvolle gegevensuitvoer. Bij het exporteren van gegevenssets maakt Experience Platform een of meerdere .json - of .parquet -bestanden op de opslaglocatie die in uw bestemming is gedefinieerd. Nieuwe bestanden worden naar verwachting op uw opslaglocatie gedeponeerd volgens het exportschema dat u instelt. Experience Platform maakt een mapstructuur op de opslaglocatie die u hebt opgegeven als onderdeel van de geselecteerde bestemming, waar de geëxporteerde bestanden worden opgeslagen. Voor elke exporttijd wordt een nieuwe map gemaakt, volgens het patroon: folder-name-you-provided/datasetID/exportTime=YYYYMMDDHHMM . De standaardbestandsnaam wordt willekeurig gegenereerd en zorgt ervoor dat geëxporteerde bestandsnamen uniek zijn.

Conclusie

Kortom, het emuleren van de functionaliteit Adobe Analytics Data Feed impliceert het instellen van geplande query's met behulp van Query Service en het gebruik van de resultaten van deze query's in geplande gegevensset-exportbewerkingen.