Onderzoek, los problemen op, en verifieer partijingestie met SQL

In dit document wordt uitgelegd hoe u records in ingesloten batches met SQL kunt verifiëren en valideren. In dit document wordt uitgelegd hoe u:

Vereisten

Om uw begrip van de concepten te helpen die in dit document worden besproken, zou u kennis van de volgende onderwerpen moeten hebben:

Batchmetagegevens voor toegang access-dataset-batch-metadata

Om ervoor te zorgen dat de systeemkolommen (meta-gegevenskolommen) in de vraagresultaten worden omvat, gebruik het SQL bevel set drop_system_columns=false in uw Redacteur van de Vraag. Hierdoor wordt het gedrag van uw SQL-querysessie geconfigureerd. Deze invoer moet worden herhaald als u een nieuwe sessie start.

Als u vervolgens de systeemvelden van de gegevensset wilt weergeven, voert u een instructie SELECT all uit om de resultaten van de gegevensset weer te geven, bijvoorbeeld select * from movie_data . De resultaten omvatten twee nieuwe kolommen aan de rechterkant _acp_system_metadata en _ACP_BATCHID. Met de kolommen met metagegevens _acp_system_metadata en _ACP_BATCHID kunt u de logische en fysieke partities van opgenomen gegevens identificeren.

Wanneer gegevens in Experience Platform worden opgenomen, wordt er een logische partitie toegewezen op basis van de binnenkomende gegevens. Deze logische partitie wordt vertegenwoordigd door _acp_system_metadata.sourceBatchId . Met deze id kunt u de gegevensbatches logisch groeperen en identificeren voordat ze worden verwerkt en opgeslagen.

Nadat de gegevens worden verwerkt en in het gegevenspeer worden opgenomen, wordt het toegewezen een fysieke verdeling die door _ACP_BATCHID wordt vertegenwoordigd. Deze id weerspiegelt de werkelijke opslagpartitie in het datumpeer waar de ingesloten gegevens zich bevinden.

Gebruik SQL om logische en fysieke verdelingen te begrijpen understand-partitions

Helpen begrijpen hoe het gegeven na opname wordt gegroepeerd en verdeeld, gebruik de volgende vraag om het aantal verschillende fysieke verdelingen (_ACP_BATCHID) voor elke logische verdeling (_acp_system_metadata.sourceBatchId) te tellen.

SELECT  _acp_system_metadata, COUNT(DISTINCT _ACP_BATCHID) FROM movie_data
GROUP BY _acp_system_metadata

De resultaten van deze zoekopdracht worden weergegeven in de onderstaande afbeelding.

Deze resultaten tonen aan dat het aantal inputpartijen niet noodzakelijk het aantal outputpartijen aanpast, aangezien het systeem de meest efficiënte manier bepaalt om de gegevens in het gegevensmeer in batch te slaan en op te slaan.

In dit voorbeeld wordt aangenomen dat u een CSV-bestand in Experience Platform hebt ingevoerd en een gegevensset met de naam drug_checkout_data hebt gemaakt.

Het drug_checkout_data -bestand is een diepgeneste set van 35.000 records. Gebruik de SQL-instructie SELECT * FROM drug_orders; om een voorvertoning weer te geven van de eerste set records in de op JSON gebaseerde drug_orders -dataset.

In de onderstaande afbeelding ziet u een voorvertoning van het bestand en de records.

SQL gebruiken om inzichten te genereren over het proces van batchopname sql-insights-on-batch-ingestion

Gebruik de SQL-instructie hieronder om inzicht te verschaffen in de manier waarop de gegevensinvoer is gegroepeerd en verwerkt in batches.

SELECT _acp_system_metadata,
       Count(DISTINCT _acp_batchid) AS numoutputbatches,
       Count(_acp_batchid)          AS recordcount
FROM   drug_orders
GROUP  BY _acp_system_metadata

De zoekresultaten worden weergegeven in de onderstaande afbeelding.

De resultaten tonen de efficiëntie en het gedrag van het gegevensinvoeringsproces aan. Hoewel er drie invoerbatches zijn gemaakt — elk met 2000, 24000 en 9000 records — toen de records werden gecombineerd en gededupliceerd, bleef er slechts één unieke batch over.

Een batch valideren met SQL validate-a-batch-with-SQL

Daarna, bevestig en verifieer de verslagen die in de dataset met SQL zijn opgenomen.

Nadat u een batch hebt ingepakt, moet u naar de Datasets activity tab navigeren voor de gegevensset waarin u gegevens hebt ingevoerd.

Selecteer in de gebruikersinterface van Experience Platform de optie Datasets in de linkernavigatie om het dashboard van Datasets te openen. Selecteer vervolgens de naam van de gegevensset op het tabblad Browse voor toegang tot het scherm Dataset activity .

De weergave Dataset activity wordt weergegeven. Deze mening bevat details van uw geselecteerde dataset. Het omvat om het even welke ingebedde partijen die in een lijstformaat worden getoond.

Selecteer een batch in de lijst met beschikbare batches en kopieer de Batch ID in het deelvenster Details aan de rechterkant.

Daarna, gebruik de volgende vraag om alle verslagen terug te winnen die in de dataset als deel van die partij werden omvat:

SELECT * FROM movie_data
WHERE  _acp_batchid='01H00BKCTCADYRFACAAKJTVQ8P'
LIMIT 1;

Het trefwoord _ACP_BATCHID wordt gebruikt om het filter Batch ID uit te voeren.

Wanneer u deze vraag in de Redacteur van de Vraag uitvoert, zijn de resultaten beknot aan 100 rijen. De redacteur van de Vraag wordt ontworpen voor snelle voorproeven en onderzoek. Om tot 50.000 rijen terug te winnen, kunt u een derdehulpmiddel zoals DBVisualizer of DBeaver gebruiken.

Volgende stappen next-steps

Door dit document te lezen hebt u de belangrijkste elementen geleerd van het controleren en valideren van records in ingebedde batches als onderdeel van het gegevensinvoerproces. U verwierf ook inzichten in de toegang tot van de meta-gegevens van de gegevenssetpartij, begrip logische en fysieke verdelingen, en het vragen van specifieke partijen gebruikend SQL bevelen. Deze kennis kan u helpen de gegevensintegriteit te waarborgen en uw gegevensopslag op Experience Platform te optimaliseren.

Daarna, zou u gegevensopname moeten oefenen om de geleerde concepten toe te passen. Maak een voorbeeld van een gegevensset in Experience Platform met de voorbeeldbestanden of uw eigen gegevens. Als u dit niet reeds hebt gedaan, lees het leerprogramma op hoe te gegevens in Adobe Experience Platforminnemen.

Alternatief, kon u leren hoe te de Dienst van de Vraag met een verscheidenheid van de toepassingen van de Desktopcliëntverbinden en verifiëren om uw mogelijkheden van de gegevensanalyse te verbeteren.