Gedeeltelijke batch ingestie

Gedeeltelijke batch-opname is de mogelijkheid om gegevens met fouten in te voeren, tot een bepaalde drempel. Met deze functie kunnen gebruikers al hun juiste gegevens in Adobe Experience Platform opnemen terwijl al hun onjuiste gegevens afzonderlijk worden opgeslagen, samen met informatie over waarom de gegevens ongeldig zijn.

Dit document bevat een zelfstudie voor het beheren van gedeeltelijke batch-opname.

Aan de slag

Deze zelfstudie vereist een praktische kennis van de verschillende Adobe Experience Platform-services die betrokken zijn bij gedeeltelijke batchopname. Voordat u met deze zelfstudie begint, raadpleegt u de documentatie voor de volgende services:

De volgende secties bevatten aanvullende informatie die u moet weten om aanroepen van Experience Platform API's te kunnen uitvoeren.

API-voorbeeldaanroepen lezen

Deze gids verstrekt voorbeeld API vraag om aan te tonen hoe te om uw verzoeken te formatteren. Dit zijn paden, vereiste kopteksten en correct opgemaakte ladingen voor aanvragen. Voorbeeld-JSON die wordt geretourneerd in API-reacties, wordt ook verschaft. Voor informatie over de overeenkomsten die in documentatie voor steekproef API vraag worden gebruikt, zie de sectie op ​ hoe te om voorbeeld API vraag ​ in de Experience Platform het oplossen van problemengids te lezen.

Waarden verzamelen voor vereiste koppen

Om vraag aan Experience Platform APIs te maken, moet u het ​ authentificatieleerprogramma ​ eerst voltooien. Als u de zelfstudie over verificatie voltooit, krijgt u de waarden voor elk van de vereiste headers in alle API-aanroepen van Experience Platform , zoals hieronder wordt getoond:

Alle bronnen in Experience Platform zijn geïsoleerd naar specifieke virtuele sandboxen. Alle aanvragen naar Experience Platform API's vereisen een header die de naam van de sandbox opgeeft waarin de bewerking plaatsvindt:

Een batch voor gedeeltelijke batch-opname inschakelen in de API enable-api

U kunt een nieuwe partij tot stand brengen met gedeeltelijke toegelaten opname.

Om een nieuwe partij tot stand te brengen, volg de stappen in de ​ handleiding van de partijontwikkelaar ​. Wanneer u de stap Create batch hebt bereikt, voegt u het volgende veld toe binnen de aanvraaginstantie:

{
    "enableErrorDiagnostics": true,
    "partialIngestionPercent": 5
}

Een batch voor gedeeltelijke batch-opname inschakelen in de gebruikersinterface enable-ui

Om een partij voor gedeeltelijke opname door Experience Platform UI toe te laten, kunt u een nieuwe partij door bronverbindingen tot stand brengen, een nieuwe partij in een bestaande dataset tot stand brengen, of een nieuwe partij tot stand brengen door " Map CSV to XDM flow".

Een nieuwe bronverbinding maken new-source

Om een nieuwe bronverbinding tot stand te brengen, volg de vermelde stappen in het ​ Bronoverzicht ​. Wanneer u de stap Dataflow detail hebt bereikt, neemt u de velden Partial ingestion en Error diagnostics op.

Met de schakeloptie Partial ingestion kunt u het gebruik van gedeeltelijke batchopname in- of uitschakelen.

De schakeloptie Error diagnostics wordt alleen weergegeven wanneer de schakeloptie Partial ingestion is uitgeschakeld. Met deze functie kan Experience Platform gedetailleerde foutberichten genereren over ingesloten batches. Als de schakeloptie Partial ingestion is ingeschakeld, wordt de uitgebreide foutdiagnose automatisch afgedwongen.

Met Error threshold kunt u het percentage acceptabele fouten instellen voordat de volledige batch mislukt. Deze waarde is standaard ingesteld op 5%.

Een bestaande gegevensset gebruiken existing-dataset

Om een bestaande dataset te gebruiken, begin door een dataset te selecteren. De zijbalk rechts vult informatie over de gegevensset.

Met de schakeloptie Partial ingestion kunt u het gebruik van gedeeltelijke batchopname in- of uitschakelen.

De schakeloptie Error diagnostics wordt alleen weergegeven wanneer de schakeloptie Partial ingestion is uitgeschakeld. Met deze functie kan Experience Platform gedetailleerde foutberichten genereren over ingesloten batches. Als de schakeloptie Partial ingestion is ingeschakeld, wordt de uitgebreide foutdiagnose automatisch afgedwongen.

Met Error threshold kunt u het percentage acceptabele fouten instellen voordat de volledige batch mislukt. Deze waarde is standaard ingesteld op 5%.

Nu, kunt u gegevens uploaden gebruikend gegevens knoop toevoegen, en het zal worden opgenomen gebruikend gedeeltelijke opname.

De "Map CSV to XDM schema"-stroom gebruiken map-flow

Om de "Map CSV to XDM schema"stroom te gebruiken, volg de vermelde stappen in ​ Kaart een CSV- dossierleerprogramma ​. Wanneer u de stap Add data hebt bereikt, neemt u de velden Partial ingestion en Error diagnostics op.

Met de schakeloptie Partial ingestion kunt u het gebruik van gedeeltelijke batchopname in- of uitschakelen.

De schakeloptie Error diagnostics wordt alleen weergegeven wanneer de schakeloptie Partial ingestion is uitgeschakeld. Met deze functie kan Experience Platform gedetailleerde foutberichten genereren over ingesloten batches. Als de schakeloptie Partial ingestion is ingeschakeld, wordt de uitgebreide foutdiagnose automatisch afgedwongen.

In Error threshold kunt u het percentage acceptabele fouten instellen voordat de volledige batch mislukt. Deze waarde is standaard ingesteld op 5%.

Gedeeltelijke inname en foutdiagnose inschakelen voor een bestaande gegevensstroom

Als een gegevensstroom in Experience Platform is gemaakt zonder gedeeltelijke inname of foutdiagnose in te schakelen, kunt u deze functies nog steeds inschakelen zonder de gegevensstroom opnieuw te maken. Door gedeeltelijke opname en robuuste foutendiagnostiek toe te laten, kunt u de betrouwbaarheid en het gemak van het oplossen van problemen in uw werkschema's van de gegevensopname zeer verbeteren. Lees de onderstaande secties voor meer informatie over het inschakelen van gedeeltelijke inname en foutdiagnose voor een bestaande gegevensstroom met de API Flow Service .

Standaard is voor gegevensstromen mogelijk geen gedeeltelijke inname of foutdiagnose ingeschakeld. Deze functies zijn handig voor het identificeren en isoleren van problemen tijdens het invoeren van gegevens. Met behulp van de Flow Service API kunt u de huidige gegevensstroomconfiguratie ophalen en de benodigde wijzigingen toepassen met behulp van een PATCH-aanvraag.

Voer de onderstaande stappen uit om gedeeltelijke inname en foutdiagnose voor een bestaande gegevensstroom mogelijk te maken.

Stroomdetails ophalen

Als u uw gegevensstroomconfiguraties wilt ophalen, vraagt u GET het /flows/{FLOW_ID} -eindpunt aan en geeft u de id van de gegevensstroom op. Voor meer informatie bij het terugwinnen van dataflow details, verwijs naar ​ dataflows die van de Update Flow Service API ​ gids gebruiken.

Sla de waarde op van het veld etag dat wordt geretourneerd in het antwoord. Dit is nodig voor de updateaanvraag om consistentie van de versie te garanderen.

Stroomconfiguratie bijwerken

Voer vervolgens een PATCH-aanvraag in bij het /flows/ -eindpunt en geef de id van de gegevensstroom op waarvoor u gedeeltelijke inname en foutdiagnose wilt inschakelen.

API formaat

PATCH /flows/{FLOW_ID}

Verzoek

curl -X PATCH \
    'https://platform.adobe.io/data/foundation/flowservice/flows/2edc08ac-4df5-4fe6-936f-81a19ce92f5c' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {ORG_ID}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}'
    -H 'If-Match: "1a0037e4-0000-0200-0000-602e06f60000"' \
    -d '[
        {
            "op": "add",
            "path": "/options",
            "value": {
                "partialIngestionPercent": "10"
            }
        },
        {
            "op": "add",
            "path": "/options/errorDiagnosticsEnabled",
            "value": true
        }
    ]'

Reactie

Een succesvol antwoord retourneert de dataflow id en een bijgewerkte etag .

{
    "id": "2edc08ac-4df5-4fe6-936f-81a19ce92f5c",
    "etag": "\"2c000802-0000-0200-0000-613976440000\""
}

De update verifiëren

Nadat de PATCH is voltooid, dient u een GET-aanvraag in en haalt u uw gegevensstroom op om te controleren of de wijzigingen zijn voltooid.

API formaat

GET /flows/{FLOW_ID}

Verzoek

Met het volgende verzoek wordt bijgewerkte informatie over uw flow-id opgehaald.

curl -X GET \
  'https://platform.adobe.io/data/foundation/flowservice/flows/2edc08ac-4df5-4fe6-936f-81a19ce92f5c' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}'

Reactie

Een succesvol antwoord retourneert uw gegevens over de gegevensstroom, waarmee wordt bevestigd dat gedeeltelijke inname en foutdiagnose nu zijn ingeschakeld in de sectie options .

"options": {
    "partialIngestionPercent": 10,
    "errorDiagnosticsEnabled": true
}

Volgende stappen next-steps

Dit leerprogramma behandelde hoe te om een dataset tot stand te brengen of te wijzigen om gedeeltelijke partijingestie toe te laten. Voor meer informatie over partijingestie, te lezen gelieve de ​ gids van de partijontwikkelaar ​.

Voor informatie bij het controleren van gedeeltelijke innamefouten, te lezen gelieve de ​ gids van de de foutendiagnostiek van de partijingestie ​.