Dataflows bijwerken met de Flow Service API

In deze zelfstudie worden de stappen beschreven voor het bijwerken van een gegevensstroom, inclusief de basisinformatie, het schema en de toewijzingensets met behulp van de Flow Service API.

Aan de slag

Voor deze zelfstudie hebt u een geldige stroom-id nodig. Als u geen geldige stroom-id hebt, selecteert u de gewenste connector in het menu overzicht van bronnen en voer de stappen uit die zijn beschreven voordat u deze zelfstudie uitvoert.

Voor deze zelfstudie hebt u ook een goed inzicht nodig in de volgende onderdelen van Adobe Experience Platform:

  • Bronnen: Met Experience Platform kunnen gegevens uit verschillende bronnen worden ingepakt en kunt u inkomende gegevens structureren, labelen en verbeteren met behulp van de services van Platforms.
  • Sandboxen: Experience Platform biedt virtuele sandboxen die één Platform-instantie in afzonderlijke virtuele omgevingen verdelen om toepassingen voor digitale ervaringen te ontwikkelen en te ontwikkelen.

Platform-API's gebruiken

Zie de handleiding voor informatie over hoe u aanroepen naar Platform-API's kunt uitvoeren aan de slag met Platform-API's.

Gegevens over gegevensstroom opzoeken

De eerste stap bij het bijwerken van uw gegevensstroom is gegevens terug te winnen die uw stroom ID gebruiken. U kunt de huidige details van een bestaande gegevensstroom bekijken door een verzoek van de GET aan /flows eindpunt.

API-indeling

GET /flows/{FLOW_ID}
Parameter
Beschrijving
{FLOW_ID}
De unieke id waarde voor de gegevensstroom u wilt terugwinnen.

Verzoek

Met het volgende verzoek wordt bijgewerkte informatie over uw flow-id opgehaald.

curl -X GET \
    'https://platform.adobe.io/data/foundation/flowservice/flows/2edc08ac-4df5-4fe6-936f-81a19ce92f5c' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {ORG_ID}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}'

Antwoord

Een succesvolle reactie keert de huidige details van uw gegevensstroom met inbegrip van zijn versie, programma, en unieke herkenningsteken terug (id).

{
    "items": [
        {
            "id": "2edc08ac-4df5-4fe6-936f-81a19ce92f5c",
            "createdAt": 1612310475905,
            "updatedAt": 1614122324830,
            "createdBy": "{CREATED_BY}",
            "updatedBy": "{UPDATED_BY}",
            "createdClient": "{CREATED_CLIENT}",
            "updatedClient": "{UPDATED_CLIENT}",
            "sandboxId": "{SANDBOX_ID}",
            "sandboxName": "{SANDBOX_NAME}",
            "imsOrgId": "{ORG_ID}",
            "name": "Database dataflow using BigQuery",
            "description": "collecting test1.Mytable from Google BigQuery",
            "flowSpec": {
                "id": "14518937-270c-4525-bdec-c2ba7cce3860",
                "version": "1.0"
            },
            "state": "enabled",
            "version": "\"5400d99c-0000-0200-0000-60358d540000\"",
            "etag": "\"5400d99c-0000-0200-0000-60358d540000\"",
            "sourceConnectionIds": [
                "b7581b59-c603-4df1-a689-d23d7ac440f3"
            ],
            "targetConnectionIds": [
                "320f119a-5ac1-4ab1-88ea-eb19e674ea2e"
            ],
            "inheritedAttributes": {
                "sourceConnections": [
                    {
                        "id": "b7581b59-c603-4df1-a689-d23d7ac440f3",
                        "connectionSpec": {
                            "id": "3c9b37f8-13a6-43d8-bad3-b863b941fedd",
                            "version": "1.0"
                        },
                        "baseConnection": {
                            "id": "6990abad-977d-41b9-a85d-17ea8cf1c0e4",
                            "connectionSpec": {
                                "id": "3c9b37f8-13a6-43d8-bad3-b863b941fedd",
                                "version": "1.0"
                            }
                        }
                    }
                ],
                "targetConnections": [
                    {
                        "id": "320f119a-5ac1-4ab1-88ea-eb19e674ea2e",
                        "connectionSpec": {
                            "id": "c604ff05-7f1a-43c0-8e18-33bf874cb11c",
                            "version": "1.0"
                        }
                    }
                ]
            },
            "scheduleParams": {
                "startTime": "1612310466",
                "frequency": "week",
                "interval": "15",
                "backfill": "true"
            },
            "transformations": [
                {
                    "name": "Copy",
                    "params": {
                        "deltaColumn": {
                            "name": "Datefield",
                            "dateFormat": "YYYY-MM-DD",
                            "timezone": "UTC"
                        }
                    }
                },
                {
                    "name": "Mapping",
                    "params": {
                        "mappingId": "0b090130b58b4819afc78b6dc98b484d",
                        "mappingVersion": "0"
                    }
                }
            ],
            "runs": "/flows/2edc08ac-4df5-4fe6-936f-81a19ce92f5c/runs",
            "lastOperation": {
                "started": 1614122316652,
                "updated": 1614122324830,
                "percentCompleted": 100.0,
                "status": {
                    "value": "completed",
                    "errors": []
                },
                "ops": [
                    {
                        "op": "replace",
                        "path": "/scheduleParams/frequency",
                        "value": "week"
                    }
                ],
                "operation": "update"
            },
            "lastRunDetails": {
                "id": "a10cc80b-fbea-4c6b-873e-d7fd32f4d12d",
                "state": "success",
                "startedAtUTC": 1613079975512,
                "completedAtUTC": 1613080027511
            }
        }
    ]
}

Gegevensstroom bijwerken

Voer een PATCH-verzoek uit aan de Flow Service API terwijl het verstrekken van uw stroom ID, versie, en het nieuwe programma u wilt gebruiken.

IMPORTANT
De If-Match header is required when making a PATCH request. De waarde voor deze header is de unieke versie van de verbinding die u wilt bijwerken. De labelwaarde wordt bijgewerkt bij elke geslaagde update van een gegevensstroom.

API-indeling

PATCH /flows/{FLOW_ID}

Verzoek

De volgende aanvraag werkt uw schema voor de uitvoering van de flow bij, evenals de naam en beschrijving van uw gegevensstroom.

curl -X PATCH \
    'https://platform.adobe.io/data/foundation/flowservice/flows/2edc08ac-4df5-4fe6-936f-81a19ce92f5c' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {ORG_ID}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}'
    -H 'If-Match: "1a0037e4-0000-0200-0000-602e06f60000"' \
    -d '[
            {
                "op": "replace",
                "path": "/scheduleParams/frequency",
                "value": "day"
            },
            {
                "op": "replace",
                "path": "/name",
                "value": "Database Dataflow Feb2021"
            },
            {
                "op": "replace",
                "path": "/description",
                "value": "Database dataflow for testing update API"
            }
        ]'
Eigenschap
Beschrijving
op
De verrichtingsvraag die wordt gebruikt om de actie te bepalen nodig om dataflow bij te werken. Bewerkingen omvatten: add, replace, en remove.
path
Definieert het deel van de flow dat moet worden bijgewerkt.
value
De nieuwe waarde waarmee u de parameter wilt bijwerken.

Antwoord

Een geslaagde reactie retourneert uw flow-id en een bijgewerkt label. U kunt de update verifiëren door een verzoek van de GET aan Flow Service API, terwijl u uw stroom-id opgeeft.

{
    "id": "2edc08ac-4df5-4fe6-936f-81a19ce92f5c",
    "etag": "\"50014cc8-0000-0200-0000-6036eb720000\""
}

Toewijzing bijwerken

U kunt de mappingset van een bestaande gegevensstroom bijwerken door een PATCH-verzoek in te dienen bij de Flow Service API en het verstrekken van bijgewerkte waarden voor uw mappingId en mappingVersion.

API-indeling

PATCH /flows/{FLOW_ID}

Verzoek

Met de volgende aanvraag wordt de toewijzingenset van uw gegevensstroom bijgewerkt.

curl -X PATCH \
    'https://platform.adobe.io/data/foundation/flowservice/flows/2edc08ac-4df5-4fe6-936f-81a19ce92f5c' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {ORG_ID}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}'
    -H 'If-Match: "50014cc8-0000-0200-0000-6036eb720000"' \
    -d '[
        {
            "op": "replace",
            "path": "/transformations/0",
            "value": {
                "name": "Mapping",
                "params": {
                    "mappingId": "c5f22f04e09f44498e528901546a83b1",
                    "mappingVersion": 2
                }
            }
        }
    ]'
Eigenschap
Beschrijving
op
De verrichtingsvraag die wordt gebruikt om de actie te bepalen nodig om dataflow bij te werken. Bewerkingen omvatten: add, replace, en remove.
path
Definieert het deel van de flow dat moet worden bijgewerkt. In dit voorbeeld: transformations wordt bijgewerkt.
value.name
De naam van de eigenschap die moet worden bijgewerkt.
value.params.mappingId
De nieuwe afbeeldings-id die moet worden gebruikt om de toewijzingenset van de gegevensstroom bij te werken.
value.params.mappingVersion
De nieuwe toewijzingsversie die is gekoppeld aan de bijgewerkte toewijzingsID.

Antwoord

Een geslaagde reactie retourneert uw flow-id en een bijgewerkt label. U kunt de update verifiëren door een verzoek van de GET aan Flow Service API, terwijl u uw stroom-id opgeeft.

{
    "id": "2edc08ac-4df5-4fe6-936f-81a19ce92f5c",
    "etag": "\"2c000802-0000-0200-0000-613976440000\""
}

Volgende stappen

Door deze zelfstudie te volgen, hebt u de basisinformatie, het programma, en het in kaart brengen reeksen van uw dataflow bijgewerkt gebruikend Flow Service API. Voor meer informatie bij het gebruiken van bronschakelaars, zie overzicht van bronnen.

recommendation-more-help
337b99bb-92fb-42ae-b6b7-c7042161d089