Dokumentation Experience Platform Användarhandbok om Source Connectors

Skapa en Apache Spark på Azure HDInsights-basanslutning med API:t Flow Service

Last update: Tue Jul 16 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Ämnen:

Skapat för:

Utvecklare

NOTE

Apache Spark på Azure HDInsights-anslutningen är i betaversion. Mer information om hur du använder betatecknade anslutningar finns i Källöversikt.

En basanslutning representerar den autentiserade anslutningen mellan en källa och Adobe Experience Platform.

I den här självstudiekursen får du hjälp med att skapa en basanslutning för Apache Spark på Azure HDInsights (kallas nedan Spark) med Flow Service API.

Komma igång

Handboken kräver en fungerande förståelse av följande komponenter i Adobe Experience Platform:

Källor: Experience Platform tillåter att data kan hämtas från olika källor samtidigt som du kan strukturera, etikettera och förbättra inkommande data med Platform-tjänster.
Sandlådor: Experience Platform innehåller virtuella sandlådor som partitionerar en enskild Platform-instans till separata virtuella miljöer för att hjälpa till att utveckla och utveckla program för digitala upplevelser.

I följande avsnitt finns ytterligare information som du behöver känna till för att kunna ansluta till Spark med API:t Flow Service.

Samla in nödvändiga inloggningsuppgifter

För att Flow Service ska kunna ansluta till Spark måste du ange värden för följande anslutningsegenskaper:

Autentiseringsuppgifter

Beskrivning

host

IP-adressen eller värdnamnet för servern Spark.

username

Användarnamnet som du använder för att komma åt servern Spark.

password

Lösenordet som motsvarar användaren.

connectionSpec.id

Anslutningsspecifikationen returnerar en källas kopplingsegenskaper, inklusive autentiseringsspecifikationer för att skapa bas- och källanslutningarna. Anslutningsspecifikations-ID för Spark är: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6

Mer information om hur du kommer igång finns i det här Spark-dokumentet.

Använda plattforms-API:er

Mer information om hur du kan anropa plattforms-API:er finns i guiden Komma igång med plattforms-API:er.

Skapa en basanslutning

En basanslutning bevarar information mellan källan och plattformen, inklusive källans autentiseringsuppgifter, anslutningsstatus och ditt unika basanslutnings-ID. Med det grundläggande anslutnings-ID:t kan du utforska och navigera bland filer inifrån källan och identifiera de specifika objekt som du vill importera, inklusive information om deras datatyper och format.

Om du vill skapa ett grundläggande anslutnings-ID skickar du en POST till slutpunkten /connections och anger dina autentiseringsuppgifter för Spark som en del av parametrarna för begäran.

API-format

POST /connections

Begäran

Följande begäran skapar en basanslutning för Spark:

curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {ORG_ID}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Spark test connection",
        "description": "A Spark test connection",
        "auth": {
            "specName": "HDInsights Basic Authentication",
        "params": {
            "host":  "{HOST}",
            "username": "{USERNAME}",
            "password":"{PASSWORD}"
            }
        },
        "connectionSpec": {
            "id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
            "version": "1.0"
        }
    }'

Parameter

Beskrivning

auth.params.host

Värden för servern Spark.

auth.params.username

Användarnamnet som är associerat med din Spark-anslutning.

auth.params.password

Lösenordet som är kopplat till din Spark-anslutning.

connectionSpec.id

Anslutningsspecifikations-ID Spark: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6.

Svar

Ett lyckat svar returnerar information om den nyligen skapade anslutningen, inklusive dess unika identifierare (id). Detta ID krävs för att utforska dina data i nästa självstudiekurs.

{
    "id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
    "etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}

Nästa steg

Genom att följa den här självstudiekursen har du skapat en Spark-basanslutning med API:t Flow Service. Du kan använda detta grundläggande anslutnings-ID i följande självstudier:

recommendation-more-help

337b99bb-92fb-42ae-b6b7-c7042161d089