Creare un Apache Spark su Azure connettore HDInsights utilizzando l'API Flow Service

Flow Service viene utilizzato per raccogliere e centralizzare i dati dei clienti da varie origini all'interno di Adobe Experience Platform. Il servizio fornisce un'interfaccia utente e RESTful API da cui sono collegate tutte le origini supportate.

Questa esercitazione utilizza l'API Flow Service per guidarvi attraverso i passaggi necessari per collegarvi Apache Spark su Azure HDInsights (in seguito denominata "Spark") a Experience Platform.

Introduzione

Questa guida richiede una buona conoscenza dei seguenti componenti di Adobe Experience Platform:

• Origini: Experience Platform consente l'acquisizione di dati da varie origini, fornendo al contempo la possibilità di strutturare, etichettare e migliorare i dati in arrivo tramite Platform i servizi.
• Sandbox: Experience Platform fornisce sandbox virtuali che dividono una singola Platform istanza in ambienti virtuali separati per sviluppare e sviluppare applicazioni per esperienze digitali.

Le sezioni seguenti forniscono informazioni aggiuntive che sarà necessario conoscere per collegarsi correttamente a Spark utilizzando l'API Flow Service.

Raccogli credenziali richieste

Affinché Flow Service possa connettersi a Spark, è necessario fornire i valori per le seguenti proprietà di connessione:

Per ulteriori informazioni su come iniziare, fare riferimento a questo documento Spark.

Lettura di chiamate API di esempio

Questa esercitazione fornisce esempi di chiamate API per dimostrare come formattare le richieste. Questi includono percorsi, intestazioni richieste e payload di richieste formattati correttamente. Viene inoltre fornito un JSON di esempio restituito nelle risposte API. Per informazioni sulle convenzioni utilizzate nella documentazione per le chiamate API di esempio, consultate la sezione relativa a come leggere chiamate API di esempio nella guida alla risoluzione dei problemi di Experience Platform.

Raccogli valori per le intestazioni richieste

Per effettuare chiamate alle Platform API, è innanzitutto necessario completare l'esercitazione sull'autenticazione a2/>. Completando l'esercitazione sull'autenticazione, vengono forniti i valori per ciascuna delle intestazioni richieste in tutte le chiamate API Experience Platform, come illustrato di seguito:

• Authorization: Bearer {ACCESS_TOKEN}
• x-api-key: {API_KEY}
• x-gw-ims-org-id: {IMS_ORG}

Tutte le risorse in Experience Platform, incluse quelle appartenenti a Flow Service, sono isolate in sandbox virtuali specifiche. Tutte le richieste alle Platform API richiedono un'intestazione che specifica il nome della sandbox in cui verrà eseguita l'operazione:

• x-sandbox-name: {SANDBOX_NAME}

Tutte le richieste che contengono un payload (POST, PUT, PATCH) richiedono un'intestazione aggiuntiva per il tipo di supporto:

• Content-Type: application/json

Creare una connessione

Una connessione specifica un'origine e contiene le credenziali per tale origine. È necessaria una sola connessione per ogni account Spark, in quanto può essere utilizzata per creare più connettori sorgente per inserire dati diversi.

Formato API

POST /connections

Richiesta

Per creare una connessione Spark, è necessario fornire l'ID univoco della specifica di connessione come parte della richiesta di POST. L'ID della specifica di connessione per Spark è 6a8d82bc-1caf-45d1-908d-cadabc9d63a6.

curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Spark test connection",
        "description": "A Spark test connection",
        "auth": {
            "specName": "HDInsights Basic Authentication",
        "params": {
            "host" :  "{HOST}",
            "username" : "{USERNAME}",
            "password" :"{PASSWORD}"
            }
        },
        "connectionSpec": {
            "id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
            "version": "1.0"
        }
    }'

Risposta

Una risposta corretta restituisce i dettagli della nuova connessione creata, incluso il relativo identificatore univoco (id). Questo ID è necessario per esplorare i dati nell'esercitazione successiva.

{
    "id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
    "etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}

Passaggi successivi

Seguendo questa esercitazione, hai creato una connessione Spark utilizzando l'API Flow Service e hai ottenuto il valore ID univoco della connessione. Puoi utilizzare questo ID nell'esercitazione successiva per imparare a esplorare i database utilizzando l'API del servizio di flusso.