Créez un Apache Spark on Azure Connexion de base HDInsights à l’aide de la variable Flow Service API

Une connexion de base représente la connexion authentifiée entre une source et Adobe Experience Platform.

Ce tutoriel vous guide tout au long des étapes pour créer une connexion de base pour Apache Spark on Azure HDInsights (ci-après dénommés "Spark") en utilisant la variable Flow Service API.

Prise en main

Ce guide nécessite une compréhension professionnelle des composants suivants d’Adobe Experience Platform :

• Sources : Experience Platform permet d’ingérer des données provenant de diverses sources tout en vous offrant la possibilité de structurer, d’étiqueter et d’améliorer les données entrantes à l’aide des services Platform.
• Sandbox : Experience Platform fournit des sandbox virtuels qui divisent une instance Platform unique en environnements virtuels distincts pour favoriser le développement et l’évolution d’applications d’expérience digitale.

Les sections suivantes apportent des informations supplémentaires dont vous aurez besoin pour vous connecter. Spark en utilisant la variable Flow Service API.

Collecter les informations d’identification requises

Pour connecter Flow Service à Spark, vous devez fournir des valeurs pour les propriétés de connexion suivantes :

Pour plus d’informations sur la prise en main, voir ce document Spark ;.

Utiliser les API Platform

Pour plus d’informations sur la manière d’effectuer avec succès des appels vers les API Platform, consultez le guide sur la Prise en main des API Platform.

Créer une connexion de base

Une connexion de base conserve les informations échangées entre votre source et Platform, y compris les informations d’authentification de votre source, l’état actuel de la connexion et votre identifiant de connexion de base unique. L’identifiant de connexion de base vous permet d’explorer et de parcourir des fichiers à partir de votre source et d’identifier les éléments spécifiques que vous souhaitez ingérer, y compris des informations concernant leurs types et formats de données.

Pour créer un identifiant de connexion de base, envoyez une requête POST au point d’entrée /connections et indiquez vos informations d’authentification Spark dans les paramètres de la requête.

Format d’API

POST /connections

Requête

La requête suivante permet de créer une connexion de base pour Spark :

curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {ORG_ID}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Spark test connection",
        "description": "A Spark test connection",
        "auth": {
            "specName": "HDInsights Basic Authentication",
        "params": {
            "host":  "{HOST}",
            "username": "{USERNAME}",
            "password":"{PASSWORD}"
            }
        },
        "connectionSpec": {
            "id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
            "version": "1.0"
        }
    }'

Réponse

Une réponse réussie renvoie les détails de la connexion nouvellement créée, y compris son identifiant unique (id). Cet identifiant est nécessaire pour explorer vos données dans le tutoriel suivant.

{
    "id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
    "etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}

Étapes suivantes

Ce tutoriel vous a permis de créer une connexion de base à Spark à l’aide de l’API Flow Service. Vous pouvez utiliser cet identifiant de connexion de base dans les tutoriels suivants :

• Explorez la structure et le contenu de vos tableaux de données à l’aide de l’API Flow Service .
• Créez un flux de données pour importer des données de base de données dans Platform à l’aide de la fonction Flow Service API