Créez une Apache Spark sur Azure connexion de base HDInsights à l’aide de l’API Flow Service

REMARQUE

Le connecteur Apache Spark sur Azure HDInsights est en version bêta. Pour plus d’informations sur l’utilisation de connecteurs bêta, consultez la Présentation des sources .

Une connexion de base représente la connexion authentifiée entre une source et Adobe Experience Platform.

Ce tutoriel vous guide tout au long des étapes pour créer une connexion de base pour Apache Spark sur Azure HDInsights (ci-après appelée "Spark") à l’aide de l’Flow Service API.

Prise en main

Ce guide nécessite une compréhension professionnelle des composants suivants d’Adobe Experience Platform :

  • Sources : Experience Platform permet d’ingérer des données provenant de diverses sources tout en vous permettant de structurer, d’étiqueter et d’améliorer les données entrantes à l’aide de Platform services.
  • Environnements de test : Experience Platform fournit des environnements de test virtuels qui divisent une instance Platform unique en environnements virtuels distincts pour favoriser le développement et l’évolution d’applications d’expérience numérique.

Les sections suivantes apportent des informations supplémentaires dont vous aurez besoin pour vous connecter à Spark à l’aide de l’API Flow Service.

Collecte des informations d’identification requises

Pour que Flow Service se connecte à Spark, vous devez fournir des valeurs pour les propriétés de connexion suivantes :

Credential Description
host Adresse IP ou nom d’hôte du serveur Spark.
username Nom d’utilisateur que vous utilisez pour accéder au serveur Spark.
password Mot de passe correspondant à l’utilisateur.
connectionSpec.id La spécification de connexion renvoie les propriétés du connecteur d’une source, y compris les spécifications d’authentification liées à la création des connexions base et source. L’identifiant de spécification de connexion pour Spark est : 6a8d82bc-1caf-45d1-908d-cadabc9d63a6

Pour plus d’informations sur la prise en main, reportez-vous à ce document Spark.

Utilisation des API Platform

Pour plus d’informations sur la manière d’effectuer des appels avec succès vers les API Platform, consultez le guide de prise en main des API Platform.

Création d’une connexion de base

Une connexion de base conserve les informations entre votre source et Platform, y compris les informations d’authentification de votre source, l’état actuel de la connexion et votre identifiant de connexion de base unique. L’identifiant de connexion de base vous permet d’explorer et de parcourir des fichiers à partir de votre source et d’identifier les éléments spécifiques que vous souhaitez ingérer, y compris des informations concernant leurs types et formats de données.

Pour créer un identifiant de connexion de base, envoyez une requête de POST au point de terminaison /connections tout en fournissant vos informations d’authentification Spark dans le cadre des paramètres de requête.

Format d’API

POST /connections

Requête

La requête suivante crée une connexion de base pour Spark :

curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Spark test connection",
        "description": "A Spark test connection",
        "auth": {
            "specName": "HDInsights Basic Authentication",
        "params": {
            "host" :  "{HOST}",
            "username" : "{USERNAME}",
            "password" :"{PASSWORD}"
            }
        },
        "connectionSpec": {
            "id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
            "version": "1.0"
        }
    }'
Paramètre Description
auth.params.host L’hôte du serveur Spark.
auth.params.username Nom d’utilisateur associé à votre connexion Spark.
auth.params.password Mot de passe associé à votre connexion Spark.
connectionSpec.id ID de spécification de connexion Spark : 6a8d82bc-1caf-45d1-908d-cadabc9d63a6.

Réponse

Une réponse réussie renvoie les détails de la nouvelle connexion, y compris son identifiant unique (id). Cet identifiant est nécessaire pour explorer vos données dans le tutoriel suivant.

{
    "id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
    "etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}

Étapes suivantes

En suivant ce tutoriel, vous avez créé une connexion Spark à l’aide de l’API Flow Service et obtenu la valeur d’identifiant unique de la connexion. Vous pouvez utiliser cet identifiant dans le tutoriel suivant lorsque vous apprendrez à explorer les bases de données à l’aide de l’API Flow Service.

Sur cette page