Créez un Apache Spark on Azure Connexion de base HDInsights à l’aide de la variable Flow Service API

REMARQUE

Le Apache Spark on Azure HDInsights Le connecteur est en version bêta. Voir Présentation des sources pour plus d’informations sur l’utilisation de connecteurs libellés en version bêta.

Une connexion de base représente la connexion authentifiée entre une source et Adobe Experience Platform.

Ce tutoriel vous guide tout au long des étapes pour créer une connexion de base pour Apache Spark on Azure HDInsights (ci-après dénommés "Spark") en utilisant la variable Flow Service API.

Prise en main

Ce guide nécessite une compréhension professionnelle des composants suivants d’Adobe Experience Platform :

  • Sources : Experience Platform permet d’ingérer des données provenant de diverses sources tout en vous offrant la possibilité de structurer, d’étiqueter et d’améliorer les données entrantes à l’aide des services Platform.
  • Sandbox : Experience Platform fournit des sandbox virtuels qui divisent une instance Platform unique en environnements virtuels distincts pour favoriser le développement et l’évolution d’applications d’expérience digitale.

Les sections suivantes apportent des informations supplémentaires dont vous aurez besoin pour vous connecter. Spark en utilisant la variable Flow Service API.

Collecter les informations d’identification requises

Pour connecter Flow Service à Spark, vous devez fournir des valeurs pour les propriétés de connexion suivantes :

Informations d’identification Description
host L’adresse IP ou le nom d’hôte de la variable Spark serveur.
username Nom d’utilisateur auquel vous accédez Spark Serveur.
password Mot de passe correspondant à l’utilisateur.
connectionSpec.id La spécification de connexion renvoie les propriétés du connecteur d’une source, y compris les spécifications d’authentification liées à la création des connexions de base et source. L’identifiant de spécification de connexion pour Spark est : 6a8d82bc-1caf-45d1-908d-cadabc9d63a6

Pour plus d’informations sur la prise en main, reportez-vous à la section ce document Spark.

Utiliser les API Platform

Pour plus d’informations sur la manière d’effectuer avec succès des appels vers les API Platform, consultez le guide sur la Prise en main des API Platform.

Créer une connexion de base

Une connexion de base conserve les informations échangées entre votre source et Platform, y compris les informations d’authentification de votre source, l’état actuel de la connexion et votre identifiant de connexion de base unique. L’identifiant de connexion de base vous permet d’explorer et de parcourir des fichiers à partir de votre source et d’identifier les éléments spécifiques que vous souhaitez ingérer, y compris des informations concernant leurs types et formats de données.

Pour créer un identifiant de connexion de base, envoyez une requête POST au point d’entrée /connections et indiquez vos informations d’authentification Spark dans les paramètres de la requête.

Format d’API

POST /connections

Requête

La requête suivante permet de créer une connexion de base pour Spark :

curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {ORG_ID}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Spark test connection",
        "description": "A Spark test connection",
        "auth": {
            "specName": "HDInsights Basic Authentication",
        "params": {
            "host":  "{HOST}",
            "username": "{USERNAME}",
            "password":"{PASSWORD}"
            }
        },
        "connectionSpec": {
            "id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
            "version": "1.0"
        }
    }'
Paramètre Description
auth.params.host L’hôte de la variable Spark serveur.
auth.params.username Le nom d’utilisateur associé à votre Spark connexion.
auth.params.password Le mot de passe associé à votre Spark connexion.
connectionSpec.id Le Spark identifiant de spécification de connexion : 6a8d82bc-1caf-45d1-908d-cadabc9d63a6.

Réponse

Une réponse réussie renvoie les détails de la connexion nouvellement créée, y compris son identifiant unique (id). Cet identifiant est nécessaire pour explorer vos données dans le tutoriel suivant.

{
    "id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
    "etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}

Étapes suivantes

Ce tutoriel vous a permis de créer une connexion de base à Spark à l’aide de l’API Flow Service. Vous pouvez utiliser cet identifiant de connexion de base dans les tutoriels suivants :

Sur cette page