DocumentationExperience PlatformGuide des connecteurs sources

Créez une connexion Apache Spark sur la base Azure HDInsights à l’aide de l’API Flow Service

Last update: Tue Jul 16 2024 00:00:00 GMT+0000 (Coordinated Universal Time)
  • Rubriques :

Créé pour :

  • Développeur
NOTE
Le connecteur Apache Spark sur Azure HDInsights est en version bêta. Pour plus d’informations sur l’utilisation de connecteurs bêta, consultez la Présentation des sources .

Une connexion de base représente la connexion authentifiée entre une source et Adobe Experience Platform.

Ce tutoriel vous guide tout au long des étapes pour créer une connexion de base pour Apache Spark sur Azure HDInsights (ci-après appelée "Spark") à l’aide de l’ Flow Service API.

Prise en main

Ce guide nécessite une compréhension professionnelle des composants suivants d’Adobe Experience Platform :

  • Sources : Experience Platform permet d’ingérer des données provenant de diverses sources tout en vous offrant la possibilité de structurer, d’étiqueter et d’améliorer les données entrantes à l’aide des services Platform.
  • Sandbox : Experience Platform fournit des sandbox virtuels qui divisent une instance Platform unique en environnements virtuels distincts pour favoriser le développement et l’évolution d’applications d’expérience digitale.

Les sections suivantes apportent des informations supplémentaires dont vous aurez besoin pour vous connecter à Spark à l’aide de l’API Flow Service.

Collecter les informations d’identification requises

Pour connecter Flow Service à Spark, vous devez fournir des valeurs pour les propriétés de connexion suivantes :

Informations d’identification
Description
host
Adresse IP ou nom d’hôte du serveur Spark.
username
Nom d’utilisateur que vous utilisez pour accéder au serveur Spark.
password
Mot de passe correspondant à l’utilisateur.
connectionSpec.id
La spécification de connexion renvoie les propriétés du connecteur d’une source, y compris les spécifications d’authentification liées à la création des connexions de base et source. L’identifiant de spécification de connexion pour Spark est : 6a8d82bc-1caf-45d1-908d-cadabc9d63a6

Pour plus d’informations sur la prise en main, reportez-vous à ce document Spark.

Utiliser les API Platform

Pour plus d’informations sur la manière d’effectuer avec succès des appels vers les API Platform, consultez le guide sur la Prise en main des API Platform.

Créer une connexion de base

Une connexion de base conserve les informations échangées entre votre source et Platform, y compris les informations d’authentification de votre source, l’état actuel de la connexion et votre identifiant de connexion de base unique. L’identifiant de connexion de base vous permet d’explorer et de parcourir des fichiers à partir de votre source et d’identifier les éléments spécifiques que vous souhaitez ingérer, y compris des informations concernant leurs types et formats de données.

Pour créer un identifiant de connexion de base, envoyez une requête POST au point d’entrée /connections et indiquez vos informations d’authentification Spark dans les paramètres de la requête.

Format d’API

POST /connections

Requête

La requête suivante permet de créer une connexion de base pour Spark :

curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {ORG_ID}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Spark test connection",
        "description": "A Spark test connection",
        "auth": {
            "specName": "HDInsights Basic Authentication",
        "params": {
            "host":  "{HOST}",
            "username": "{USERNAME}",
            "password":"{PASSWORD}"
            }
        },
        "connectionSpec": {
            "id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
            "version": "1.0"
        }
    }'
Paramètre
Description
auth.params.host
L’hôte du serveur Spark.
auth.params.username
Nom d’utilisateur associé à votre connexion Spark.
auth.params.password
Mot de passe associé à votre connexion Spark.
connectionSpec.id
ID de spécification de connexion Spark : 6a8d82bc-1caf-45d1-908d-cadabc9d63a6.

Réponse

Une réponse réussie renvoie les détails de la connexion nouvellement créée, y compris son identifiant unique (id). Cet identifiant est nécessaire pour explorer vos données dans le tutoriel suivant.

{
    "id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
    "etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}

Étapes suivantes

Ce tutoriel vous a permis de créer une connexion de base à Spark à l’aide de l’API Flow Service. Vous pouvez utiliser cet identifiant de connexion de base dans les tutoriels suivants :

recommendation-more-help
337b99bb-92fb-42ae-b6b7-c7042161d089