Crear un Apache Spark el Azure Conexión base de HDInsights con Flow Service API

NOTA

El Apache Spark el Azure HDInsights el conector está en versión beta. Consulte la Resumen de orígenes para obtener más información sobre el uso de conectores etiquetados como beta.

Una conexión base representa la conexión autenticada entre un origen y Adobe Experience Platform.

Este tutorial lo acompañará durante los pasos para crear una conexión base para Apache Spark el Azure HDInsights (en lo sucesivo, "Spark") utilizando el Flow Service API.

Primeros pasos

Esta guía requiere una comprensión práctica de los siguientes componentes de Adobe Experience Platform:

  • Fuentes: Experience Platform permite la ingesta de datos desde varias fuentes, al tiempo que le ofrece la capacidad de estructurar, etiquetar y mejorar los datos entrantes mediante Platform servicios.
  • Zonas protegidas: Experience Platform proporciona zonas protegidas virtuales que dividen una sola Platform en entornos virtuales independientes para ayudar a desarrollar y evolucionar aplicaciones de experiencia digital.

Las secciones siguientes proporcionan información adicional que deberá conocer para conectarse correctamente a Spark uso del Flow Service API.

Recopilar credenciales necesarias

Para que Flow Service para conectar con Spark, debe proporcionar valores para las siguientes propiedades de conexión:

Credencial Descripción
host La dirección IP o el nombre de host del Spark servidor.
username El nombre de usuario que utiliza para acceder a Spark Servidor.
password La contraseña correspondiente al usuario.
connectionSpec.id La especificación de conexión devuelve las propiedades del conector de origen, incluidas las especificaciones de autenticación relacionadas con la creación de las conexiones base y origen. Identificador de especificación de conexión para Spark es: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6

Para obtener más información sobre cómo empezar, consulte este documento de Spark.

Uso de API de Platform

Para obtener información sobre cómo realizar llamadas correctamente a las API de Platform, consulte la guía de introducción a las API de Platform.

Crear una conexión base

Una conexión base retiene información entre el origen y Platform, incluidas las credenciales de autenticación del origen, el estado actual de la conexión y el ID único de conexión base. El ID de conexión base le permite explorar y navegar por archivos desde el origen e identificar los elementos específicos que desea introducir, incluida la información sobre sus tipos de datos y formatos.

Para crear un ID de conexión base, realice una solicitud de POST al /connections extremo al proporcionar su Spark credenciales de autenticación como parte de los parámetros de solicitud.

Formato de API

POST /connections

Solicitud

La siguiente solicitud crea una conexión base para Spark:

curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {ORG_ID}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Spark test connection",
        "description": "A Spark test connection",
        "auth": {
            "specName": "HDInsights Basic Authentication",
        "params": {
            "host":  "{HOST}",
            "username": "{USERNAME}",
            "password":"{PASSWORD}"
            }
        },
        "connectionSpec": {
            "id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
            "version": "1.0"
        }
    }'
Parámetro Descripción
auth.params.host El host del Spark servidor.
auth.params.username El nombre de usuario asociado con su Spark conexión.
auth.params.password La contraseña asociada a su Spark conexión.
connectionSpec.id El Spark identificador de especificación de conexión: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6.

Respuesta

Una respuesta correcta devuelve detalles de la conexión recién creada, incluido su identificador único (id). Este ID es necesario para explorar los datos en el siguiente tutorial.

{
    "id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
    "etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}

Pasos siguientes

Al seguir este tutorial, ha creado un Spark conexión base mediante el Flow Service API. Puede utilizar este ID de conexión base en los siguientes tutoriales:

En esta página