Cree una Apache Spark en la conexión base de Azure HDInsights utilizando la API Flow Service

NOTA

El conector Apache Spark en Azure HDInsights está en versión beta. Consulte la información general sobre fuentes para obtener más información sobre el uso de conectores con etiqueta beta.

Una conexión base representa la conexión autenticada entre un origen y Adobe Experience Platform.

Este tutorial le guía por los pasos para crear una conexión base para Apache Spark en Azure HDInsights (en adelante denominada "Spark") utilizando la Flow Service API.

Primeros pasos

Esta guía requiere conocer los siguientes componentes de Adobe Experience Platform:

  • Fuentes: Experience Platform permite la ingesta de datos de varias fuentes, al mismo tiempo que permite estructurar, etiquetar y mejorar los datos entrantes mediante Platform servicios.
  • Simuladores para pruebas: Experience Platform proporciona entornos limitados virtuales que dividen una sola Platform instancia en entornos virtuales independientes para ayudar a desarrollar y desarrollar aplicaciones de experiencia digital.

Las secciones siguientes proporcionan información adicional que deberá conocer para conectarse correctamente a Spark mediante la API Flow Service.

Recopilar las credenciales necesarias

Para que Flow Service se conecte con Spark, debe proporcionar valores para las siguientes propiedades de conexión:

Credencial Descripción
host La dirección IP o el nombre de host del servidor Spark.
username El nombre de usuario que utiliza para acceder al servidor Spark.
password La contraseña correspondiente al usuario.
connectionSpec.id La especificación de conexión devuelve las propiedades del conector de un origen, incluidas las especificaciones de autenticación relacionadas con la creación de las conexiones base y de origen. El ID de especificación de conexión para Spark es: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6

Para obtener más información sobre cómo empezar, consulte este documento de Spark.

Uso de las API de plataforma

Para obtener información sobre cómo realizar llamadas correctamente a las API de Platform, consulte la guía de introducción a las API de Platform.

Creación de una conexión base

Una conexión base retiene información entre la fuente y la plataforma, incluidas las credenciales de autenticación de la fuente, el estado actual de la conexión y el ID de conexión base único. El ID de conexión base le permite explorar y navegar archivos desde el origen e identificar los elementos específicos que desea introducir, incluida la información sobre sus tipos de datos y formatos.

Para crear un ID de conexión base, realice una solicitud de POST al extremo /connections y proporcione las credenciales de autenticación Spark como parte de los parámetros de solicitud.

Formato de API

POST /connections

Solicitud

La siguiente solicitud crea una conexión base para Spark:

curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Spark test connection",
        "description": "A Spark test connection",
        "auth": {
            "specName": "HDInsights Basic Authentication",
        "params": {
            "host" :  "{HOST}",
            "username" : "{USERNAME}",
            "password" :"{PASSWORD}"
            }
        },
        "connectionSpec": {
            "id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
            "version": "1.0"
        }
    }'
Parámetro Descripción
auth.params.host El host del servidor Spark.
auth.params.username El nombre de usuario asociado a su conexión Spark.
auth.params.password La contraseña asociada a su conexión Spark.
connectionSpec.id El ID de especificación de conexión Spark: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6.

Respuesta

Una respuesta correcta devuelve detalles de la conexión recién creada, incluido su identificador único (id). Este ID es necesario para explorar sus datos en el siguiente tutorial.

{
    "id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
    "etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}

Pasos siguientes

Siguiendo este tutorial, ha creado una conexión Spark utilizando la API Flow Service y ha obtenido el valor de ID único de la conexión. Puede utilizar este ID en el siguiente tutorial, mientras aprende a explorar las bases de datos mediante la API de servicio de flujo.

En esta página