Cree un Apache Spark conector de Azure HDInsights mediante la API Flow Service

NOTA

El conector Apache Spark del Azure HDInsights está en versión beta. Consulte la información general de las fuentes para obtener más información sobre el uso de conectores con etiquetas beta.

Flow Service se utiliza para recopilar y centralizar datos de clientes de diversas fuentes dentro de Adobe Experience Platform. El servicio proporciona una interfaz de usuario y una API RESTful desde la que se pueden conectar todas las fuentes admitidas.

Este tutorial utiliza la API Flow Service para guiarle por los pasos para conectar Apache Spark en Azure HDInsights (en lo sucesivo denominada "Spark") a Experience Platform.

Primeros pasos

Esta guía requiere un conocimiento práctico de los siguientes componentes de Adobe Experience Platform:

  • Fuentes: Experience Platform permite la ingesta de datos desde varias fuentes, al tiempo que le permite estructurar, etiquetar y mejorar los datos entrantes mediante Platform servicios.
  • Simuladores: Experience Platform proporciona entornos limitados virtuales que dividen una sola Platform instancia en entornos virtuales independientes para ayudar a desarrollar y desarrollar aplicaciones de experiencia digital.

Las siguientes secciones proporcionan información adicional que deberá conocer para conectarse con éxito a Spark mediante la API Flow Service.

Recopilar las credenciales necesarias

Para que Flow Service se conecte con Spark, debe proporcionar valores para las siguientes propiedades de conexión:

Credencial Descripción
host La dirección IP o el nombre de host del servidor Spark.
username El nombre de usuario que utiliza para acceder al servidor Spark.
password La contraseña correspondiente al usuario.
connectionSpec.id Identificador único necesario para crear una conexión. El identificador de especificación de conexión para Spark es: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6

Para obtener más información sobre cómo empezar, consulte este documento de Spark.

Leer llamadas de API de muestra

Este tutorial proporciona ejemplos de llamadas a API para mostrar cómo dar formato a las solicitudes. Estas incluyen rutas, encabezados requeridos y cargas de solicitud con el formato adecuado. También se proporciona el JSON de muestra devuelto en las respuestas de API. Para obtener más información sobre las convenciones utilizadas en la documentación de las llamadas de API de muestra, consulte la sección sobre cómo leer llamadas de API de ejemplo en la guía de solución de problemas Experience Platform.

Recopilar valores para encabezados necesarios

Para realizar llamadas a Platform API, primero debe completar el tutorial de autenticación. Al completar el tutorial de autenticación se proporcionan los valores para cada uno de los encabezados necesarios en todas las llamadas Experience Platform API, como se muestra a continuación:

  • Authorization: Bearer {ACCESS_TOKEN}
  • x-api-key: {API_KEY}
  • x-gw-ims-org-id: {IMS_ORG}

Todos los recursos de Experience Platform, incluidos los que pertenecen a Flow Service, están aislados en entornos limitados virtuales específicos. Todas las solicitudes a las API Platform requieren un encabezado que especifique el nombre del entorno limitado en el que se realizará la operación:

  • x-sandbox-name: {SANDBOX_NAME}

Todas las solicitudes que contienen una carga útil (POST, PUT, PATCH) requieren un encabezado de tipo de medio adicional:

  • Content-Type: application/json

Crear una conexión

Una conexión especifica un origen y contiene sus credenciales para ese origen. Solo se requiere una conexión por cuenta Spark, ya que se puede utilizar para crear varios conectores de origen para traer datos diferentes.

Formato API

POST /connections

Solicitud

Para crear una conexión Spark, se debe proporcionar su ID de especificación de conexión única como parte de la solicitud del POST. El identificador de especificación de conexión para Spark es 6a8d82bc-1caf-45d1-908d-cadabc9d63a6.

curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Spark test connection",
        "description": "A Spark test connection",
        "auth": {
            "specName": "HDInsights Basic Authentication",
        "params": {
            "host" :  "{HOST}",
            "username" : "{USERNAME}",
            "password" :"{PASSWORD}"
            }
        },
        "connectionSpec": {
            "id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
            "version": "1.0"
        }
    }'
Parámetro Descripción
auth.params.host El host del servidor Spark.
auth.params.username El nombre de usuario asociado a su conexión Spark.
auth.params.password La contraseña asociada a su conexión Spark.
connectionSpec.id El identificador de especificación de conexión Spark: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6.

Respuesta

Una respuesta correcta devuelve detalles de la conexión recién creada, incluido su identificador único (id). Este ID es necesario para explorar los datos en el siguiente tutorial.

{
    "id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
    "etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}

Pasos siguientes

Siguiendo este tutorial, ha creado una conexión Spark mediante la API Flow Service y ha obtenido el valor de ID único de la conexión. Puede utilizar este ID en el siguiente tutorial cuando aprenda a explorar bases de datos mediante la API de servicio de flujo.

En esta página