La variable Apache Spark en Azure HDInsights El conector está en versión beta. Consulte la Resumen de fuentes para obtener más información sobre el uso de conectores con etiqueta beta.
Una conexión base representa la conexión autenticada entre un origen y Adobe Experience Platform.
Este tutorial le guía por los pasos para crear una conexión base para Apache Spark en Azure HDInsights (en lo sucesivo, "elSpark") usando la variable Flow Service API.
Esta guía requiere conocer los siguientes componentes de Adobe Experience Platform:
Las secciones siguientes proporcionan información adicional que deberá conocer para conectarse correctamente a Spark usando la variable Flow Service API.
Para Flow Service para conectarse con Spark, debe proporcionar valores para las siguientes propiedades de conexión:
Credencial | Descripción |
---|---|
host |
La dirección IP o el nombre de host de la variable Spark servidor. |
username |
El nombre de usuario que utiliza para acceder a Spark Servidor. |
password |
La contraseña correspondiente al usuario. |
connectionSpec.id |
La especificación de conexión devuelve las propiedades del conector de un origen, incluidas las especificaciones de autenticación relacionadas con la creación de las conexiones base y de origen. El ID de especificación de conexión para Spark es: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6 |
Para obtener más información sobre cómo empezar, consulte este documento Spark.
Para obtener información sobre cómo realizar llamadas correctamente a las API de Platform, consulte la guía de introducción a las API de Platform.
Una conexión base retiene información entre la fuente y la plataforma, incluidas las credenciales de autenticación de la fuente, el estado actual de la conexión y el ID de conexión base único. El ID de conexión base le permite explorar y navegar archivos desde el origen e identificar los elementos específicos que desea introducir, incluida la información sobre sus tipos de datos y formatos.
Para crear un ID de conexión base, realice una solicitud de POST al /connections
al proporcionar su Spark credenciales de autenticación como parte de los parámetros de solicitud.
Formato de API
POST /connections
Solicitud
La siguiente solicitud crea una conexión base para Spark:
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/connections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "Spark test connection",
"description": "A Spark test connection",
"auth": {
"specName": "HDInsights Basic Authentication",
"params": {
"host": "{HOST}",
"username": "{USERNAME}",
"password":"{PASSWORD}"
}
},
"connectionSpec": {
"id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
"version": "1.0"
}
}'
Parámetro | Descripción |
---|---|
auth.params.host |
El host de la variable Spark servidor. |
auth.params.username |
El nombre de usuario asociado con su Spark conexión. |
auth.params.password |
La contraseña asociada a su Spark conexión. |
connectionSpec.id |
La variable Spark id. de especificación de conexión: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6 . |
Respuesta
Una respuesta correcta devuelve detalles de la conexión recién creada, incluido su identificador único (id
). Este ID es necesario para explorar sus datos en el siguiente tutorial.
{
"id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
"etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}
Al seguir este tutorial, ha creado un Spark conexión base utilizando Flow Service API. Puede utilizar este ID de conexión base en los siguientes tutoriales: