Crear un(a) Apache Spark en Azure conexión base de HDInsights usando la API Flow Service
Una conexión base representa la conexión autenticada entre un origen y Adobe Experience Platform.
Este tutorial lo guiará para crear una conexión base para Apache Spark en Azure HDInsights (denominada en adelante como "Spark") mediante la Flow Service API.
Introducción
Esta guía requiere una comprensión práctica de los siguientes componentes de Adobe Experience Platform:
- Fuentes: Experience Platform permite la ingesta de datos de varias fuentes al tiempo que le ofrece la capacidad de estructurar, etiquetar y mejorar los datos entrantes mediante los servicios de Platform.
- Zonas protegidas: Experience Platform proporciona zonas protegidas virtuales que dividen una sola instancia de Platform en entornos virtuales independientes para ayudar a desarrollar y evolucionar aplicaciones de experiencia digital.
Las secciones siguientes proporcionan información adicional que necesitará conocer para conectarse correctamente a Spark mediante la API Flow Service.
Recopilar credenciales necesarias
Para que Flow Service se conecte con Spark, debe proporcionar valores para las siguientes propiedades de conexión:
host
username
password
connectionSpec.id
6a8d82bc-1caf-45d1-908d-cadabc9d63a6
Para obtener más información sobre cómo empezar, consulte este documento de Spark.
Uso de API de Platform
Para obtener información sobre cómo realizar llamadas correctamente a las API de Platform, consulte la guía sobre introducción a las API de Platform.
Crear una conexión base
Una conexión base retiene información entre el origen y Platform, incluidas las credenciales de autenticación del origen, el estado actual de la conexión y el ID único de conexión base. El ID de conexión base le permite explorar y navegar por archivos desde el origen e identificar los elementos específicos que desea introducir, incluida la información sobre sus tipos de datos y formatos.
Para crear un identificador de conexión base, realice una solicitud de POST al extremo /connections
y proporcione las credenciales de autenticación Spark como parte de los parámetros de solicitud.
Formato de API
POST /connections
Solicitud
La siguiente solicitud crea una conexión base para Spark:
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/connections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "Spark test connection",
"description": "A Spark test connection",
"auth": {
"specName": "HDInsights Basic Authentication",
"params": {
"host": "{HOST}",
"username": "{USERNAME}",
"password":"{PASSWORD}"
}
},
"connectionSpec": {
"id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
"version": "1.0"
}
}'
auth.params.host
auth.params.username
auth.params.password
connectionSpec.id
6a8d82bc-1caf-45d1-908d-cadabc9d63a6
.Respuesta
Una respuesta correcta devuelve detalles de la conexión recién creada, incluido su identificador único (id
). Este ID es necesario para explorar los datos en el siguiente tutorial.
{
"id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
"etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}
Pasos siguientes
Siguiendo este tutorial, ha creado una conexión base Spark mediante la API Flow Service. Puede utilizar este ID de conexión base en los siguientes tutoriales: