使用Flow Service API在Azure HDInsights基本连接上创建Apache Spark

Last update: Tue Jul 16 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

主题：

创建对象：

开发人员

NOTE

Azure HDInsights连接器上的Apache Spark处于Beta状态。有关使用带有Beta标记的连接器的更多信息，请参阅源概述。

基本连接表示源和Adobe Experience Platform之间的已验证连接。

本教程将指导您完成使用Flow Service API在Azure HDInsights（以下称为“Spark”）上为Apache Spark创建基本连接的步骤。

快速入门

本指南要求您对 Adobe Experience Platform 的以下组件有一定了解：

源： Experience Platform允许从各种源摄取数据，同时允许您使用Platform服务来构建、标记和增强传入数据。
沙盒： Experience Platform提供将单个Platform实例划分为单独虚拟环境的虚拟沙盒，以帮助开发和改进数字体验应用程序。

以下部分提供使用Flow Service API成功连接到Spark所需了解的其他信息。

收集所需的凭据

为了使Flow Service与Spark连接，您必须提供以下连接属性的值：

凭据

描述

host

Spark服务器的IP地址或主机名。

username

用于访问Spark服务器的用户名。

password

对应于用户的密码。

connectionSpec.id

连接规范返回源的连接器属性，包括与创建基础连接和源连接相关的验证规范。 Spark的连接规范ID为： 6a8d82bc-1caf-45d1-908d-cadabc9d63a6

有关入门的详细信息，请参阅此Spark文档。

使用平台API

有关如何成功调用平台API的信息，请参阅平台API快速入门指南。

创建基本连接

基本连接会保留您的源和平台之间的信息，包括源的身份验证凭据、连接的当前状态以及唯一的基本连接ID。基本连接ID允许您浏览和浏览源中的文件，并标识要摄取的特定项目，包括有关其数据类型和格式的信息。

要创建基本连接ID，请在提供Spark身份验证凭据作为POST参数的一部分时，向/connections端点请求请求。

API格式

POST /connections

请求

以下请求为Spark创建基本连接：

curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {ORG_ID}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Spark test connection",
        "description": "A Spark test connection",
        "auth": {
            "specName": "HDInsights Basic Authentication",
        "params": {
            "host":  "{HOST}",
            "username": "{USERNAME}",
            "password":"{PASSWORD}"
            }
        },
        "connectionSpec": {
            "id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
            "version": "1.0"
        }
    }'

参数

描述

auth.params.host

Spark服务器的主机。

auth.params.username

与您的Spark连接关联的用户名。

auth.params.password

与您的Spark连接关联的密码。

connectionSpec.id

Spark连接规范ID： 6a8d82bc-1caf-45d1-908d-cadabc9d63a6。

响应

成功的响应返回新创建的连接的详细信息，包括其唯一标识符(id)。在下个教程中，需要此ID才能浏览您的数据。

{
    "id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
    "etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}

后续步骤

通过完成本教程，您已使用Flow Service API创建了Spark基本连接。您可以在下列教程中使用此基本连接ID：

recommendation-more-help

337b99bb-92fb-42ae-b6b7-c7042161d089