使用Flow Service API创建Apache HDFS基本连接

Last update: Tue Jul 16 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

主题：

创建对象：

开发人员

NOTE

Apache HDFS连接器处于测试阶段。有关使用带有Beta标记的连接器的更多信息，请参阅源概述。

基本连接表示源和Adobe Experience Platform之间的已验证连接。

本教程将指导您完成使用Flow Service API为Apache Hadoop Distributed File System（以下称为“HDFS”）创建基础连接的步骤。

快速入门

本指南要求您对 Adobe Experience Platform 的以下组件有一定了解：

源： Experience Platform允许从各种源摄取数据，同时允许您使用Platform服务来构建、标记和增强传入数据。
沙盒： Experience Platform提供将单个Platform实例划分为单独虚拟环境的虚拟沙盒，以帮助开发和改进数字体验应用程序。

以下部分提供使用Flow Service API成功连接到HDFS所需了解的其他信息。

收集所需的凭据

凭据

描述

url

URL定义了匿名连接到HDFS所需的身份验证参数。有关如何获取此值的详细信息，请参阅此 HDFS 文档。

connectionSpec.id

连接规范返回源的连接器属性，包括与创建基础连接和源连接相关的验证规范。 AdWords的连接规范ID为： 54e221aa-d342-4707-bcff-7a4bceef0001。

使用平台API

有关如何成功调用平台API的信息，请参阅平台API快速入门指南。

创建基本连接

基本连接会保留您的源和平台之间的信息，包括源的身份验证凭据、连接的当前状态以及唯一的基本连接ID。基本连接ID允许您浏览和浏览源中的文件，并标识要摄取的特定项目，包括有关其数据类型和格式的信息。

要创建基本连接ID，请在提供HDFS身份验证凭据作为POST参数的一部分时，向/connections端点请求请求。

API格式

POST /connections

请求

以下请求为HDFS创建基本连接：

curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {ORG_ID}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "HDFS test connection",
        "description": "A test connection for an HDFS source",
        "auth": {
            "specName": "Anonymous Authentication",
            "params": {
                "url": "{URL}"
                }
        },
        "connectionSpec": {
            "id": "54e221aa-d342-4707-bcff-7a4bceef0001",
            "version": "1.0"
        }
    }'

属性

描述

auth.params.url

用于定义匿名连接到HDFS所需的身份验证参数的URL

connectionSpec.id

HDFS连接规范ID： 54e221aa-d342-4707-bcff-7a4bceef0001。

响应

成功的响应返回新创建的连接的详细信息，包括其唯一标识符(id)。在下个教程中，需要此ID才能浏览您的数据。

{
    "id": "6a6a880a-2b15-4051-aa88-0a2b1570516d",
    "etag": "\"1801bb7d-0000-0200-0000-5ed6ad580000\""
}

后续步骤

通过学习本教程，您已使用Flow Service API创建了HDFS连接并获取该连接的唯一ID值。在学习如何使用流服务API探索第三方云存储时，您可以在下一个教程中使用此ID。

recommendation-more-help

337b99bb-92fb-42ae-b6b7-c7042161d089