使用Flow Service API创建Apache HDFS源连接

注意

Apache HDFS连接器处于测试状态。 有关使用测试版标记的连接器的详细信息,请参阅源概述

Flow Service 用于收集和集中来自不同来源的客户数据以引入Adobe Experience Platform。该服务提供用户界面和RESTful API,所有受支持的源都可从中连接。

本教程使用Flow Service API指导您完成将Apache Hadoop Distributed File System(以下简称“HDFS”)连接到Experience Platform的步骤。

入门指南

本指南要求对Adobe Experience Platform的以下组件有充分的了解:

  • 来源: Experience Platform 允许从各种来源摄取数据,同时使您能够使用服务来构建、标记和增强传入数 Platform 据。
  • 沙箱: Experience Platform 提供将单个实例分区为单 Platform 独虚拟环境的虚拟沙箱,以帮助开发和发展数字体验应用程序。

以下各节提供了使用Flow Service API成功连接到HDFS所需了解的其他信息。

收集所需凭据

凭据 描述
url URL定义匿名连接到HDFS所需的身份验证参数。 有关如何获取此值的详细信息,请参阅此HDFS文档
connectionSpec.id 创建连接所需的标识符。 HDFS的固定连接规范ID为54e221aa-d342-4707-bcff-7a4bceef0001

读取示例API调用

本教程提供示例API调用,以演示如何设置请求的格式。 这包括路径、必需的标头和格式正确的请求负载。 还提供API响应中返回的示例JSON。 有关示例API调用文档中使用的约定的信息,请参阅Experience Platform疑难解答指南中关于如何读取示例API调用🔗的部分。

收集所需标题的值

要调用Platform API,您必须首先完成身份验证教程。 完成身份验证教程后,将为所有Experience Platform API调用中每个所需标头提供值,如下所示:

  • Authorization: Bearer {ACCESS_TOKEN}
  • x-api-key: {API_KEY}
  • x-gw-ims-org-id: {IMS_ORG}

Experience Platform中的所有资源(包括属于Flow Service的资源)都隔离到特定虚拟沙箱。 对Platform API的所有请求都需要一个头,该头指定操作将在中执行的沙箱的名称:

  • x-sandbox-name: {SANDBOX_NAME}

所有包含有效负荷(POST、PUT、PATCH)的请求都需要额外的媒体类型标头:

  • Content-Type: application/json

创建连接

连接指定源并包含该源的凭据。 每个HDFS帐户只需要一个连接,因为它可用于创建多个源连接器以导入不同的数据。

API格式

POST /connections

请求

以下请求将创建新的HDFS连接,该连接由负载中提供的属性进行配置:

curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "HDFS test connection",
        "description": "A test connection for an HDFS source",
        "auth": {
            "specName": "Anonymous Authentication",
            "params": {
                "url": "{URL}"
                }
        },
        "connectionSpec": {
            "id": "54e221aa-d342-4707-bcff-7a4bceef0001",
            "version": "1.0"
        }
    }'
属性 描述
auth.params.url 定义匿名连接到HDFS所需的身份验证参数的URL
connectionSpec.id HDFS连接规范ID:54e221aa-d342-4707-bcff-7a4bceef0001

响应

成功的响应返回新创建的连接的详细信息,包括其唯一标识符(id)。 在下一个教程中浏览数据时需要此ID。

{
    "id": "6a6a880a-2b15-4051-aa88-0a2b1570516d",
    "etag": "\"1801bb7d-0000-0200-0000-5ed6ad580000\""
}

后续步骤

通过本教程,您已使用Flow Service API创建了HDFS连接,并已获得该连接的唯一ID值。 在下一个教程中,您可以使用此ID,因为您将学习如何使用流服务API🔗浏览第三方云存储。

On this page