使用API从第三方云存储系统中摄取镶木数 Flow Service 据

Flow Service 用于收集和集中Adobe Experience Platform内不同来源的客户数据。该服务提供用户界面和RESTful API，所有支持的源都可从中连接。

本教程使 Flow Service 用API指导您完成从第三方云存储系统中采集镶木数据的步骤。

入门指南

本指南要求对Adobe Experience Platform的下列部分有工作上的理解：

来源: Experience Platform 允许从各种来源摄取数据，同时使您能够使用服务来构建、标记和增强传入数 Platform 据。
沙箱: Experience Platform 提供将单个实例分为单独的虚 Platform 拟环境的虚拟沙箱，以帮助开发和发展数字体验应用程序。

以下各节提供您需要了解的其他信息，以便使用API从第三方云存储成功获取镶木 Flow Service 数据。

读取示例API调用

本教程提供示例API调用，以演示如何设置请求的格式。这包括路径、必需的标头和格式正确的请求负载。还提供API响应中返回的示例JSON。有关示例API调用文档中使用的惯例的信息，请参阅疑难解答指南中有关如何阅读示例API调用 Experience Platform 一节。

收集所需标题的值

要调用API，您必 Platform 须先完成身份验证教程。完成身份验证教程可为所有API调用中的每个所需 Experience Platform 标头提供值，如下所示：

Authorization: Bearer {ACCESS_TOKEN}
x-api-key: {API_KEY}
x-gw-ims-org-id: {IMS_ORG}

中的所有资 Experience Platform源(包括属于这些资 Flow Service源)都与特定虚拟沙箱隔离。对API的 Platform 所有请求都需要一个标头，它指定操作将在中进行的沙箱的名称：

x-sandbox-name:

所有包含有效负荷(POST、PUT、PATCH)的请求都需要额外的媒体类型标头：

Content-Type: application/json

创建连接

要使用API收录拼花 Platform 存储，您必须对您访问的第三方云数据源具有有效连接。如果您尚未连接要使用的存储，则可以通过以下教程创建一个连接：

获取并存储连接的唯$id一标识符()，然后继续执行本教程的下一步。

创建目标模式

为了在中使用源数据，还必 Platform须创建目标模式，以根据您的需要构建源数据。然后，目标模式用于创建包含 Platform 源数据的数据集。

如果您希望在中使用用户界 Experience Platform面，模式编辑器教程提供了在模式编辑器中执行类似操作的分步说明。

API格式

POST /schemaregistry/tenant/schemas

请求

以下示例请求创建一个扩展XDM类的XDM模式 Individual Profile 符。

curl -X POST \
    'https://platform.adobe.io/data/foundation/schemaregistry/tenant/schemas' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
    "type": "object",
    "title": "Sample Demo Profile XDM {{$guid}}",
    "description": "",
    "allOf": [
        {
            "$ref": "https://ns.adobe.com/xdm/context/profile"
        },
        {
            "$ref": "https://ns.adobe.com/xdm/context/profile-person-details"
        },
        {
            "$ref": "https://ns.adobe.com/xdm/context/profile-personal-details"
        },
        {
            "$ref": "https://ns.adobe.com/xdm/context/profile-work-details"
        },
        {
            "$ref": "https://ns.adobe.com/xdm/context/profile-subscriptions"
        },
        {
            "$ref": "https://ns.adobe.com/xdm/context/identitymap"
        }
    ],
    "meta:containerId": "tenant",
    "meta:resourceType": "schemas",
    "meta:xdmType": "object",
    "meta:class": "https://ns.adobe.com/xdm/context/profile"
}'

响应

成功的响应会返回新创建模式的详细信息，包括其唯一标识符($id)。下一步需要此ID才能创建源连接。

{
    "$id": "https://ns.adobe.com/{TENANT_ID}/schemas/e15530faf88aeb52d9ca5c5671a059f44f1a42ea7f5fdb80",
    "meta:altId": "_{TENANT_ID}.schemas.e15530faf88aeb52d9ca5c5671a059f44f1a42ea7f5fdb80",
    "meta:resourceType": "schemas",
    "version": "1.0",
    "title": "Sample Demo Profile XDM 8d96a964-aad8-43c5-a73a-c8b9b1ccbfb1",
    "type": "object",
    "description": "",
    "allOf": [
        {
            "$ref": "https://ns.adobe.com/xdm/context/profile",
            "type": "object",
            "meta:xdmType": "object"
        },
        {
            "$ref": "https://ns.adobe.com/xdm/context/profile-person-details",
            "type": "object",
            "meta:xdmType": "object"
        },
        {
            "$ref": "https://ns.adobe.com/xdm/context/profile-personal-details",
            "type": "object",
            "meta:xdmType": "object"
        },
        {
            "$ref": "https://ns.adobe.com/xdm/context/profile-work-details",
            "type": "object",
            "meta:xdmType": "object"
        },
        {
            "$ref": "https://ns.adobe.com/xdm/context/profile-subscriptions",
            "type": "object",
            "meta:xdmType": "object"
        },
        {
            "$ref": "https://ns.adobe.com/xdm/context/identitymap",
            "type": "object",
            "meta:xdmType": "object"
        }
    ],
    "refs": [
        "https://ns.adobe.com/xdm/context/profile-person-details",
        "https://ns.adobe.com/xdm/context/profile-personal-details",
        "https://ns.adobe.com/xdm/context/profile",
        "https://ns.adobe.com/xdm/context/profile-subscriptions",
        "https://ns.adobe.com/xdm/context/identitymap",
        "https://ns.adobe.com/xdm/context/profile-work-details"
    ],
    "imsOrg": "{IMS_ORG}",
    "meta:extensible": false,
    "meta:abstract": false,
    "meta:extends": [
        "https://ns.adobe.com/xdm/context/profile-person-details",
        "https://ns.adobe.com/xdm/context/profile-personal-details",
        "https://ns.adobe.com/xdm/common/auditable",
        "https://ns.adobe.com/xdm/data/record",
        "https://ns.adobe.com/xdm/context/profile",
        "https://ns.adobe.com/xdm/context/profile-subscriptions",
        "https://ns.adobe.com/xdm/context/identitymap",
        "https://ns.adobe.com/xdm/context/profile-work-details"
    ],
    "meta:xdmType": "object",
    "meta:registryMetadata": {
        "repo:createdDate": 1584673864341,
        "repo:lastModifiedDate": 1584673864341,
        "xdm:createdClientId": "{CREATED_CLIENT_ID}",
        "xdm:lastModifiedClientId": "{MODIFIED_CLIENT_ID}",
        "xdm:createdUserId": "{CREATED_USER_ID}",
        "xdm:lastModifiedUserId": "{MODIFIED_USER_ID}",
        "eTag": "fa704f80da907c8f0f66f453ffcac3e52958687edbf55d71231dc5e1522193c4"
    },
    "meta:class": "https://ns.adobe.com/xdm/context/profile",
    "meta:containerId": "tenant",
    "meta:tenantNamespace": "_{TENANT_ID}"
}

创建源连接

创建目标XDM模式后，现在可以使用对API的POST请求创建源连 Flow Service 接。源连接包括API的连接、源数据格式和对在上一步中检索的目标XDM模式的引用。

API格式

POST /sourceConnections

请求

curl -X POST \
    'http://platform.adobe.io/data/foundation/flowservice/sourceConnections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Source Connection S3 {{$guid}}",
        "baseConnectionId": "5831c52c-c261-4945-b1c5-2cc261d945b2",
        "connectionSpec": {
            "id": "ecadc60c-7455-4d87-84dc-2a0e293d997b",
            "version": 1
        },
        "data": {
            "format": "parquet_xdm",
            "schema": {
                "id": "https://ns.adobe.com/{TENANT_ID}/schemas/e15530faf88aeb52d9ca5c5671a059f44f1a42ea7f5fdb80",
                "id": "",
                "version": "application/vnd.adobe.xed-full+json;version=1.0"
            }
        },
        "params": {
            "path": "partners-demo/samples",
            "recursive": "true"
        }
    }'

属性	描述
`baseConnectionId`	表示您的云存储的API连接。
`data.schema.id`	()`$id`如果目标xdm模式在上一步中检索到。
`params.path`	源文件的路径。

响应

成功的响应会返回新创建的源id连接的唯一标识符()。按照以后创建目标连接的步骤中的要求存储此值。

{
    "id": "73bc8911-505a-4e46-bc89-11505a6e466f",
    "etag": "\"c4004435-0000-0200-0000-5e7437d90000\""
}

创建数据集基础连接

为了将外部数据引入，必 Platform须先获 Experience Platform 取数据集基础连接。

要创建数据集基础连接，请按照数据集基础连接教程中概述的步骤操作。

继续按照开发人员指南中所述的步骤操作，直到您创建了数据集基础连接。获取并存储唯一标识符($id)，然后在下一步中继续将它用作基本连接ID以创建目标连接。

创建目标数据集

通过向Catalog Service API执行目标请求，提供有效负荷中POST模式的ID，可以创建目标数据集。

API格式

POST /catalog/dataSets

请求

curl -X POST \
    'https://platform.adobe.io/data/foundation/catalog/dataSets?requestDataSource=true' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Leads Dataset {{$guid}}",
        "schemaRef": {
            "id": ""https://ns.adobe.com/{TENANT_ID}/schemas/e15530faf88aeb52d9ca5c5671a059f44f1a42ea7f5fdb80"",
            "contentType": "application/vnd.adobe.xed-full-notext+json; version=1"
        },
        "fileDescription": {
            "format": "parquet"
        }
    }'

属性	描述
`schemaRef.id`	目标XDM模式的ID。

响应

成功的响应会返回一个数组，其中包含格式为新创建数据集的ID "@/datasets/{DATASET_ID}"。数据集ID是由系统生成的只读字符串，用于在API调用中引用数据集。按照后续步骤中的要求存储目标数据集ID，以创建目标连接和数据流。

[
    "@/dataSets/5e7439b1ad55a618ad4c5102"
]

创建目标连接

您现在具有数据集基础连接、目标模式和目标数据集的唯一标识符。使用这些标识符，您可以使用API创建目标 Flow Service 连接，以指定将包含入站源数据的数据集。

API格式

POST /targetConnections

请求

curl -X POST \
    'http://platform.adobe.io/data/foundation/flowservice/targetConnections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "baseConnectionId": "291257e3-c560-4e07-9257-e3c5606e07d1",
        "connectionSpec": {
            "id":"c604ff05-7f1a-43c0-8e18-33bf874cb11c",
            "version": "1.0"
        },
        "name": "Target Connection {{$guid}}",
        "data": {
            "format": "parquet_xdm",
            "schema": {
                "id": ""https://ns.adobe.com/{TENANT_ID}/schemas/e15530faf88aeb52d9ca5c5671a059f44f1a42ea7f5fdb80"",
                "version": "application/vnd.adobe.xed-full+json;version=1.0"
            }
        },
        "params": {
            "dataSetId": "5e7439b1ad55a618ad4c5102"
        }
    }'

属性	描述
`baseConnectionId`	数据集基础连接的ID。
`data.schema.id`	目标 `$id` XDM模式。
`params.dataSetId`	目标数据集的ID。
`connectionSpec.id`	云存储的连接规范ID。

响应

成功的响应会返回新目标连接的唯一标识符(id)。按照后续步骤中的要求存储此值。

{
    "id": "9b3abc95-f2e9-47c1-babc-95f2e927c1ec",
    "etag": "\"7501936b-0000-0200-0000-5e743bcc0000\""
}

创建数据流

从第三方云存储中获取拼花数据的最后一步是创建数据流。现在，您准备了以下必需值：

源连接ID
目标连接ID

数据流负责从源调度和收集数据。通过在有效负荷中提供先前提到的值时执行POST请求，可以创建数据流。

API格式

POST /flows

请求

curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/flows' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Demo Parquet Ingestion Flow {{$guid}}",
        "flowSpec": {
            "id": "9753525b-82c7-4dce-8a9b-5ccfce2b9876",
            "version": "1.0"
        },
        "sourceConnectionIds": [
            "73bc8911-505a-4e46-bc89-11505a6e466f"
        ],
        "targetConnectionIds": [
            "9b3abc95-f2e9-47c1-babc-95f2e927c1ec"
        ],
        "scheduleParams": {
            "startTime": {{$timestamp}},
            "frequency": "minute",
            "interval": 1000,
            "backfill": true
        }
    }'

属性	描述
`sourceConnectionIds`	在先前步骤中检索的源连接ID。
`targetConnectionIds`	在之前的步骤中检索的目标连接ID。

响应

成功的响应会返回新创id建的数据流的ID()。

{
    "id": "89ff50ef-b082-426e-bf50-efb082d26e78",
    "etag": "\"890070b8-0000-0200-0000-5e743c040000\""
}

后续步骤

通过遵循本教程，您已创建了一个源连接器，以按计划从第三方云存储系统收集拼花数据。现在，下游服务（如和）可 Platform 以使用传入 Real-time Customer Profile 数据 Data Science Workspace。有关更多详细信息，请参阅以下文档:

adobe.com 上的资源

Embedded Charts Document Generation Content As A Service Digital Signage Email Reporting Enterprise Search Tools

使用API从第三方云存储系统中摄取镶木数 Flow Service 据

入门指南

读取示例API调用

收集所需标题的值

创建连接

创建目标模式

创建源连接

创建数据集基础连接

创建目标数据集

创建目标连接

创建数据流

后续步骤

adobe.com 上的资源

在此页面上

查看下一个：