使用Flow Service API为电子商务源创建数据流
本教程介绍了从电子商务源检索数据以及使用Flow Service API将这些数据引入Experience Platform的步骤。
NOTE
- 要创建数据流，您必须已具有包含电子商务源的有效基本连接ID。 如果您没有此ID，请查看源概述，以了解可创建基础连接的电子商务源的列表。
- 要让Experience Platform摄取数据，必须将所有基于表的批处理源的时区配置为UTC时区。
快速入门
本教程要求您实际了解Adobe Experience Platform的以下组件：
-
Experience Data Model (XDM) System： Experience Platform用于组织客户体验数据的标准化框架。
-
Catalog Service：目录是Experience Platform内数据位置和历程的记录系统。
-
Batch ingestion：批量摄取API允许您将数据作为批处理文件摄取到Experience Platform。
-
Sandboxes： Experience Platform提供了将单个Experience Platform实例划分为多个单独的虚拟环境的虚拟沙箱，以帮助开发和改进数字体验应用程序。
使用Experience Platform API
有关如何成功调用Experience Platform API的信息，请参阅Experience Platform API快速入门指南。
创建源连接 source
您可以通过向Flow Service API发出POST请求来创建源连接。 源连接由连接ID、源数据文件的路径以及连接规范ID组成。
要创建源连接，还必须为数据格式属性定义一个枚举值。
为基于文件的连接器使用以下枚举值：
数据格式
枚举值
已分隔
delimitedJSON
jsonParquet
parquet对于所有基于表的连接器，将该值设置为tabular。
API格式
POST /sourceConnections
请求
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/sourceConnections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "Shopify source connection",
"baseConnectionId": "582f4f8d-71e9-4a5c-a164-9d2056318d6c",
"description": "Shopify source connection",
"data": {
"format": "tabular"
},
"params": {
"tableName": "Shopify.Orders",
"columns": [
{
"name": "Email",
"type": "string"
},
{
"name": "Phone",
"type": "string"
},
]
},
"connectionSpec": {
"id": "4f63aa36-bd48-4e33-bb83-49fbcd11c708",
"version": "1.0"
}
}'
属性
描述
baseConnectionId电子商务源的连接ID。
params.path源文件的路径。
connectionSpec.id电子商务来源的连接规范ID。
响应
成功的响应返回新创建的源连接的唯一标识符(id)。 在后续步骤中，创建目标连接时需要此ID。
{
"id": "c278ab14-acdf-440b-b67f-1265d15a7655",
"etag": "\"10007c3f-0000-0200-0000-5fa9be720000\""
}
创建目标XDM架构 target-schema
为了在Experience Platform中使用源数据，必须创建目标架构，以根据您的需求构建源数据。 然后，使用目标架构创建包含源数据的Experience Platform数据集。
通过对架构注册表API执行POST请求，可以创建目标XDM架构。
有关如何创建目标XDM架构的详细步骤，请参阅有关使用API 创建架构的教程。
创建目标数据集 target-dataset
通过向目录服务API执行POST请求，在有效负载中提供目标架构的ID，可以创建目标数据集。
有关如何创建目标数据集的详细步骤，请参阅有关使用API创建数据集的教程。
创建目标连接 target-connection
目标连接表示与所摄取数据所登陆的目标之间的连接。 要创建目标连接，您必须提供与数据湖关联的固定连接规范ID。 此连接规范ID为： c604ff05-7f1a-43c0-8e18-33bf874cb11c。
现在，您拥有目标架构、目标数据集以及到数据湖的连接规范ID的唯一标识符。 使用Flow Service API，您可以通过指定这些标识符以及将包含入站源数据的数据集来创建目标连接。
API格式
POST /targetConnections
请求
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "Shopify target connection",
"description": "Shopify target connection",
"data": {
"format": "parquet_xdm",
"schema": {
"id": "https://ns.adobe.com/{TENANT_ID}/schemas/854ddc36ad2c7bd001f66a4392575ed4004f81883328772f",
"version": "application/vnd.adobe.xed-full-notext+json; version=1"
}
},
"params": {
"dataSetId": "5fa9c083de62e418dd170b42"
},
"connectionSpec": {
"id": "c604ff05-7f1a-43c0-8e18-33bf874cb11c",
"version": "1.0"
}
}'
属性
描述
data.schema.id目标XDM架构的
$id。data.schema.version架构的版本。 此值必须设置为
application/vnd.adobe.xed-full+json;version=1，这将返回架构的最新次版本。params.dataSetId上一步中生成的目标数据集的ID。 注意：创建目标连接时，必须提供有效的数据集ID。 无效的数据集ID将导致错误。
connectionSpec.id用于连接到数据湖的连接规范ID。 此ID为：
c604ff05-7f1a-43c0-8e18-33bf874cb11c。响应
成功的响应返回新目标连接的唯一标识符(id)。 在后续步骤中需要使用此值来创建数据流。
{
"id": "6c0ba537-a96b-4d74-8c95-450eb88baee8",
"etag": "\"00005506-0000-0200-0000-5fa9c13c0000\""
}
创建映射 mapping
要将源数据摄取到目标数据集中，必须首先将其映射到目标数据集所遵循的目标架构。
要创建映射集，请在提供目标XDM架构mappingSets和要创建的映射集的详细信息时，向Data Prep API的$id端点发出POST请求。
API格式
POST /mappingSets
请求
curl -X POST \
'https://platform.adobe.io/data/foundation/conversion/mappingSets' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"version": 0,
"xdmSchema": "https://ns.adobe.com/{TENANT_ID}/schemas/854ddc36ad2c7bd001f66a4392575ed4004f81883328772f",
"xdmVersion": "1.0",
"id": null,
"mappings": [
{
"destinationXdmPath": "personalEmail.address",
"sourceAttribute": "Email",
"identity": false,
"version": 0
},
{
"destinationXdmPath": "mobilePhone.number",
"sourceAttribute": "Shipping_Address_Phone",
"identity": false,
"version": 0
}
]
}'
属性
描述
xdmSchema目标XDM架构的
$id。响应
成功的响应返回新创建的映射的详细信息，包括其唯一标识符(id)。 此ID是稍后步骤创建数据流所必需的。
{
"id": "22922102bffd4369b6209c102a604062",
"version": 0,
"createdDate": 1604960750613,
"modifiedDate": 1604960750613,
"createdBy": "{CREATED_BY}",
"modifiedBy": "{MODIFIED_BY}"
}
查找数据流规范 specs
数据流负责从源中收集数据并将它们引入Experience Platform。 要创建数据流，您必须首先通过向Flow Service API执行GET请求来获取数据流规范。 数据流规范负责从电子商务源收集数据。
API格式
GET /flowSpecs?property=name=="CRMToAEP"
请求
curl -X GET \
'https://platform.adobe.io/data/foundation/flowservice/flowSpecs?property=name=="CRMToAEP"' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}'
响应
成功的响应将返回数据流规范的详细信息，该规范负责将数据从源引入Experience Platform。 响应包括创建新数据流所需的唯一流规范id。
NOTE
为简单起见，以下JSON响应有效负载已隐藏。 选择“payload”（有效负载）可查看响应有效负载。
查看有效负荷
| code language-json |
|---|
|
创建数据流
收集数据的最后一步是创建数据流。 此时，您应该准备以下所需的值：
数据流负责从源中计划和收集数据。 您可以通过在请求有效载荷中提供上述值时执行POST请求来创建数据流。
要计划摄取，您必须先将开始时间值设置为纪元时间（以秒为单位）。 然后，必须将频率值设置为五个选项之一： once、minute、hour、day或week。 间隔值用于指定两次连续摄取之间的时间段，创建一次性摄取不需要设置间隔。 对于所有其他频率，间隔值必须设置为等于或大于15。
API格式
POST /flows
请求
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/flows' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "Test Shopify dataflow",
"description": "Shopify With mapping ingestion",
"flowSpec": {
"id": "14518937-270c-4525-bdec-c2ba7cce3860",
"version": "1.0"
},
"sourceConnectionIds": [
"c278ab14-acdf-440b-b67f-1265d15a7655"
],
"targetConnectionIds": [
"6c0ba537-a96b-4d74-8c95-450eb88baee8"
],
"transformations": [
{
"name": "Mapping",
"params": {
"mappingId": "22922102bffd4369b6209c102a604062",
"mappingVersion": 0
}
}
],
"scheduleParams": {
"startTime": "1604961070",
"frequency": "once"
}
}'
属性
描述
flowSpec.id在上一步中检索到流规范ID。
sourceConnectionIds在之前的步骤中检索到源连接ID。
targetConnectionIds在之前的步骤中检索到目标连接ID。
transformations.params.mappingId在之前的步骤中检索到映射ID。
transformations.params.mappingId与您的电子商务来源关联的映射ID。
scheduleParams.startTime以纪元时间表示的数据流开始时间。
scheduleParams.frequency数据流将在其中收集数据的
frequency。 可接受的值包括： once、minute、hour、day或week。scheduleParams.interval间隔指定两次连续流运行之间的周期。 间隔的值应为非零整数。 每个频率的最小接受间隔值如下：
- 一次：不适用
- 分钟： 15
- 小时： 1
- 天： 1
- 周： 1
响应
成功的响应返回新创建的数据流的ID id。
{
"id": "20c115bc-46e3-40f3-bfe9-fb25abe4ba76",
"etag": "\"030018cb-0000-0200-0000-5fa9c31a0000\""
}
监测数据流
创建数据流后，您可以监视通过它摄取的数据，以查看有关流运行、完成状态和错误的信息。 有关如何监视数据流的详细信息，请参阅有关API中监视数据流的教程
后续步骤
通过学习本教程，您已创建一个源连接器以按计划收集数据电子商务。 下游Experience Platform服务（如Real-Time Customer Profile和Data Science Workspace）现在可以使用传入数据。 有关更多详细信息，请参阅以下文档：
recommendation-more-help
337b99bb-92fb-42ae-b6b7-c7042161d089