使用Flow Service API为数据库源创建数据流
本教程介绍从数据库源检索数据以及使用Flow Service API将数据引入Experience Platform的步骤。
注意- 要创建数据流，您必须已经具有带数据库源的有效基本连接ID。 如果没有此ID，请参阅源概述，以查看可创建基本连接的数据库源的列表。
- 要让Experience Platform摄取数据，必须将所有基于表的批处理源的时区配置为UTC时区。 Snowflake 源唯一支持的时间戳是带有UTC时间的TIMESTAMP_NTZ。
快速入门
本教程要求您实际了解Adobe Experience Platform的以下组件：
-
Experience Data Model (XDM) System： Experience Platform用于组织客户体验数据的标准化框架。
- 架构组合的基础知识：了解XDM架构的基本构建块，包括架构组合中的关键原则和最佳实践。
- 架构注册表开发人员指南：包含成功执行对架构注册表API的调用所需了解的重要信息。 这包括您的
{TENANT_ID}、“容器”的概念以及发出请求所需的标头（请特别注意“接受”标头及其可能的值）。
-
Catalog Service：目录是Experience Platform中数据位置和谱系的记录系统。
-
Batch ingestion：批量摄取API允许您将数据作为批处理文件摄取到Experience Platform中。
-
沙盒： Experience Platform提供了将单个Experience Platform实例划分为多个单独的虚拟环境的虚拟沙盒，以帮助开发和改进数字体验应用程序。
使用Experience Platform API
有关如何成功调用Experience Platform API的信息，请参阅Experience Platform API快速入门指南。
创建源连接
您可以通过向Flow Service API发出POST请求来创建源连接。 源连接由连接ID、源数据文件的路径以及连接规范ID组成。
要创建源连接，还必须为数据格式属性定义一个枚举值。
为基于文件的连接器使用以下枚举值：
| 数据格式 | 枚举值 |
|---|---|
| 已分隔 | delimited |
| JSON | json |
| Parquet | parquet |
对于所有基于表的连接器，将该值设置为tabular。
API格式
POST /sourceConnections
请求
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/sourceConnections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "Database source connection",
"baseConnectionId": "6990abad-977d-41b9-a85d-17ea8cf1c0e4",
"description": "Database source connection",
"data": {
"format": "tabular"
},
"params": {
"tableName": "test1.Mytable",
"columns": [
{
"name": "TestID",
"type": "string",
"xdm": {
"type": "string"
}
},
{
"name": "Name",
"type": "string",
"xdm": {
"type": "string"
}
},
{
"name": "Datefield",
"type": "string",
"meta:xdmType": "date-time",
"xdm": {
"type": "string",
"format": "date-time"
}
}
],
"cdcEnabled": true
},
"connectionSpec": {
"id": "3c9b37f8-13a6-43d8-bad3-b863b941fedd",
"version": "1.0"
}
}'
响应
成功的响应返回新创建的源连接的唯一标识符(id)。 在后续步骤中，创建目标连接时需要此ID。
{
"id": "b7581b59-c603-4df1-a689-d23d7ac440f3",
"etag": "\"ef05d265-0000-0200-0000-6019e0080000\""
}
创建目标XDM架构
为了在Experience Platform中使用源数据，必须创建目标架构，以根据您的需求构建源数据。 然后，使用目标架构创建包含源数据的Experience Platform数据集。
通过对架构注册表API执行POST请求，可以创建目标XDM架构。
有关如何创建目标XDM架构的详细步骤，请参阅有关使用API 创建架构的教程。
创建目标数据集
通过向目录服务API执行POST请求，在有效负载中提供目标架构的ID，可以创建目标数据集。
有关如何创建目标数据集的详细步骤，请参阅有关使用API创建数据集的教程。
创建目标连接
目标连接表示与所摄取数据所登陆的目标之间的连接。 要创建目标连接，您必须提供与数据湖关联的固定连接规范ID。 此连接规范ID为： c604ff05-7f1a-43c0-8e18-33bf874cb11c。
现在，您拥有目标架构、目标数据集以及到数据湖的连接规范ID的唯一标识符。 使用Flow Service API，您可以通过指定这些标识符以及将包含入站源数据的数据集来创建目标连接。
API格式
POST /targetConnections
请求
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "Database target connection",
"description": "Database target connection",
"data": {
"schema": {
"id": "https://ns.adobe.com/{TENANT_ID}/schemas/52b59140414aa6a370ef5e21155fd7a686744b8739ecc168",
"version": "application/vnd.adobe.xed-full+json;version=1"
}
},
"params": {
"dataSetId": "6019e0e7c5dcf718db5ebc71"
},
"connectionSpec": {
"id": "c604ff05-7f1a-43c0-8e18-33bf874cb11c",
"version": "1.0"
}
}'
| 属性 | 描述 |
|---|---|
data.schema.id | 目标XDM架构的$id。 |
data.schema.version | 架构的版本。 此值必须设置为application/vnd.adobe.xed-full+json;version=1，这将返回架构的最新次版本。 |
params.dataSetId | 上一步中生成的目标数据集的ID。 注意：创建目标连接时，必须提供有效的数据集ID。 无效的数据集ID将导致错误。 |
connectionSpec.id | 用于连接到数据湖的连接规范ID。 此ID为： c604ff05-7f1a-43c0-8e18-33bf874cb11c。 |
响应
成功的响应返回新目标连接的唯一标识符(id)。 在后续步骤中需要使用此值来创建数据流。
{
"id": "320f119a-5ac1-4ab1-88ea-eb19e674ea2e",
"etag": "\"c0038936-0000-0200-0000-6019e1190000\""
}
创建映射
要将源数据摄取到目标数据集中，必须首先将其映射到目标数据集所遵循的目标架构。
要创建映射集，请在提供目标XDM架构mappingSets和要创建的映射集的详细信息时，向Data Prep API的$id端点发出POST请求。
API格式
POST /mappingSets
请求
curl -X POST \
'https://platform.adobe.io/data/foundation/conversion/mappingSets' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"version": 0,
"xdmSchema": "https://ns.adobe.com/{TENANT_ID}/schemas/52b59140414aa6a370ef5e21155fd7a686744b8739ecc168",
"xdmVersion": "1.0",
"id": null,
"mappings": [
{
"destinationXdmPath": "_id",
"sourceAttribute": "TestID",
"identity": false,
"identityGroup": null,
"namespaceCode": null,
"version": 0
},
{
"destinationXdmPath": "person.name.fullName",
"sourceAttribute": "Name",
"identity": false,
"identityGroup": null,
"namespaceCode": null,
"version": 0
},
{
"destinationXdmPath": "person.birthDate",
"sourceAttribute": "Datefield",
"identity": false,
"identityGroup": null,
"namespaceCode": null,
"version": 0
}
]
}'
| 属性 | 描述 |
|---|---|
xdmSchema | 目标XDM架构的$id。 |
响应
成功的响应返回新创建的映射的详细信息，包括其唯一标识符(id)。 此ID是稍后步骤创建数据流所必需的。
{
"id": "0b090130b58b4819afc78b6dc98b484d",
"version": 0,
"createdDate": 1612309018666,
"modifiedDate": 1612309018666,
"createdBy": "{CREATED_BY}",
"modifiedBy": "{MODIFIED_BY}"
}