使用UI从Snowflake数据库流式传输数据以Experience Platform
按照本指南了解如何使用用户界面将数据从Snowflake数据库流式传输到Adobe Experience Platform。
快速入门
本教程需要对以下Experience Platform组件有一定的了解:
-
Experience Data Model (XDM) 系统: Experience Platform用于组织客户体验数据的标准化框架。
-
Real-Time Customer Profile:根据来自多个源的汇总数据,提供统一的实时使用者个人资料。
身份验证
阅读 Snowflake 流式数据🔗的必备项设置指南,以了解在将流式数据从Snowflake摄取到Experience Platform之前需要完成的相关步骤。
使用Snowflake Streaming源流式传输Snowflake数据以Experience Platform
在Platform UI中,从左侧导航中选择 源 以访问源工作区。 您可以从屏幕左侧的目录中选择相应的类别。 或者,您可以使用搜索选项查找您要使用的特定源。
在 数据库 类别下,选择 Snowflake Streaming,然后选择 添加数据。
出现 连接Snowflake流帐户 页面。 在此页上,您可以使用新的或现有的身份证明。
要创建新帐户,请选择 新帐户,并提供名称、可选描述和您的凭据。
完成后,选择 连接到源,然后留出一些时间来建立新连接。
table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 7-row-2 | |
---|---|
凭据 | 描述 |
帐户 | Snowflake帐户的名称。 有关帐户名称的约定,请阅读Snowflake Streaming 身份验证指南。 |
仓库 | Snowflake仓库的名称。 仓库管理Snowflake中查询的执行。 每个Snowflake仓库彼此独立,必须单独访问才能将数据导入Experience Platform。 |
数据库 | Snowflake数据库的名称。 数据库包含要带入Experience Platform的数据。 |
架构 | (可选)与您的Snowflake帐户关联的数据库架构。 |
用户名 | Snowflake帐户的用户名。 |
密码 | Snowflake帐户的密码。 |
角色 | (可选)可以为给定连接提供给用户的自定义角色。 如果未提供,此值默认为public 。 |
有关帐户创建的更多信息,请参阅Snowflake Streaming概述中有关配置角色设置的部分。
若要使用现有帐户,请选择 现有帐户,然后从现有帐户目录中选择所需的帐户。
选择 下一步 以继续。
选择数据 select-data
-
时间戳列必须存在于源表中,才能创建流数据流。 Experience Platform需要时间戳才能知道何时摄取数据以及何时对增量数据进行流式处理。 您可以为现有连接逆向添加时间戳列并创建新数据流。
-
确保示例源数据文件中的数据字段的大小写符合Snowflake关于标识符的大小写解析的指南。 有关详细信息,请阅读标识符大小写🔗上的Snowflake 文档。
出现选择数据步骤。 在此步骤中,您必须选择要导入到Experience Platform中的数据,配置时间戳和时区,并提供用于摄取原始数据的示例源数据文件。
使用屏幕左侧的数据库目录并选择要导入到Experience Platform的表。
接下来,选择表的时间戳列类型。 您可以在两种类型的时间戳列之间进行选择: TIMESTAMP_NTZ
或TIMESTAMP_LTZ
。 如果选择列类型为TIMESTAMP_NTZ
,则还必须提供时区。 列应具有非null约束。 有关详细信息,请阅读有关[限制和常见问题解答]的部分
您还可以在此步骤中配置回填设置。 回填可确定最初摄取的数据。 如果启用了回填,则指定路径中的所有当前文件将在第一次计划摄取期间摄取。 如果没有,则只摄取在第一次引入运行与开始时间之间加载的文件。 将不会摄取在开始时间之前加载的文件。
选择 回填 切换开关以启用回填。
最后,选择 选择文件 以上传样本源数据以帮助创建映射集,该映射集将在以后的步骤中用于将原始数据映射到Experience Data Model (XDM)。
完成后,选择 下一步 以继续。
提供数据集和数据流详细信息 provide-dataset-and-dataflow-details
接下来,您必须提供有关数据集和数据流的信息。
数据集详细信息 dataset-details
数据集是用于数据集合的存储和管理结构,通常是表格,其中包含架构(列)和字段(行)。成功引入Experience Platform的数据将作为数据集保留在数据湖中。 在此步骤中,您可以创建新数据集或使用现有数据集。
要使用新数据集,请选择 新数据集,然后为您的数据集提供名称和可选描述。 您还必须选择数据集所遵循的体验数据模型(XDM)架构。
table 0-row-2 1-row-2 2-row-2 3-row-2 | |
---|---|
新数据集详细信息 | 描述 |
输出数据集名称 | 新数据集的名称。 |
描述 | (可选)新数据集的简短概述。 |
架构 | 您的组织中存在的架构的下拉列表。 您还可以在源配置过程之前创建自己的架构。 有关详细信息,请参阅在UI中创建XDM架构的指南。 |
如果您已经有一个现有数据集,请选择 现有数据集,然后使用 高级搜索 选项查看组织中所有数据集的窗口,包括其各自的详细信息,例如是否允许将这些数据集摄取到Real-time Customer Profile。
如果您的数据集启用了实时客户个人资料,那么在此步骤中,您可以切换 个人资料数据集 以启用您的数据以进行个人资料摄取。 您还可以使用此步骤启用 错误诊断 和 部分摄取。
- 错误诊断:选择 错误诊断 以指示源生成错误诊断,以便以后在监视数据集活动和数据流状态时可以引用这些诊断。
- 部分摄取:部分批次摄取是摄取包含错误的数据的能力,最多可摄取特定可配置阈值。 此功能允许您成功地将所有准确的数据提取到Experience Platform中,同时所有不正确的数据将单独进行批处理并显示有关其无效原因的信息。
数据流详细信息 dataflow-details
配置数据集后,您必须提供有关数据流的详细信息,包括名称、可选描述和警报配置。
Experience Platform可以生成基于事件的警报,供用户订阅。 这些选项需要一个正在运行的数据流来触发它们。 有关详细信息,请阅读警报概述
- 源数据流运行开始:选择此警报以在数据流运行开始时接收通知。
- 源数据流运行成功:选择此警报以在数据流结束且没有任何错误时接收通知。
- 源数据流运行失败:选择此警报以在数据流运行结束时发生任何错误时接收通知。
完成后,选择 下一步 以继续。
将字段映射到XDM架构 mapping
出现映射步骤。 使用映射界面将源数据映射到相应的架构字段,然后再将该数据提取到Experience Platform中,然后选择 下一步。 有关如何使用映射界面的详细指南,请阅读数据准备UI指南以了解更多信息。
查看您的数据流 review
数据流创建过程的最后一步是在执行数据流之前对其进行检查。 使用 查看 步骤可在新数据流运行之前查看其详细信息。 详细信息按以下类别分组:
- 连接:显示源类型、所选源文件的相关路径以及该源文件中的列数。
- 分配数据集和映射字段:显示要将源数据摄取到哪个数据集,包括数据集所遵循的架构。
查看数据流后,选择 完成,然后等待一些时间来创建数据流。
后续步骤
通过完成本教程,您已成功为Snowflake数据创建了流数据流。 有关其他资源,请阅读下面的文档。
监测数据流
创建数据流后,您可以监视通过它摄取的数据,以查看有关摄取率、成功和错误的信息。 有关如何监视流数据流的详细信息,请访问有关在UI中监视流数据流的教程。
更新您的数据流
要更新数据流计划、映射和常规信息的配置,请访问有关在UI中更新源数据流的教程。
删除您的数据流
您可以删除不再必需的数据流或使用 数据流 工作区中提供的 删除 功能错误地创建的数据流。 有关如何删除数据流的详细信息,请访问有关在UI中删除数据流的教程。