Amazon S3源
Adobe Experience Platform为AWS、Google Cloud Platform和Azure等云提供商提供本机连接。 您可以将这些系统中的数据导入Experience Platform。
云存储源可以将您自己的数据导入Experience Platform,而无需下载、格式化或上传。 引入的数据可以格式化为XDM JSON、XDM Parquet或分隔。 该过程的每个步骤都集成到源工作流中。 Experience Platform允许您通过批处理从S3引入数据。
设置您的Amazon S3源以在Azure上Experience Platform azure
请按照以下步骤了解如何设置您的Amazon S3帐户以在Azure上Experience Platform。
IP地址允许列表
在使用源连接器之前,必须将IP地址列表添加到允许列表中。 未能将特定于区域的IP地址添加到允许列表中,可能会导致使用源时出现错误或性能不佳。 有关详细信息,请参阅IP地址允许列表页。
文件和目录的命名约束
以下是命名云存储文件或目录时必须考虑的约束列表。
- 目录和文件组件名称不能超过255个字符。
- 目录和文件名不能以正斜杠(
/
)结尾。 如果提供,它将自动删除。 - 以下保留URL字符必须正确转义:
! ' ( ) ; @ & = + $ , % # [ ]
- 不允许使用以下字符:
" \ / : | < > * ?
。 - 不允许使用非法的URL路径字符。 诸如
\uE000
之类的代码点虽然在NTFS文件名中有效,但不是有效的Unicode字符。 此外,不允许使用某些ASCII或Unicode字符,如控制字符(0x00到0x1F、\u0081等)。 有关HTTP/1.1中Unicode字符串的规则,请参阅RFC 2616,第2.2节:基本规则和RFC 3987。 - 不允许使用以下文件名:LPT1、LPT2、LPT3、LPT4、LPT5、LPT6、LPT7、LPT8、LPT9、COM1、COM2、COM3、COM4、COM5、COM6、COM7、COM8、COM9、PRN、AUX、NUL、CON、CLOCK$、点字符(.)和两个点字符(…)。
在Amazon S3上配置权限
要使用S3摄取单个目录,您必须在S3控制台中为Platform创建一个Identity and Access Management (IAM)用户,并为以下操作分配权限:
s3:GetObject
s3:GetObjectVersion
浏览和测试连接也需要以下权限:
s3:ListAllMyBuckets
s3:ListBucket
s3:GetBucketLocation
文件路径(如myBucket/folder/subfolder/subsubfolder/abc.csv
)可能导致您仅访问subsubfolder/abc.csv
。 如果要访问子文件夹,可以在S3控制台中将bucket
参数指定为myBucket
,将folderPath
指定为folder/subfolder
,以确保文件探索从subfolder
开始,而不是从subsubfolder/abc.csv
开始。
使用临时安全凭据连接Amazon S3
您可以使用s3SessionToken
连接Amazon S3和临时安全凭据。 这允许您将Amazon S3连接到Platform,而无需使用Amazon Web Services创建永久IAM凭据,或向不受信任环境中的用户提供对您的Amazon S3存储段的访问权限。
临时安全凭据的工作方式与常规长期访问密钥凭据类似,只是您可以为临时凭据配置更短的到期日期。 可将过期时间设置为激活后的几分钟,或设置为几小时。 临时凭据也不包含在用户中。 这意味着您必须在临时凭据过期时请求一组新的临时凭据。
有关如何生成临时会话令牌的步骤,请参阅有关临时会话令牌的此AWS 文档。
设置您的Amazon S3源以便在Amazon Web Services上Experience Platform aws
请按照以下步骤了解如何设置您的Amazon S3帐户以在Amazon Web Services (AWS)上Experience Platform。
先决条件
若要将您的Amazon S3帐户连接到AWS上的Experience Platform,您必须具备以下条件:
- 有权访问要连接的Amazon S3存储段或文件夹的AWS帐户。
- 允许
s3:GetObject
和s3:ListBucket
操作的必要IAM权限。
在UI中访问Amazon S3源
- 在Experience PlatformUI中导航到源目录。
- 选择Amazon S3,然后选择 新帐户。
- 复制将IAM角色添加到IAM角色下面列出的 IAM允许列表。 您稍后将使用此IAM角色来设置Amazon S3存储段的权限。
设置权限
您必须在Amazon S3存储段中配置必要权限,才能成功从AWS区域摄取数据。 要访问的存储桶策略必须与您使用的凭据关联。
请按照以下步骤更新您的Amazon S3存储段:
- 在AWS管理控制台中登录到您的帐户。
- 导航到您的Amazon S3存储段,然后选择 Permissions。
- 编辑存储桶策略并添加以下权限:
AWS
的值,使用您的Amazon S3存储段或文件夹更新Resource
的值。{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "AEP Get Object Related Policy Prod",
"Effect": "Allow",
"Principal": {
"AWS": "{IAM_ROLE_TO_ALLOW_LIST}"
},
"Action": "s3:Get*",
"Resource": "arn:aws:s3:::{YOUR_BUCKET_NAME}/{YOUR_FOLDER_NAME}"
},
{
"Sid": "AEP List Bucket Prod",
"Effect": "Allow",
"Principal": {
"AWS": "{IAM_ROLE_TO_ALLOW_LIST}"
},
"Action": "s3:ListBucket",
"Resource": "arn:aws:s3:::{YOUR_BUCKET_NAME}"
}
]
}
提供您的Amazon S3连接详细信息并验证和完成连接
设置权限后,返回Experience PlatformUI中的源目录并导航到Amazon S3源设置页面。 提供您要连接到的Amazon S3存储段的名称,并在适用的情况下提供存储段内特定文件夹的路径。 要验证您的设置,请选择 测试连接。 如果成功,则可以继续并创建数据流以将云存储数据摄取到Experience Platform。
后续步骤
以下文档提供了有关如何使用API或用户界面将Amazon S3连接到Experience Platform的信息: