Source Amazon S3
Adobe Experience Platform fournit une connectivité native aux fournisseurs de cloud tels qu’AWS, Google Cloud Platform et Azure. Vous pouvez importer vos données de ces systèmes dans l’Experience Platform.
Les sources de stockage dans le cloud peuvent importer vos propres données dans l’Experience Platform sans avoir à les télécharger, les formater ou les charger. Les données ingérées peuvent être formatées sous la forme XDM JSON, XDM Parquet ou délimitées. Chaque étape du processus est intégrée dans le processus Sources. Experience Platform vous permet d’importer des données de S3 par lots.
Configurer votre source Amazon S3 pour Experience Platform sur Azure azure
Suivez les étapes ci-dessous pour savoir comment configurer votre compte Amazon S3 pour Experience Platform sur Azure.
Liste autorisée d’adresses IP
Une liste d’adresses IP doit être ajoutée à une liste autorisée avant d’utiliser les connecteurs source. Si vous n’ajoutez pas vos adresses IP spécifiques à une région à votre liste autorisée, des erreurs ou une absence de performances peuvent se produire lors de l’utilisation de sources. Voir la page liste autorisée d’adresses IP pour plus d’informations.
Contraintes de dénomination pour fichiers et répertoires
La liste suivante inclut les contraintes dont vous devez tenir compte lorsque vous nommez votre fichier ou répertoire de stockage dans le cloud.
- Les noms des composants de répertoire et de fichier ne doivent pas dépasser 255 caractères.
- Les noms de répertoire et de fichier ne peuvent pas se terminer par une barre oblique (
/
). Elle sera le cas échéant automatiquement supprimée. - Les caractères d’URL réservés suivants doivent être des caractères d’échappement :
! ' ( ) ; @ & = + $ , % # [ ]
- Les caractères suivants ne sont pas autorisés :
" \ / : | < > * ?
. - Caractères de chemin d’URL illégaux interdits. Les points de code tels que
\uE000
, bien que valides dans les noms de fichier NTFS, ne sont pas des caractères Unicode valides. En outre, certains caractères ASCII ou Unicode, tels que les caractères de contrôle (0x00 à 0x1F, \u0081, etc.), ne sont pas non plus autorisés. Pour les règles régissant les chaînes Unicode en HTTP/1.1, voir RFC 2616, section 2.2 : règles de base et RFC 3987. - Les noms de fichier suivants ne sont pas autorisés : LPT1, LPT2, LPT3, LPT4, LPT5, LPT6, LPT7, LPT8, LPT9, COM1, COM2, COM3, COM4, COM5, COM6, COM7, COM8, COM9, PRN, AUX, NUL, CON, CLOCK$, point (.) et deux points (…).
Configuration des autorisations sur Amazon S3
Pour ingérer un seul répertoire avec S3, vous devez créer un utilisateur Identity and Access Management (IAM) pour Platform dans la console S3 et attribuer des autorisations pour les actions suivantes :
s3:GetObject
s3:GetObjectVersion
Les autorisations suivantes sont également requises pour explorer et tester la connectivité :
s3:ListAllMyBuckets
s3:ListBucket
s3:GetBucketLocation
Un chemin d’accès au fichier tel que myBucket/folder/subfolder/subsubfolder/abc.csv
peut vous conduire à n’accéder qu’à subsubfolder/abc.csv
. Si vous souhaitez accéder au sous-dossier , vous pouvez spécifier le paramètre bucket
dans votre console S3 comme myBucket
et le folderPath
comme folder/subfolder
pour vous assurer que l’exploration des fichiers commence à subfolder
et non à subsubfolder/abc.csv
.
Utiliser des informations d’identification de sécurité temporaires pour se connecter Amazon S3
Vous pouvez Amazon S3 connecter à des informations d’identification de sécurité temporaires à l’aide de l’s3SessionToken
. Vous pouvez ainsi connecter Amazon S3 à Platform sans avoir à créer d’informations d’identification IAM permanentes avec Amazon Web Services ou fournir l’accès à votre compartiment de Amazon S3 aux utilisateurs dans des environnements non approuvés.
Les informations d’identification de sécurité temporaires fonctionnent de la même manière que les informations d’identification de clé d’accès standard et à long terme, sauf que vous pouvez configurer une date d’expiration plus courte pour vos informations d’identification temporaires. Les expirations peuvent être définies sur quelques minutes après l’activation ou jusqu’à plusieurs heures. Les informations d’identification temporaires ne sont pas non plus contenues avec l’utilisateur. Cela signifie que vous devez demander un nouveau jeu d’informations d’identification temporaires, lorsqu’elles expirent.
Pour savoir comment générer votre jeton de session temporaire, consultez ce AWS document sur les jetons de session temporaires.
Configurer votre source Amazon S3 pour Experience Platform sur Amazon Web Services aws
Pour découvrir comment configurer votre compte Amazon S3 pour Experience Platform sur Amazon Web Services (AWS), procédez comme suit.
Conditions préalables
Pour connecter votre compte Amazon S3 à Experience Platform sur AWS, vous devez disposer des éléments suivants :
- Un compte AWS avec un accès au compartiment ou au dossier Amazon S3 que vous souhaitez connecter.
- Les autorisations IAM nécessaires qui autorisent les actions
s3:GetObject
ets3:ListBucket
.
Accéder à la source de Amazon S3 dans l’interface utilisateur
- Accédez au catalogue de sources dans l’interface utilisateur de l’Experience Platform.
- Sélectionnez Amazon S3 puis sélectionnez Nouveau compte.
- Placer sur la liste autorisée Copiez le Rôle IAM répertorié sous Ajouter un rôle IAM à . Vous utiliserez ultérieurement ce rôle IAM pour configurer des autorisations pour votre compartiment Amazon S3.
Configuration des autorisations
Vous devez configurer les autorisations nécessaires dans votre compartiment Amazon S3 pour ingérer correctement des données à partir d’une région AWS. La politique de l’intervalle auquel vous souhaitez accéder doit être associée aux informations d’identification que vous utilisez.
Pour mettre à jour votre compartiment Amazon S3, procédez comme suit :
- Connectez-vous à votre compte dans AWS Management Console.
- Accédez à l’intervalle de Amazon S3, puis sélectionnez Permissions.
- Modifiez la politique du compartiment et ajoutez les autorisations suivantes :
AWS
avec votre rôle IAM et la valeur de Resource
avec votre compartiment ou dossier Amazon S3.{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "AEP Get Object Related Policy Prod",
"Effect": "Allow",
"Principal": {
"AWS": "{IAM_ROLE_TO_ALLOW_LIST}"
},
"Action": "s3:Get*",
"Resource": "arn:aws:s3:::{YOUR_BUCKET_NAME}/{YOUR_FOLDER_NAME}"
},
{
"Sid": "AEP List Bucket Prod",
"Effect": "Allow",
"Principal": {
"AWS": "{IAM_ROLE_TO_ALLOW_LIST}"
},
"Action": "s3:ListBucket",
"Resource": "arn:aws:s3:::{YOUR_BUCKET_NAME}"
}
]
}
Fournissez les détails de votre connexion Amazon S3, puis validez et finalisez la connexion
Une fois que vous avez configuré vos autorisations, revenez au catalogue de sources dans l’interface utilisateur de l’Experience Platform et accédez à la page de configuration de la source Amazon S3. Indiquez le nom du compartiment Amazon S3 auquel vous souhaitez vous connecter et, le cas échéant, indiquez le chemin d’accès au dossier spécifique dans le compartiment. Pour vérifier votre configuration, sélectionnez Tester la connexion. En cas de réussite, vous pouvez ensuite procéder et créer un flux de données pour ingérer les données d’espace de stockage vers l’Experience Platform.
Étapes suivantes
La documentation ci-dessous fournit des informations sur la connexion de Amazon S3 à Experience Platform à l’aide d’API ou de l’interface utilisateur :