Ingestion de données chiffrées

Vous pouvez ingérer des fichiers de données chiffrés dans Adobe Experience Platform à l’aide de sources par lots de stockage dans le cloud. Avec l’ingestion de données chiffrées, vous pouvez utiliser des mécanismes de chiffrement asymétrique pour transférer en toute sécurité des données par lots dans Experience Platform. Actuellement, les mécanismes de chiffrement asymétrique pris en charge sont PGP et GPG.

Le processus d’ingestion des données chiffrées est le suivant :

Ce document décrit les étapes à suivre pour générer une paire de clés de chiffrement pour vos données et ingérer ces données chiffrées sur Experience Platform à l’aide de sources d’espace de stockage dans le cloud.

Commencer get-started

Ce tutoriel nécessite une compréhension du fonctionnement des composants suivants d’Adobe Experience Platform :

Utiliser les API Platform

Pour plus d’informations sur la manière d’effectuer des appels vers les API Platform, consultez le guide Prise en main des API Platform.

Extensions de fichiers prises en charge pour les fichiers chiffrés supported-file-extensions-for-encrypted-files

La liste des extensions de fichier prises en charge pour les fichiers chiffrés est la suivante :

Créer une paire de clés de chiffrement create-encryption-key-pair

La première étape de l’ingestion de données chiffrées sur Experience Platform consiste à créer votre paire de clés de chiffrement en effectuant une requête POST au point d’entrée /encryption/keys de l‘API Connectors.

Format d’API

POST /data/foundation/connectors/encryption/keys

Requête

curl -X POST \
  'https://platform.adobe.io/data/foundation/connectors/encryption/keys' \
  -H 'Authorization: Bearer {{ACCESS_TOKEN}}' \
  -H 'x-api-key: {{API_KEY}}' \
  -H 'x-gw-ims-org-id: {{ORG_ID}}' \
  -H 'x-sandbox-name: {{SANDBOX_NAME}}' \
  -H 'Content-Type: application/json'
  -d '{
      "name": "acme-encryption",
      "encryptionAlgorithm": "PGP",
      "params": {
          "passPhrase": "{{PASSPHRASE}}"
      }
  }'

Réponse

{
    ​"publicKey": "{PUBLIC_KEY}",
    ​"publicKeyId": "{PUBLIC_KEY_ID}",
    ​"expiryTime": "1684843168"
}

Récupération des clés de chiffrement retrieve-encryption-keys

Pour récupérer toutes les clés de chiffrement de votre organisation, envoyez une requête GET au point de terminaison /encryption/keys=nt.

Format d’API

GET /data/foundation/connectors/encryption/keys

Requête

curl -X GET \
  'https://platform.adobe.io/data/foundation/connectors/encryption/keys' \
  -H 'Authorization: Bearer {{ACCESS_TOKEN}}' \
  -H 'x-api-key: {{API_KEY}}' \
  -H 'x-gw-ims-org-id: {{ORG_ID}}' \

Réponse

{
    "encryptionAlgorithm": "{ENCRYPTION_ALGORITHM}",
    "name": "{NAME}",
    "publicKeyId": "{PUBLIC_KEY_ID}",
    "publicKey": "{PUBLIC_KEY}",
    "keyType": "{KEY_TYPE}",
    "expiryTime": "{EXPIRY_TIME}"
}

Récupération des clés de chiffrement par identifiant retrieve-encryption-keys-by-id

Pour récupérer un ensemble spécifique de clés de chiffrement, envoyez une requête GET au point de terminaison /encryption/keys et fournissez votre ID de clé publique comme paramètre d’en-tête.

Format d’API

GET /data/foundation/connectors/encryption/keys/{PUBLIC_KEY_ID}

Requête

curl -X GET \
  'https://platform.adobe.io/data/foundation/connectors/encryption/keys/{publicKeyId}' \
  -H 'Authorization: Bearer {{ACCESS_TOKEN}}' \
  -H 'x-api-key: {{API_KEY}}' \
  -H 'x-gw-ims-org-id: {{ORG_ID}}' \

Réponse

{
    "encryptionAlgorithm": "{ENCRYPTION_ALGORITHM}",
    "name": "{NAME}",
    "publicKeyId": "{PUBLIC_KEY_ID}",
    "publicKey": "{PUBLIC_KEY}",
    "keyType": "{KEY_TYPE}",
    "expiryTime": "{EXPIRY_TIME}"
}

Créer une paire de clés gérée par le client ou la cliente create-customer-managed-key-pair

Si vous le souhaitez, vous pouvez créer une paire de clés de vérification de signature pour signer et ingérer vos données chiffrées.

Pendant cette étape, vous devez générer votre propre combinaison de clé privée et de clé publique, puis utiliser votre clé privée pour signer vos données chiffrées. Codez ensuite votre clé publique au format Base64, puis partagez-la avec Experience Platform afin que Platform vérifie votre signature.

Partager votre clé publique avec Experience Platform

Pour partager votre clé publique, envoyez une requête POST au point d’entée /customer-keys en spécifiant l’algorithme de chiffrement et la clé publique codée au format Base64.

Format d’API

POST /data/foundation/connectors/encryption/customer-keys

Requête

curl -X POST \
  'https://platform.adobe.io/data/foundation/connectors/encryption/customer-keys' \
  -H 'Authorization: Bearer {{ACCESS_TOKEN}}' \
  -H 'x-api-key: {{API_KEY}}' \
  -H 'x-gw-ims-org-id: {{ORG_ID}}' \
  -H 'x-sandbox-name: {{SANDBOX_NAME}}' \
  -H 'Content-Type: application/json'
  -d '{
      "name": "acme-sign-verification-keys"
      "encryptionAlgorithm": {{ENCRYPTION_ALGORITHM}},
      "publicKey": {{BASE_64_ENCODED_PUBLIC_KEY}},
      "params": {
          "passPhrase": {{PASS_PHRASE}}
      }
    }'

Réponse

{
  "publicKeyId": "e31ae895-7896-469a-8e06-eb9207ddf1c2"
}

Récupération de la paire de clés gérées par le client

Pour récupérer vos clés gérées par le client, effectuez une requête de GET au point de terminaison /customer-keys.

Format d’API

GET /data/foundation/connectors/encryption/customer-keys

Requête

curl -X GET \
  'https://platform.adobe.io/data/foundation/connectors/encryption/customer-keys' \
  -H 'Authorization: Bearer {{ACCESS_TOKEN}}' \
  -H 'x-api-key: {{API_KEY}}' \
  -H 'x-gw-ims-org-id: {{ORG_ID}}' \

Réponse

[
    {
        "encryptionAlgorithm": "{ENCRYPTION_ALGORITHM}",
        "name": "{NAME}",
        "publicKeyId": "{PUBLIC_KEY_ID}",
        "publicKey": "{PUBLIC_KEY}",
        "keyType": "{KEY_TYPE}",
    }
]

Connecter votre source d‘espace de stockage dans le cloud à Experience Platform à l’aide de l’API Flow Service

Une fois que vous avez récupéré votre paire de clés de chiffrement, vous pouvez procéder à la création d’une connexion source pour votre source d’espace de stockage dans le cloud et importer vos données chiffrées vers Platform.

Tout d’abord, vous devez créer une connexion de base pour authentifier votre source sur Platform. Pour créer une connexion de base et authentifier votre source, sélectionnez la source que vous souhaitez utiliser dans la liste ci-dessous :

Après avoir créé une connexion de base, vous devez suivre les étapes décrites dans le tutoriel pour créer une connexion source pour une source de stockage dans le cloud afin de créer une connexion source, une connexion cible et un mappage.

Créer un flux de données pour les données chiffrées create-a-dataflow-for-encrypted-data

Pour créer un flux de données, envoyez une requête POST au point d’entrée /flows de l’API Flow Service. Pour ingérer des données chiffrées, vous devez ajouter une section encryption à la propriété transformations et inclure l’publicKeyId qui a été créé lors d’une précédente étape.

Format d’API

POST /flows

curl -X POST \
  'https://platform.adobe.io/data/foundation/flowservice/flows' \
  -H 'x-api-key: {{API_KEY}}' \
  -H 'x-gw-ims-org-id: {{ORG_ID}}' \
  -H 'x-sandbox-name: {{SANDBOX_NAME}}' \
  -H 'Content-Type: application/json' \
  -d '{
    "name": "ACME Customer Data",
    "description": "ACME Customer Data (Encrypted)",
    "flowSpec": {
        "id": "9753525b-82c7-4dce-8a9b-5ccfce2b9876",
        "version": "1.0"
    },
    "sourceConnectionIds": [
        "655f7c1b-1977-49b3-a429-51379ecf0e15"
    ],
    "targetConnectionIds": [
        "de688225-d619-481c-ae3b-40c250fd7c79"
    ],
    "transformations": [
        {
            "name": "Mapping",
            "params": {
                "mappingId": "6b6e24213dbe4f57bd8207d21034ff03",
                "mappingVersion":"0"
            }
        },
        {
            "name": "Encryption",
            "params": {
                "publicKeyId":"311ef6f8-9bcd-48cf-a9e9-d12c45fb7a17"
            }
        }
    ],
    "scheduleParams": {
        "startTime": "1675793392",
        "frequency": "once"
    }
}'

{
    "id": "dbc5c132-bc2a-4625-85c1-32bc2a262558",
    "etag": "\"8e000533-0000-0200-0000-5f3c40fd0000\""
}

curl -X POST \
  'https://platform.adobe.io/data/foundation/flowservice/flows' \
  -H 'x-api-key: {{API_KEY}}' \
  -H 'x-gw-ims-org-id: {{ORG_ID}}' \
  -H 'x-sandbox-name: {{SANDBOX_NAME}}' \
  -H 'Content-Type: application/json' \
  -d '{
    "name": "ACME Customer Data (with Sign Verification)",
    "description": "ACME Customer Data (with Sign Verification)",
    "flowSpec": {
        "id": "9753525b-82c7-4dce-8a9b-5ccfce2b9876",
        "version": "1.0"
    },
    "sourceConnectionIds": [
        "655f7c1b-1977-49b3-a429-51379ecf0e15"
    ],
    "targetConnectionIds": [
        "de688225-d619-481c-ae3b-40c250fd7c79"
    ],
    "transformations": [
        {
            "name": "Mapping",
            "params": {
                "mappingId": "6b6e24213dbe4f57bd8207d21034ff03",
                "mappingVersion":"0"
            }
        },
        {
            "name": "Encryption",
            "params": {
                "publicKeyId":"311ef6f8-9bcd-48cf-a9e9-d12c45fb7a17",
                "signVerificationKeyId":"e31ae895-7896-469a-8e06-eb9207ddf1c2"
            }
        }
    ],
    "scheduleParams": {
        "startTime": "1675793392",
        "frequency": "once"
    }
}'

{
    "id": "dbc5c132-bc2a-4625-85c1-32bc2a262558",
    "etag": "\"8e000533-0000-0200-0000-5f3c40fd0000\""
}

Suppression des clés de chiffrement delete-encryption-keys

Pour supprimer vos clés de chiffrement, envoyez une requête de DELETE au point de terminaison /encryption/keys et fournissez votre ID de clé publique comme paramètre d’en-tête.

Format d’API

DELETE /data/foundation/connectors/encryption/keys/{PUBLIC_KEY_ID}

Requête

curl -X DELETE \
  'https://platform.adobe.io/data/foundation/connectors/encryption/keys/{publicKeyId}' \
  -H 'Authorization: Bearer {{ACCESS_TOKEN}}' \
  -H 'x-api-key: {{API_KEY}}' \
  -H 'x-gw-ims-org-id: {{ORG_ID}}' \

Réponse

Une réponse réussie renvoie un état HTTP 204 (Pas de contenu) et un corps vide.

Validation des clés de chiffrement validate-encryption-keys

Pour valider vos clés de chiffrement, envoyez une requête de GET au point de terminaison /encryption/keys/validate/ et fournissez l’identifiant de clé publique que vous souhaitez valider en tant que paramètre d’en-tête.

GET /data/foundation/connectors/encryption/keys/validate/{PUBLIC_KEY_ID}

Requête

curl -X GET \
  'https://platform.adobe.io/data/foundation/connectors/encryption/keys/validate/{publicKeyId}' \
  -H 'Authorization: Bearer {{ACCESS_TOKEN}}' \
  -H 'x-api-key: {{API_KEY}}' \
  -H 'x-gw-ims-org-id: {{ORG_ID}}' \

Réponse

Une réponse réussie renvoie une confirmation que vos identifiants sont valides ou non valides.

{
    "publicKeyId": "{PUBLIC_KEY_ID}",
    "status": "Active"
}

{
    "publicKeyId": "{PUBLIC_KEY_ID}",
    "status": "Expired"
}

Restrictions relatives à l’ingestion récurrente restrictions-on-recurring-ingestion

L’ingestion de données chiffrées ne prend pas en charge l’ingestion de dossiers récurrents ou à plusieurs niveaux dans des sources. Tous les fichiers cryptés doivent être contenus dans un seul dossier. Les caractères génériques avec plusieurs dossiers dans un seul chemin source ne sont pas non plus pris en charge.

Voici un exemple de structure de dossiers prise en charge, où le chemin d’accès source est /ACME-customers/*.csv.gpg.

Dans ce scénario, les fichiers en gras sont ingérés dans Experience Platform.

Voici un exemple de structure de dossiers non prise en charge où le chemin d’accès source est /ACME-customers/*.

Dans ce scénario, l’exécution du flux échoue et renvoie un message d’erreur indiquant que les données ne peuvent pas être copiées à partir de la source.

Étapes suivantes

En suivant ce tutoriel, vous avez créé une paire de clés de chiffrement pour vos données d’espace de stockage dans le cloud et un flux de données pour ingérer vos données chiffrées à l’aide de Flow Service API. Pour connaître les mises à jour d’état concernant l’exhaustivité, les erreurs et les mesures de votre flux de données, consultez le guide sur la surveillance de votre flux de données à l’aide de l’ Flow Service API.