加密的資料擷取

上次更新: 2023-11-09
  • 主題:
  • Sources
    檢視有關此主題的更多資訊
  • 建立對象:
  • Developer

Adobe Experience Platform可讓您透過雲端儲存批次來源內嵌加密的檔案。 透過加密的資料擷取,您可以運用非對稱的加密機制,將批次資料安全地傳輸至Experience Platform。 目前,支援的非對稱加密機製為PGP和GPG。

加密的資料擷取程式如下:

  1. 使用Experience PlatformAPI建立加密金鑰組. 加密金鑰組由私密金鑰和公開金鑰組成。 建立後,您可以複製或下載公開金鑰,以及其對應的公開金鑰ID和到期時間。 在此過程中,私密金鑰將由Experience Platform儲存在安全的儲存庫中。 注意: 回應中的公開金鑰以Base64編碼,且必須在使用前解密。
  2. 使用公開金鑰來加密您要擷取的資料檔案。
  3. 將加密檔案放入雲端儲存空間。
  4. 加密檔案準備就緒後, 為您的雲端儲存空間來源建立來源連線和資料流. 在流程建立步驟期間,您必須提供 encryption 並包含您的公開金鑰ID。
  5. Experience Platform會從安全儲存庫中擷取私密金鑰,以在擷取資料時解密資料。
重要

單一加密檔案的大小上限為1 GB。 例如,您可以在單一資料流執行中擷取2 GB的資料,但該資料中的任何個別檔案都不能超過1 GB。

本檔案提供如何產生加密金鑰組以加密您的資料,以及使用雲端儲存空間來源將加密資料擷取到Experience Platform的步驟。

快速入門

本教學課程需要您實際瞭解下列Adobe Experience Platform元件:

  • 來源:Experience Platform可讓您從各種來源擷取資料,同時使用Platform服務來建構、加標籤及增強傳入資料。
    • 雲端儲存空間來源:建立資料流,將雲端儲存空間來源中的批次資料匯入Experience Platform。
  • 沙箱:Experience Platform提供的虛擬沙箱可將單一Platform執行個體分割成個別的虛擬環境,以利開發及改進數位體驗應用程式。

使用平台API

如需如何成功呼叫Platform API的詳細資訊,請參閱以下指南: Platform API快速入門.

加密檔案支援的副檔名

加密檔案支援的副檔名清單如下:

  • .csv
  • .tsv
  • .json
  • .parquet
  • .csv.gpg
  • .tsv.gpg
  • .json.gpg
  • .parquet.gpg
  • .csv.pgp
  • .tsv.pgp
  • .json.pgp
  • .parquet.pgp
  • .gpg
  • .pgp
注意

Adobe Experience Platform來源中的加密檔案擷取支援openPGP,而不支援任何特定的PGP專屬版本。

建立加密金鑰組

擷取加密資料至Experience Platform的第一步,是透過向以下專案發出POST要求,以建立您的加密金鑰組: /encryption/keys 的端點 Connectors API。

API格式

POST /data/foundation/connectors/encryption/keys

要求

下列要求會使用PGP加密演演算法產生加密金鑰組。

curl -X POST \
  'https://platform.adobe.io/data/foundation/connectors/encryption/keys' \
  -H 'Authorization: Bearer {{ACCESS_TOKEN}}' \
  -H 'x-api-key: {{API_KEY}}' \
  -H 'x-gw-ims-org-id: {{ORG_ID}}' \
  -H 'x-sandbox-name: {{SANDBOX_NAME}}' \
  -H 'Content-Type: application/json'
  -d '{
      "encryptionAlgorithm": "PGP",
      "params": {
          "passPhrase": "{{PASSPHRASE}}"
      }
  }'
參數 說明
encryptionAlgorithm 您使用的加密演演算法型別。 支援的加密型別為 PGPGPG.
params.passPhrase 密碼可為您的加密金鑰提供額外的保護層。 建立後,Experience Platform會將複雜密碼與公開金鑰儲存在不同的安全儲存庫中。 您必須提供非空白字串作為複雜密碼。

回應

成功的回應會傳回Base64編碼的公開金鑰、公開金鑰ID,以及金鑰的到期時間。 到期時間會自動設定為產生金鑰日期後的180天。 到期時間目前無法設定。

{
    ​"publicKey": "{PUBLIC_KEY}",
    ​"publicKeyId": "{PUBLIC_KEY_ID}",
    ​"expiryTime": "1684843168"
}
屬性 說明
publicKey 公開金鑰是用來加密雲端儲存空間中的資料。 此金鑰對應至在此步驟中建立的私密金鑰。 不過,私密金鑰會立即移至Experience Platform。
publicKeyId 公開金鑰ID可用來建立資料流,以及將加密的雲端儲存空間資料擷取到Experience Platform。
expiryTime 到期時間會定義加密金鑰組的到期日。 此日期會自動設定為產生金鑰的日期後180天,並以unix時間戳記格式顯示。
 (可選)為已簽署的資料建立簽署驗證金鑰組

建立客戶自控金鑰組

您可以選擇建立簽署驗證金鑰組,以簽署並擷取您的加密資料。

在此階段,您必須產生自己的私密金鑰和公開金鑰組合,然後使用您的私密金鑰簽署您的加密資料。 接下來,您必須在Base64中編碼您的公開金鑰,然後將其共用給Experience Platform,以便Platform驗證您的簽名。

共用您的公開金鑰以Experience Platform

若要共用您的公開金鑰,請向發出POST要求 /customer-keys 端點,同時提供您的加密演演算法和您的Base64編碼公開金鑰。

API格式

POST /data/foundation/connectors/encryption/customer-keys

要求

curl -X POST \
  'https://platform.adobe.io/data/foundation/connectors/encryption/customer-keys' \
  -H 'Authorization: Bearer {{ACCESS_TOKEN}}' \
  -H 'x-api-key: {{API_KEY}}' \
  -H 'x-gw-ims-org-id: {{ORG_ID}}' \
  -H 'x-sandbox-name: {{SANDBOX_NAME}}' \
  -H 'Content-Type: application/json'
  -d '{
      "encryptionAlgorithm": {{ENCRYPTION_ALGORITHM}},
      "publicKey": {{BASE_64_ENCODED_PUBLIC_KEY}}
    }'
參數 說明
encryptionAlgorithm 您使用的加密演演算法型別。 支援的加密型別為 PGPGPG.
publicKey 與您用來簽署已加密之客戶自控金鑰對應的公開金鑰。 此金鑰必須使用Base64編碼。

回應

{
  "publicKeyId": "e31ae895-7896-469a-8e06-eb9207ddf1c2"
}
屬性 說明
publicKeyId 此公開金鑰ID會傳回,以回應與Experience Platform共用您的客戶自控金鑰。 在為已簽署和加密的資料建立資料流時,您可以提供此公開金鑰ID作為簽署驗證金鑰ID。

使用將您的雲端儲存空間來源連線至Experience Platform Flow Service API

擷取加密金鑰組後,您現在可以繼續並為雲端儲存空間來源建立來源連線,並將加密的資料匯入Platform。

首先,您必須建立基礎連線,以針對Platform驗證您的來源。 若要建立基礎連線並驗證您的來源,請從下列清單中選取您要使用的來源:

建立基礎連線後,您必須遵循的教學課程中概述的步驟 為雲端儲存空間來源建立來源連線 以便建立來源連線、目標連線和對應。

為加密的資料建立資料流

注意

您必須具備下列專案,才能為加密的資料擷取建立資料流:

POST若要建立資料流,請向 /flows 的端點 Flow Service API。 若要內嵌加密的資料,您必須新增 encryption 區段至 transformations 屬性並包含 publicKeyId 之前步驟中建立的物件。

API格式

POST /flows

要求

以下請求會建立資料流,以擷取雲端儲存空間的加密資料。

curl -X POST \
  'https://platform.adobe.io/data/foundation/flowservice/flows' \
  -H 'x-api-key: {{API_KEY}}' \
  -H 'x-gw-ims-org-id: {{ORG_ID}}' \
  -H 'x-sandbox-name: {{SANDBOX_NAME}}' \
  -H 'Content-Type: application/json' \
  -d '{
    "name": "ACME Customer Data",
    "description": "ACME Customer Data (Encrypted)",
    "flowSpec": {
        "id": "9753525b-82c7-4dce-8a9b-5ccfce2b9876",
        "version": "1.0"
    },
    "sourceConnectionIds": [
        "655f7c1b-1977-49b3-a429-51379ecf0e15"
    ],
    "targetConnectionIds": [
        "de688225-d619-481c-ae3b-40c250fd7c79"
    ],
    "transformations": [
        {
            "name": "Mapping",
            "params": {
                "mappingId": "6b6e24213dbe4f57bd8207d21034ff03",
                "mappingVersion":"0"
            }
        },
        {
            "name": "Encryption",
            "params": {
                "publicKeyId":"311ef6f8-9bcd-48cf-a9e9-d12c45fb7a17"
            }
        }
    ],
    "scheduleParams": {
        "startTime": "1675793392",
        "frequency": "once"
    }
}'
屬性 說明
flowSpec.id 與雲端儲存空間來源對應的流量規格ID。
sourceConnectionIds 來源連線ID。 此ID代表資料從來源傳輸至Platform的過程。
targetConnectionIds 目標連線ID。 此ID代表資料傳入Platform後著陸的位置。
transformations[x].params.mappingId 對應ID。
transformations.name 擷取加密檔案時,您必須提供 Encryption 作為資料流的其他轉換引數。
transformations[x].params.publicKeyId 您建立的公開金鑰ID。 此ID是用來加密雲端儲存體資料的加密金鑰組的一半。
scheduleParams.startTime 資料流的開始時間(以Epoch時間計)。
scheduleParams.frequency 資料流收集資料的頻率。 可接受的值包括: onceminutehourday,或 week.
scheduleParams.interval 間隔會指定兩個連續資料流執行之間的期間。 間隔的值應為非零整數。 當頻率設定為 once 且應大於或等於 15 其他頻率值。
curl -X POST \
  'https://platform.adobe.io/data/foundation/flowservice/flows' \
  -H 'x-api-key: {{API_KEY}}' \
  -H 'x-gw-ims-org-id: {{ORG_ID}}' \
  -H 'x-sandbox-name: {{SANDBOX_NAME}}' \
  -H 'Content-Type: application/json' \
  -d '{
    "name": "ACME Customer Data (with Sign Verification)",
    "description": "ACME Customer Data (with Sign Verification)",
    "flowSpec": {
        "id": "9753525b-82c7-4dce-8a9b-5ccfce2b9876",
        "version": "1.0"
    },
    "sourceConnectionIds": [
        "655f7c1b-1977-49b3-a429-51379ecf0e15"
    ],
    "targetConnectionIds": [
        "de688225-d619-481c-ae3b-40c250fd7c79"
    ],
    "transformations": [
        {
            "name": "Mapping",
            "params": {
                "mappingId": "6b6e24213dbe4f57bd8207d21034ff03",
                "mappingVersion":"0"
            }
        },
        {
            "name": "Encryption",
            "params": {
                "publicKeyId":"311ef6f8-9bcd-48cf-a9e9-d12c45fb7a17",
                "signVerificationKeyId":"e31ae895-7896-469a-8e06-eb9207ddf1c2"
            }
        }
    ],
    "scheduleParams": {
        "startTime": "1675793392",
        "frequency": "once"
    }
}'
屬性 說明
params.signVerificationKeyId 簽署驗證金鑰ID與使用Experience Platform共用Base64編碼公開金鑰後擷取的公開金鑰ID相同。

回應

成功的回應會傳回ID (id)中,所有新增的資料流都會顯示這個值。

{
    "id": "dbc5c132-bc2a-4625-85c1-32bc2a262558",
    "etag": "\"8e000533-0000-0200-0000-5f3c40fd0000\""
}

週期性內嵌的限制

加密的資料擷取不支援在來源中擷取循環或多層資料夾。 所有加密的檔案都必須包含在單一資料夾中。 也不支援在單一來源路徑中包含多個資料夾的萬用字元。

以下是支援的資料夾結構範例,來源路徑為 /ACME-customers/*.csv.gpg.

在此案例中,粗體的檔案會擷取到Experience Platform中。

  • ACME — 客戶
    • 檔案1.csv.gpg
    • File2.json.gpg
    • 檔案3.csv.gpg
    • File4.json
    • 檔案5.csv.gpg

以下是不受支援的資料夾結構範例,其中來源路徑為 /ACME-customers/*.

在此案例中,流程執行將失敗,並傳回錯誤訊息,指出無法從來源複製資料。

  • ACME — 客戶
    • File1.csv.gpg
    • File2.json.gpg
    • Subfolder1
      • File3.csv.gpg
      • File4.json.gpg
      • File5.csv.gpg
  • ACME忠誠度
    • File6.csv.gpg

後續步驟

按照本教學課程,您已為雲端儲存空間資料建立加密金鑰組,並使用資料流擷取加密的資料。 Flow Service API. 如需資料流完整性、錯誤和量度的狀態更新,請閱讀以下指南: 使用監控資料流 Flow Service API.

本頁內容