使用Flow Service API在Azure HDInsights基本連線上建立Apache Spark

注意

Azure HDInsights連接器上的Apache Spark為測試版。 有關使用測試版標籤連接器的詳細資訊,請參閱來源概述

基本連線代表來源和Adobe Experience Platform之間已驗證的連線。

本教學課程會逐步帶您了解如何使用Flow Service API,在Azure HDInsights(以下稱為「Spark」)上建立Apache Spark基本連線。

快速入門

本指南需要妥善了解下列Adobe Experience Platform元件:

  • 來源: Experience Platform 可讓您從各種來源擷取資料,同時使用服務來建構、加標籤及增強傳入 Platform 資料。
  • 沙箱: Experience Platform 提供可將單一執行個體分割成個 Platform 別虛擬環境的虛擬沙箱,以協助開發及改進數位體驗應用程式。

以下各節提供您需要知道的其他資訊,以便使用Flow Service API成功連接到Spark。

收集所需憑據

要使Flow Service與Spark連接,必須為以下連接屬性提供值:

憑據 說明
host Spark伺服器的IP地址或主機名。
username 用於訪問Spark伺服器的用戶名。
password 與用戶對應的密碼。
connectionSpec.id 連接規範返回源的連接器屬性,包括與建立基連接和源連接相關的驗證規範。 Spark的連接規範ID為:6a8d82bc-1caf-45d1-908d-cadabc9d63a6

有關入門的詳細資訊,請參閱此Spark文檔

使用平台API

如需如何成功呼叫Platform API的詳細資訊,請參閱Platform API快速入門手冊

建立基本連接

基本連接在源和平台之間保留資訊,包括源的驗證憑據、連接的當前狀態和唯一基本連接ID。 基本連線ID可讓您從來源探索和導覽檔案,並識別您要擷取的特定項目,包括其資料類型和格式的相關資訊。

若要建立基本連線ID,請在提供Spark驗證憑證作為請求參數的一部分時,向/connections端點提出POST請求。

API格式

POST /connections

要求

以下請求為Spark建立基本連接:

curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Spark test connection",
        "description": "A Spark test connection",
        "auth": {
            "specName": "HDInsights Basic Authentication",
        "params": {
            "host" :  "{HOST}",
            "username" : "{USERNAME}",
            "password" :"{PASSWORD}"
            }
        },
        "connectionSpec": {
            "id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
            "version": "1.0"
        }
    }'
參數 說明
auth.params.host Spark伺服器的主機。
auth.params.username 與您的Spark連接相關聯的用戶名。
auth.params.password 與Spark連接相關聯的密碼。
connectionSpec.id Spark連接規範ID:6a8d82bc-1caf-45d1-908d-cadabc9d63a6

回應

成功的響應返回新建立連接的詳細資訊,包括其唯一標識符(id)。 在下一個教學課程中探索資料時需要此ID。

{
    "id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
    "etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}

後續步驟

依照本教學課程,您已使用Flow Service API建立Spark連線,並取得連線的唯一ID值。 您可以在下一個教學課程中使用此ID,以了解如何使用流量服務API🔗探索資料庫。

本頁內容