使用Flow Service API在Azure HDInsights基本連線上建立Apache Spark

Last update: Tue Jul 16 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

主題：

建立對象：

開發人員

NOTE

Azure HDInsights聯結器上的Apache Spark為Beta版。如需使用Beta標籤聯結器的詳細資訊，請參閱來源概觀。

基礎連線代表來源和Adobe Experience Platform之間的已驗證連線。

本教學課程將逐步引導您使用Flow Service API，在Azure HDInsights （以下稱為「Spark」）上建立Apache Spark的基礎連線。

快速入門

本指南需要您深入了解下列 Adobe Experience Platform 元件：

來源： Experience Platform允許從各種來源擷取資料，同時讓您能夠使用Platform服務來建構、加標籤以及增強傳入的資料。
沙箱： Experience Platform提供可將單一Platform執行個體分割成個別虛擬環境的虛擬沙箱，以利開發及改進數位體驗應用程式。

下列章節提供您需瞭解的其他資訊，才能使用Flow Service API成功連線到Spark。

收集必要的認證

為了讓Flow Service與Spark連線，您必須提供下列連線屬性的值：

認證

說明

host

Spark伺服器的IP位址或主機名稱。

username

您用來存取Spark伺服器的使用者名稱。

password

與使用者對應的密碼。

connectionSpec.id

連線規格會傳回來源的聯結器屬性，包括與建立基礎連線和來源連線相關的驗證規格。 Spark的連線規格識別碼為： 6a8d82bc-1caf-45d1-908d-cadabc9d63a6

如需開始使用的詳細資訊，請參閱此Spark檔案。

使用平台API

如需如何成功呼叫Platform API的詳細資訊，請參閱Platform API快速入門的指南。

建立基礎連線

基礎連線會保留您的來源和平台之間的資訊，包括來源的驗證認證、連線的目前狀態，以及您唯一的基本連線ID。基礎連線ID可讓您從來源內部探索及導覽檔案，並識別您要擷取的特定專案，包括其資料型別和格式的資訊。

若要建立基底連線ID，請在提供Spark驗證認證作為要求引數的一部分時，向/connections端點提出POST要求。

API格式

POST /connections

要求

下列要求會建立Spark的基礎連線：

curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {ORG_ID}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Spark test connection",
        "description": "A Spark test connection",
        "auth": {
            "specName": "HDInsights Basic Authentication",
        "params": {
            "host":  "{HOST}",
            "username": "{USERNAME}",
            "password":"{PASSWORD}"
            }
        },
        "connectionSpec": {
            "id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
            "version": "1.0"
        }
    }'

參數

說明

auth.params.host

Spark伺服器的主機。

auth.params.username

與您的Spark連線相關聯的使用者名稱。

auth.params.password

與您的Spark連線相關聯的密碼。

connectionSpec.id

Spark連線規格識別碼： 6a8d82bc-1caf-45d1-908d-cadabc9d63a6。

回應

成功的回應會傳回新建立連線的詳細資料，包括其唯一識別碼(id)。在下個教學課程中探索您的資料時，需要此ID。

{
    "id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
    "etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}

後續步驟

依照此教學課程，您已使用Flow Service API建立Spark基礎連線。您可以在下列教學課程中使用此基本連線ID：

recommendation-more-help

337b99bb-92fb-42ae-b6b7-c7042161d089