Flow Service API를 사용하여 Azure HDInsights 기본 연결에 Apache Spark 만들기

NOTE
Azure HDInsights 커넥터의 Apache Spark이(가) 베타 버전입니다. 베타 레이블 커넥터 사용에 대한 자세한 내용은 소스 개요를 참조하십시오.

기본 연결은 소스와 Adobe Experience Platform 간의 인증된 연결을 나타냅니다.

이 자습서에서는 Flow Service API를 사용하여 Azure HDInsights의 Apache Spark (이하 "Spark")에 대한 기본 연결을 만드는 단계를 안내합니다.

시작하기

이 안내서를 사용하려면 Adobe Experience Platform의 다음 구성 요소에 대해 이해하고 있어야 합니다.

  • 원본: Experience Platform에서는 데이터를 다양한 원본에서 수집할 수 있으며 Platform 서비스를 사용하여 들어오는 데이터를 구조화하고 레이블을 지정하고 개선하는 기능을 제공합니다.
  • 샌드박스: Experience Platform에서는 단일 Platform 인스턴스를 별도의 가상 환경으로 분할하여 디지털 경험 응용 프로그램을 개발하고 발전시키는 데 도움이 되는 가상 샌드박스를 제공합니다.

다음 섹션에서는 Flow Service API를 사용하여 Spark에 성공적으로 연결하기 위해 알아야 할 추가 정보를 제공합니다.

필요한 자격 증명 수집

Flow Service이(가) Spark과(와) 연결하려면 다음 연결 속성에 대한 값을 제공해야 합니다.

자격 증명
설명
host
Spark 서버의 IP 주소 또는 호스트 이름입니다.
username
Spark 서버에 액세스하는 데 사용하는 사용자 이름입니다.
password
사용자에 해당하는 암호입니다.
connectionSpec.id
연결 사양은 기본 및 소스 연결 만들기와 관련된 인증 사양을 포함하여 소스의 커넥터 속성을 반환합니다. Spark의 연결 사양 ID는 6a8d82bc-1caf-45d1-908d-cadabc9d63a6입니다.

시작에 대한 자세한 내용은 이 Spark 문서를 참조하세요.

Platform API 사용

Platform API를 성공적으로 호출하는 방법에 대한 자세한 내용은 Platform API 시작에 대한 안내서를 참조하십시오.

기본 연결 만들기

기본 연결은 소스의 인증 자격 증명, 연결의 현재 상태 및 고유한 기본 연결 ID를 포함하여 소스와 플랫폼 간에 정보를 유지합니다. 기본 연결 ID를 사용하면 소스 내에서 파일을 탐색 및 탐색하고 데이터 유형 및 형식에 대한 정보를 포함하여 수집할 특정 항목을 식별할 수 있습니다.

기본 연결 ID를 만들려면 Spark 인증 자격 증명을 요청 매개 변수의 일부로 제공하는 동안 /connections 끝점에 POST 요청을 하십시오.

API 형식

POST /connections

요청

다음 요청은 Spark에 대한 기본 연결을 만듭니다.

curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {ORG_ID}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Spark test connection",
        "description": "A Spark test connection",
        "auth": {
            "specName": "HDInsights Basic Authentication",
        "params": {
            "host":  "{HOST}",
            "username": "{USERNAME}",
            "password":"{PASSWORD}"
            }
        },
        "connectionSpec": {
            "id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
            "version": "1.0"
        }
    }'
매개변수
설명
auth.params.host
Spark 서버의 호스트입니다.
auth.params.username
Spark 연결과 연결된 사용자 이름입니다.
auth.params.password
Spark 연결과 연결된 암호입니다.
connectionSpec.id
Spark 연결 사양 ID: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6.

응답

응답이 성공하면 고유 식별자(id)를 포함하여 새로 만든 연결의 세부 정보가 반환됩니다. 이 ID는 다음 자습서에서 데이터를 탐색하는 데 필요합니다.

{
    "id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
    "etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}

다음 단계

이 자습서에 따라 Flow Service API를 사용하여 Spark 기본 연결을 만들었습니다. 다음 자습서에서 이 기본 연결 ID를 사용할 수 있습니다.

recommendation-more-help
337b99bb-92fb-42ae-b6b7-c7042161d089