Een Apache Spark op Azure HDInsights-basisverbinding maken met de Flow Service API
NOTEEen basisverbinding vertegenwoordigt de geverifieerde verbinding tussen een bron en Adobe Experience Platform.
Dit leerprogramma begeleidt u door de stappen om een basisverbinding voor Apache Spark op Azure HDInsights tot stand te brengen (verder die als " Spark"worden bedoeld) gebruikend Flow Service API.
Aan de slag
Deze handleiding vereist een goed begrip van de volgende onderdelen van Adobe Experience Platform:
- Bronnen: Experience Platform staat gegevens toe om van diverse bronnen worden opgenomen terwijl het voorzien van u van de capaciteit om, inkomende gegevens te structureren te etiketteren en te verbeteren gebruikend Platform diensten.
- Sandboxen: Experience Platform verstrekt virtuele zandbakken die één enkele Platform instantie in afzonderlijke virtuele milieu's verdelen helpen digitale ervaringstoepassingen ontwikkelen en ontwikkelen.
In de volgende secties vindt u aanvullende informatie die u moet weten voordat u verbinding kunt maken met Spark via de Flow Service API.
Vereiste referenties verzamelen
Flow Service kan alleen verbinding maken met Spark als u waarden opgeeft voor de volgende verbindingseigenschappen:
| Credentials | Beschrijving |
|---|---|
host | Het IP-adres of de hostnaam van de Spark -server. |
username | De gebruikersnaam die u gebruikt om toegang te krijgen tot Spark Server. |
password | Het wachtwoord voor de gebruiker. |
connectionSpec.id | De verbindingsspecificatie keert de schakelaareigenschappen van een bron, met inbegrip van authentificatiespecificaties met betrekking tot het creëren van de basis en bronverbindingen terug. De verbindingsspecificatie-id voor Spark is: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6 |
Voor meer informatie over begonnen worden verwijs naar dit document van Vonk.
Platform-API's gebruiken
Voor informatie over hoe te om vraag aan Platform APIs met succes te maken, zie de gids op begonnen wordt met Platform APIs.
Een basisverbinding maken
Een basisverbinding behoudt informatie tussen uw bron en Platform, met inbegrip van de de authentificatiegeloofsbrieven van uw bron, de huidige staat van de verbinding, en uw unieke identiteitskaart van de basisverbinding. Met de ID van de basisverbinding kunt u bestanden verkennen en door bestanden navigeren vanuit uw bron en kunt u de specifieke items identificeren die u wilt opnemen, inclusief informatie over hun gegevenstypen en indelingen.
Als u een basis-verbindings-id wilt maken, vraagt u een POST naar het /connections -eindpunt en geeft u de Spark -verificatiegegevens op als onderdeel van de aanvraagparameters.
API formaat
POST /connections
Verzoek
Met de volgende aanvraag wordt een basisverbinding voor Spark gemaakt:
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/connections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "Spark test connection",
"description": "A Spark test connection",
"auth": {
"specName": "HDInsights Basic Authentication",
"params": {
"host": "{HOST}",
"username": "{USERNAME}",
"password":"{PASSWORD}"
}
},
"connectionSpec": {
"id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
"version": "1.0"
}
}'
| Parameter | Beschrijving |
|---|---|
auth.params.host | De host van de Spark -server. |
auth.params.username | De gebruikersnaam die aan uw Spark -verbinding is gekoppeld. |
auth.params.password | Het wachtwoord dat aan uw Spark verbinding is gekoppeld. |
connectionSpec.id | The Spark connection specification ID: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6 . |
Reactie
Een succesvolle reactie keert details van de pas gecreëerde verbinding, met inbegrip van zijn uniek herkenningsteken (id) terug. Deze id is vereist om uw gegevens te kunnen bekijken in de volgende zelfstudie.
{
"id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
"etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}