Data Landing Zone
Gemaakt voor:
- Ontwikkelaar
IMPORTANTData Landing Zone is een Azure Blob -opslaginterface die door Adobe Experience Platform is ingericht en waarmee u toegang hebt tot een veilige, op de cloud gebaseerde opslagfaciliteit voor bestanden om bestanden over te brengen naar het platform. U hebt toegang tot één Data Landing Zone container per sandbox en het totale gegevensvolume voor alle containers is beperkt tot de totale gegevens die worden geleverd bij uw Platform Products and Services-licentie. Alle klanten van Experience Platform beschikken over één Data Landing Zone -container per sandbox. U kunt bestanden lezen en schrijven naar uw container via Azure Storage Explorer of de opdrachtregelinterface.
Data Landing Zone biedt ondersteuning voor verificatie op basis van SAS en de bijbehorende gegevens zijn in rust en onderweg beveiligd met standaard Azure Blob -opslagbeveiligingsmechanismen. Met verificatie op basis van SAS hebt u via een openbare internetverbinding veilig toegang tot uw Data Landing Zone -container. Er zijn geen netwerkwijzigingen vereist voor toegang tot uw Data Landing Zone -container. Dit betekent dat u geen lijsten van gewenste personen of instellingen voor meerdere regio's voor uw netwerk hoeft te configureren. Experience Platform past een strikte vervaltijd van zeven dagen toe op alle bestanden en mappen die naar een Data Landing Zone -container zijn geüpload. Alle bestanden en mappen worden na zeven dagen verwijderd.
Stel uw Data Landing Zone source in voor Experience Platform on Azure
Volg de onderstaande stappen om te leren hoe u uw Data Landing Zone -account voor Experience Platform on Azure kunt instellen.
NOTENaamgevingsbeperkingen voor bestanden en mappen
Hieronder volgt een lijst met beperkingen waarmee u rekening moet houden bij het benoemen van bestanden of mappen voor cloudopslag.
- Namen van mappen en bestandscomponenten mogen niet langer zijn dan 255 tekens.
- De folder en de dossiernamen kunnen niet met een voorwaartse schuine streep (
/) beëindigen. Indien beschikbaar wordt deze automatisch verwijderd. - De volgende gereserveerde URL-tekens moeten correct worden beschermd:
! ' ( ) ; @ & = + $ , % # [ ] - De volgende tekens zijn niet toegestaan:
" \ / : | < > * ?. - Ongeldige URL-padtekens niet toegestaan. Codepunten zoals
\uE000zijn weliswaar geldig in NTFS-bestandsnamen, maar zijn geen geldige Unicode-tekens. Bovendien zijn sommige ASCII- of Unicode-tekens, zoals besturingstekens (zoals0x00tot en met0x1F,\u0081enzovoort), niet toegestaan. Voor regels die de koorden van Unicode in HTTP/1.1 bepalen zie RFC 2616, Sectie 2.2: BasisRegelsen RFC 3987. - De volgende bestandsnamen zijn niet toegestaan: LPT1, LPT2, LPT3, LPT4, LPT5, LPT6, LPT7, LPT8, LPT9, COM1, COM2, COM3, COM4, COM5, COM6, COM7, COM8, COM9, PRN, AUX, NUL, CON, CLOCK$, puntteken (.) en twee stippen ( …).
De inhoud van uw gegevenslandingszone beheren
U kunt Azure Storage Explorer gebruikenom de inhoud van uw Data Landing Zone container te beheren.
Selecteer in de gebruikersinterface van Azure Storage Explorer het verbindingspictogram in de linkernavigatie. Het Uitgezochte venster van het Middel verschijnt, die u van opties voorzien om met te verbinden. Selecteer Blob container om verbinding te maken met Data Landing Zone .
Daarna, selecteer Gedeelde toegangshandtekening URL (SAS) als uw verbindingsmethode, en selecteer dan daarna.
Na het selecteren van uw verbindingsmethode, moet u a vertoningsnaam en Blobcontainer SAS URL daarna verstrekken die met uw Data Landing Zone container beantwoordt.
TIPVerstrek uw Data Landing Zone SAS URL en selecteer dan daarna
Het Summiere venster verschijnt, die u van een overzicht van uw montages, met inbegrip van informatie over uw Blob eindpunt en toestemmingen voorzien. Wanneer klaar, uitgezochte verbindt.
Een geslaagde verbinding werkt de gebruikersinterface van Azure Storage Explorer bij met uw Data Landing Zone -container.
Als de Data Landing Zone -container is aangesloten op Azure Storage Explorer , kunt u nu bestanden uploaden naar de Data Landing Zone -container. Om te uploaden, te selecteren uploadt en dan selecteert uploadt Dossiers.
Wanneer u het bestand hebt geselecteerd dat u wilt uploaden, moet u vervolgens het Blob type identificeren dat u het wilt uploaden als en de gewenste doelmap. Wanneer gebeëindigd, uitgezochte uploadt.
Bestanden uploaden naar de Data Landing Zone via de opdrachtregelinterface
U kunt ook de opdrachtregelinterface van uw apparaat gebruiken en bestanden uploaden naar uw Data Landing Zone .
Een bestand uploaden met Bash
In het volgende voorbeeld worden Bash en cURL gebruikt om een bestand te uploaden naar een Data Landing Zone met de Azure Blob Storage REST API:
# Set Azure Blob-related settings
DATE_NOW=$(date -Ru | sed 's/\+0000/GMT/')
AZ_VERSION="2018-03-28"
AZ_BLOB_URL="<URL TO BLOB ACCOUNT>"
AZ_BLOB_CONTAINER="<BLOB CONTAINER NAME>"
AZ_BLOB_TARGET="${AZ_BLOB_URL}/${AZ_BLOB_CONTAINER}"
AZ_SAS_TOKEN="<SAS TOKEN, STARTING WITH ? AND ENDING WITH %3D>"
# Path to the file we wish to upload
FILE_PATH="</PATH/TO/FILE>"
FILE_NAME=$(basename "$FILE_PATH")
# Execute HTTP PUT to upload file (remove '-v' flag to suppress verbose output)
curl -v -X PUT \
-H "Content-Type: application/octet-stream" \
-H "x-ms-date: ${DATE_NOW}" \
-H "x-ms-version: ${AZ_VERSION}" \
-H "x-ms-blob-type: BlockBlob" \
--data-binary "@${FILE_PATH}" "${AZ_BLOB_TARGET}/${FILE_NAME}${AZ_SAS_TOKEN}"
Een bestand uploaden met Python
In het volgende voorbeeld wordt Microsoft’s Python v12 SDK gebruikt om een bestand te uploaden naar een Data Landing Zone :
TIPimport os
from azure.storage.blob import ContainerClient
try:
# Set Azure Blob-related settings
sasUri = "<SAS URI>"
srcFilePath = "<FULL PATH TO FILE>"
srcFileName = os.path.basename(srcFilePath)
# Connect to container using SAS URI
containerClient = ContainerClient.from_container_url(sasUri)
# Upload file to Data Landing Zone with overwrite enabled
with open(srcFilePath, "rb") as fileToUpload:
containerClient.upload_blob(srcFileName, fileToUpload, overwrite=True)
except Exception as ex:
print("Exception: " + ex.strerror)
Een bestand uploaden met AzCopy
In het volgende voorbeeld wordt het hulpprogramma Microsoft’s AzCopy gebruikt om een bestand te uploaden naar een Data Landing Zone :
TIPcopy gebruikt, maar u kunt andere opdrachten en opties gebruiken om een bestand naar uw Data Landing Zone te uploaden met AzCopy . Zie dit Microsoft AzCopy documentvoor meer informatie.set sasUri=<FULL SAS URI, PROPERLY ESCAPED>
set srcFilePath=<PATH TO LOCAL FILE(S); WORKS WITH WILDCARD PATTERNS>
azcopy copy "%srcFilePath%" "%sasUri%" --overwrite=true --recursive=true
De Data Landing Zone source voor Experience Platform instellen op Amazon Web Services
AVAILABILITYVolg de onderstaande stappen om te leren hoe u uw Data Landing Zone -account voor Experience Platform op Amazon Web Services (AWS) kunt instellen.
IP adres lijst van gewenste personen voor verbinding op AWS
U moet gebied-specifieke IP adressen aan uw lijst van gewenste personen toevoegen alvorens uw bronnen aan Experience Platform op AWS aan te sluiten. Voor meer informatie, lees de gids op voegend op lijst van gewenste personen IP adressen om met Experience Platform op AWSvoor meer informatie te verbinden.
AWS CLI instellen en bewerkingen uitvoeren
- Lees de gids bij het installeren van of het bijwerken aan de recentste versie van AWS CLI.
AWS CLI configureren met tijdelijke referenties
Gebruik de opdracht AWS configure om uw CLI in te stellen met toegangstoetsen en een sessietoken.
aws configure
Voer bij de aanwijzing de volgende waarden in:
- AWS access key ID:
{YOUR_ACCESS_KEY_ID} - AWS geheime toegangstoets:
{YOUR_SECRET_ACCESS_KEY} - Standaardgebiedsnaam:
{YOUR_REGION}(bijvoorbeeldus-west-2) - Standaarduitvoerindeling:
json
Stel vervolgens het sessietoken in:
aws configure set aws_session_token your-session-token
Werken met bestanden op Amazon S3
Template:
aws s3 cp local-file-path s3://bucketName/dlzFolder/remote-file-Name
Voorbeeld:
aws s3 cp example.txt s3://bucketName/dlzFolder/example.txt
Template:
aws s3 cp s3://bucketName/dlzFolder/remote-file local-file-path
Voorbeeld:
aws s3 cp s3://bucketName/dlzFolder/example.txt example.txt
Meld u aan bij de AWS-console met uw Data Landing Zone -referenties
Uw referenties extraheren
Eerst, moet u het volgende verkrijgen:
awsAccessKeyIdawsSecretAccessKeyawsSessionToken
Een aanmeldingstoken genereren
Daarna, gebruik de gehaalde geloofsbrieven om een zitting tot stand te brengen en een sign-in teken te produceren gebruikend het eindpunt van de Federatie van AWS:
import json
import requests
# Example DLZ response with credentials
response_json = '''{
"credentials": {
"awsAccessKeyId": "your-access-key",
"awsSecretAccessKey": "your-secret-key",
"awsSessionToken": "your-session-token"
}
}'''
# Parse credentials
response_data = json.loads(response_json)
aws_access_key_id = response_data['credentials']['awsAccessKeyId']
aws_secret_access_key = response_data['credentials']['awsSecretAccessKey']
aws_session_token = response_data['credentials']['awsSessionToken']
# Create session dictionary
session = {
'sessionId': aws_access_key_id,
'sessionKey': aws_secret_access_key,
'sessionToken': aws_session_token
}
# Generate the sign-in token
signin_token_url = "https://signin.aws.amazon.com/federation"
signin_token_payload = {
"Action": "getSigninToken",
"Session": json.dumps(session)
}
signin_token_response = requests.post(signin_token_url, data=signin_token_payload)
signin_token = signin_token_response.json()['SigninToken']
De aanmeldings-URL voor de AWS-console maken
Zodra u een aanmeldingstoken hebt, kunt u de URL maken die u in de AWS-console registreert en rechtstreeks naar het gewenste Amazon S3 emmertje wijst.
from urllib.parse import quote
# Define the S3 bucket and folder path you want to access
bucket_name = "your-bucket-name"
bucket_path = "your-bucket-folder"
# Construct the destination URL
destination_url = f"https://s3.console.aws.amazon.com/s3/buckets/{bucket_name}?prefix={bucket_path}/&tab=objects"
# Create the final sign-in URL
signin_url = f"https://signin.aws.amazon.com/federation?Action=login&Issuer=YourAppName&Destination={quote(destination_url)}&SigninToken={signin_token}"
print(f"Sign-in URL: {signin_url}")
De AWS-console openen
Navigeer ten slotte naar de gegenereerde URL om u rechtstreeks aan te melden bij de AWS-console met uw Data Landing Zone -referenties. Hiermee hebt u toegang tot een specifieke map in een Amazon S3 -emmertje. De aanmeldings-URL neemt u rechtstreeks naar die map, zodat u alleen de toegestane gegevens ziet en beheert.
Verbinden Data Landing Zone met Experience Platform
IMPORTANT-
Als u verbinding wilt maken met de bron, hebt u de toegangsbeheermachtigingen View Sources en Manage Sources nodig. Voor meer informatie, lees het overzicht van de toegangscontroleof contacteer uw productbeheerder om de vereiste toestemmingen te verkrijgen.
-
Privékoppelingen worden momenteel niet ondersteund wanneer verbinding wordt gemaakt met Experience Platform via Data Landing Zone . De enige gesteunde methodes voor toegang zijn de hier vermelde methodes 🔗.
In de onderstaande documentatie vindt u informatie over het overbrengen van gegevens van uw Data Landing Zone -container naar Adobe Experience Platform met behulp van API's of de gebruikersinterface.