DokumentationCampaignCampaign Classic v7 – Dokumentation

Zugriff auf Hadoop konfigurieren configure-access-to-hadoop

Last update: Fri Jul 19 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Verwenden Sie die Option Campaign Federated Data Access (FDA) , um in externen Datenbanken gespeicherte Informationen zu verarbeiten. Gehen Sie wie folgt vor, um den Zugriff auf Hadoop zu konfigurieren.

  1. Konfigurieren der Hadoop-Datenbank
  2. Konfigurieren des externen Hadoop Kontos in Campaign

Konfigurieren von Hadoop 3.0 configuring-hadoop

Die Verbindung mit einer externen Hadoop-Datenbank über die FDA-Option erfordert folgende Konfigurationen auf dem Adobe Campaign-Server. Beachten Sie, dass diese Konfiguration für sowohl Windows als auch Linux verfügbar ist.

  1. Laden Sie je nach Betriebssystemversion die ODBC-Treiber für Hadoop herunter. Treiber finden Sie auf dieser Seite.

  2. Anschließend müssen Sie die ODBC-Treiber installieren und einen DSN für Ihre Hive-Verbindung einrichten. Anweisungen dazu finden Sie auf dieser Seite.

  3. Nach dem Herunterladen und Installieren der ODBC-Treiber müssen Sie Campaign Classic neu starten. Führen Sie dazu den folgenden Befehl aus:

    code language-none 
    systemctl stop nlserver.service
systemctl start nlserver.service

  4. In Campaign Classic können Sie dann Ihr externes Hadoop-Konto konfigurieren. Weiterführende Informationen zur Konfiguration Ihres externen Kontos finden Sie in diesem Abschnitt.

Externes Hadoop-Konto hadoop-external

Über das externe Hadoop-Konto können Sie Ihre Campaign-Instanz mit Ihrer externen Hadoop-Datenbank verbinden.

  1. Konfigurieren Sie in Campaign Classic Ihr externes Hadoop-Konto. Klicken Sie im Explorer auf Administration > Plattform > Externe Konten.

  2. Wählen Sie Neu aus.

  3. Wählen Sie Externe Datenbank als Typ Ihres externen Kontos aus.

  4. Konfigurieren Sie das externe Hadoop-Konto. Geben Sie dazu Folgendes an:

    • Typ: ODBC (Sybase ASE, Sybase IQ)

    • Server: Name des DNS

    • Konto: Name des Benutzers

    • Passwort: Passwort des Benutzerkontos

    • Datenbank: Name Ihrer Datenbank, falls nicht im DSN angegeben. Kann leer bleiben, wenn im DSN angegeben

    • Zeitzone: Zeitzone des Servers

Der Connector unterstützt die folgenden ODBC-Optionen:

Name
Wert
ODBCMgr
iODBC
warehouse
1/2/4

Der Connector unterstützt außerdem die folgenden Hive-Optionen:

Name
Wert
Beschreibung
bulkKey
Azur Blob- oder DataLake-Zugriffsschlüssel
Für wasb://- oder wasbs://-Bulk-Loader (z. B. wenn das Bulk-Load-Tool mit wasb:// oder wasbs:// beginnt).
Das ist der Zugriffsschlüssel für den Blob- oder DataLake-Bucket bei Bulk Loads.
hdfsPort
Port-Nummer
standardmäßig auf 8020 gesetzt
Bei HDFS-Bulk-Load (d. h. wenn das Bulk-Load-Tool mit webhdfs:// oder webhdfss:// beginnt).
bucketsNumber
20
Anzahl der Buckets beim Erstellen einer Cluster-Tabelle.
fileFormat
PARQUET
Standarddateiformat für Arbeitstabellen.

Hadoop 2.1 konfigurieren configure-access-hadoop-2

Wenn Sie eine Verbindung zu Hadoop 2.1 herstellen müssen, führen Sie die folgenden Schritte für Windows oder Linux aus.

Hadoop 2.1 für Windows for-windows

  1. Installieren Sie die ODBC- und Azure HD Insight-Treiber für Windows.

  2. Erstellen Sie den DSN (Data Source Name), indem Sie das Tool ODBC DataSource Administrator ausführen. Dort finden Sie ein Beispiel für einen System-DSN für Hive, das Sie anpassen können.

    code language-none 
    Description: vorac (or any name you like)
Host: vorac.azurehdinsight.net
Port: 443
Database: sm_tst611 (or your database name)
Mechanism: Azure HDInsight Service
User/Password: admin/<your password here>

  3. Erstellen Sie das externe Hadoop-Konto, wie in diesem Abschnitt beschrieben.

Hadoop 2.1 für Linux for-linux

  1. Installieren Sie unixodbc für Linux.

    code language-none 
    apt-get install unixodbc

  2. Laden Sie ODBC-Treiber für Apache Hive von HortonWorks herunter und installieren Sie sie: https://www.cloudera.com/downloads.html.

    code language-none 
    dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb

  3. Sehen Sie nach, wo die ODBC-Dateien gespeichert sind.

    code language-none 
    root@campadpac71:/tmp# odbcinst -j
unixODBC 2.3.1
DRIVERS............: /etc/odbcinst.ini
SYSTEM DATA SOURCES: /etc/odbc.ini
FILE DATA SOURCES..: /etc/ODBCDataSources
USER DATA SOURCES..: /root/.odbc.ini
SQLULEN Size.......: 8
SQLLEN Size........: 8
SQLSETPOSIROW Size.: 8

  4. Erstellen Sie den DSN (Data Source Name) und bearbeiten Sie die Datei odbc.ini. Erstellen Sie dann einen DSN für Ihre Hive-Verbindung.

    Hier ist ein Beispiel für HDInsight zur Herstellung einer Verbindung mit der Bezeichnung "viral":

    code language-none 
    [ODBC Data Sources]
vorac

[vorac]
Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
HOST=vorac.azurehdinsight.net
PORT=443
Schema=sm_tst611
HiveServerType=2
AuthMech=6
UID=admin
PWD=<your password here>
HTTPPath=
UseNativeQuery=1
    note note
    NOTE
    Der Parameter UseNativeQuery ist dabei sehr wichtig. Campaign unterstützt Hive und funktioniert nur dann ordnungsgemäß, wenn UseNativeQuery eingerichtet ist. Üblicherweise formuliert der Treiber oder Hive SQL Connector Abfragen um und ändert die Spaltenanordnung.

    Die Authentifizierungseinrichtung hängt von der Hive/Hadoop-Konfiguration ab. Verwenden Sie beispielsweise für HD Insight AuthMech=6 für Benutzer-/Kennwortauthentifizierung, wie hier beschrieben.

  5. Exportieren Sie die Variablen.

    code language-none 
    export ODBCINI=/etc/myodbc.ini
export ODBCSYSINI=/etc/myodbcinst.ini

  6. Richten Sie Hortonworks-Treiber über /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini ein.

    Sie müssen UTF-16 verwenden, um eine Verbindung mit Campaign und unix-odbc (libodbcinst) herstellen zu können.

    code language-none 
    [Driver]

DriverManagerEncoding=UTF-16
ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
LogLevel=0
LogPath=/tmp/hive
SwapFilePath=/tmp

ODBCInstLib=libodbcinst.so

  7. Jetzt können Sie Ihre Verbindung unter Verwendung von isql testen.

    code language-none 
    isql vorac
isql vorac -v

  8. Erstellen Sie das externe Hadoop-Konto, wie in diesem Abschnitt beschrieben.

recommendation-more-help
601d79c3-e613-4db3-889a-ae959cd9e3e1