Zugriff auf Hadoop konfigurieren configure-access-to-hadoop

Verwenden Sie die -Option (Federated Data Access (FDA) von Campaign, um in einer externen Datenbank gespeicherte Informationen zu verarbeiten. Gehen Sie wie folgt vor, um den Zugriff auf Hadoop zu konfigurieren.

  1. Hadoop-Datenbank konfigurieren
  2. Konfigurieren des Hadoop externen Kontos in Campaign

Konfigurieren von Hadoop 3.0 configuring-hadoop

Die Verbindung mit einer externen Hadoop-Datenbank über die FDA-Option erfordert folgende Konfigurationen auf dem Adobe Campaign-Server. Beachten Sie, dass diese Konfiguration für sowohl Windows als auch Linux verfügbar ist.

  1. Laden Sie je nach Betriebssystemversion die ODBC-Treiber für Hadoop herunter. Treiber finden Sie auf dieser Seite.

  2. Anschließend müssen Sie die ODBC-Treiber installieren und einen DSN für Ihre Hive-Verbindung einrichten. Anweisungen dazu finden Sie auf dieser Seite.

  3. Nach dem Herunterladen und Installieren der ODBC-Treiber müssen Sie Campaign Classic neu starten. Führen Sie dazu den folgenden Befehl aus:

    code language-none
    systemctl stop nlserver.service
    systemctl start nlserver.service
    
  4. In Campaign Classic können Sie dann Ihr externes Hadoop-Konto konfigurieren. Weiterführende Informationen zur Konfiguration Ihres externen Kontos finden Sie in diesem Abschnitt.

Externes Konto „Hadoop“ hadoop-external

Über das externe Hadoop-Konto können Sie Ihre Campaign-Instanz mit Ihrer externen Hadoop-Datenbank verbinden.

  1. Konfigurieren Sie in Campaign Classic Ihr externes Hadoop-Konto. Klicken Sie im Explorer auf Administration > Plattform > Externe Konten.

  2. Wählen Sie Neu aus.

  3. Wählen Sie Externe Datenbank als Typ Ihres externen Kontos aus.

  4. Konfigurieren Sie das externe Hadoop-Konto. Geben Sie dazu Folgendes an:

    • Typ: ODBC (Sybase ASE, Sybase IQ)

    • Server: Name des DNS

    • Konto: Name des Benutzers

    • Passwort: Passwort des Benutzerkontos

    • Datenbank: Name Ihrer Datenbank, falls nicht im DSN angegeben. Kann leer bleiben, wenn im DSN angegeben

    • Zeitzone: Zeitzone des Servers

Der Connector unterstützt die folgenden ODBC-Optionen:

Name
Wert
ODBCMgr
iODBC
warehouse
1/2/4

Der Connector unterstützt außerdem die folgenden Hive-Optionen:

Name
Wert
Beschreibung
bulkKey
Azur Blob- oder DataLake-Zugriffsschlüssel
Für wasb://- oder wasbs://-Bulk-Loader (z. B. wenn das Bulk-Load-Tool mit wasb:// oder wasbs:// beginnt).
Das ist der Zugriffsschlüssel für den Blob- oder DataLake-Bucket bei Bulk Loads.
hdfsPort
Port-Nummer
standardmäßig auf 8020 gesetzt
Bei HDFS-Bulk-Load (d. h. wenn das Bulk-Load-Tool mit webhdfs:// oder webhdfss:// beginnt).
bucketsNumber
20
Anzahl der Buckets beim Erstellen einer Cluster-Tabelle.
fileFormat
PARQUET
Standarddateiformat für Arbeitstabellen.

Konfigurieren von Hadoop 2.1 configure-access-hadoop-2

Wenn Sie eine Verbindung zu Hadoop 2.1 herstellen müssen, führen Sie die unten beschriebenen Schritte für Windows oder Linux aus.

Hadoop 2.1 für Windows for-windows

  1. Installieren Sie die ODBC- und Azure HD Insight-Treiber für Windows.

  2. Erstellen Sie den DSN (Data Source Name), indem Sie das ODBC-Tool DataSource Administrator ausführen. Dort finden Sie ein Beispiel für einen System-DSN für Hive, das Sie anpassen können.

    code language-none
    Description: vorac (or any name you like)
    Host: vorac.azurehdinsight.net
    Port: 443
    Database: sm_tst611 (or your database name)
    Mechanism: Azure HDInsight Service
    User/Password: admin/<your password here>
    
  3. Erstellen Sie das externe Hadoop-Konto, wie ​ diesem Abschnitt beschrieben.

Hadoop 2.1 für Linux for-linux

  1. Installieren Sie unixodbc für Linux.

    code language-none
    apt-get install unixodbc
    
  2. Herunterladen und Installieren von ODBC-Treibern für Apache Hive von HortonWorks: https://www.cloudera.com/downloads.html.

    code language-none
    dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb
    
  3. Sehen Sie nach, wo die ODBC-Dateien gespeichert sind.

    code language-none
    root@campadpac71:/tmp# odbcinst -j
    unixODBC 2.3.1
    DRIVERS............: /etc/odbcinst.ini
    SYSTEM DATA SOURCES: /etc/odbc.ini
    FILE DATA SOURCES..: /etc/ODBCDataSources
    USER DATA SOURCES..: /root/.odbc.ini
    SQLULEN Size.......: 8
    SQLLEN Size........: 8
    SQLSETPOSIROW Size.: 8
    
  4. Erstellen Sie die DSN-Daten (Source-Name) und bearbeiten Sie die Datei „odbc.ini“. Erstellen Sie dann ein DSN für Ihre Hive-Verbindung.

    Hier ist ein Beispiel für HDInsight zur Herstellung einer Verbindung mit der Bezeichnung “viral”:

    code language-none
    [ODBC Data Sources]
    vorac
    
    [vorac]
    Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
    HOST=vorac.azurehdinsight.net
    PORT=443
    Schema=sm_tst611
    HiveServerType=2
    AuthMech=6
    UID=admin
    PWD=<your password here>
    HTTPPath=
    UseNativeQuery=1
    
    note
    NOTE
    Der Parameter UseNativeQuery hier ist sehr wichtig. Campaign ist hive-fähig und funktioniert nur, wenn UseNativeQuery festgelegt ist. Normalerweise schreibt der Treiber oder Hive SQL-Connector Abfragen neu und manipuliert die Spaltenreihenfolge.

    Die Authentifizierungseinstellungen hängen von der Hive-/Hadoop-Konfiguration ab. Verwenden Sie beispielsweise für HD Insight AuthMech=6 für die Benutzer-/Kennwortauthentifizierung, wie hier beschrieben.

  5. Exportieren Sie die Variablen.

    code language-none
    export ODBCINI=/etc/myodbc.ini
    export ODBCSYSINI=/etc/myodbcinst.ini
    
  6. Richten Sie Hortonworks-Treiber über /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini ein.

    Sie müssen UTF-16 verwenden, um eine Verbindung mit Campaign und unix-odbc (libodbcinst) herstellen zu können.

    code language-none
    [Driver]
    
    DriverManagerEncoding=UTF-16
    ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
    LogLevel=0
    LogPath=/tmp/hive
    SwapFilePath=/tmp
    
    ODBCInstLib=libodbcinst.so
    
  7. Jetzt können Sie Ihre Verbindung unter Verwendung von isql testen.

    code language-none
    isql vorac
    isql vorac -v
    
  8. Erstellen Sie das externe Hadoop-Konto, wie ​ diesem Abschnitt beschrieben.

recommendation-more-help
campaign-classic-help