Zugriff auf Hadoop konfigurieren

Verwenden Sie die Option Campaign Federated Data Access (FDA) , um in externen Datenbanken gespeicherte Informationen zu verarbeiten. Gehen Sie wie folgt vor, um den Zugriff auf Hadoop zu konfigurieren.

  1. Hadoop-Datenbank konfigurieren
  2. Hadoop externes Konto in Campaign konfigurieren

Konfigurieren von Hadoop 3.0

Die Verbindung mit einer externen Hadoop-Datenbank über die FDA-Option erfordert folgende Konfigurationen auf dem Adobe Campaign-Server. Beachten Sie, dass diese Konfiguration für sowohl Windows als auch Linux verfügbar ist.

  1. Laden Sie je nach Betriebssystemversion die ODBC-Treiber für Hadoop herunter. Treiber finden Sie auf dieser Seite.

  2. Anschließend müssen Sie die ODBC-Treiber installieren und einen DSN für Ihre Hive-Verbindung einrichten. Anweisungen dazu finden Sie auf dieser Seite.

  3. Nach dem Herunterladen und Installieren der ODBC-Treiber müssen Sie Campaign Classic neu starten. Führen Sie dazu den folgenden Befehl aus:

    systemctl stop nlserver.service
    systemctl start nlserver.service
    
  4. In Campaign Classic können Sie dann Ihr externes Hadoop-Konto konfigurieren. Weiterführende Informationen zur Konfiguration Ihres externen Kontos finden Sie in diesem Abschnitt.

Externes Hadoop-Konto

Über das externe Hadoop-Konto können Sie Ihre Campaign-Instanz mit Ihrer externen Hadoop-Datenbank verbinden.

  1. Konfigurieren Sie in Campaign Classic Ihr externes Hadoop-Konto. Klicken Sie im Explorer auf Administration > Plattform > Externe Konten.

  2. Wählen Sie Neu aus.

  3. Wählen Sie Externe Datenbank als Typ Ihres externen Kontos aus.

  4. Konfigurieren Sie das externe Hadoop-Konto. Geben Sie dazu Folgendes an:

    • Typ: ODBC (Sybase ASE, Sybase IQ)

    • Server: Name des DNS

    • Konto: Name des Benutzers

    • Passwort: Passwort des Benutzerkontos

    • Datenbank: Name Ihrer Datenbank, falls nicht im DSN angegeben. Kann leer bleiben, wenn im DSN angegeben

    • Zeitzone: Zeitzone des Servers

Der Connector unterstützt die folgenden ODBC-Optionen:

Name Wert
ODBCMgr iODBC
warehouse 1/2/4

Der Connector unterstützt außerdem die folgenden Hive-Optionen:

Name Wert Beschreibung
bulkKey Azur Blob- oder DataLake-Zugriffsschlüssel Für wasb://- oder wasbs://-Bulk-Loader (z. B. wenn das Bulk-Load-Tool mit wasb:// oder wasbs:// beginnt).
Das ist der Zugriffsschlüssel für den Blob- oder DataLake-Bucket bei Bulk Loads.
hdfsPort Port-Nummer
standardmäßig auf 8020 gesetzt
Bei HDFS-Bulk-Load (d. h. wenn das Bulk-Load-Tool mit webhdfs:// oder webhdfss:// beginnt).
bucketsNumber 20 Anzahl der Buckets beim Erstellen einer Cluster-Tabelle.
fileFormat PARQUET Standarddateiformat für Arbeitstabellen.

Konfigurieren von Hadoop 2.1

Wenn Sie eine Verbindung zu Hadoop 2.1 herstellen müssen, führen Sie die folgenden Schritte für Windows oder Linux aus.

Hadoop 2.1 für Windows

  1. Installieren Sie die ODBC- und Azure HD Insight-Treiber für Windows.

  2. Erstellen Sie den DSN (Data Source Name), indem Sie das Tool ODBC DataSource Administrator ausführen. Dort finden Sie ein Beispiel für einen System-DSN für Hive, das Sie anpassen können.

    Description: vorac (or any name you like)
    Host: vorac.azurehdinsight.net
    Port: 443
    Database: sm_tst611 (or your database name)
    Mechanism: Azure HDInsight Service
    User/Password: admin/<your password here>
    
  3. Erstellen Sie das externe Hadoop-Konto, wie in diesem Abschnitt beschrieben.

Hadoop 2.1 für Linux

  1. Installieren Sie unixodbc für Linux.

    apt-get install unixodbc
    
  2. Laden Sie ODBC-Treiber für Apache Hive von HortonWorks herunter und installieren Sie sie: https://www.cloudera.com/downloads.html.

    dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb
    
  3. Sehen Sie nach, wo die ODBC-Dateien gespeichert sind.

    root@campadpac71:/tmp# odbcinst -j
    unixODBC 2.3.1
    DRIVERS............: /etc/odbcinst.ini
    SYSTEM DATA SOURCES: /etc/odbc.ini
    FILE DATA SOURCES..: /etc/ODBCDataSources
    USER DATA SOURCES..: /root/.odbc.ini
    SQLULEN Size.......: 8
    SQLLEN Size........: 8
    SQLSETPOSIROW Size.: 8
    
  4. Erstellen Sie den DSN (Data Source Name) und bearbeiten Sie die Datei odbc.ini. Erstellen Sie dann einen DSN für Ihre Hive-Verbindung.

    Hier ist ein Beispiel für HDInsight zur Herstellung einer Verbindung mit der Bezeichnung "viral":

    [ODBC Data Sources]
    vorac 
    
    [vorac]
    Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
    HOST=vorac.azurehdinsight.net
    PORT=443
    Schema=sm_tst611
    HiveServerType=2
    AuthMech=6
    UID=admin
    PWD=<your password here>
    HTTPPath=
    UseNativeQuery=1
    
    HINWEIS

    Der Parameter UseNativeQuery ist dabei sehr wichtig. Campaign unterstützt Hive und funktioniert nur dann ordnungsgemäß, wenn UseNativeQuery eingerichtet ist. Üblicherweise formuliert der Treiber oder Hive SQL Connector Abfragen um und ändert die Spaltenanordnung.

    Die Authentifizierungseinrichtung hängt von der Konfiguration von Hive/Hadoop ab. Verwenden Sie z. B. für HD Insight AuthMech=6 für die Benutzer-/Passwort-Authentifizierung entsprechend dieser Beschreibung.

  5. Exportieren Sie die Variablen.

    export ODBCINI=/etc/myodbc.ini
    export ODBCSYSINI=/etc/myodbcinst.ini
    
  6. Richten Sie Hortonworks-Treiber über /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini ein.

    Sie müssen UTF-16 verwenden, um eine Verbindung mit Campaign und unix-odbc (libodbcinst) herstellen zu können.

    [Driver]
    
    DriverManagerEncoding=UTF-16
    ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
    LogLevel=0
    LogPath=/tmp/hive
    SwapFilePath=/tmp
    
    ODBCInstLib=libodbcinst.so
    
  7. Jetzt können Sie Ihre Verbindung unter Verwendung von isql testen.

    isql vorac
    isql vorac -v
    
  8. Erstellen Sie das externe Hadoop-Konto, wie in diesem Abschnitt beschrieben.

Auf dieser Seite