Zugriff auf Hadoop konfigurieren configure-access-to-hadoop

Verwenden von Campaign Federated Data Access (FDA), um in externen Datenbanken gespeicherte Informationen zu verarbeiten. Gehen Sie wie folgt vor, um den Zugriff auf Hadoop zu konfigurieren.

  1. Konfigurieren Hadoop-Datenbank
  2. Hadoop konfigurieren externes Konto in Campaign

Konfigurieren von Hadoop 3.0 configuring-hadoop

Die Verbindung mit einer externen Hadoop-Datenbank über die FDA-Option erfordert folgende Konfigurationen auf dem Adobe Campaign-Server. Beachten Sie, dass diese Konfiguration für sowohl Windows als auch Linux verfügbar ist.

  1. Laden Sie je nach Betriebssystemversion die ODBC-Treiber für Hadoop herunter. Treiber finden Sie auf dieser Seite.

  2. Anschließend müssen Sie die ODBC-Treiber installieren und einen DSN für Ihre Hive-Verbindung einrichten. Anweisungen dazu finden Sie auf dieser Seite.

  3. Nach dem Herunterladen und Installieren der ODBC-Treiber müssen Sie Campaign Classic neu starten. Führen Sie dazu den folgenden Befehl aus:

    code language-none
    systemctl stop nlserver.service
    systemctl start nlserver.service
    
  4. In Campaign Classic können Sie dann Ihr externes Hadoop-Konto konfigurieren. Weitere Informationen zur Konfiguration Ihres externen Kontos finden Sie unter diesem Abschnitt.

Externes Hadoop-Konto hadoop-external

Über das externe Hadoop-Konto können Sie Ihre Campaign-Instanz mit Ihrer externen Hadoop-Datenbank verbinden.

  1. Konfigurieren Sie in Campaign Classic Ihr externes Hadoop-Konto. Klicken Sie im Explorer auf Administration > Plattform > Externe Konten.

  2. Wählen Sie Neu aus.

  3. Wählen Sie Externe Datenbank als Typ Ihres externen Kontos aus.

  4. Konfigurieren Sie das externe Hadoop-Konto. Geben Sie dazu Folgendes an:

    • Typ: ODBC (Sybase ASE, Sybase IQ)

    • Server: Name des DNS

    • Konto: Name des Benutzers

    • Passwort: Passwort des Benutzerkontos

    • Datenbank: Name Ihrer Datenbank, falls nicht im DSN angegeben. Kann leer bleiben, wenn im DSN angegeben

    • Zeitzone: Zeitzone des Servers

Der Connector unterstützt die folgenden ODBC-Optionen:

Name
Wert
ODBCMgr
iODBC
warehouse
1/2/4

Der Connector unterstützt außerdem die folgenden Hive-Optionen:

Name
Wert
Beschreibung
bulkKey
Azur Blob- oder DataLake-Zugriffsschlüssel
Für wasb://- oder wasbs://-Bulk-Loader (z. B. wenn das Bulk-Load-Tool mit wasb:// oder wasbs:// beginnt).
Das ist der Zugriffsschlüssel für den Blob- oder DataLake-Bucket bei Bulk Loads.
hdfsPort
Port-Nummer
standardmäßig auf 8020 gesetzt
Bei HDFS-Bulk-Load (d. h. wenn das Bulk-Load-Tool mit webhdfs:// oder webhdfss:// beginnt).
bucketsNumber
20
Anzahl der Buckets beim Erstellen einer Cluster-Tabelle.
fileFormat
PARQUET
Standarddateiformat für Arbeitstabellen.

Hadoop 2.1 konfigurieren configure-access-hadoop-2

Wenn Sie eine Verbindung zu Hadoop 2.1 herstellen müssen, führen Sie die folgenden Schritte aus für Windows oder Linux.

Hadoop 2.1 für Windows for-windows

  1. Installieren Sie die ODBC- und Azure HD Insight-Treiber für Windows.

  2. Erstellen Sie den DSN (Data Source Name), indem Sie das Tool ODBC DataSource Administrator ausführen. Ein System-DSN-Beispiel für Hive wird bereitgestellt, das Sie ändern können.

    code language-none
    Description: vorac (or any name you like)
    Host: vorac.azurehdinsight.net
    Port: 443
    Database: sm_tst611 (or your database name)
    Mechanism: Azure HDInsight Service
    User/Password: admin/<your password here>
    
  3. Erstellen Sie das externe Hadoop-Konto, wie im Abschnitt diesem Abschnitt.

Hadoop 2.1 für Linux for-linux

  1. Installieren Sie unixodbc für Linux.

    code language-none
    apt-get install unixodbc
    
  2. Laden Sie ODBC-Treiber für Apache Hive von HortonWorks herunter und installieren Sie sie: https://www.cloudera.com/downloads.html.

    code language-none
    dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb
    
  3. Sehen Sie nach, wo die ODBC-Dateien gespeichert sind.

    code language-none
    root@campadpac71:/tmp# odbcinst -j
    unixODBC 2.3.1
    DRIVERS............: /etc/odbcinst.ini
    SYSTEM DATA SOURCES: /etc/odbc.ini
    FILE DATA SOURCES..: /etc/ODBCDataSources
    USER DATA SOURCES..: /root/.odbc.ini
    SQLULEN Size.......: 8
    SQLLEN Size........: 8
    SQLSETPOSIROW Size.: 8
    
  4. Erstellen Sie den DSN (Data Source Name) und bearbeiten Sie die Datei odbc.ini. Erstellen Sie dann einen DSN für Ihre Hive-Verbindung.

    Hier ist ein Beispiel für HDInsight zur Herstellung einer Verbindung mit der Bezeichnung "viral":

    code language-none
    [ODBC Data Sources]
    vorac
    
    [vorac]
    Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
    HOST=vorac.azurehdinsight.net
    PORT=443
    Schema=sm_tst611
    HiveServerType=2
    AuthMech=6
    UID=admin
    PWD=<your password here>
    HTTPPath=
    UseNativeQuery=1
    
    note note
    NOTE
    Der Parameter UseNativeQuery ist dabei sehr wichtig. Campaign unterstützt Hive und funktioniert nur dann ordnungsgemäß, wenn UseNativeQuery eingerichtet ist. Üblicherweise formuliert der Treiber oder Hive SQL Connector Abfragen um und ändert die Spaltenanordnung.

    Die Authentifizierungseinrichtung hängt von der Hive/Hadoop-Konfiguration ab. Verwenden Sie beispielsweise für HD Insight AuthMech=6 für Benutzer-/Kennwortauthentifizierung, wie beschrieben. here.

  5. Exportieren Sie die Variablen.

    code language-none
    export ODBCINI=/etc/myodbc.ini
    export ODBCSYSINI=/etc/myodbcinst.ini
    
  6. Richten Sie Hortonworks-Treiber über /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini ein.

    Sie müssen UTF-16 verwenden, um eine Verbindung mit Campaign und unix-odbc (libodbcinst) herstellen zu können.

    code language-none
    [Driver]
    
    DriverManagerEncoding=UTF-16
    ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
    LogLevel=0
    LogPath=/tmp/hive
    SwapFilePath=/tmp
    
    ODBCInstLib=libodbcinst.so
    
  7. Jetzt können Sie Ihre Verbindung unter Verwendung von isql testen.

    code language-none
    isql vorac
    isql vorac -v
    
  8. Erstellen Sie das externe Hadoop-Konto, wie im Abschnitt diesem Abschnitt.

recommendation-more-help
601d79c3-e613-4db3-889a-ae959cd9e3e1