Zugriff auf Hadoop konfigurieren

Verwenden Sie die Option "Kampagne Federated Data Access (FDA)", um in externen Datenbanken gespeicherte Informationen zu verarbeiten. Gehen Sie wie folgt vor, um den Zugriff auf Hadoop zu konfigurieren.

1. Hadoop-Datenbank konfigurieren
2. Konfigurieren Sie das Hadoop Externe Konto in der Kampagne

Konfigurieren von Hadoop 3.0

Die Verbindung mit einer externen Hadoop-Datenbank über die FDA-Option erfordert folgende Konfigurationen auf dem Adobe Campaign-Server. Beachten Sie, dass diese Konfiguration für sowohl Windows als auch Linux verfügbar ist.

1. Laden Sie je nach Betriebssystemversion die ODBC-Treiber für Hadoop herunter. Treiber finden Sie auf dieser Seite.

2. Anschließend müssen Sie die ODBC-Treiber installieren und einen DSN für Ihre Hive-Verbindung einrichten. Anweisungen dazu finden Sie auf dieser Seite.

3. Nach dem Herunterladen und Installieren der ODBC-Treiber müssen Sie Campaign Classic neu starten. Führen Sie dazu den folgenden Befehl aus:

   systemctl stop nlserver.service
   systemctl start nlserver.service
   

4. In Campaign Classic können Sie dann Ihr externes Hadoop-Konto konfigurieren. Weitere Informationen zum Konfigurieren Ihres Externen Kontos finden Sie in diesem Abschnitt.

Externes Hadoop-Konto

Über das externe Hadoop-Konto können Sie Ihre Campaign-Instanz mit Ihrer externen Hadoop-Datenbank verbinden.

1. Konfigurieren Sie in Campaign Classic Ihr externes Hadoop-Konto. Klicken Sie im Explorer auf Administration > Plattform > Externe Konten.

2. Wählen Sie Neu aus.

3. Wählen Sie Externe Datenbank als Typ Ihres externen Kontos aus.

4. Konfigurieren Sie das externe Hadoop-Konto. Geben Sie dazu Folgendes an:

   • Typ: ODBC (Sybase ASE, Sybase IQ)

   • Server: Name des DNS

   • Konto: Name des Benutzers

   • Passwort: Passwort des Benutzerkontos

   • Datenbank: Name Ihrer Datenbank, falls nicht im DSN angegeben. Kann leer bleiben, wenn im DSN angegeben

   • Zeitzone: Zeitzone des Servers

   

Der Connector unterstützt die folgenden ODBC-Optionen:

Der Connector unterstützt außerdem die folgenden Hive-Optionen:

Konfigurieren von Hadoop 2.1

Wenn Sie eine Verbindung zu Hadoop 2.1 herstellen müssen, führen Sie die folgenden Schritte für Windows oder Linux aus.

Hadoop 2.1 für Windows

1. Installieren Sie die ODBC- und Azure HD Insight-Treiber für Windows.

2. Erstellen Sie den DSN (Data Source Name), indem Sie das Tool ODBC DataSource Administrator ausführen. Dort finden Sie ein Beispiel für einen System-DSN für Hive, das Sie anpassen können.

   Description: vorac (or any name you like)
   Host: vorac.azurehdinsight.net
   Port: 443
   Database: sm_tst611 (or your database name)
   Mechanism: Azure HDInsight Service
   User/Password: admin/<your password here>
   

3. Erstellen Sie das Hadoop-Externe Konto, wie in diesem Abschnitt beschrieben.

Hadoop 2.1 für Linux

1. Installieren Sie unixodbc für Linux.

   apt-get install unixodbc
   

2. ODBC-Treiber für Apache Hive von HortonWorks herunterladen und installieren: https://www.cloudera.com/downloads.html.

   dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb
   

3. Sehen Sie nach, wo die ODBC-Dateien gespeichert sind.

   root@campadpac71:/tmp# odbcinst -j
   unixODBC 2.3.1
   DRIVERS............: /etc/odbcinst.ini
   SYSTEM DATA SOURCES: /etc/odbc.ini
   FILE DATA SOURCES..: /etc/ODBCDataSources
   USER DATA SOURCES..: /root/.odbc.ini
   SQLULEN Size.......: 8
   SQLLEN Size........: 8
   SQLSETPOSIROW Size.: 8
   

4. Erstellen Sie den DSN (Data Source Name) und bearbeiten Sie die Datei odbc.ini. Erstellen Sie dann einen DSN für Ihre Hive-Verbindung.

   Hier ist ein Beispiel für HDInsight zur Herstellung einer Verbindung mit der Bezeichnung "viral":

   [ODBC Data Sources]
   vorac 
   
   [vorac]
   Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
   HOST=vorac.azurehdinsight.net
   PORT=443
   Schema=sm_tst611
   HiveServerType=2
   AuthMech=6
   UID=admin
   PWD=<your password here>
   HTTPPath=
   UseNativeQuery=1
   

   HINWEIS

   Der Parameter UseNativeQuery ist dabei sehr wichtig. Campaign unterstützt Hive und funktioniert nur dann ordnungsgemäß, wenn UseNativeQuery eingerichtet ist. Üblicherweise formuliert der Treiber oder Hive SQL Connector Abfragen um und ändert die Spaltenanordnung.

   Die Authentifizierungseinrichtung hängt von der Konfiguration von Hive/Hadoop ab. Verwenden Sie z. B. für HD Insight AuthMech=6 für die Benutzer-/Passwort-Authentifizierung entsprechend dieser Beschreibung.

5. Exportieren Sie die Variablen.

   export ODBCINI=/etc/myodbc.ini
   export ODBCSYSINI=/etc/myodbcinst.ini
   

6. Richten Sie Hortonworks-Treiber über /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini ein.

   Sie müssen UTF-16 verwenden, um eine Verbindung mit Campaign und unix-odbc (libodbcinst) herstellen zu können.

   [Driver]
   
   DriverManagerEncoding=UTF-16
   ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
   LogLevel=0
   LogPath=/tmp/hive
   SwapFilePath=/tmp
   
   ODBCInstLib=libodbcinst.so
   

7. Jetzt können Sie Ihre Verbindung unter Verwendung von isql testen.

   isql vorac
   isql vorac -v
   

8. Erstellen Sie das Hadoop-Externe Konto, wie in diesem Abschnitt beschrieben.