Zugriff auf Hadoop konfigurieren configure-access-to-hadoop
Verwenden Sie die -Option (Federated Data Access (FDA) von Campaign, um in einer externen Datenbank gespeicherte Informationen zu verarbeiten. Gehen Sie wie folgt vor, um den Zugriff auf Hadoop zu konfigurieren.
- Hadoop-Datenbank konfigurieren
- Konfigurieren des Hadoop externen Kontos in Campaign
Konfigurieren von Hadoop 3.0 configuring-hadoop
Die Verbindung mit einer externen Hadoop-Datenbank über die FDA-Option erfordert folgende Konfigurationen auf dem Adobe Campaign-Server. Beachten Sie, dass diese Konfiguration für sowohl Windows als auch Linux verfügbar ist.
-
Laden Sie je nach Betriebssystemversion die ODBC-Treiber für Hadoop herunter. Treiber finden Sie auf dieser Seite.
-
Anschließend müssen Sie die ODBC-Treiber installieren und einen DSN für Ihre Hive-Verbindung einrichten. Anweisungen dazu finden Sie auf dieser Seite.
-
Nach dem Herunterladen und Installieren der ODBC-Treiber müssen Sie Campaign Classic neu starten. Führen Sie dazu den folgenden Befehl aus:
code language-none systemctl stop nlserver.service systemctl start nlserver.service -
In Campaign Classic können Sie dann Ihr externes Hadoop-Konto konfigurieren. Weiterführende Informationen zur Konfiguration Ihres externen Kontos finden Sie in diesem Abschnitt.
Externes Konto „Hadoop“ hadoop-external
Über das externe Hadoop-Konto können Sie Ihre Campaign-Instanz mit Ihrer externen Hadoop-Datenbank verbinden.
-
Konfigurieren Sie in Campaign Classic Ihr externes Hadoop-Konto. Klicken Sie im Explorer auf Administration > Plattform > Externe Konten.
-
Wählen Sie Neu aus.
-
Wählen Sie Externe Datenbank als Typ Ihres externen Kontos aus.
-
Konfigurieren Sie das externe Hadoop-Konto. Geben Sie dazu Folgendes an:
-
Typ: ODBC (Sybase ASE, Sybase IQ)
-
Server: Name des DNS
-
Konto: Name des Benutzers
-
Passwort: Passwort des Benutzerkontos
-
Datenbank: Name Ihrer Datenbank, falls nicht im DSN angegeben. Kann leer bleiben, wenn im DSN angegeben
-
Zeitzone: Zeitzone des Servers
-
Der Connector unterstützt die folgenden ODBC-Optionen:
Der Connector unterstützt außerdem die folgenden Hive-Optionen:
Das ist der Zugriffsschlüssel für den Blob- oder DataLake-Bucket bei Bulk Loads.
standardmäßig auf 8020 gesetzt
Konfigurieren von Hadoop 2.1 configure-access-hadoop-2
Wenn Sie eine Verbindung zu Hadoop 2.1 herstellen müssen, führen Sie die unten beschriebenen Schritte für Windows oder Linux aus.
Hadoop 2.1 für Windows for-windows
-
Installieren Sie die ODBC- und Azure HD Insight-Treiber für Windows.
-
Erstellen Sie den DSN (Data Source Name), indem Sie das ODBC-Tool DataSource Administrator ausführen. Dort finden Sie ein Beispiel für einen System-DSN für Hive, das Sie anpassen können.
code language-none Description: vorac (or any name you like) Host: vorac.azurehdinsight.net Port: 443 Database: sm_tst611 (or your database name) Mechanism: Azure HDInsight Service User/Password: admin/<your password here> -
Erstellen Sie das externe Hadoop-Konto, wie diesem Abschnitt beschrieben.
Hadoop 2.1 für Linux for-linux
-
Installieren Sie unixodbc für Linux.
code language-none apt-get install unixodbc -
Herunterladen und Installieren von ODBC-Treibern für Apache Hive von HortonWorks: https://www.cloudera.com/downloads.html.
code language-none dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb -
Sehen Sie nach, wo die ODBC-Dateien gespeichert sind.
code language-none root@campadpac71:/tmp# odbcinst -j unixODBC 2.3.1 DRIVERS............: /etc/odbcinst.ini SYSTEM DATA SOURCES: /etc/odbc.ini FILE DATA SOURCES..: /etc/ODBCDataSources USER DATA SOURCES..: /root/.odbc.ini SQLULEN Size.......: 8 SQLLEN Size........: 8 SQLSETPOSIROW Size.: 8 -
Erstellen Sie die DSN-Daten (Source-Name) und bearbeiten Sie die Datei „odbc.ini“. Erstellen Sie dann ein DSN für Ihre Hive-Verbindung.
Hier ist ein Beispiel für HDInsight zur Herstellung einer Verbindung mit der Bezeichnung “viral”:
code language-none [ODBC Data Sources] vorac [vorac] Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so HOST=vorac.azurehdinsight.net PORT=443 Schema=sm_tst611 HiveServerType=2 AuthMech=6 UID=admin PWD=<your password here> HTTPPath= UseNativeQuery=1note NOTE Der Parameter UseNativeQuery hier ist sehr wichtig. Campaign ist hive-fähig und funktioniert nur, wenn UseNativeQuery festgelegt ist. Normalerweise schreibt der Treiber oder Hive SQL-Connector Abfragen neu und manipuliert die Spaltenreihenfolge. Die Authentifizierungseinstellungen hängen von der Hive-/Hadoop-Konfiguration ab. Verwenden Sie beispielsweise für HD Insight AuthMech=6 für die Benutzer-/Kennwortauthentifizierung, wie hier beschrieben.
-
Exportieren Sie die Variablen.
code language-none export ODBCINI=/etc/myodbc.ini export ODBCSYSINI=/etc/myodbcinst.ini -
Richten Sie Hortonworks-Treiber über /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini ein.
Sie müssen UTF-16 verwenden, um eine Verbindung mit Campaign und unix-odbc (libodbcinst) herstellen zu können.
code language-none [Driver] DriverManagerEncoding=UTF-16 ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/ LogLevel=0 LogPath=/tmp/hive SwapFilePath=/tmp ODBCInstLib=libodbcinst.so -
Jetzt können Sie Ihre Verbindung unter Verwendung von isql testen.
code language-none isql vorac isql vorac -v -
Erstellen Sie das externe Hadoop-Konto, wie diesem Abschnitt beschrieben.