Configurare l’accesso al Hadoop configure-access-to-hadoop
Utilizza l'opzione Federated Data Access (FDA) di Campaign per elaborare le informazioni archiviate in un database esterno. Segui i passaggi seguenti per configurare l’accesso al Hadoop.
- Configura database di Hadoop
- Configura il Hadoop account esterno in Campaign
Configurazione di Hadoop 3.0 configuring-hadoop
La connessione a un database esterno di Hadoop in FDA richiede le seguenti configurazioni sul server Adobe Campaign. Questa configurazione è disponibile sia per Windows che per Linux.
-
Scaricare i driver ODBC per il Hadoop a seconda della versione del sistema operativo in uso. I driver sono disponibili in questa pagina.
-
È quindi necessario installare i driver ODBC e creare un DSN per la connessione Hive. Le istruzioni sono disponibili in questa pagina
-
Dopo aver scaricato e installato i driver ODBC, è necessario riavviare Campaign Classic. A tale scopo, eseguire il comando seguente:
code language-none systemctl stop nlserver.service systemctl start nlserver.service
-
In Campaign Classic, puoi quindi configurare l'account esterno Hadoop. Per ulteriori informazioni su come configurare l'account esterno, consulta questa sezione.
Account esterno hadoop hadoop-external
L'account esterno Hadoop ti consente di collegare l'istanza Campaign al database esterno del Hadoop.
-
In Campaign Classic, configura l'account esterno Hadoop. Da Explorer, fare clic su Administration / Platform / External accounts.
-
Fai clic su New.
-
Seleziona External database come Type del tuo account esterno.
-
Configurare l'account esterno Hadoop. È necessario specificare:
-
Type: ODBC (Sybase ASE, Sybase IQ)
-
Server: nome del DNS
-
Account: nome dell'utente
-
Password: password dell'account utente
-
Database: nome del database se non specificato nel DSN. Può essere lasciato vuoto se specificato nel DSN
-
Time zone: fuso orario del server
-
Il connettore supporta le seguenti opzioni ODBC:
Il connettore supporta anche le seguenti opzioni Hive:
È la chiave di accesso per il bucket BLOB o DataLake per il caricamento in blocco.
impostato per impostazione predefinita su 8020
Configurazione del Hadoop 2.1 configure-access-hadoop-2
Se devi connetterti al Hadoop 2.1, segui i passaggi descritti di seguito per Windows o Linux.
Hadoop 2.1 per Windows for-windows
-
Installa i driver ODBC e Azure HD Insight per Windows.
-
Creare il DSN (Data Source Name) eseguendo lo strumento ODBC DataSource Administrator. Un esempio di DSN di sistema per Hive è disponibile per la modifica.
code language-none Description: vorac (or any name you like) Host: vorac.azurehdinsight.net Port: 443 Database: sm_tst611 (or your database name) Mechanism: Azure HDInsight Service User/Password: admin/<your password here>
-
Creare l'account esterno del Hadoop, come descritto in questa sezione.
Hadoop 2.1 per Linux for-linux
-
Installa unixodbc per Linux.
code language-none apt-get install unixodbc
-
Scaricare e installare i driver ODBC per Apache Hive da HortonWorks: https://www.cloudera.com/downloads.html.
code language-none dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb
-
Controllare il percorso dei file ODBC.
code language-none root@campadpac71:/tmp# odbcinst -j unixODBC 2.3.1 DRIVERS............: /etc/odbcinst.ini SYSTEM DATA SOURCES: /etc/odbc.ini FILE DATA SOURCES..: /etc/ODBCDataSources USER DATA SOURCES..: /root/.odbc.ini SQLULEN Size.......: 8 SQLLEN Size........: 8 SQLSETPOSIROW Size.: 8
-
Creare il DSN (Data Source Name) e modificare il file odbc.ini. Quindi, crea un DSN per la connessione Hive.
Ecco un esempio per HDInsight per impostare una connessione chiamata "virale":
code language-none [ODBC Data Sources] vorac [vorac] Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so HOST=vorac.azurehdinsight.net PORT=443 Schema=sm_tst611 HiveServerType=2 AuthMech=6 UID=admin PWD=<your password here> HTTPPath= UseNativeQuery=1
note note NOTE Il parametro UseNativeQuery è molto importante. Campaign riconosce l’hive e non funziona correttamente se non è impostato UseNativeQuery. In genere, il driver o il connettore SQL Hive riscrive le query e altera l'ordine delle colonne. La configurazione dell’autenticazione dipende dalla configurazione dell’hive o del Hadoop. Ad esempio, per HD Insight, utilizza AuthMech=6 per l'autenticazione utente/password, come descritto qui.
-
Esporta le variabili.
code language-none export ODBCINI=/etc/myodbc.ini export ODBCSYSINI=/etc/myodbcinst.ini
-
Configurare i driver Hortonworks tramite /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini.
Devi utilizzare UTF-16 per connetterti con Campaign e unix-odbc (libodbcinst).
code language-none [Driver] DriverManagerEncoding=UTF-16 ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/ LogLevel=0 LogPath=/tmp/hive SwapFilePath=/tmp ODBCInstLib=libodbcinst.so
-
È ora possibile verificare la connessione utilizzando isql.
code language-none isql vorac isql vorac -v
-
Creare l'account esterno del Hadoop, come descritto in questa sezione.