Utilizzare Campaign Federated Data Access (FDA) per elaborare le informazioni memorizzate in un database esterno. Segui i passaggi seguenti per configurare l’accesso al Hadoop.
La connessione a un database esterno di Hadoop in FDA richiede le seguenti configurazioni sul server Adobe Campaign. Questa configurazione è disponibile sia per Windows che per Linux.
Scaricare i driver ODBC per il Hadoop a seconda della versione del sistema operativo in uso. I driver sono disponibili su questa pagina.
È quindi necessario installare i driver ODBC e creare un DSN per la connessione Hive. Le istruzioni sono reperibili in questa pagina
Dopo aver scaricato e installato i driver ODBC, è necessario riavviare Campaign Classic. A tale scopo, eseguire il comando seguente:
systemctl stop nlserver.service
systemctl start nlserver.service
In Campaign Classic, puoi quindi configurare i Hadoop account esterno. Per ulteriori informazioni su come configurare l’account esterno, consulta questa sezione.
Il Hadoop l’account esterno ti consente di collegare l’istanza Campaign al database esterno del Hadoop.
In Campaign Classic, configura il tuo Hadoop account esterno. Dalla sezione Explorer, fai clic su Administration / Platform / External accounts.
Fai clic su New.
Seleziona External database come dell’account esterno Type.
Configurare Hadoop account esterno, è necessario specificare:
Type: ODBC (Sybase ASE, Sybase IQ)
Server: nome del DNS
Account: nome dell’utente
Password: password dell’account utente
Database: nome del database, se non specificato nel DSN. Può essere lasciato vuoto se specificato nel DSN
Time zone: Fuso orario server
Il connettore supporta le seguenti opzioni ODBC:
Nome | Elemento “value” |
---|---|
ODBCMgr | iODBC |
data warehouse | 1/2/4 |
Il connettore supporta anche le seguenti opzioni Hive:
Nome | Elemento “value” | Descrizione |
---|---|---|
bulkKey | BLOB di Azure o chiave di accesso DataLake | Per i caricatori bulk wasb:// o wasbs:// (ad esempio, se lo strumento di caricamento bulk inizia con wasb:// o wasbs://). È la chiave di accesso per il bucket BLOB o DataLake per il caricamento in blocco. |
hdfsPort | numero di porta impostato per impostazione predefinita su 8020 |
Per il caricamento bulk HDFS (ad esempio se lo strumento di caricamento bulk inizia con webhdfs:// o webhdfss://). |
bucketNumber | 20 | Numero di bucket durante la creazione di una tabella cluster. |
fileFormat | PARQUET | Formato di file predefinito per le tabelle di lavoro. |
Se è necessario connettersi al Hadoop 2.1, procedere come segue per Windows o Linux.
Installare ODBC e Azure HD Insight driver per Windows.
Creare il DSN (Data Source Name) eseguendo lo strumento ODBC DataSource Administrator. Un esempio di DSN di sistema per Hive è disponibile per la modifica.
Description: vorac (or any name you like)
Host: vorac.azurehdinsight.net
Port: 443
Database: sm_tst611 (or your database name)
Mechanism: Azure HDInsight Service
User/Password: admin/<your password here>
Creare l’account esterno del Hadoop, come descritto in questa sezione.
Installa unixodbc per Linux.
apt-get install unixodbc
Scarica e installa i driver ODBC per Apache Hive da HortonWorks: https://www.cloudera.com/downloads.html.
dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb
Controllare il percorso dei file ODBC.
root@campadpac71:/tmp# odbcinst -j
unixODBC 2.3.1
DRIVERS............: /etc/odbcinst.ini
SYSTEM DATA SOURCES: /etc/odbc.ini
FILE DATA SOURCES..: /etc/ODBCDataSources
USER DATA SOURCES..: /root/.odbc.ini
SQLULEN Size.......: 8
SQLLEN Size........: 8
SQLSETPOSIROW Size.: 8
Creare il DSN (Data Source Name) e modificare il file odbc.ini. Quindi, crea un DSN per la connessione Hive.
Ecco un esempio per HDInsight per impostare una connessione chiamata "virale":
[ODBC Data Sources]
vorac
[vorac]
Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
HOST=vorac.azurehdinsight.net
PORT=443
Schema=sm_tst611
HiveServerType=2
AuthMech=6
UID=admin
PWD=<your password here>
HTTPPath=
UseNativeQuery=1
Il UseNativeQuery Questo parametro è molto importante. Campaign riconosce l’hive e non funziona correttamente se non è impostato UseNativeQuery. In genere, il driver o il connettore SQL Hive riscrive le query e altera l'ordine delle colonne.
La configurazione dell’autenticazione dipende dalla configurazione dell’hive o del Hadoop. Ad esempio, per HD Insight, utilizza AuthMech=6 per l’autenticazione utente/password, come descritto qui.
Esporta le variabili.
export ODBCINI=/etc/myodbc.ini
export ODBCSYSINI=/etc/myodbcinst.ini
Configurare i driver Hortonworks tramite /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini.
Devi utilizzare UTF-16 per connetterti con Campaign e unix-odbc (libodbcinst).
[Driver]
DriverManagerEncoding=UTF-16
ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
LogLevel=0
LogPath=/tmp/hive
SwapFilePath=/tmp
ODBCInstLib=libodbcinst.so
È ora possibile verificare la connessione utilizzando isql.
isql vorac
isql vorac -v
Creare l’account esterno del Hadoop, come descritto in questa sezione.