Configurare l’accesso al Hadoop

Utilizza l’opzione Campaign Federated Data Access (FDA) per elaborare le informazioni memorizzate in un database esterno. Segui i passaggi riportati di seguito per configurare l’accesso al Hadoop.

  1. Configura database di Hadoop
  2. Configura il Hadoop account esterno in Campaign

Configurazione di Hadoop 3.0

La connessione a un database esterno di Hadoop in FDA richiede le seguenti configurazioni sul server Adobe Campaign. Questa configurazione è disponibile sia per Windows che per Linux.

  1. Scaricare i driver ODBC per Hadoop a seconda della versione del sistema operativo in uso. I driver si trovano in questa pagina.

  2. È quindi necessario installare i driver ODBC e creare un DSN per la connessione Hive. Le istruzioni sono disponibili in questa pagina

  3. Dopo aver scaricato e installato i driver ODBC, è necessario riavviare Campaign Classic. A questo scopo, esegui il seguente comando:

    systemctl stop nlserver.service
systemctl start nlserver.service

  4. In Campaign Classic puoi quindi configurare l’account esterno Hadoop. Per ulteriori informazioni su come configurare l'account esterno, consulta questa sezione.

account esterno hadoop

L’account esterno Hadoop ti consente di collegare l’istanza Campaign al database esterno del Hadoop.

  1. In Campaign Classic, configura l’account esterno Hadoop. Dal menu Explorer, fai clic su Administration / Platform / External accounts.

  2. Fai clic su New.

  3. Seleziona External database come account esterno Type.

  4. Configura l’account esterno Hadoop , devi specificare:

    • Type: ODBC (Sybase ASE, Sybase IQ)

    • Server: Nome del DNS

    • Account: Nome dell’utente

    • Password: Password account utente

    • Database: Nome del database se non specificato in DSN. Può essere lasciato vuoto se specificato nel DSN

    • Time zone: Fuso orario server

Il connettore supporta le seguenti opzioni ODBC:

Nome Elemento “value”
ODBCMgr iODBC
magazzino 02/01/04

Il connettore supporta anche le seguenti opzioni Hive:

Nome Elemento “value” Descrizione
bulkKey Chiave di accesso BLOB di Azure o DataLake Per caricatori di massa wasb:// o wasbs:// (ad esempio se lo strumento di caricamento di massa inizia con wasb:// o wasbs://).
È la chiave di accesso per il bucket BLOB o DataLake per il caricamento in serie.
hdfsPort numero di porta
impostato per impostazione predefinita su 8020		 Per il caricamento in serie HDFS (cioè se lo strumento di caricamento in serie inizia con webhdfs:// o webhdfss://).
bubenNumber 20 Numero di bucket durante la creazione di una tabella cluster.
fileFormat PARQUET Formato di file predefinito per le tabelle di lavoro.

Configurazione di Hadoop 2.1

Per connettersi al Hadoop 2.1, segui i passaggi descritti di seguito per Windows o Linux.

Hadoop 2.1 per Windows

  1. Installa i driver ODBC e Azure HD Insight per Windows.

  2. Creare il DSN (Data Source Name) eseguendo lo strumento Amministratore origine dati ODBC. È disponibile un esempio DSN di sistema per Hive da modificare.

    Description: vorac (or any name you like)
Host: vorac.azurehdinsight.net
Port: 443
Database: sm_tst611 (or your database name)
Mechanism: Azure HDInsight Service
User/Password: admin/<your password here>

  3. Crea l'account esterno del Hadoop, come descritto in questa sezione.

Hadoop 2.1 per Linux

  1. Installa unixodbc per Linux.

    apt-get install unixodbc

  2. Scarica e installa driver ODBC per Apache Hive da HortonWorks: https://www.cloudera.com/downloads.html.

    dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb

  3. Controllare la posizione dei file ODBC.

    root@campadpac71:/tmp# odbcinst -j
unixODBC 2.3.1
DRIVERS............: /etc/odbcinst.ini
SYSTEM DATA SOURCES: /etc/odbc.ini
FILE DATA SOURCES..: /etc/ODBCDataSources
USER DATA SOURCES..: /root/.odbc.ini
SQLULEN Size.......: 8
SQLLEN Size........: 8
SQLSETPOSIROW Size.: 8

  4. Crea il DSN (Data Source Name) e modifica il file odbc.ini. Quindi, crea un DSN per la tua connessione Hive.

    Ecco un esempio per HDInsight per impostare una connessione chiamata "virale":

    [ODBC Data Sources]
vorac 

[vorac]
Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
HOST=vorac.azurehdinsight.net
PORT=443
Schema=sm_tst611
HiveServerType=2
AuthMech=6
UID=admin
PWD=<your password here>
HTTPPath=
UseNativeQuery=1
    NOTA

    Il parametro UseNativeQuery qui è molto importante. Campaign riconosce Hive e non funziona correttamente se non è impostato UseNativeQuery. In genere, il driver o il connettore Hive SQL riscriveranno le query e manometteranno l'ordine delle colonne.

    La configurazione dell'autenticazione dipende dalla configurazione Hive/Hadoop. Ad esempio, per HD Insight, utilizza AuthMech=6 per l'autenticazione utente/password, come descritto qui.

  5. Esporta le variabili.

    export ODBCINI=/etc/myodbc.ini
export ODBCSYSINI=/etc/myodbcinst.ini

  6. Imposta i driver Hortonworks tramite /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini.

    Devi utilizzare UTF-16 per connettersi con Campaign e unix-odbc (libodbcinst).

    [Driver]

DriverManagerEncoding=UTF-16
ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
LogLevel=0
LogPath=/tmp/hive
SwapFilePath=/tmp

ODBCInstLib=libodbcinst.so

  7. È ora possibile verificare la connessione utilizzando isql.

    isql vorac
isql vorac -v

  8. Crea l'account esterno del Hadoop, come descritto in questa sezione.

In questa pagina