Configurare l’accesso a Hadoop configure-access-to-hadoop

Utilizza l’opzione Federated Data Access (FDA) di Campaign per elaborare le informazioni archiviate in un database esterno. Segui i passaggi seguenti per configurare l’accesso a Hadoop.

  1. Configura database Hadoop
  2. Configura l’account esterno di Hadoop in Campaign

Configurazione di Hadoop 3.0 configuring-hadoop

La connessione a un database esterno Hadoop in FDA richiede le seguenti configurazioni sul server Adobe Campaign. Questa configurazione è disponibile sia per Windows che per Linux.

  1. Scaricare i driver ODBC per Hadoop a seconda della versione del sistema operativo in uso. I driver sono disponibili in questa pagina.

  2. È quindi necessario installare i driver ODBC e creare un DSN per la connessione Hive. Le istruzioni sono disponibili in questa pagina

  3. Dopo aver scaricato e installato i driver ODBC, è necessario riavviare Campaign Classic. A tale scopo, eseguire il comando seguente:

    code language-none
    systemctl stop nlserver.service
    systemctl start nlserver.service
    
  4. In Campaign Classic è quindi possibile configurare l’account esterno Hadoop. Per ulteriori informazioni su come configurare l’account esterno, consulta questa sezione.

Account esterno Hadoop hadoop-external

L’account esterno Hadoop ti consente di collegare l’istanza Campaign al database esterno di Hadoop.

  1. In Campaign Classic, configura l’account esterno Hadoop. Da Explorer, fare clic su Administration / Platform / External accounts.

  2. Fai clic su New.

  3. Seleziona External database come Type del tuo account esterno.

  4. Configurare l’account esterno Hadoop. È necessario specificare:

    • Type: ODBC (Sybase ASE, Sybase IQ)

    • Server: nome del DNS

    • Account: nome dell’utente

    • Password: password dell’account utente

    • Database: nome del database se non specificato nel DSN. Può essere lasciato vuoto se specificato nel DSN

    • Time zone: fuso orario del server

Il connettore supporta le seguenti opzioni ODBC:

Nome
Elemento “value”
ODBCMgr
iODBC
data warehouse
1/2/4

Il connettore supporta anche le seguenti opzioni Hive:

Nome
Elemento “value”
Descrizione
bulkKey
Blob Azure o chiave di accesso DataLake
Per i caricatori bulk wasb:// o wasbs:// (ad esempio, se lo strumento di caricamento bulk inizia con wasb:// o wasbs://).
È la chiave di accesso per il bucket BLOB o DataLake per il caricamento in blocco.
hdfsPort
numero di porta
impostato per impostazione predefinita su 8020
Per il caricamento bulk HDFS (ad esempio se lo strumento di caricamento bulk inizia con webhdfs:// o webhdfss://).
bucketNumber
20
Numero di bucket durante la creazione di una tabella cluster.
fileFormat
PARQUET
Formato di file predefinito per le tabelle di lavoro.

Configurazione di Hadoop 2.1 configure-access-hadoop-2

Se devi connetterti a Hadoop 2.1, segui i passaggi descritti di seguito per Windows o Linux.

Hadoop 2.1 per Windows for-windows

  1. Installa i driver ODBC e Azure HD Insight per Windows.

  2. Creare il DSN (Data Source Name) eseguendo lo strumento ODBC DataSource Administrator. Un esempio di DSN di sistema per Hive è disponibile per la modifica.

    code language-none
    Description: vorac (or any name you like)
    Host: vorac.azurehdinsight.net
    Port: 443
    Database: sm_tst611 (or your database name)
    Mechanism: Azure HDInsight Service
    User/Password: admin/<your password here>
    
  3. Crea l’account esterno Hadoop, come descritto in questa sezione.

Hadoop 2.1 per Linux for-linux

  1. Installa unixodbc per Linux.

    code language-none
    apt-get install unixodbc
    
  2. Scaricare e installare i driver ODBC per Apache Hive da HortonWorks: https://www.cloudera.com/downloads.html.

    code language-none
    dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb
    
  3. Controllare il percorso dei file ODBC.

    code language-none
    root@campadpac71:/tmp# odbcinst -j
    unixODBC 2.3.1
    DRIVERS............: /etc/odbcinst.ini
    SYSTEM DATA SOURCES: /etc/odbc.ini
    FILE DATA SOURCES..: /etc/ODBCDataSources
    USER DATA SOURCES..: /root/.odbc.ini
    SQLULEN Size.......: 8
    SQLLEN Size........: 8
    SQLSETPOSIROW Size.: 8
    
  4. Creare il DSN (Data Source Name) e modificare il file odbc.ini. Quindi, crea un DSN per la connessione Hive.

    Ecco un esempio per HDInsight per impostare una connessione chiamata “virale”:

    code language-none
    [ODBC Data Sources]
    vorac
    
    [vorac]
    Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
    HOST=vorac.azurehdinsight.net
    PORT=443
    Schema=sm_tst611
    HiveServerType=2
    AuthMech=6
    UID=admin
    PWD=<your password here>
    HTTPPath=
    UseNativeQuery=1
    
    note
    NOTE
    Il parametro UseNativeQuery è molto importante. Campaign riconosce l’hive e non funziona correttamente se non è impostato UseNativeQuery. In genere, il driver o il connettore SQL Hive riscrive le query e altera l'ordine delle colonne.

    La configurazione dell’autenticazione dipende dalla configurazione Hive/Hadoop. Ad esempio, per HD Insight, utilizza AuthMech=6 per l’autenticazione utente/password, come descritto qui.

  5. Esporta le variabili.

    code language-none
    export ODBCINI=/etc/myodbc.ini
    export ODBCSYSINI=/etc/myodbcinst.ini
    
  6. Configurare i driver Hortonworks tramite /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini.

    Devi utilizzare UTF-16 per connetterti con Campaign e unix-odbc (libodbcinst).

    code language-none
    [Driver]
    
    DriverManagerEncoding=UTF-16
    ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
    LogLevel=0
    LogPath=/tmp/hive
    SwapFilePath=/tmp
    
    ODBCInstLib=libodbcinst.so
    
  7. È ora possibile verificare la connessione utilizzando isql.

    code language-none
    isql vorac
    isql vorac -v
    
  8. Crea l’account esterno Hadoop, come descritto in questa sezione.

recommendation-more-help
campaign-classic-help