Configurare l'accesso ad Hadoop

Utilizzate l'opzione Campaign Federated Data Access (FDA) per elaborare le informazioni memorizzate in un database esterno. Seguite i passaggi riportati di seguito per configurare l'accesso ad Hadoop.

  1. Configurare database Hadoop
  2. Configurare l'account Hadoop esterno in Campaign

Configurazione di Hadoop 3.0

La connessione a un database esterno Hadoop in FDA richiede le seguenti configurazioni sul server Adobe Campaign . Questa configurazione è disponibile per Windows e Linux.

  1. Scaricate i driver ODBC per Hadoop a seconda della versione del sistema operativo in uso. I driver si trovano in questa pagina.

  2. È quindi necessario installare i driver ODBC e creare un DSN per la connessione Hive. Le istruzioni sono disponibili in questa pagina

  3. Dopo aver scaricato e installato i driver ODBC, è necessario riavviare il Campaign Classic. A questo scopo, eseguite il comando seguente:

    systemctl stop nlserver.service
    systemctl start nlserver.service
    
  4. In Campaign Classic, puoi quindi configurare il tuo account esterno Hadoop. Per ulteriori informazioni sulla configurazione dell'account esterno, consultare questa sezione.

Account esterno hadoop

L'account esterno Hadoop consente di collegare l'istanza Campaign al database esterno di Hadoop.

  1. In Campaign Classic, configura il tuo account esterno Hadoop. In Explorer, fare clic su Administration / Platform / External accounts.

  2. Fai clic su New.

  3. Selezionare External database come account esterno Type.

  4. Configurate l'account esterno Hadoop, dovete specificare:

    • Type: ODBC (Sybase ASE, Sybase IQ)

    • Server: Nome del DNS

    • Account: Nome dell’utente

    • Password: Password account utente

    • Database: Nome del database se non specificato in DSN. Può essere lasciato vuoto se specificato nel DSN

    • Time zone: Fuso orario server

Il connettore supporta le seguenti opzioni ODBC:

Nome Valore
ODBCMgr iODBC
warehouse 02/01/14

Il connettore supporta anche le seguenti opzioni Hive:

Nome Valore Descrizione
bulkKey BLOB di Azure o chiave di accesso DataLake Per wasb:// o wasbs:// caricatori di massa (ad es. se lo strumento di caricamento di massa inizia con wasb:// o wasbs://).
È la chiave di accesso per il blob o DataLake bucket per il caricamento di massa.
hdfsPort numero di porta
impostato per impostazione predefinita su 8020
Per il carico in massa HDFS (ad esempio, se lo strumento di caricamento in blocco inizia con webhdfs:// o webhdfss://).
buketsNumber 20 Numero di bucket durante la creazione di una tabella cluster.
fileFormat PARQUET Formato file predefinito per le tabelle di lavoro.

Configurazione di Hadoop 2.1

Se è necessario connettersi ad Hadoop 2.1, seguire i passaggi descritti di seguito per Windows o Linux.

Hadoop 2.1 per Windows

  1. Installare driver ODBC e Azure HD Insight per Windows.

  2. Creare il DSN (Nome origine dati) eseguendo lo strumento Amministratore origine dati ODBC. È disponibile un esempio DSN di sistema per Hive da modificare.

    Description: vorac (or any name you like)
    Host: vorac.azurehdinsight.net
    Port: 443
    Database: sm_tst611 (or your database name)
    Mechanism: Azure HDInsight Service
    User/Password: admin/<your password here>
    
  3. Create l'account esterno Hadoop, come descritto in questa sezione.

Hadoop 2.1 per Linux

  1. Installate unixodbc per Linux.

    apt-get install unixodbc
    
  2. Scaricare e installare driver ODBC per Apache Hive da HortonWorks: https://www.cloudera.com/downloads.html.

    dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb
    
  3. Controllare il percorso dei file ODBC.

    root@campadpac71:/tmp# odbcinst -j
    unixODBC 2.3.1
    DRIVERS............: /etc/odbcinst.ini
    SYSTEM DATA SOURCES: /etc/odbc.ini
    FILE DATA SOURCES..: /etc/ODBCDataSources
    USER DATA SOURCES..: /root/.odbc.ini
    SQLULEN Size.......: 8
    SQLLEN Size........: 8
    SQLSETPOSIROW Size.: 8
    
  4. Create il DSN (Nome origine dati) e modificate il file odbc.ini. Quindi, create un DSN per la connessione Hive.

    Di seguito è riportato un esempio per HDInsight per impostare una connessione denominata "viral":

    [ODBC Data Sources]
    vorac 
    
    [vorac]
    Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
    HOST=vorac.azurehdinsight.net
    PORT=443
    Schema=sm_tst611
    HiveServerType=2
    AuthMech=6
    UID=admin
    PWD=<your password here>
    HTTPPath=
    UseNativeQuery=1
    
    NOTA

    Il parametro UseNativeQuery è molto importante. Campaign è consapevole dell'Hive e non funzionerà correttamente se non viene impostato UseNativeQuery. In genere, il driver o il connettore Hive SQL riscrive le query e altera l'ordine delle colonne.

    La configurazione dell'autenticazione dipende dalla configurazione Hive/Hadoop. Ad esempio, per HD Insight, utilizzare AuthMech=6 per l'autenticazione utente/password, come descritto here.

  5. Esportare le variabili.

    export ODBCINI=/etc/myodbc.ini
    export ODBCSYSINI=/etc/myodbcinst.ini
    
  6. Impostare i driver di Hortonworks tramite /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini.

    Devi usare UTF-16 per poter connettersi con Campaign e unix-odbc (libodbcinst).

    [Driver]
    
    DriverManagerEncoding=UTF-16
    ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
    LogLevel=0
    LogPath=/tmp/hive
    SwapFilePath=/tmp
    
    ODBCInstLib=libodbcinst.so
    
  7. È ora possibile verificare la connessione utilizzando isql.

    isql vorac
    isql vorac -v
    
  8. Create l'account esterno Hadoop, come descritto in questa sezione.

In questa pagina

Adobe Summit Banner

A virtual event April 27-28.

Expand your skills and get inspired.

Register for free
Adobe Summit Banner

A virtual event April 27-28.

Expand your skills and get inspired.

Register for free