Configuração do acesso ao Hadoop

Use a opção Campaign Federated Data Access (FDA) para processar informações armazenadas em um banco de dados externo. Siga as etapas abaixo para configurar o acesso ao Hadoop.

  1. Configurar banco de dados do Hadoop
  2. Configure o Hadoop external account no Campaign

Configuração do Hadoop 3.0

A conexão com um banco de dados externo do Hadoop no FDA exige as seguintes configurações no servidor do Adobe Campaign. Observe que essa configuração está disponível para Windows e Linux.

  1. Baixe os drivers ODBC para Hadoop de acordo com a versão do sistema operacional. Os drivers podem ser encontrados nesta página.

  2. Em seguida, é necessário instalar os drivers ODBC e criar um DSN para a conexão Hive. As instruções podem ser encontradas nesta página

  3. Após baixar e instalar os drivers ODBC, é necessário reiniciar o Campaign Classic. Para fazer isso, execute o seguinte comando:

    systemctl stop nlserver.service
    systemctl start nlserver.service
    
  4. No Campaign Classic, você pode configurar a conta externa do Hadoop. Para obter mais informações sobre como configurar a conta externa, consulte esta seção.

Conta externa do Hadoop

A conta externa do Hadoop permite conectar a instância do Campaign ao banco de dados externo do Hadoop.

  1. No Campaign Classic, configure a conta externa do Hadoop. No Explorer, clique em Administration / Platform / External accounts.

  2. Clique em New.

  3. Selecione External database como sua conta externa Type.

  4. Para configurar a conta externa do Hadoop, você deve especificar:

    • Type: ODBC (Sybase ASE, Sybase IQ)

    • Server: Nome do DNS

    • Account: Nome do usuário

    • Password: Senha da conta do usuário

    • Database: nome do banco de dados, se não estiver especificado no DSN. Pode ficar em branco, se estiver especificado no DSN

    • Time zone: Fuso horário do servidor

O conector é compatível com as seguintes opções ODBC:

Nome Valor
ODBCMgr iODBC
depósito 1/2/4

O conector também é compatível com as seguintes opções de Hive:

Nome Valor Descrição
bulkKey Azure blob ou chave de acesso do DataLake Para wasb:// ou wasbs:// carregadores em massa (isto é, se a ferramenta de carregamento em massa inicia com wasb:// ou wasbs://)…
É a chave de acesso para blob ou bucket DataLake para carregamento em massa.
hdfsPort número da porta
definido por padrão como 8020
Para carregamento em massa de HDFS (isto é, se a ferramenta de carregamento em massa inicia com webhdfs:// ou webhdfss://).
bucketsNumber 20 Número de buckets ao criar uma tabela agregada.
fileFormat PARQUET Formato de arquivo padrão para tabelas de trabalho.

Configuração do Hadoop 2.1

Se precisar se conectar ao Hadoop 2.1, siga as etapas descritas abaixo para Windows ou Linux.

Hadoop 2.1 para Windows

  1. Instale os drivers ODBC e Azure HD Insight para Windows.

  2. Crie o DSN (Data Source Name) executando a ferramenta ODBC DataSource Administrator. Um exemplo de DSN de Sistema para Hive é fornecido para você modificar.

    Description: vorac (or any name you like)
    Host: vorac.azurehdinsight.net
    Port: 443
    Database: sm_tst611 (or your database name)
    Mechanism: Azure HDInsight Service
    User/Password: admin/<your password here>
    
  3. Crie a conta externa do Hadoop, conforme detalhado em this section.

Hadoop 2.1 para Linux

  1. Instale o unixodbc para Linux.

    apt-get install unixodbc
    
  2. Baixe e instale os drivers ODBC para Apache Hive a partir do HortonWorks: https://www.cloudera.com/downloads.html.

    dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb
    
  3. Verifique o local dos arquivos ODBC.

    root@campadpac71:/tmp# odbcinst -j
    unixODBC 2.3.1
    DRIVERS............: /etc/odbcinst.ini
    SYSTEM DATA SOURCES: /etc/odbc.ini
    FILE DATA SOURCES..: /etc/ODBCDataSources
    USER DATA SOURCES..: /root/.odbc.ini
    SQLULEN Size.......: 8
    SQLLEN Size........: 8
    SQLSETPOSIROW Size.: 8
    
  4. Crie o DSN (Data Source Name) e edite o arquivo odbc.ini. Em seguida, crie um DSN para a conexão do Hive.

    Veja um exemplo do HDInsight para configurar uma conexão chamada "viral":

    [ODBC Data Sources]
    vorac 
    
    [vorac]
    Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
    HOST=vorac.azurehdinsight.net
    PORT=443
    Schema=sm_tst611
    HiveServerType=2
    AuthMech=6
    UID=admin
    PWD=<your password here>
    HTTPPath=
    UseNativeQuery=1
    
    OBSERVAÇÃO

    O parâmetro UseNativeQuery é muito importante. O Campaign tem reconhecimento de Hive e não funcionará corretamente, a menos que UseNativeQuery esteja definida. Normalmente, o driver ou o Hive SQL Connector irá reescrever queries e alterar a ordem da coluna.

    A configuração de autenticação depende da configuração Hive/Hadoop. Por exemplo, para o HD Insight, use AuthMech=6 para autenticação de usuário/senha, conforme descrito aqui.

  5. Exporte as variáveis.

    export ODBCINI=/etc/myodbc.ini
    export ODBCSYSINI=/etc/myodbcinst.ini
    
  6. Instalação de drivers Hortonworks via /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini.

    Você precisa usar UTF-16 para poder se conectar com o Campaign e unix-odbc (libodbcinst).

    [Driver]
    
    DriverManagerEncoding=UTF-16
    ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
    LogLevel=0
    LogPath=/tmp/hive
    SwapFilePath=/tmp
    
    ODBCInstLib=libodbcinst.so
    
  7. Agora você pode testar sua conexão usando isql.

    isql vorac
    isql vorac -v
    
  8. Crie a conta externa do Hadoop, conforme detalhado em this section.

Nesta página