Configuração do acesso ao Hadoop configure-access-to-hadoop

Use a opção Campaign Federated Data Access (FDA) para processar informações armazenadas em bancos de dados externos. Siga as etapas abaixo para configurar o acesso ao Hadoop.

  1. Configurar o banco de dados do Hadoop
  2. Configurar o Hadoop conta externa no Campaign

Configuração do Hadoop 3.0 configuring-hadoop

A conexão com um banco de dados externo do Hadoop no FDA exige as seguintes configurações no servidor do Adobe Campaign. Observe que essa configuração está disponível para Windows e Linux.

  1. Baixe os drivers ODBC para Hadoop de acordo com a versão do sistema operacional. Os drivers podem ser encontrados nesta página.

  2. Em seguida, é necessário instalar os drivers ODBC e criar um DSN para a conexão Hive. As instruções podem ser encontradas nesta página

  3. Após baixar e instalar os drivers ODBC, é necessário reiniciar o Campaign Classic. Para fazer isso, execute o seguinte comando:

    code language-none
    systemctl stop nlserver.service
    systemctl start nlserver.service
    
  4. No Campaign Classic, você pode configurar a conta externa do Hadoop. Para obter mais informações sobre como configurar sua conta externa, consulte esta seção.

Conta externa do Hadoop hadoop-external

A conta externa do Hadoop permite conectar a instância do Campaign ao banco de dados externo do Hadoop.

  1. No Campaign Classic, configure a conta externa do Hadoop. No Explorer, clique em Administration / Platform / External accounts.

  2. Clique em New.

  3. Selecione External database como sua conta externa Type.

  4. Para configurar a conta externa do Hadoop, você deve especificar:

    • Type: ODBC (Sybase ASE, Sybase IQ)

    • Server: Nome do DNS

    • Account: Nome do usuário

    • Password: Senha da conta do usuário

    • Database: nome do banco de dados, se não estiver especificado no DSN. Pode ficar em branco, se estiver especificado no DSN

    • Time zone: Fuso horário do servidor

O conector é compatível com as seguintes opções ODBC:

Nome
Valor
ODBCMgr
iODBC
depósito
1/2/4

O conector também é compatível com as seguintes opções de Hive:

Nome
Valor
Descrição
bulkKey
Azure blob ou chave de acesso do DataLake
Para wasb:// ou wasbs:// carregadores em massa (isto é, se a ferramenta de carregamento em massa inicia com wasb:// ou wasbs://)…
É a chave de acesso para blob ou bucket DataLake para carregamento em massa.
hdfsPort
número da porta
definido por padrão como 8020
Para carregamento em massa de HDFS (isto é, se a ferramenta de carregamento em massa inicia com webhdfs:// ou webhdfss://).
bucketsNumber
20
Número de buckets ao criar uma tabela agregada.
fileFormat
PARQUET
Formato de arquivo padrão para tabelas de trabalho.

Configuração do Hadoop 2.1 configure-access-hadoop-2

Se precisar se conectar ao Hadoop 2.1, siga as etapas descritas abaixo para o Windows ou Linux.

Hadoop 2.1 para Windows for-windows

  1. Instale os drivers ODBC e Azure HD Insight para Windows.

  2. Crie o DSN (Data Source Name) executando a ferramenta ODBC DataSource Administrator. Um exemplo de DSN de Sistema para Hive é fornecido para você modificar.

    code language-none
    Description: vorac (or any name you like)
    Host: vorac.azurehdinsight.net
    Port: 443
    Database: sm_tst611 (or your database name)
    Mechanism: Azure HDInsight Service
    User/Password: admin/<your password here>
    
  3. Crie a conta externa do Hadoop, conforme detalhado em esta seção.

Hadoop 2.1 para Linux for-linux

  1. Instale o unixodbc para Linux.

    code language-none
    apt-get install unixodbc
    
  2. Baixe e instale os drivers ODBC para Apache Hive a partir do HortonWorks: https://www.cloudera.com/downloads.html.

    code language-none
    dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb
    
  3. Verifique o local dos arquivos ODBC.

    code language-none
    root@campadpac71:/tmp# odbcinst -j
    unixODBC 2.3.1
    DRIVERS............: /etc/odbcinst.ini
    SYSTEM DATA SOURCES: /etc/odbc.ini
    FILE DATA SOURCES..: /etc/ODBCDataSources
    USER DATA SOURCES..: /root/.odbc.ini
    SQLULEN Size.......: 8
    SQLLEN Size........: 8
    SQLSETPOSIROW Size.: 8
    
  4. Crie o DSN (Data Source Name) e edite o arquivo odbc.ini. Em seguida, crie um DSN para a conexão do Hive.

    Veja um exemplo do HDInsight para configurar uma conexão chamada "viral":

    code language-none
    [ODBC Data Sources]
    vorac
    
    [vorac]
    Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
    HOST=vorac.azurehdinsight.net
    PORT=443
    Schema=sm_tst611
    HiveServerType=2
    AuthMech=6
    UID=admin
    PWD=<your password here>
    HTTPPath=
    UseNativeQuery=1
    
    note note
    NOTE
    O parâmetro UseNativeQuery é muito importante. O Campaign tem reconhecimento de Hive e não funcionará corretamente, a menos que UseNativeQuery esteja definida. Normalmente, o driver ou o Hive SQL Connector irá reescrever queries e alterar a ordem da coluna.

    A configuração de autenticação depende da configuração Hive/Hadoop. Por exemplo, para o HD Insight, use AuthMech=6 para autenticação de usuário/senha, conforme descrito aqui.

  5. Exporte as variáveis.

    code language-none
    export ODBCINI=/etc/myodbc.ini
    export ODBCSYSINI=/etc/myodbcinst.ini
    
  6. Instalação de drivers Hortonworks via /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini.

    Você precisa usar UTF-16 para poder se conectar com o Campaign e unix-odbc (libodbcinst).

    code language-none
    [Driver]
    
    DriverManagerEncoding=UTF-16
    ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
    LogLevel=0
    LogPath=/tmp/hive
    SwapFilePath=/tmp
    
    ODBCInstLib=libodbcinst.so
    
  7. Agora você pode testar sua conexão usando isql.

    code language-none
    isql vorac
    isql vorac -v
    
  8. Crie a conta externa do Hadoop, conforme detalhado em esta seção.

recommendation-more-help
601d79c3-e613-4db3-889a-ae959cd9e3e1