DocumentaçãoCampaignDocumentação do Campaign Classic v7

Configuração do acesso ao Hadoop configure-access-to-hadoop

Last update: Fri Jul 19 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Use a opção Campaign Federated Data Access (FDA) para processar informações armazenadas em bancos de dados externos. Siga as etapas abaixo para configurar o acesso ao Hadoop.

  1. Configurar o banco de dados do Hadoop
  2. Configurar o Hadoop conta externa no Campaign

Configuração do Hadoop 3.0 configuring-hadoop

A conexão com um banco de dados externo do Hadoop no FDA exige as seguintes configurações no servidor do Adobe Campaign. Observe que essa configuração está disponível para Windows e Linux.

  1. Baixe os drivers ODBC para Hadoop de acordo com a versão do sistema operacional. Os drivers podem ser encontrados nesta página.

  2. Em seguida, é necessário instalar os drivers ODBC e criar um DSN para a conexão Hive. As instruções podem ser encontradas nesta página

  3. Após baixar e instalar os drivers ODBC, é necessário reiniciar o Campaign Classic. Para fazer isso, execute o seguinte comando:

    code language-none 
    systemctl stop nlserver.service
systemctl start nlserver.service

  4. No Campaign Classic, você pode configurar a conta externa do Hadoop. Para obter mais informações sobre como configurar sua conta externa, consulte esta seção.

Conta externa do Hadoop hadoop-external

A conta externa do Hadoop permite conectar a instância do Campaign ao banco de dados externo do Hadoop.

  1. No Campaign Classic, configure a conta externa do Hadoop. No Explorer, clique em Administration / Platform / External accounts.

  2. Clique em New.

  3. Selecione External database como sua conta externa Type.

  4. Para configurar a conta externa do Hadoop, você deve especificar:

    • Type: ODBC (Sybase ASE, Sybase IQ)

    • Server: Nome do DNS

    • Account: Nome do usuário

    • Password: Senha da conta do usuário

    • Database: nome do banco de dados, se não estiver especificado no DSN. Pode ficar em branco, se estiver especificado no DSN

    • Time zone: Fuso horário do servidor

O conector é compatível com as seguintes opções ODBC:

Nome
Valor
ODBCMgr
iODBC
depósito
1/2/4

O conector também é compatível com as seguintes opções de Hive:

Nome
Valor
Descrição
bulkKey
Azure blob ou chave de acesso do DataLake
Para wasb:// ou wasbs:// carregadores em massa (isto é, se a ferramenta de carregamento em massa inicia com wasb:// ou wasbs://)…
É a chave de acesso para blob ou bucket DataLake para carregamento em massa.
hdfsPort
número da porta
definido por padrão como 8020
Para carregamento em massa de HDFS (isto é, se a ferramenta de carregamento em massa inicia com webhdfs:// ou webhdfss://).
bucketsNumber
20
Número de buckets ao criar uma tabela agregada.
fileFormat
PARQUET
Formato de arquivo padrão para tabelas de trabalho.

Configuração do Hadoop 2.1 configure-access-hadoop-2

Se precisar se conectar ao Hadoop 2.1, siga as etapas descritas abaixo para o Windows ou Linux.

Hadoop 2.1 para Windows for-windows

  1. Instale os drivers ODBC e Azure HD Insight para Windows.

  2. Crie o DSN (Data Source Name) executando a ferramenta ODBC DataSource Administrator. Um exemplo de DSN de Sistema para Hive é fornecido para você modificar.

    code language-none 
    Description: vorac (or any name you like)
Host: vorac.azurehdinsight.net
Port: 443
Database: sm_tst611 (or your database name)
Mechanism: Azure HDInsight Service
User/Password: admin/<your password here>

  3. Crie a conta externa do Hadoop, conforme detalhado em esta seção.

Hadoop 2.1 para Linux for-linux

  1. Instale o unixodbc para Linux.

    code language-none 
    apt-get install unixodbc

  2. Baixe e instale os drivers ODBC para Apache Hive a partir do HortonWorks: https://www.cloudera.com/downloads.html.

    code language-none 
    dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb

  3. Verifique o local dos arquivos ODBC.

    code language-none 
    root@campadpac71:/tmp# odbcinst -j
unixODBC 2.3.1
DRIVERS............: /etc/odbcinst.ini
SYSTEM DATA SOURCES: /etc/odbc.ini
FILE DATA SOURCES..: /etc/ODBCDataSources
USER DATA SOURCES..: /root/.odbc.ini
SQLULEN Size.......: 8
SQLLEN Size........: 8
SQLSETPOSIROW Size.: 8

  4. Crie o DSN (Data Source Name) e edite o arquivo odbc.ini. Em seguida, crie um DSN para a conexão do Hive.

    Veja um exemplo do HDInsight para configurar uma conexão chamada "viral":

    code language-none 
    [ODBC Data Sources]
vorac

[vorac]
Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
HOST=vorac.azurehdinsight.net
PORT=443
Schema=sm_tst611
HiveServerType=2
AuthMech=6
UID=admin
PWD=<your password here>
HTTPPath=
UseNativeQuery=1
    note note
    NOTE
    O parâmetro UseNativeQuery é muito importante. O Campaign tem reconhecimento de Hive e não funcionará corretamente, a menos que UseNativeQuery esteja definida. Normalmente, o driver ou o Hive SQL Connector irá reescrever queries e alterar a ordem da coluna.

    A configuração de autenticação depende da configuração Hive/Hadoop. Por exemplo, para o HD Insight, use AuthMech=6 para autenticação de usuário/senha, conforme descrito aqui.

  5. Exporte as variáveis.

    code language-none 
    export ODBCINI=/etc/myodbc.ini
export ODBCSYSINI=/etc/myodbcinst.ini

  6. Instalação de drivers Hortonworks via /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini.

    Você precisa usar UTF-16 para poder se conectar com o Campaign e unix-odbc (libodbcinst).

    code language-none 
    [Driver]

DriverManagerEncoding=UTF-16
ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
LogLevel=0
LogPath=/tmp/hive
SwapFilePath=/tmp

ODBCInstLib=libodbcinst.so

  7. Agora você pode testar sua conexão usando isql.

    code language-none 
    isql vorac
isql vorac -v

  8. Crie a conta externa do Hadoop, conforme detalhado em esta seção.

recommendation-more-help
601d79c3-e613-4db3-889a-ae959cd9e3e1