Configuração do acesso ao Hadoop

Usar Campanha Federated Data Access (FDA) opção para processar informações armazenadas em um banco de dados externo. Siga as etapas abaixo para configurar o acesso ao Hadoop.

1. Configurar banco de dados Hadoop
2. Configurar o Hadoop conta externa no Campaign

Configuração do Hadoop 3.0

A conexão com um banco de dados externo do Hadoop no FDA exige as seguintes configurações no servidor do Adobe Campaign. Observe que essa configuração está disponível para Windows e Linux.

1. Baixe os drivers ODBC para Hadoop de acordo com a versão do sistema operacional. Os drivers podem ser encontrados nesta página.

2. Em seguida, é necessário instalar os drivers ODBC e criar um DSN para a conexão Hive. As instruções podem ser encontradas nesta página

3. Após baixar e instalar os drivers ODBC, é necessário reiniciar o Campaign Classic. Para fazer isso, execute o seguinte comando:

   systemctl stop nlserver.service
   systemctl start nlserver.service
   

4. No Campaign Classic, você pode configurar a conta externa do Hadoop. Para obter mais informações sobre como configurar a conta externa, consulte esta seção.

Conta externa do Hadoop

A conta externa do Hadoop permite conectar a instância do Campaign ao banco de dados externo do Hadoop.

1. No Campaign Classic, configure a conta externa do Hadoop. No Explorer, clique em Administration / Platform / External accounts.

2. Clique em New.

3. Selecione External database como sua conta externa Type.

4. Para configurar a conta externa do Hadoop, você deve especificar:

   • Type: ODBC (Sybase ASE, Sybase IQ)

   • Server: Nome do DNS

   • Account: Nome do usuário

   • Password: Senha da conta do usuário

   • Database: nome do banco de dados, se não estiver especificado no DSN. Pode ficar em branco, se estiver especificado no DSN

   • Time zone: Fuso horário do servidor

   

O conector é compatível com as seguintes opções ODBC:

O conector também é compatível com as seguintes opções de Hive:

Configuração do Hadoop 2.1

Se precisar se conectar ao Hadoop 2.1, siga as etapas descritas abaixo para Windows ou Linux.

Hadoop 2.1 para Windows

1. Instale os drivers ODBC e Azure HD Insight para Windows.

2. Crie o DSN (Data Source Name) executando a ferramenta ODBC DataSource Administrator. Um exemplo de DSN de Sistema para Hive é fornecido para você modificar.

   Description: vorac (or any name you like)
   Host: vorac.azurehdinsight.net
   Port: 443
   Database: sm_tst611 (or your database name)
   Mechanism: Azure HDInsight Service
   User/Password: admin/<your password here>
   

3. Crie a conta externa do Hadoop, conforme detalhado em esta seção.

Hadoop 2.1 para Linux

1. Instale o unixodbc para Linux.

   apt-get install unixodbc
   

2. Baixe e instale os drivers ODBC para Apache Hive a partir do HortonWorks: https://www.cloudera.com/downloads.html.

   dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb
   

3. Verifique o local dos arquivos ODBC.

   root@campadpac71:/tmp# odbcinst -j
   unixODBC 2.3.1
   DRIVERS............: /etc/odbcinst.ini
   SYSTEM DATA SOURCES: /etc/odbc.ini
   FILE DATA SOURCES..: /etc/ODBCDataSources
   USER DATA SOURCES..: /root/.odbc.ini
   SQLULEN Size.......: 8
   SQLLEN Size........: 8
   SQLSETPOSIROW Size.: 8
   

4. Crie o DSN (Data Source Name) e edite o arquivo odbc.ini. Em seguida, crie um DSN para a conexão do Hive.

   Veja um exemplo do HDInsight para configurar uma conexão chamada "viral":

   [ODBC Data Sources]
   vorac
   
   [vorac]
   Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
   HOST=vorac.azurehdinsight.net
   PORT=443
   Schema=sm_tst611
   HiveServerType=2
   AuthMech=6
   UID=admin
   PWD=<your password here>
   HTTPPath=
   UseNativeQuery=1
   

   OBSERVAÇÃO

   O parâmetro UseNativeQuery é muito importante. O Campaign tem reconhecimento de Hive e não funcionará corretamente, a menos que UseNativeQuery esteja definida. Normalmente, o driver ou o Hive SQL Connector irá reescrever queries e alterar a ordem da coluna.

   A configuração de autenticação depende da configuração Hive/Hadoop. Por exemplo, para o HD Insight, use AuthMech=6 para autenticação de usuário/senha, conforme descrito aqui.

5. Exporte as variáveis.

   export ODBCINI=/etc/myodbc.ini
   export ODBCSYSINI=/etc/myodbcinst.ini
   

6. Instalação de drivers Hortonworks via /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini.

   Você precisa usar UTF-16 para poder se conectar com o Campaign e unix-odbc (libodbcinst).

   [Driver]
   
   DriverManagerEncoding=UTF-16
   ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
   LogLevel=0
   LogPath=/tmp/hive
   SwapFilePath=/tmp
   
   ODBCInstLib=libodbcinst.so
   

7. Agora você pode testar sua conexão usando isql.

   isql vorac
   isql vorac -v
   

8. Crie a conta externa do Hadoop, conforme detalhado em esta seção.

Recursos do Business.Adobe.com