Usar a campanha Federated Data Access (FDA) para processar informações armazenadas em um banco de dados externo. Siga as etapas abaixo para configurar o acesso ao Hadoop.
A conexão com um banco de dados externo do Hadoop no FDA exige as seguintes configurações no servidor do Adobe Campaign. Observe que essa configuração está disponível para Windows e Linux.
Baixe os drivers ODBC para Hadoop de acordo com a versão do sistema operacional. Os drivers podem ser encontrados nesta página.
Em seguida, é necessário instalar os drivers ODBC e criar um DSN para a conexão Hive. As instruções podem ser encontradas nesta página
Após baixar e instalar os drivers ODBC, é necessário reiniciar o Campaign Classic. Para fazer isso, execute o seguinte comando:
systemctl stop nlserver.service
systemctl start nlserver.service
No Campaign Classic, você pode configurar a conta externa do Hadoop. Para obter mais informações sobre como configurar a conta externa, consulte nesta seção.
A conta externa do Hadoop permite conectar a instância do Campaign ao banco de dados externo do Hadoop.
No Campaign Classic, configure a conta externa do Hadoop. No Explorer, clique em Administration / Platform / External accounts.
Clique em New.
Selecione External database como sua conta externa Type.
Para configurar a conta externa do Hadoop, você deve especificar:
Type: ODBC (Sybase ASE, Sybase IQ)
Server: Nome do DNS
Account: Nome do usuário
Password: Senha da conta do usuário
Database: nome do banco de dados, se não estiver especificado no DSN. Pode ficar em branco, se estiver especificado no DSN
Time zone: Fuso horário do servidor
O conector é compatível com as seguintes opções ODBC:
Nome | Valor |
---|---|
ODBCMgr | iODBC |
depósito | 1/2/4 |
O conector também é compatível com as seguintes opções de Hive:
Nome | Valor | Descrição |
---|---|---|
bulkKey | Azure blob ou chave de acesso do DataLake | Para wasb:// ou wasbs:// carregadores em massa (isto é, se a ferramenta de carregamento em massa inicia com wasb:// ou wasbs://)… É a chave de acesso para blob ou bucket DataLake para carregamento em massa. |
hdfsPort | número da porta definido por padrão como 8020 |
Para carregamento em massa de HDFS (isto é, se a ferramenta de carregamento em massa inicia com webhdfs:// ou webhdfss://). |
bucketsNumber | 20 | Número de buckets ao criar uma tabela agregada. |
fileFormat | PARQUET | Formato de arquivo padrão para tabelas de trabalho. |
Se precisar se conectar ao Hadoop 2.1, siga as etapas descritas abaixo para Windows ou Linux.
Instale os drivers ODBC e Azure HD Insight para Windows.
Crie o DSN (Data Source Name) executando a ferramenta ODBC DataSource Administrator. Um exemplo de DSN de Sistema para Hive é fornecido para você modificar.
Description: vorac (or any name you like)
Host: vorac.azurehdinsight.net
Port: 443
Database: sm_tst611 (or your database name)
Mechanism: Azure HDInsight Service
User/Password: admin/<your password here>
Crie a conta externa do Hadoop, conforme detalhado em nesta seção.
Instale o unixodbc para Linux.
apt-get install unixodbc
Baixe e instale os drivers ODBC para Apache Hive a partir do HortonWorks: https://www.cloudera.com/downloads.html.
dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb
Verifique o local dos arquivos ODBC.
root@campadpac71:/tmp# odbcinst -j
unixODBC 2.3.1
DRIVERS............: /etc/odbcinst.ini
SYSTEM DATA SOURCES: /etc/odbc.ini
FILE DATA SOURCES..: /etc/ODBCDataSources
USER DATA SOURCES..: /root/.odbc.ini
SQLULEN Size.......: 8
SQLLEN Size........: 8
SQLSETPOSIROW Size.: 8
Crie o DSN (Data Source Name) e edite o arquivo odbc.ini. Em seguida, crie um DSN para a conexão do Hive.
Veja um exemplo do HDInsight para configurar uma conexão chamada "viral":
[ODBC Data Sources]
vorac
[vorac]
Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
HOST=vorac.azurehdinsight.net
PORT=443
Schema=sm_tst611
HiveServerType=2
AuthMech=6
UID=admin
PWD=<your password here>
HTTPPath=
UseNativeQuery=1
O parâmetro UseNativeQuery é muito importante. O Campaign tem reconhecimento de Hive e não funcionará corretamente, a menos que UseNativeQuery esteja definida. Normalmente, o driver ou o Hive SQL Connector irá reescrever queries e alterar a ordem da coluna.
A configuração de autenticação depende da configuração Hive/Hadoop. Por exemplo, para o HD Insight, use AuthMech=6 para autenticação de usuário/senha, conforme descrito aqui.
Exporte as variáveis.
export ODBCINI=/etc/myodbc.ini
export ODBCSYSINI=/etc/myodbcinst.ini
Instalação de drivers Hortonworks via /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini.
Você precisa usar UTF-16 para poder se conectar com o Campaign e unix-odbc (libodbcinst).
[Driver]
DriverManagerEncoding=UTF-16
ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
LogLevel=0
LogPath=/tmp/hive
SwapFilePath=/tmp
ODBCInstLib=libodbcinst.so
Agora você pode testar sua conexão usando isql.
isql vorac
isql vorac -v
Crie a conta externa do Hadoop, conforme detalhado em nesta seção.