Configuración del acceso a Hadoop

Uso de Campaign Acceso de datos federado (FDA) para procesar la información almacenada en una base de datos externa. Siga los pasos a continuación para configurar el acceso a Hadoop.

  1. Configurar base de datos de hadoop
  2. Configuración del Hadoop cuenta externa en Campaign

Configuración de Hadoop 3.0

La conexión a una base de datos externa de Hadoop en FDA requiere las siguientes configuraciones en el servidor de Adobe Campaign. Tenga en cuenta que esta configuración está disponible tanto para Windows como para Linux.

  1. Descargue los controladores ODBC para Hadoop en función de su versión del sistema operativo. Los controladores se encuentran en esta página.

  2. A continuación, debe instalar los controladores ODBC y crear un DSN para la conexión de Hive. Las instrucciones se encuentran en esta página.

  3. Después de descargar e instalar los controladores ODBC, debe reiniciar Campaign Classic. Para ello, ejecute el siguiente comando:

    systemctl stop nlserver.service
systemctl start nlserver.service

  4. En Campaign Classic, puede configurar la cuenta externa Hadoop. Para obtener más información sobre cómo configurar la cuenta externa, consulte esta sección.

Cuenta externa de Hadoop

La cuenta externa Hadoop permite conectar la instancia de Campaign a la base de datos externa de Hadoop.

  1. En Campaign Classic, configure la cuenta externa Hadoop. En Explorer, haga clic en Administration / Platform / External accounts.

  2. Haga clic New.

  3. Seleccione External database como Type de su cuenta externa.

  4. Configure la cuenta externa Hadoop. Debe especificar:

    • Type: ODBC (Sybase ASE, Sybase IQ)

    • Server: Nombre del DNS

    • Account: Nombre del usuario

    • Password: Contraseña de la cuenta de usuario

    • Database: Nombre de la base de datos si no se especifica en DSN. Se puede dejar vacío si se especifica en el DSN

    • Time zone: Zona horaria del servidor

El conector admite las siguientes opciones de ODBC:

Name Valor
ODBCMgr iODBC
almacén 1/2/4

El conector también admite las siguientes opciones de Hive:

Name Valor Descripción
bulkKey Clave de acceso de Azure blob o DataLake Para cargadores masivos wasb:// o wasbs:// (es decir, si la herramienta de carga masiva inicio con wasb:// o wasbs://).
Es la clave de acceso para blob o el bloque DataLake para la carga masiva.
hdfsPort número de puerto
establecido de forma predeterminada en 8020.		 Para la carga masiva de HDFS (es decir, si la herramienta de carga masiva inicia con webhdfs:// o webhdfss://).
bucketsNumber 20 Número de bloques al crear una tabla agrupada.
fileFormat PARQUET Formato de archivo predeterminado para tablas de trabajo.

Configuración de Hadoop 2.1

Si necesita conectarse a Hadoop 2.1, siga los pasos descritos a continuación para Windows o Linux.

Hadoop 2.1 para Windows

  1. Instale controladores de perspectiva de ODBC y Azure HD para Windows.

  2. Cree el DSN (Nombre de fuente de datos) ejecutando la herramienta ODBC DataSource Administrator. Se proporciona una muestra de DSN del sistema para Hive para que usted la modifique.

    Description: vorac (or any name you like)
Host: vorac.azurehdinsight.net
Port: 443
Database: sm_tst611 (or your database name)
Mechanism: Azure HDInsight Service
User/Password: admin/<your password here>

  3. Cree la cuenta externa de Hadoop, tal como se detalla en esta sección.

Hadoop 2.1 para Linux

  1. Instale unixodbc para Linux.

    apt-get install unixodbc

  2. Descargue e instale controladores ODBC para Apache Hive desde HortonWorks: https://www.cloudera.com/downloads.html.

    dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb

  3. Compruebe la ubicación de los archivos ODBC.

    root@campadpac71:/tmp# odbcinst -j
unixODBC 2.3.1
DRIVERS............: /etc/odbcinst.ini
SYSTEM DATA SOURCES: /etc/odbc.ini
FILE DATA SOURCES..: /etc/ODBCDataSources
USER DATA SOURCES..: /root/.odbc.ini
SQLULEN Size.......: 8
SQLLEN Size........: 8
SQLSETPOSIROW Size.: 8

  4. Cree el DSN (Nombre de la Fuente de Datos) y edite el archivo odbc.ini. A continuación, cree un DSN para su conexión Hive.

    A continuación se muestra un ejemplo de HDInsight para configurar una conexión denominada "viral":

    [ODBC Data Sources]
vorac

[vorac]
Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
HOST=vorac.azurehdinsight.net
PORT=443
Schema=sm_tst611
HiveServerType=2
AuthMech=6
UID=admin
PWD=<your password here>
HTTPPath=
UseNativeQuery=1
    NOTA

    El parámetro UseNativeQuery es muy importante. Campaign tiene en cuenta Hive y no funciona correctamente a menos que se configure UseNativeQuery. Normalmente, el controlador o el conector SQL de Hive reescribe las consultas y altera el orden de las columnas.

    La configuración de autenticación depende de la configuración de Hive/Hadoop. Por ejemplo, para HD Insight, utilice AuthMech=6 para la autenticación de usuario/contraseña, como se describe aquí.

  5. Exporte las variables.

    export ODBCINI=/etc/myodbc.ini
export ODBCSYSINI=/etc/myodbcinst.ini

  6. Configure controladores Hortonworks mediante /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini.

    Debe utilizar UTF-16 para poder conectar con Campaign y unix-odbc (libodbcinst).

    [Driver]

DriverManagerEncoding=UTF-16
ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
LogLevel=0
LogPath=/tmp/hive
SwapFilePath=/tmp

ODBCInstLib=libodbcinst.so

  7. Ahora puede probar la conexión usando isql.

    isql vorac
isql vorac -v

  8. Cree la cuenta externa de Hadoop, tal como se detalla en esta sección.

En esta página