DocumentaciónCampaignDocumentación de Campaign Classic v7

Configuración del acceso a Hadoop configure-access-to-hadoop

Last update: Fri Apr 12 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Uso de Campaign Acceso de datos federado (FDA) para procesar información almacenada en bases de datos externas. Siga los pasos a continuación para configurar el acceso al Hadoop.

  1. Configurar base de datos hadoop
  2. Configuración del Hadoop cuenta externa en Campaign

Configuración de Hadoop 3.0 configuring-hadoop

La conexión a una base de datos externa de Hadoop en FDA requiere las siguientes configuraciones en el servidor de Adobe Campaign. Tenga en cuenta que esta configuración está disponible tanto para Windows como para Linux.

  1. Descargue los controladores ODBC para Hadoop en función de su versión del sistema operativo. Los controladores se encuentran en esta página.

  2. A continuación, debe instalar los controladores ODBC y crear un DSN para la conexión de Hive. Las instrucciones se encuentran en esta página.

  3. Después de descargar e instalar los controladores ODBC, debe reiniciar Campaign Classic. Para ello, ejecute el siguiente comando:

    code language-none 
    systemctl stop nlserver.service
systemctl start nlserver.service

  4. En Campaign Classic, puede configurar la cuenta externa Hadoop. Para obtener más información sobre cómo configurar la cuenta externa, consulte esta sección.

Cuenta externa de Hadoop hadoop-external

La cuenta externa Hadoop permite conectar la instancia de Campaign a la base de datos externa de Hadoop.

  1. En Campaign Classic, configure la cuenta externa Hadoop. En Explorer, haga clic en Administration / Platform / External accounts.

  2. Haga clic New.

  3. Seleccione External database como Type de su cuenta externa.

  4. Configure la cuenta externa Hadoop. Debe especificar:

    • Type: ODBC (Sybase ASE, Sybase IQ)

    • Server: Nombre del DNS

    • Account: Nombre del usuario

    • Password: Contraseña de la cuenta de usuario

    • Database: Nombre de la base de datos si no se especifica en DSN. Se puede dejar vacío si se especifica en el DSN

    • Time zone: Zona horaria del servidor

El conector admite las siguientes opciones de ODBC:

Name
Valor
ODBCMgr
iODBC
almacén
1/2/4

El conector también admite las siguientes opciones de Hive:

Name
Valor
Descripción
bulkKey
Clave de acceso de Azure blob o DataLake
Para cargadores masivos wasb:// o wasbs:// (es decir, si la herramienta de carga masiva inicio con wasb:// o wasbs://).
Es la clave de acceso para blob o el bloque DataLake para la carga masiva.
hdfsPort
número de puerto
establecido de forma predeterminada en 8020.
Para la carga masiva de HDFS (es decir, si la herramienta de carga masiva inicia con webhdfs:// o webhdfss://).
bucketsNumber
20
Número de bloques al crear una tabla agrupada.
fileFormat
PARQUET
Formato de archivo predeterminado para tablas de trabajo.

Configuración de Hadoop 2.1 configure-access-hadoop-2

Si necesita conectarse al Hadoop 2.1, siga los pasos que se describen a continuación para Windows o Linux.

Hadoop 2.1 para Windows for-windows

  1. Instale controladores de perspectiva de ODBC y Azure HD para Windows.

  2. Cree el DSN (Nombre de Fuente de Datos) ejecutando la herramienta ODBC DataSource Administrator. Se proporciona una muestra de DSN del sistema para Hive para que usted la modifique.

    code language-none 
    Description: vorac (or any name you like)
Host: vorac.azurehdinsight.net
Port: 443
Database: sm_tst611 (or your database name)
Mechanism: Azure HDInsight Service
User/Password: admin/<your password here>

  3. Cree la cuenta externa de Hadoop como se detalla en esta sección.

Hadoop 2.1 para Linux for-linux

  1. Instale unixodbc para Linux.

    code language-none 
    apt-get install unixodbc

  2. Descargue e instale controladores ODBC para Apache Hive de HortonWorks: https://www.cloudera.com/downloads.html.

    code language-none 
    dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb

  3. Compruebe la ubicación de los archivos ODBC.

    code language-none 
    root@campadpac71:/tmp# odbcinst -j
unixODBC 2.3.1
DRIVERS............: /etc/odbcinst.ini
SYSTEM DATA SOURCES: /etc/odbc.ini
FILE DATA SOURCES..: /etc/ODBCDataSources
USER DATA SOURCES..: /root/.odbc.ini
SQLULEN Size.......: 8
SQLLEN Size........: 8
SQLSETPOSIROW Size.: 8

  4. Cree el DSN (Nombre de la Fuente de Datos) y edite el archivo odbc.ini. A continuación, cree un DSN para su conexión Hive.

    A continuación se muestra un ejemplo de HDInsight para configurar una conexión denominada "viral":

    code language-none 
    [ODBC Data Sources]
vorac

[vorac]
Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
HOST=vorac.azurehdinsight.net
PORT=443
Schema=sm_tst611
HiveServerType=2
AuthMech=6
UID=admin
PWD=<your password here>
HTTPPath=
UseNativeQuery=1
    note note
    NOTE
    El parámetro UseNativeQuery es muy importante. Campaign tiene en cuenta Hive y no funciona correctamente a menos que se configure UseNativeQuery. Normalmente, el controlador o el conector SQL de Hive reescribe las consultas y altera el orden de las columnas.

    La configuración de autenticación depende de la configuración de Hive/Hadoop. Por ejemplo, para HD Insight, utilice AuthMech=6 para la autenticación de usuario/contraseña, como se describe aquí.

  5. Exporte las variables.

    code language-none 
    export ODBCINI=/etc/myodbc.ini
export ODBCSYSINI=/etc/myodbcinst.ini

  6. Configure controladores Hortonworks mediante /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini.

    Debe utilizar UTF-16 para poder conectar con Campaign y unix-odbc (libodbcinst).

    code language-none 
    [Driver]

DriverManagerEncoding=UTF-16
ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
LogLevel=0
LogPath=/tmp/hive
SwapFilePath=/tmp

ODBCInstLib=libodbcinst.so

  7. Ahora puede probar la conexión usando isql.

    code language-none 
    isql vorac
isql vorac -v

  8. Cree la cuenta externa de Hadoop como se detalla en esta sección.

recommendation-more-help
601d79c3-e613-4db3-889a-ae959cd9e3e1