配置对Hadoop的访问

使用Campaign 联合数据访问(FDA)选项处理存储在外部数据库中的信息。 请按照以下步骤配置对Hadoop的访问。

  1. 配置Hadoop数据库
  2. 在Campaign中配置Hadoop外部帐户

配置Hadoop3.0

在FDA中连接到Hadoop外部数据库需要在Adobe Campaign服务器上进行以下配置。 请注意,此配置适用于Windows和Linux。

  1. 下载ODBC驱动程序以进行Hadoop,具体取决于您的操作系统版本。 可在此页面上找到驱动程序。

  2. 然后,您需要安装ODBC驱动程序并为配置单元连接创建DSN。 有关说明,请参见此页面

  3. 下载并安装ODBC驱动程序后,需要重新启动Campaign Classic。 为此,请运行以下命令:

    systemctl stop nlserver.service
    systemctl start nlserver.service
    
  4. 在Campaign Classic中,您可以配置Hadoop外部帐户。 有关如何配置外部帐户的更多信息,请参阅此部分

Hadoop外部帐户

Hadoop外部帐户允许您将Campaign实例连接到Hadoop外部数据库。

  1. 在Campaign Classic中,配置Hadoop外部帐户。 从​Explorer​中,单击​Administration / Platform / External accounts

  2. 单击 New

  3. 选择​External database​作为外部帐户的​Type

  4. 配置​Hadoop​外部帐户时,必须指定:

    • Type:ODBC(Sybase ASE,Sybase IQ)

    • Server:DNS的名称

    • Account:用户的名称

    • Password:用户帐户密码

    • Database:未在DSN中指定数据库的名称。如果在DSN中指定,则可将其留空

    • Time zone:服务器时区

连接器支持以下ODBC选项:

名称
ODBCMgr iODBC
仓库 1/2/4

连接器还支持以下配置单元选项:

名称 说明
bulkKey Azure blob或DataLake访问密钥 对于wasb://或wasbs://批量加载器(即,批量加载工具以wasb://或wasbs://开头)。
它是blob或DataLake存储段的访问密钥,用于批量加载。
hdfsPort 端口号
默认设置为8020
对于HDFS批量加载(即,如果批量加载工具以webhdfs://或webhdfss://开头)。
bucketsNumber 20 创建群集表时的存储段数。
fileFormat 镶木 工作表的默认文件格式。

配置Hadoop2.1

如果需要连接到Hadoop2.1,请按照下面描述的WindowsLinux的步骤操作。

Hadoop2.1 for Windows

  1. 安装ODBC和Azure HD Insight Windows驱动程序。

  2. 通过运行ODBC数据源管理员工具创建DSN(数据源名称)。 为配置单元提供系统DSN示例供您修改。

    Description: vorac (or any name you like)
    Host: vorac.azurehdinsight.net
    Port: 443
    Database: sm_tst611 (or your database name)
    Mechanism: Azure HDInsight Service
    User/Password: admin/<your password here>
    
  3. 创建Hadoop外部帐户,如此部分中所述。

Hadoop2.1 for Linux

  1. 安装适用于Linux的unixodbc。

    apt-get install unixodbc
    
  2. 从HortonWorks下载并安装Apache Hive的ODBC驱动程序:https://www.cloudera.com/downloads.html

    dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb
    
  3. 检查ODBC文件位置。

    root@campadpac71:/tmp# odbcinst -j
    unixODBC 2.3.1
    DRIVERS............: /etc/odbcinst.ini
    SYSTEM DATA SOURCES: /etc/odbc.ini
    FILE DATA SOURCES..: /etc/ODBCDataSources
    USER DATA SOURCES..: /root/.odbc.ini
    SQLULEN Size.......: 8
    SQLLEN Size........: 8
    SQLSETPOSIROW Size.: 8
    
  4. 创建DSN(数据源名称)并编辑odbc.ini文件。 然后,为配置单元连接创建DSN。

    以下是HDInsight设置名为“病毒”的连接的示例:

    [ODBC Data Sources]
    vorac 
    
    [vorac]
    Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
    HOST=vorac.azurehdinsight.net
    PORT=443
    Schema=sm_tst611
    HiveServerType=2
    AuthMech=6
    UID=admin
    PWD=<your password here>
    HTTPPath=
    UseNativeQuery=1
    
    注意

    此处的​UseNativeQuery​参数非常重要。 Campaign支持配置单元,除非设置UseNativeQuery,否则无法正常运行。 通常,驱动程序或配置单元SQL连接器将重写查询并篡改列排序。

    身份验证设置取决于配置单元/Hadoop配置。 例如,对于HD Insight,使用AuthMech=6进行用户/密码身份验证,如此处所述。

  5. 导出变量。

    export ODBCINI=/etc/myodbc.ini
    export ODBCSYSINI=/etc/myodbcinst.ini
    
  6. 通过/usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini设置Hortonworks驱动程序。

    您必须使用UTF-16才能与Campaign和unix-odbc(libodbcinst)连接。

    [Driver]
    
    DriverManagerEncoding=UTF-16
    ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
    LogLevel=0
    LogPath=/tmp/hive
    SwapFilePath=/tmp
    
    ODBCInstLib=libodbcinst.so
    
  7. 您现在可以使用isql测试连接。

    isql vorac
    isql vorac -v
    
  8. 创建Hadoop外部帐户,如此部分中所述。

在此页面上