配置对Hadoop的访问权限 configure-access-to-hadoop

使用Campaign 联合数据访问 (FDA)选项处理存储在外部数据库中的信息。 按照以下步骤配置对Hadoop的访问权限。

  1. 配置Hadoop数据库
  2. 在Campaign中配置Hadoop外部帐户

配置Hadoop3.0 configuring-hadoop

在Adobe Campaign服务器上连接到FDA中的Hadoop外部数据库需要以下配置。 请注意,此配置适用于Windows和Linux。

  1. 根据您的操作系统版本,下载用于Hadoop的ODBC驱动程序。 可以在此页面中找到驱动程序。

  2. 然后,您需要安装ODBC驱动程序并为Hive连接创建DSN。 可在此页面中找到说明

  3. 下载并安装ODBC驱动程序后,需要重新启动Campaign Classic。 为此,请运行以下命令:

    code language-none
    systemctl stop nlserver.service
    systemctl start nlserver.service
    
  4. 在Campaign Classic中,您可以配置Hadoop外部帐户。 有关如何配置外部帐户的更多信息,请参阅此部分

hadoop外部帐户 hadoop-external

Hadoop外部帐户允许您将Campaign实例连接到Hadoop外部数据库。

  1. 在Campaign Classic中,配置您的Hadoop外部帐户。 在​ Explorer ​中,单击​ Administration / Platform / External accounts

  2. 单击 New

  3. 选择​ External database ​作为外部帐户的​ Type

  4. 配置​ Hadoop ​外部帐户,您必须指定:

    • Type: ODBC (Sybase ASE,Sybase IQ)

    • Server: DNS的名称

    • Account:用户的名称

    • Password:用户帐户密码

    • Database:如果未在DSN中指定数据库的名称。 如果在DSN中指定,它可以留空

    • Time zone:服务器时区

连接器支持以下ODBC选项:

名称
ODBCMgr
iODBC
仓库
1/2/4

该连接器还支持以下Hive选项:

名称
说明
批量密钥
Azure Blob或DataLake访问密钥
对于wasb://或wasbs://批量加载器(即,批量加载工具是否以wasb://或wasbs://开头)。
它是用于批量加载的blob或DataLake存储桶的访问密钥。
hdfsPort
端口号
默认设置为8020
对于HDFS批量加载(即,批量加载工具是否以webhdfs://或webhdfss://开头)。
bucketsNumber
20
创建聚簇表时的存储段数。
文件格式
PARQUET
工作表的默认文件格式。

配置Hadoop2.1 configure-access-hadoop-2

如果您需要连接到Hadoop2.1,请按照下面介绍的WindowsLinux步骤操作。

WindowsHadoop2.1 for-windows

  1. 安装适用于Windows的ODBC和Azure HD Insight驱动程序。

  2. 通过运行ODBC DataSource Administrator工具创建DSN (数据Source名称)。 提供了用于Hive的系统DSN示例供您修改。

    code language-none
    Description: vorac (or any name you like)
    Host: vorac.azurehdinsight.net
    Port: 443
    Database: sm_tst611 (or your database name)
    Mechanism: Azure HDInsight Service
    User/Password: admin/<your password here>
    
  3. 创建Hadoop外部帐户,如此部分中所述。

适用于Linux的Hadoop2.1 for-linux

  1. 安装适用于Linux的unixodbc。

    code language-none
    apt-get install unixodbc
    
  2. 从HortonWorks下载并安装适用于Apache Hive的ODBC驱动程序: https://www.cloudera.com/downloads.html

    code language-none
    dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb
    
  3. 检查ODBC文件位置。

    code language-none
    root@campadpac71:/tmp# odbcinst -j
    unixODBC 2.3.1
    DRIVERS............: /etc/odbcinst.ini
    SYSTEM DATA SOURCES: /etc/odbc.ini
    FILE DATA SOURCES..: /etc/ODBCDataSources
    USER DATA SOURCES..: /root/.odbc.ini
    SQLULEN Size.......: 8
    SQLLEN Size........: 8
    SQLSETPOSIROW Size.: 8
    
  4. 创建DSN(数据Source名称)并编辑odbc.ini文件。 然后,为配置单元连接创建一个DSN。

    以下是HDInsight设置名为“病毒式”的连接的一个示例:

    code language-none
    [ODBC Data Sources]
    vorac
    
    [vorac]
    Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
    HOST=vorac.azurehdinsight.net
    PORT=443
    Schema=sm_tst611
    HiveServerType=2
    AuthMech=6
    UID=admin
    PWD=<your password here>
    HTTPPath=
    UseNativeQuery=1
    
    note note
    NOTE
    此处的​ UseNativeQuery ​参数非常重要。 Campaign具有配置单元感知功能,除非设置UseNativeQuery,否则将无法正常工作。 通常,驱动程序或Hive SQL Connector将重写查询并篡改列顺序。

    身份验证设置取决于配置单元/Hadoop配置。 例如,对于HD Insight,使用AuthMech=6进行用户/密码身份验证,如此处所述。

  5. 导出变量。

    code language-none
    export ODBCINI=/etc/myodbc.ini
    export ODBCSYSINI=/etc/myodbcinst.ini
    
  6. 通过/usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini设置Hortonworks驱动程序。

    您必须使用UTF-16才能与Campaign和unix-odbc (libodbcinst)连接。

    code language-none
    [Driver]
    
    DriverManagerEncoding=UTF-16
    ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
    LogLevel=0
    LogPath=/tmp/hive
    SwapFilePath=/tmp
    
    ODBCInstLib=libodbcinst.so
    
  7. 您现在可以使用isql测试连接。

    code language-none
    isql vorac
    isql vorac -v
    
  8. 创建Hadoop外部帐户,如此部分中所述。

recommendation-more-help
601d79c3-e613-4db3-889a-ae959cd9e3e1