文档CampaignCampaign Classic v7 文档

配置对Hadoop的访问权限 configure-access-to-hadoop

Last update: Fri Jul 19 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

使用Campaign 联合数据访问 (FDA)选项处理存储在外部数据库中的信息。 按照以下步骤配置对Hadoop的访问权限。

  1. 配置Hadoop数据库
  2. 在Campaign中配置Hadoop外部帐户

配置Hadoop3.0 configuring-hadoop

在Adobe Campaign服务器上连接到FDA中的Hadoop外部数据库需要以下配置。 请注意，此配置适用于Windows和Linux。

  1. 根据您的操作系统版本，下载用于Hadoop的ODBC驱动程序。 可以在此页面中找到驱动程序。

  2. 然后，您需要安装ODBC驱动程序并为Hive连接创建DSN。 可在此页面中找到说明

  3. 下载并安装ODBC驱动程序后，需要重新启动Campaign Classic。 为此，请运行以下命令：

    code language-none 
    systemctl stop nlserver.service
systemctl start nlserver.service

  4. 在Campaign Classic中，您可以配置Hadoop外部帐户。 有关如何配置外部帐户的更多信息，请参阅此部分。

hadoop外部帐户 hadoop-external

Hadoop外部帐户允许您将Campaign实例连接到Hadoop外部数据库。

  1. 在Campaign Classic中，配置您的Hadoop外部帐户。 在​ Explorer ​中，单击​ Administration / Platform / External accounts。

  2. 单击 New。

  3. 选择​ External database ​作为外部帐户的​ Type。

  4. 配置​ Hadoop ​外部帐户，您必须指定：

    • Type： ODBC (Sybase ASE，Sybase IQ)

    • Server： DNS的名称

    • Account：用户的名称

    • Password：用户帐户密码

    • Database：如果未在DSN中指定数据库的名称。 如果在DSN中指定，它可以留空

    • Time zone：服务器时区

连接器支持以下ODBC选项：

名称
值
ODBCMgr
iODBC
仓库
1/2/4

该连接器还支持以下Hive选项：

名称
值
说明
批量密钥
Azure Blob或DataLake访问密钥
对于wasb://或wasbs://批量加载器(即，批量加载工具是否以wasb://或wasbs://开头)。
它是用于批量加载的blob或DataLake存储桶的访问密钥。
hdfsPort
端口号
默认设置为8020
对于HDFS批量加载(即，批量加载工具是否以webhdfs://或webhdfss://开头)。
bucketsNumber
20
创建聚簇表时的存储段数。
文件格式
PARQUET
工作表的默认文件格式。

配置Hadoop2.1 configure-access-hadoop-2

如果您需要连接到Hadoop2.1，请按照下面介绍的Windows或Linux步骤操作。

WindowsHadoop2.1 for-windows

  1. 安装适用于Windows的ODBC和Azure HD Insight驱动程序。

  2. 通过运行ODBC DataSource Administrator工具创建DSN (数据Source名称)。 提供了用于Hive的系统DSN示例供您修改。

    code language-none 
    Description: vorac (or any name you like)
Host: vorac.azurehdinsight.net
Port: 443
Database: sm_tst611 (or your database name)
Mechanism: Azure HDInsight Service
User/Password: admin/<your password here>

  3. 创建Hadoop外部帐户，如此部分中所述。

适用于Linux的Hadoop2.1 for-linux

  1. 安装适用于Linux的unixodbc。

    code language-none 
    apt-get install unixodbc

  2. 从HortonWorks下载并安装适用于Apache Hive的ODBC驱动程序： https://www.cloudera.com/downloads.html。

    code language-none 
    dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb

  3. 检查ODBC文件位置。

    code language-none 
    root@campadpac71:/tmp# odbcinst -j
unixODBC 2.3.1
DRIVERS............: /etc/odbcinst.ini
SYSTEM DATA SOURCES: /etc/odbc.ini
FILE DATA SOURCES..: /etc/ODBCDataSources
USER DATA SOURCES..: /root/.odbc.ini
SQLULEN Size.......: 8
SQLLEN Size........: 8
SQLSETPOSIROW Size.: 8

  4. 创建DSN(数据Source名称)并编辑odbc.ini文件。 然后，为配置单元连接创建一个DSN。

    以下是HDInsight设置名为“病毒式”的连接的一个示例：

    code language-none 
    [ODBC Data Sources]
vorac

[vorac]
Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
HOST=vorac.azurehdinsight.net
PORT=443
Schema=sm_tst611
HiveServerType=2
AuthMech=6
UID=admin
PWD=<your password here>
HTTPPath=
UseNativeQuery=1
    note note
    NOTE
    此处的​ UseNativeQuery ​参数非常重要。 Campaign具有配置单元感知功能，除非设置UseNativeQuery，否则将无法正常工作。 通常，驱动程序或Hive SQL Connector将重写查询并篡改列顺序。

    身份验证设置取决于配置单元/Hadoop配置。 例如，对于HD Insight，使用AuthMech=6进行用户/密码身份验证，如此处所述。

  5. 导出变量。

    code language-none 
    export ODBCINI=/etc/myodbc.ini
export ODBCSYSINI=/etc/myodbcinst.ini

  6. 通过/usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini设置Hortonworks驱动程序。

    您必须使用UTF-16才能与Campaign和unix-odbc (libodbcinst)连接。

    code language-none 
    [Driver]

DriverManagerEncoding=UTF-16
ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
LogLevel=0
LogPath=/tmp/hive
SwapFilePath=/tmp

ODBCInstLib=libodbcinst.so

  7. 您现在可以使用isql测试连接。

    code language-none 
    isql vorac
isql vorac -v

  8. 创建Hadoop外部帐户，如此部分中所述。

recommendation-more-help
601d79c3-e613-4db3-889a-ae959cd9e3e1