使用Campaign 联合数据访问 (FDA)选项,用于处理存储在外部数据库中的信息。 请按照以下步骤配置对Hadoop的访问。
在FDA中连接到Hadoop外部数据库需要在Adobe Campaign服务器上进行以下配置。 请注意,此配置适用于Windows和Linux。
下载ODBC驱动程序以进行Hadoop,具体取决于您的操作系统版本。 驱动程序可在 本页.
然后,您需要安装ODBC驱动程序并为配置单元连接创建DSN。 有关说明,请参阅 本页
下载并安装ODBC驱动程序后,需要重新启动Campaign Classic。 为此,请运行以下命令:
systemctl stop nlserver.service
systemctl start nlserver.service
在Campaign Classic中,您可以配置 Hadoop 外部帐户。 有关如何配置外部帐户的更多信息,请参阅 此部分.
的 Hadoop 外部帐户允许您将Campaign实例连接到Hadoop外部数据库。
在Campaign Classic中,配置 Hadoop 外部帐户。 从 Explorer,单击 Administration / Platform / External accounts.
单击 New。
选择 External database 作为外部帐户的 Type.
配置 Hadoop 外部帐户,您必须指定:
Type:ODBC(Sybase ASE,Sybase IQ)
Server:DNS的名称
Account:用户的名称
Password:用户帐户密码
Database:未在DSN中指定数据库的名称。 如果在DSN中指定,则可将其留空
Time zone:服务器时区
连接器支持以下ODBC选项:
名称 | 值 |
---|---|
ODBCMgr | iODBC |
仓库 | 1/2/4 |
连接器还支持以下配置单元选项:
名称 | 值 | 说明 |
---|---|---|
bulkKey | Azure blob或DataLake访问密钥 | 对于wasb://或wasbs://批量加载器(即,批量加载工具以wasb://或wasbs://开头)。 它是blob或DataLake存储段的访问密钥,用于批量加载。 |
hdfsPort | 端口号 默认设置为8020 |
对于HDFS批量加载(即,如果批量加载工具以webhdfs://或webhdfss://开头)。 |
bucketsNumber | 20 | 创建群集表时的存储段数。 |
fileFormat | 镶木 | 工作表的默认文件格式。 |
如果您需要连接到Hadoop2.1,请按照 Windows 或 Linux.
安装ODBC和 Azure HD Insight 驱动程序。
通过运行ODBC数据源管理器工具创建DSN(数据源名称)。 为配置单元提供系统DSN示例供您修改。
Description: vorac (or any name you like)
Host: vorac.azurehdinsight.net
Port: 443
Database: sm_tst611 (or your database name)
Mechanism: Azure HDInsight Service
User/Password: admin/<your password here>
创建Hadoop外部帐户,详情请参阅 此部分.
安装适用于Linux的unixodbc。
apt-get install unixodbc
从HortonWorks下载并安装Apache Hive的ODBC驱动程序: https://www.cloudera.com/downloads.html.
dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb
检查ODBC文件位置。
root@campadpac71:/tmp# odbcinst -j
unixODBC 2.3.1
DRIVERS............: /etc/odbcinst.ini
SYSTEM DATA SOURCES: /etc/odbc.ini
FILE DATA SOURCES..: /etc/ODBCDataSources
USER DATA SOURCES..: /root/.odbc.ini
SQLULEN Size.......: 8
SQLLEN Size........: 8
SQLSETPOSIROW Size.: 8
创建DSN(数据源名称)并编辑odbc.ini文件。 然后,为配置单元连接创建DSN。
以下是HDInsight设置名为“病毒”的连接的示例:
[ODBC Data Sources]
vorac
[vorac]
Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
HOST=vorac.azurehdinsight.net
PORT=443
Schema=sm_tst611
HiveServerType=2
AuthMech=6
UID=admin
PWD=<your password here>
HTTPPath=
UseNativeQuery=1
的 UseNativeQuery 参数非常重要。 Campaign支持配置单元,除非设置UseNativeQuery,否则无法正常运行。 通常,驱动程序或配置单元SQL连接器将重写查询并篡改列排序。
身份验证设置取决于配置单元/Hadoop配置。 例如,对于HD Insight,使用AuthMech=6进行用户/密码身份验证,如所述 此处.
导出变量。
export ODBCINI=/etc/myodbc.ini
export ODBCSYSINI=/etc/myodbcinst.ini
通过/usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini设置Hortonworks驱动程序。
您必须使用UTF-16才能与Campaign和unix-odbc(libodbcinst)连接。
[Driver]
DriverManagerEncoding=UTF-16
ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
LogLevel=0
LogPath=/tmp/hive
SwapFilePath=/tmp
ODBCInstLib=libodbcinst.so
您现在可以使用isql测试连接。
isql vorac
isql vorac -v
创建Hadoop外部帐户,详情请参阅 此部分.