文件CampaignCampaign Classic v7 文件

設定Hadoop的存取權 configure-access-to-hadoop

Last update: Fri Jul 19 2024 00:00:00 GMT+0000 (Coordinated Universal Time)
  • 主題：

使用Campaign 同盟資料存取 (FDA)選項來處理儲存在外部資料庫中的資訊。 請依照下列步驟設定對Hadoop的存取權。

  1. 設定Hadoop資料庫
  2. 在Campaign中設定Hadoop外部帳戶

設定Hadoop 3.0 configuring-hadoop

在Adobe Campaign伺服器上連線至FDA中的Hadoop外部資料庫需要下列設定。 請注意，此設定適用於Windows和Linux。

  1. 根據您的作業系統版本，下載ODBC驅動程式以進行Hadoop。 驅動程式可在此頁面上找到。

  2. 然後，您需要安裝ODBC驅動程式，並為您的Hive連線建立DSN。 您可以在此頁面中找到指示

  3. 下載和安裝ODBC驅動程式之後，您需要重新啟動Campaign Classic。 要執行此操作，請執行以下命令：

    code language-none 
    systemctl stop nlserver.service
systemctl start nlserver.service

  4. 然後，您可以在Campaign Classic中設定Hadoop外部帳戶。 如需如何設定外部帳戶的詳細資訊，請參閱本節。

hadoop外部帳戶 hadoop-external

Hadoop外部帳戶可讓您將Campaign執行個體連線至Hadoop外部資料庫。

  1. 在Campaign Classic中，設定您的Hadoop外部帳戶。 從​ Explorer，按一下​ Administration / Platform / External accounts。

  2. 按一下​ New。

  3. 選取​ External database ​作為外部帳戶的​ Type。

  4. 設定​ Hadoop ​外部帳戶，您必須指定：

    • Type： ODBC (Sybase ASE，Sybase IQ)

    • Server： DNS的名稱

    • Account：使用者名稱

    • Password：使用者帳戶密碼

    • Database：未在DSN中指定資料庫的名稱。 若在DSN中指定，可保留空白

    • Time zone：伺服器時區

聯結器支援下列ODBC選項：

名稱
值
ODBCMgr
iODBC
倉儲
1/2/4

聯結器也支援下列Hive選項：

名稱
值
說明
bulkKey
Azure Blob或DataLake存取金鑰
對於wasb://或wasbs://大量載入器(亦即，如果大量載入工具以wasb://或wasbs://開頭)。
它是大量載入之Blob或DataLake貯體的存取金鑰。
hdfsPort
連線埠號碼
預設為8020
對於HDFS大量載入(亦即，如果大量載入工具以webhdfs://或webhdfss://開頭)。
bucketnumber
20
建立叢集表格時的值區數。
檔案格式
PARQUET
工作表的預設檔案格式。

設定Hadoop 2.1 configure-access-hadoop-2

如果您需要連線到Hadoop2.1，請遵循下列針對Windows或Linux的步驟。

WindowsHadoop2.1 for-windows

  1. 安裝適用於Windows的ODBC和Azure HD Insight驅動程式。

  2. 執行[ODBC資料來源管理員]工具來建立DSN (資料Source名稱)。 提供用於Hive的系統DSN範例供您修改。

    code language-none 
    Description: vorac (or any name you like)
Host: vorac.azurehdinsight.net
Port: 443
Database: sm_tst611 (or your database name)
Mechanism: Azure HDInsight Service
User/Password: admin/<your password here>

  3. 建立Hadoop外部帳戶，如此區段中所詳述。

適用於Linux的Hadoop2.1 for-linux

  1. 安裝適用於Linux的unixodbc。

    code language-none 
    apt-get install unixodbc

  2. 從HortonWorks下載並安裝適用於Apache Hive的ODBC驅動程式： https://www.cloudera.com/downloads.html。

    code language-none 
    dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb

  3. 檢查ODBC檔案的位置。

    code language-none 
    root@campadpac71:/tmp# odbcinst -j
unixODBC 2.3.1
DRIVERS............: /etc/odbcinst.ini
SYSTEM DATA SOURCES: /etc/odbc.ini
FILE DATA SOURCES..: /etc/ODBCDataSources
USER DATA SOURCES..: /root/.odbc.ini
SQLULEN Size.......: 8
SQLLEN Size........: 8
SQLSETPOSIROW Size.: 8

  4. 建立DSN (資料Source名稱)並編輯odbc.ini檔案。 然後，為您的Hive連線建立DSN。

    以下是HDInsight設定名為「病毒式」連線的範例：

    code language-none 
    [ODBC Data Sources]
vorac

[vorac]
Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
HOST=vorac.azurehdinsight.net
PORT=443
Schema=sm_tst611
HiveServerType=2
AuthMech=6
UID=admin
PWD=<your password here>
HTTPPath=
UseNativeQuery=1
    note note
    NOTE
    此處的​ UseNativeQuery ​引數非常重要。 Campaign具有Hive感知功能，除非設定UseNativeQuery，否則將無法正常運作。 通常，驅動程式或Hive SQL聯結器會重寫查詢並篡改欄順序。

    驗證設定取決於Hive/Hadoop設定。 例如，對於HD Insight，請使用AuthMech=6進行使用者/密碼驗證，如此處所述。

  5. 匯出變數。

    code language-none 
    export ODBCINI=/etc/myodbc.ini
export ODBCSYSINI=/etc/myodbcinst.ini

  6. 透過/usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini設定Hortonworks驅動程式。

    您必須使用UTF-16才能與Campaign和unix-odbc (libodbcinst)連線。

    code language-none 
    [Driver]

DriverManagerEncoding=UTF-16
ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
LogLevel=0
LogPath=/tmp/hive
SwapFilePath=/tmp

ODBCInstLib=libodbcinst.so

  7. 您現在可以使用isql測試連線。

    code language-none 
    isql vorac
isql vorac -v

  8. 建立Hadoop外部帳戶，如此區段中所詳述。

recommendation-more-help
601d79c3-e613-4db3-889a-ae959cd9e3e1