配置對Hadoop的訪問

使用Campaign Federated Data Access(FDA)選項來處理儲存在外部資料庫中的資訊。 請遵循下列步驟來設定對Hadoop的存取。

  1. 配置Hadoop資料庫
  2. 在Campaign中配置Hadoop 外部帳戶

配置Hadoop 3.0

在FDA中連線至Hadoop外部資料庫需要Adobe Campaign伺服器上的下列組態。 請注意,此配置適用於Windows和Linux。

  1. 根據您的OS版本下載Hadoop的ODBC驅動程式。 可在本頁中找到驅動程式。

  2. 然後,您需要安裝ODBC驅動程式並為Hive連接建立DSN。 有關說明,請參閱本頁

  3. 在下載並安裝ODBC驅動程式後,您需要重新啟動Campaign Classic。 要執行此操作,請運行以下命令:

    systemctl stop nlserver.service
    systemctl start nlserver.service
    
  4. 在Campaign Classic中,您接著可以設定Hadoop外部帳戶。 有關如何配置外部帳戶的詳細資訊,請參閱本節

Hadoop外部帳戶

Hadoop外部帳戶允許您將Campaign實例連接到Hadoop外部資料庫。

  1. 在Campaign Classic中,設定您的Hadoop外部帳戶。 在​Explorer​中,按一下​Administration / Platform / External accounts

  2. 按一下 New

  3. 選擇​External database​作為外部帳戶的​Type

  4. 設定​Hadoop​外部帳戶,您必須指定:

    • Type:ODBC(Sybase ASE、Sybase IQ)

    • Server:DNS的名稱

    • Account:用戶名稱

    • Password:使用者帳戶密碼

    • Database:DSN中未指定的資料庫名稱。如果在DSN中指定,則可保留為空

    • Time zone:伺服器時區

連接器支援以下ODBC選項:

名稱
ODBCMgr iODBC
倉庫 1/2/4

連接器還支援以下Hive選項:

名稱 說明
bulkKey Azure blob或DataLake存取金鑰 對於wasb://或wasbs://大量載入器(即,如果批量載入工具以wasb://或wasbs://開頭)。
它是blob或DataLake儲存貯體的存取金鑰,以進行大量載入。
hdfsPort 埠號
預設設定為8020
對於HDFS批量載入(即,如果批量載入工具以webhdfs://或webhdfss://開頭)。
burketsNumber 20 建立聚簇表時的桶數。
fileFormat 鑲木 工作表的預設檔案格式。

配置Hadoop 2.1

如果您需要連接到Hadoop 2.1,請遵循以下為WindowsLinux所述的步驟。

Windows版Hadoop 2.1

  1. 安裝Windows專用的ODBC和Azure HD Insight驅動程式。

  2. 通過運行ODBC資料源管理工具建立DSN(資料源名稱)。 Hive的系統DSN示例供您修改。

    Description: vorac (or any name you like)
    Host: vorac.azurehdinsight.net
    Port: 443
    Database: sm_tst611 (or your database name)
    Mechanism: Azure HDInsight Service
    User/Password: admin/<your password here>
    
  3. 建立Hadoop外部帳戶,如本節中所述。

Linux版Hadoop 2.1

  1. 安裝unixodbc for Linux。

    apt-get install unixodbc
    
  2. 從HortonWorks下載並安裝Apache Hive的ODBC驅動程式:https://www.cloudera.com/downloads.html

    dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb
    
  3. 檢查ODBC檔案位置。

    root@campadpac71:/tmp# odbcinst -j
    unixODBC 2.3.1
    DRIVERS............: /etc/odbcinst.ini
    SYSTEM DATA SOURCES: /etc/odbc.ini
    FILE DATA SOURCES..: /etc/ODBCDataSources
    USER DATA SOURCES..: /root/.odbc.ini
    SQLULEN Size.......: 8
    SQLLEN Size........: 8
    SQLSETPOSIROW Size.: 8
    
  4. 建立DSN(資料源名稱)並編輯odbc.ini檔案。 然後,為Hive連接建立DSN。

    以下是HDInsight設定名為「病毒式」連線的範例:

    [ODBC Data Sources]
    vorac 
    
    [vorac]
    Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
    HOST=vorac.azurehdinsight.net
    PORT=443
    Schema=sm_tst611
    HiveServerType=2
    AuthMech=6
    UID=admin
    PWD=<your password here>
    HTTPPath=
    UseNativeQuery=1
    
    注意

    此處的​UseNativeQuery​參數非常重要。 促銷活動會感知蜂窩,除非設定UseNativeQuery,否則無法正常運作。 通常,驅動程式或Hive SQL連接器將重寫查詢並篡改列順序。

    驗證設定取決於Hive/Hadoop配置。 例如,對於HD Insight,請使用AuthMech=6進行使用者/密碼驗證,如此處所述。

  5. 匯出變數。

    export ODBCINI=/etc/myodbc.ini
    export ODBCSYSINI=/etc/myodbcinst.ini
    
  6. 通過/usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini設定Hortonworks驅動程式。

    您必須使用UTF-16才能連線Campaign和unix-odbc(libodbcinst)。

    [Driver]
    
    DriverManagerEncoding=UTF-16
    ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
    LogLevel=0
    LogPath=/tmp/hive
    SwapFilePath=/tmp
    
    ODBCInstLib=libodbcinst.so
    
  7. 您現在可以使用isql測試連線。

    isql vorac
    isql vorac -v
    
  8. 建立Hadoop外部帳戶,如本節中所述。

本頁內容