[v7]{class="badge informative" title="Campaign Classic v7 にのみ適用されます"}

Hadoop へのアクセスの設定 configure-access-to-hadoop

キャンペーンを使用 Federated Data Access (FDA) 外部データベースに保存されている情報を処理するオプション。 次の手順に従って、Hadoopへのアクセスを設定します。

  1. 設定 Hadoopデータベース
  2. hadoop 外部アカウント Campaign 内

hadoop3.0 の設定 configuring-hadoop

FDA で Hadoop 外部データベースに接続するには、Adobe Campaign サーバーで次の設定が必要になります。この設定は、Windows と Linux の両方で利用できます。

  1. ご使用の OS のバージョンに応じて、Hadoop 用の ODBC ドライバーをダウンロードします。ドライバーはこのページにあります。

  2. 次に、ODBC ドライバーをインストールし、Hive 接続用の DSN を作成する必要があります。手順は、このページに記載されています。

  3. ODBC ドライバーをダウンロードしてインストールした後、Campaign Classic を再起動する必要があります。これをおこなうには、次のコマンドを実行します。

    code language-none
    systemctl stop nlserver.service
    systemctl start nlserver.service
    
  4. Campaign Classic では、Hadoop 外部アカウントを設定できます。外部アカウントの設定方法について詳しくは、 この節.

Hadoop 外部アカウント hadoop-external

Hadoop 外部アカウントを使用すれば、Campaign インスタンスを Hadoop 外部データベースに接続することができます。

  1. Campaign Classic で、Hadoop 外部アカウントを設定します。エクスプローラー ​で、管理プラットフォーム外部アカウント ​をクリックします。

  2. 新規」をクリックします。

  3. 外部アカウント​ タイプ ​として、「外部データベース」を選択します。

  4. Hadoop 外部アカウントを設定するには、次を指定する必要があります。

    • タイプ:ODBC(Sybase ASE、Sybase IQ)

    • サーバー:DNS の名前

    • アカウント:ユーザーの名前

    • パスワード:ユーザーアカウントのパスワード

    • データベース:DSN で指定されていない場合のデータベースの名前。DSN で指定した場合は、空のままにできます

    • タイムゾーン:サーバーのタイムゾーン

コネクタは、次の ODBC オプションをサポートしています。

名前
ODBCMgr
iODBC
warehouse
1/2/4

コネクタは、次の Hive オプションもサポートします。

名前
説明
bulkKey
Azure BLOB または DataLake アクセスキー
wasb:// または wasbs:// の一括ローダーの場合(wasb:// または wasbs:// で始まる一括ロードツールの場合)。
一括読み込みの BLOB または DataLake バケットのアクセスキーです。
hdfsPort
ポート番号
(デフォルトでは 8020 に設定)
HDFS の一括ローダーの場合(webhdfs:// または webhdfss:// で始まる一括ロードツールの場合)。
bucketsNumber
20
クラスター化テーブルを作成する際のバケット数。
fileFormat
PARQUET
作業用テーブルのデフォルトのファイル形式です。

hadoop2.1 の設定 configure-access-hadoop-2

hadoop2.1 に接続する必要がある場合は、次の手順に従って、 Windows または Linux.

Windows 版hadoop2.1 for-windows

  1. Windows 用の ODBC ドライバーと Azure HD Insight ドライバーをインストールします。

  2. ODBC DataSource Administrator ツールを実行して、DSN(データソース名)を作成します。 ユーザーが変更できる Hive 用 System DSN サンプルが提供されています。

    code language-none
    Description: vorac (or any name you like)
    Host: vorac.azurehdinsight.net
    Port: 443
    Database: sm_tst611 (or your database name)
    Mechanism: Azure HDInsight Service
    User/Password: admin/<your password here>
    
  3. hadoop外部アカウントを作成します ( この節.

Linux 用hadoop2.1 for-linux

  1. Linux 用の unixODBC をインストールします。

    code language-none
    apt-get install unixodbc
    
  2. HortonWorks から Apache Hive 用の ODBC ドライバーをダウンロードしてインストールします。 https://www.cloudera.com/downloads.html.

    code language-none
    dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb
    
  3. ODBC ファイルの場所を確認します。

    code language-none
    root@campadpac71:/tmp# odbcinst -j
    unixODBC 2.3.1
    DRIVERS............: /etc/odbcinst.ini
    SYSTEM DATA SOURCES: /etc/odbc.ini
    FILE DATA SOURCES..: /etc/ODBCDataSources
    USER DATA SOURCES..: /root/.odbc.ini
    SQLULEN Size.......: 8
    SQLLEN Size........: 8
    SQLSETPOSIROW Size.: 8
    
  4. DSN(データソース名)を作成し、odbc.ini ファイルを編集します。次に、Hive 接続用の DSN を作成します。

    HDInsight で「バイラル」と呼ばれる接続を設定する場合の例を以下に示します。

    code language-none
    [ODBC Data Sources]
    vorac
    
    [vorac]
    Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
    HOST=vorac.azurehdinsight.net
    PORT=443
    Schema=sm_tst611
    HiveServerType=2
    AuthMech=6
    UID=admin
    PWD=<your password here>
    HTTPPath=
    UseNativeQuery=1
    
    note note
    NOTE
    ここで、UseNativeQuery パラメーターは非常に重要です。Campaign は Hive 対応ですが、UseNativeQuery を設定しないと正しく機能しません。通常、ドライバーまたは Hive SQL コネクタがクエリを上書きして列の順序を勝手に変更してしまいます。

    認証設定は Hive や Hadoop の構成に依存します。例えば HD Insight では、ここで説明しているように、ユーザー/パスワード認証に AuthMech=6 を使用します。

  5. 変数をエクスポートします。

    code language-none
    export ODBCINI=/etc/myodbc.ini
    export ODBCSYSINI=/etc/myodbcinst.ini
    
  6. Hortonworks ドライバーを /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini を介して設定します。

    Campaign と unix-odbc(libodbcinst)に接続するには、UTF-16 を使用する必要があります。

    code language-none
    [Driver]
    
    DriverManagerEncoding=UTF-16
    ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
    LogLevel=0
    LogPath=/tmp/hive
    SwapFilePath=/tmp
    
    ODBCInstLib=libodbcinst.so
    
  7. これで、isql を使用した接続をテストできます。

    code language-none
    isql vorac
    isql vorac -v
    
  8. hadoop外部アカウントを作成します ( この節.

recommendation-more-help
601d79c3-e613-4db3-889a-ae959cd9e3e1