ドキュメントCampaignCampaign Classic v7 ドキュメント

Hadoop へのアクセスの設定 configure-access-to-hadoop

Last update: Fri Jul 19 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Campaign Federated Data Access （FDA）オプションを使用して、外部データベースに保存されている情報を処理します。 hadoopへのアクセスを設定するには、次の手順に従います。

  1. Hadoop データベースを構成します
  2. Campaign でのHadoop 外部アカウントの設定

hadoop 3.0 の設定 configuring-hadoop

FDA で Hadoop 外部データベースに接続するには、Adobe Campaign サーバーで次の設定が必要になります。この設定は、Windows と Linux の両方で利用できます。

  1. ご使用の OS のバージョンに応じて、Hadoop 用の ODBC ドライバーをダウンロードします。ドライバーはこのページにあります。

  2. 次に、ODBC ドライバーをインストールし、Hive 接続用の DSN を作成する必要があります。手順は、このページに記載されています。

  3. ODBC ドライバーをダウンロードしてインストールした後、Campaign Classic を再起動する必要があります。これをおこなうには、次のコマンドを実行します。

    code language-none 
    systemctl stop nlserver.service
systemctl start nlserver.service

  4. Campaign Classic では、Hadoop 外部アカウントを設定できます。外部アカウントの設定方法について詳しくは、 この節を参照してください。

Hadoop 外部アカウント hadoop-external

Hadoop 外部アカウントを使用すれば、Campaign インスタンスを Hadoop 外部データベースに接続することができます。

  1. Campaign Classic で、Hadoop 外部アカウントを設定します。エクスプローラー ​で、管理／プラットフォーム／外部アカウント ​をクリックします。

  2. 「新規」をクリックします。

  3. 外部アカウント​ タイプ ​として、「外部データベース」を選択します。

  4. Hadoop 外部アカウントを設定するには、次を指定する必要があります。

    • タイプ：ODBC（Sybase ASE、Sybase IQ）

    • サーバー：DNS の名前

    • アカウント：ユーザーの名前

    • パスワード：ユーザーアカウントのパスワード

    • データベース：DSN で指定されていない場合のデータベースの名前。DSN で指定した場合は、空のままにできます

    • タイムゾーン：サーバーのタイムゾーン

コネクタは、次の ODBC オプションをサポートしています。

名前
値
ODBCMgr
iODBC
warehouse
1/2/4

コネクタは、次の Hive オプションもサポートします。

名前
値
説明
bulkKey
Azure BLOB または DataLake アクセスキー
wasb:// または wasbs:// の一括ローダーの場合（wasb:// または wasbs:// で始まる一括ロードツールの場合）。
一括読み込みの BLOB または DataLake バケットのアクセスキーです。
hdfsPort
ポート番号
（デフォルトでは 8020 に設定）
HDFS の一括ローダーの場合（webhdfs:// または webhdfss:// で始まる一括ロードツールの場合）。
bucketsNumber
20
クラスター化テーブルを作成する際のバケット数。
fileFormat
PARQUET
作業用テーブルのデフォルトのファイル形式です。

hadoop 2.1 の設定 configure-access-hadoop-2

hadoop 2.1 に接続する必要がある場合は、以下の Windows または Linux の手順に従います。

Hadoop 2.1 （Windows の場合） for-windows

  1. Windows 用の ODBC ドライバーと Azure HD Insight ドライバーをインストールします。

  2. ODBC DataSource Administrator ツールを実行して、DSN （データ・Source名）を作成します。 ユーザーが変更できる Hive 用 System DSN サンプルが提供されています。

    code language-none 
    Description: vorac (or any name you like)
Host: vorac.azurehdinsight.net
Port: 443
Database: sm_tst611 (or your database name)
Mechanism: Azure HDInsight Service
User/Password: admin/<your password here>

  3. この節で説明しているように、Hadoop外部アカウントを作成します。

Linux の場合のHadoop 2.1 for-linux

  1. Linux 用の unixODBC をインストールします。

    code language-none 
    apt-get install unixodbc

  2. HortonWorks から Apache Hive 用の ODBC ドライバーをダウンロードしてインストールします：https://www.cloudera.com/downloads.html。

    code language-none 
    dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb

  3. ODBC ファイルの場所を確認します。

    code language-none 
    root@campadpac71:/tmp# odbcinst -j
unixODBC 2.3.1
DRIVERS............: /etc/odbcinst.ini
SYSTEM DATA SOURCES: /etc/odbc.ini
FILE DATA SOURCES..: /etc/ODBCDataSources
USER DATA SOURCES..: /root/.odbc.ini
SQLULEN Size.......: 8
SQLLEN Size........: 8
SQLSETPOSIROW Size.: 8

  4. DSN（データソース名）を作成し、odbc.ini ファイルを編集します。次に、Hive 接続用の DSN を作成します。

    HDInsight で「バイラル」と呼ばれる接続を設定する場合の例を以下に示します。

    code language-none 
    [ODBC Data Sources]
vorac

[vorac]
Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
HOST=vorac.azurehdinsight.net
PORT=443
Schema=sm_tst611
HiveServerType=2
AuthMech=6
UID=admin
PWD=<your password here>
HTTPPath=
UseNativeQuery=1
    note note
    NOTE
    ここで、UseNativeQuery パラメーターは非常に重要です。Campaign は Hive 対応ですが、UseNativeQuery を設定しないと正しく機能しません。通常、ドライバーまたは Hive SQL コネクタがクエリを上書きして列の順序を勝手に変更してしまいます。

    認証設定は Hive や Hadoop の構成に依存します。例えば HD Insight では、ここで説明しているように、ユーザー／パスワード認証に AuthMech=6 を使用します。

  5. 変数をエクスポートします。

    code language-none 
    export ODBCINI=/etc/myodbc.ini
export ODBCSYSINI=/etc/myodbcinst.ini

  6. Hortonworks ドライバーを /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini を介して設定します。

    Campaign と unix-odbc（libodbcinst）に接続するには、UTF-16 を使用する必要があります。

    code language-none 
    [Driver]

DriverManagerEncoding=UTF-16
ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/
LogLevel=0
LogPath=/tmp/hive
SwapFilePath=/tmp

ODBCInstLib=libodbcinst.so

  7. これで、isql を使用した接続をテストできます。

    code language-none 
    isql vorac
isql vorac -v

  8. この節で説明しているように、Hadoop外部アカウントを作成します。

recommendation-more-help
601d79c3-e613-4db3-889a-ae959cd9e3e1