Hadoop へのアクセスの設定 configure-access-to-hadoop
外部データベースに保存されている情報を処理するには、Campaign Federated Data Access (FDA)オプションを使用します。 Hadoopへのアクセスを設定するには、次の手順に従います。
- Hadoop データベース を設定
- CampaignでHadoop 外部アカウント を設定する
Hadoop 3.0の設定 configuring-hadoop
FDA で Hadoop 外部データベースに接続するには、Adobe Campaign サーバーで次の設定が必要になります。 この設定は、Windows と Linux の両方で利用できます。
-
ご使用の OS のバージョンに応じて、Hadoop 用の ODBC ドライバーをダウンロードします。 ドライバーはこのページにあります。
-
次に、ODBC ドライバーをインストールし、Hive 接続用の DSN を作成する必要があります。 手順は、このページに記載されています。
-
ODBC ドライバーをダウンロードしてインストールした後、Campaign Classic を再起動する必要があります。 これをおこなうには、次のコマンドを実行します。
code language-none systemctl stop nlserver.service systemctl start nlserver.service -
Campaign Classic では、Hadoop 外部アカウントを設定できます。 外部アカウントの設定方法について詳しくは、この節を参照してください。
Hadoop 外部アカウント hadoop-external
Hadoop 外部アカウントを使用すれば、Campaign インスタンスを Hadoop 外部データベースに接続することができます。
-
Campaign Classic で、Hadoop 外部アカウントを設定します。 エクスプローラーで、管理/プラットフォーム/外部アカウントをクリックします。
-
「新規」をクリックします。
-
外部アカウント タイプ として、「外部データベース」を選択します。
-
Hadoop 外部アカウントを設定するには、次を指定する必要があります。
-
タイプ:ODBC(Sybase ASE、Sybase IQ)
-
サーバー:DNS の名前
-
アカウント:ユーザーの名前
-
パスワード:ユーザーアカウントのパスワード
-
データベース:DSN で指定されていない場合のデータベースの名前。 DSN で指定した場合は、空のままにできます
-
タイムゾーン:サーバーのタイムゾーン
-
コネクタは、次の ODBC オプションをサポートしています。
コネクタは、次の Hive オプションもサポートします。
一括読み込みの BLOB または DataLake バケットのアクセスキーです。
(デフォルトでは 8020 に設定)
Hadoop 2.1の設定 configure-access-hadoop-2
Hadoop 2.1に接続する必要がある場合は、WindowsまたはLinuxの次の手順に従ってください。
Windows用Hadoop 2.1 for-windows
-
Windows 用の ODBC ドライバーと Azure HD Insight ドライバーをインストールします。
-
ODBC DataSource Administrator ツールを実行して、DSN (Data Source名)を作成します。 ユーザーが変更できる Hive 用 System DSN サンプルが提供されています。
code language-none Description: vorac (or any name you like) Host: vorac.azurehdinsight.net Port: 443 Database: sm_tst611 (or your database name) Mechanism: Azure HDInsight Service User/Password: admin/<your password here> -
この節で詳しく説明しているように、Hadoop外部アカウントを作成します。
Linux用Hadoop 2.1 for-linux
-
Linux 用の unixODBC をインストールします。
code language-none apt-get install unixodbc -
HortonWorksからApache Hive用ODBC ドライバーをダウンロードしてインストールします:https://www.cloudera.com/downloads.html。
code language-none dpkg -i hive-odbc-native_2.1.10.1014-2_amd64.deb -
ODBC ファイルの場所を確認します。
code language-none root@campadpac71:/tmp# odbcinst -j unixODBC 2.3.1 DRIVERS............: /etc/odbcinst.ini SYSTEM DATA SOURCES: /etc/odbc.ini FILE DATA SOURCES..: /etc/ODBCDataSources USER DATA SOURCES..: /root/.odbc.ini SQLULEN Size.......: 8 SQLLEN Size........: 8 SQLSETPOSIROW Size.: 8 -
DSN(データソース名)を作成し、odbc.ini ファイルを編集します。 次に、Hive 接続用の DSN を作成します。
HDInsight で「バイラル」と呼ばれる接続を設定する場合の例を以下に示します。
code language-none [ODBC Data Sources] vorac [vorac] Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so HOST=vorac.azurehdinsight.net PORT=443 Schema=sm_tst611 HiveServerType=2 AuthMech=6 UID=admin PWD=<your password here> HTTPPath= UseNativeQuery=1note NOTE ここで、UseNativeQuery パラメーターは非常に重要です。 Campaign は Hive 対応ですが、UseNativeQuery を設定しないと正しく機能しません。 通常、ドライバーまたは Hive SQL コネクタがクエリを上書きして列の順序を勝手に変更してしまいます。 認証設定は Hive や Hadoop の構成に依存します。 例えば HD Insight では、ここで説明しているように、ユーザー/パスワード認証に AuthMech=6 を使用します。
-
変数をエクスポートします。
code language-none export ODBCINI=/etc/myodbc.ini export ODBCSYSINI=/etc/myodbcinst.ini -
Hortonworks ドライバーを /usr/lib/hive/lib/native/Linux-amd64-64/hortonworks.hiveodbc.ini を介して設定します。
Campaign と unix-odbc(libodbcinst)に接続するには、UTF-16 を使用する必要があります。
code language-none [Driver] DriverManagerEncoding=UTF-16 ErrorMessagesPath=/usr/lib/hive/lib/native/hiveodbc/ErrorMessages/ LogLevel=0 LogPath=/tmp/hive SwapFilePath=/tmp ODBCInstLib=libodbcinst.so -
これで、isql を使用した接続をテストできます。
code language-none isql vorac isql vorac -v -
この節で詳しく説明しているように、Hadoop外部アカウントを作成します。