ルックアップ変換の定義

ルックアップデータをデータセットに組み入れる際に利用できる変換について取り上げます。

データセット構築プロセスの 2 つの段階の一方でしか使用できないタイプの変換もあるので注意してください。

• Categorize
• FlatFileLookup
• ODBCLookup

Categorize

Categorize 変換には、パターン文字列と値のペアから成る 2 列のルックアップテーブルを使用します。この変換では、Data Workbench サーバーが個々のイベントデータレコードを順に読み取り、そのレコード内の指定されたフィールドの内容を、ルックアップテーブルの 1 列目にリストされた各パターン文字列と比較します。指定されたフィールドがいずれかのパターン文字列と一致した場合、対応する値（2 列目の内容）を、レコード内の指定された出力フィールドに書き込みます。

パターンの先頭または末尾との比較を強制するために、ルックアップテーブルの 1 列目の文字列は、必要に応じて先頭に ^ 文字を、末尾に $ 文字を使用することができます。この変換では、1 列目に正規表現を使用して一致条件を定義することはできません。入力値が文字列ベクトルであった場合は、各文字列に変換が適用され、出力文字列ベクトルにその結果が付加されます。

同じことを Categorize 変換で行うこともできますが、通常は、Regular Expression 変換を使用した方が簡単で高速に実行することができます。

Categorizeの考慮事項

• Changes to lookup files in Categorize transformations defined in the Transformation.cfg file or in a Transformation Dataset Include file require retransformation of the dataset. Lookup files for Categorize transformations defined in the Log Processing.cfg file or a Log Processing Dataset Include file are not subject to this limitation. データの再処理について詳しくは、再処理と再変換 を参照してください。

• Categorize ファイルまたはファイルで定 Log Processing.cfg 義された変換は、ルッ Log Processing Dataset Include クアップファイルが変更されるたびに、そのルックアップファイルを再読み込みします。 過去にさかのぼって変更が適用されることはありませんが、その変更が行われた後に読み込まれたログデータにはすべて変更が適用されます。

以下に示したのは、Web サイトトラフィックから収集したイベントデータに、Categorize 変換を使用してルックアップデータを統合する例です。特定の Web サイトにいくつかのビジネスセクションがあって、各セクションのトラフィックフローと生み出された価値に基づいて比較検討できるようにしたいとします。この場合、ルックアップファイルを作成して、各セクションを識別するためのサブ文字列をリストします。

The lookup file Lookups\custommap.txt contains the following table:

このカテゴリー化ファイルは、「/products/」という文字列を含んだすべての値を「Products」という値にマッピングします。また、「/sports/」で始まる値を「Sports」という値に、「/news/」で始まる値を「News」という値にマッピングします。次のカテゴリー化変換は、cs-uri-stem フィールドの値を入力として使用します。つまり、このフィールド内の文字列から、サブ文字列との一致を検索することになります。変換の結果は、x-custommap フィールドに格納されます。

Multiple Values パラメーターが false に設定されていると仮定した場合、cs-uri-stem の一連の値に対して x-custommap には次の値が生成されます。

出力結果は、ルックアップファイル内のサブ文字列の順序に左右されます。For example, the cs-uri-stem /sports/products/buy.php returns "Products." URI ステムは「/sports/」で始まっていますが、ルックアップファイルには「/products/」が「/sports/」よりも先に記述されています。仮に Multiple Values パラメーターが true に設定された場合、x-custommap には、別の値が追加されることになります。最後の例で言えば、ルックアップテーブル内の 2 つの行（Products と News）が一致します。

FlatFileLookup

FlatFileLookup 変換には、任意の数の列と行で構成されたルックアップテーブルが使用されます（ただし、ルックアップテーブルはメモリ内に常駐します）。このタイプの変換では、Data Workbench サーバーが個々のイベントデータレコードを順に読み取り、そのレコード内の指定されたフィールドの内容を、ルックアップテーブル内の指定された列の各値と比較します。一致が見つかった場合、Data Workbench サーバーは、ルックアップテーブル内の一致した行の 1 つまたは複数の値を、イベントデータレコード内の指定された 1 つまたは複数の出力フィールドに書き込みます。

この変換で使用されるルックアップテーブルの内容は、フラットファイルから入力されます。フラットファイルの場所は、変換を定義するときに指定します。

考慮事項：FlatFileLookup

• 入力フィールドとルックアップファイルとの比較では常に、大文字と小文字が区別されます。

• Changes to lookup files in FlatFileLookup transformations defined in the Transformation.cfg file or Transformation Dataset Include files require retransformation of the dataset. ファイル内で定義さ FlatFileLookup れた変換の参照フ Log Processing.cfg ァイルは、 Log Processing Dataset Include この制限の対象となりません。 データの再処理について詳しくは、再処理と再変換 を参照してください。

• FlatFileLookup ファイル内の変換は、ル Log Processing.cfg ックアップフ Log Processing Dataset Include ァイルが変更されるたびに、ルックアップファイルをリロードします。 過去にさかのぼって変更が適用されることはありませんが、その変更が行われた後に読み込まれたログデータにはすべて変更が適用されます。

以下に示したのは、Web サイトトラフィックから収集したイベントデータに、FlatFileLookup 変換を使用してルックアップデータを統合する例です。その Web サイトへのトラフィックルーティングに寄与している Web サイトパートナーを見つけ出して、そのパートナー ID を、よりわかりやすい名前に変換したいとします。そうすると、トラフィックのルーティングに使われているサイト間の関係よりも明確にビジネス上の関係を表現する拡張ディメンションとビジュアライゼーションを、そのわかりやすい名前を使用して作成できます。

この例に示した変換は、cs(referrer-query) フィールドから PartnerID の名前と値のペアを検索し、見つかった場合は、ルックアップファイル Lookups\partners.txt を使用して、PartnerID の値とテーブルの Partner 列の値とを比較します。一致する行が見つかった場合、出力フィールド x-partner-name に、特定された行の PrintName 列の名前が割り当てられます。

例えば、ルックアップテーブルに次の情報が格納されているとします。

次の例は、次のように変換されます。

• cs(referrer)(PartnerID) から P232 が返された場合、x-partner-name フィールドには「Microsoft」という値が割り当てられます。
• cs(referrer)(PartnerID) から P100 が返された場合、x-partner-name フィールドには「No Partner」という値が割り当てられます。
• cs(referrer)(PartnerID) から何も返されなかった場合、x-partner-name フィールドには、Default パラメーターの指定に従って「No Partner」という値が割り当てられます。

ODBCLookup

The ODBCLookup transformation operates like a FlatFileLookup transformation. 唯一違うのは、変換時に使用されるルックアップテーブルの内容が、フラットファイルからではなく、ODBC データベースから入力されるという点です。

• The Data Source Name, Database User ID, Database Password, and Table Identifier parameters are the same as the parameters of the same names that are described for ODBC data sources. See ODBC Data Sources.

• ODBC データソースとは異なり、ODBCLookup 変換には、インクリメントする ID 列は不要です。See ODBC Data Sources. なぜなら、データセットがアクティブである間は、どのような形であれ、ルックアップテーブルの内容に変更が生じることは許されないためです。ルックアップテーブル（またはビュー）への変更は、再変換が実行されるまで検出されません。データの再処理について詳しくは、再処理と再変換を参照してください。

古くなった DNS レコードを最新のレコードに変換したいとします。どちらのレコードも SQL データベースに格納されています。この作業を行うには、そのデータベースから生成されたルックアップテーブルを参照して、古い DNS レコードを置き換える必要があります。

この場合、ログエントリから s-dns フィールドを検索し、見つかった s-dns エントリと、ルックアップテーブル VISUAL.LOOKUP の OLDDNS 列内のエントリとを比較します。テーブル内の行が特定された場合、その行の NEWDNS 列から最新の DNS レコードエントリを取得し、出力フィールド s-dns に割り当てます。