Transform.cfg ファイル

Data Workbench の Transform.cfg ファイルには、ログのソース、データ変換およびエクスポーターを定義するパラメーターが含まれています。

The transformations that you define manipulate raw data collected by Sensors ( .vsl files) or contained in text files, XML files, or ODBC-compliant databases and output them either into existing fields, overwriting the current data, or into newly defined fields.

変換機能を設定するには、イベントデータのエクスポートに使用するプロファイルの Dataset フォルダーに存在する、Data Workbench の Transform.cfg ファイルを編集します。通常、変換機能には、このプロファイルがメインで使用されます（つまり、実行するデータ処理は、主に Data Workbench の Transform.cfg ファイルで定義します）。It is important to note that any processing instructions specified in the Log Processing Dataset Include files for any inherited profiles are applied in addition to those specified in the data workbench Transform.cfg file.

データセットインクルードファイルについて詳しくは、「データセットインクル ードファイル」を参照してください。

エクスポート対象データを Data Workbench サーバークラスターで処理する場合、そのクラスター内の個々の処理サーバー（DPU）によってデータが処理されます。ただし、出力データが書き込まれるのは、1 つ目の DPU（profile.cfg ファイルの 0 番目の処理サーバー）のローカルファイルシステムだけです。

Data Workbench の Transform.cfg ファイルを編集するには

  1. While working in the profile for which you want to export data, open the Profile Manager and click Dataset to show the contents of the directory.
  2. Right-click the check mark next to data workbench Transform.cfg, then click Make Local. このファイル用のチェックマークが User 列に表示されます。
  3. 新しく作成されたチェックマークを右クリックし、/をクリ Open ックしま from the workbench​す。 The data workbench Transform.cfg window appears.
  4. 次の表を参考にして、設定ファイルのパラメーターを編集します。
パラメーター 説明
End Time

(オプション)データのフィルター。タイムスタンプがこの時刻より前（この時刻は含まず）のログエントリを抽出します。この時刻には、次のいずれかの形式を使用することをお勧めします。

  • January 1 2013 HH:MM:SS EDT
  • Jan 1 2013 HH:MM:SS GMT

例えば、July 29 2013 00:00:00 EDT を End Time として指定した場合、米国東部夏時間の 2013 年 7 月 28 日 11:59:59 PM までのデータが対象となります。

タイムゾーンの指定は必須です。タイムゾーンを指定しなかった場合に、デフォルトで GMT に設定されることはありません。Data Workbench サーバーでサポートされるタイムゾーンの略称一覧については、タイムゾーンのコードを参照してください。

Sensor ソースやログファイルソースのパラメーターである Use Start/End Times は、このパラメーターと連動します。

Exporters

出力データの加工方法や書式をエクスポーターのサブフィールドで指定します。一連のログソース用に複数のエクスポーターを定義できます。出力は、エクスポーターのタイプごとに作成されます。

次の 3 種類のエクスポーターが存在します。

  • ExportTextFile
  • ExportDelimitedTextFile
  • ExportVSLFile

エクスポーターの種類について詳しくは、 エクスポーターの定義 .

Hash Threshold (オプション)より小さな標本（データセットの行）をランダムに抽出するためのサンプリング係数。数値 n に設定した場合、n 件の追跡 ID につき 1 件のみがエクスポート対象として選択され、エクスポート対象の合計行数を 1/n に減らすことができます。すべての行をエクスポートする場合は、Hash Threshold を 1 に設定します。
Log Entry Condition (オプション)ログエントリをエクスポート候補とするかどうかの判断基準となるルールを定義します。Log Entry Conditionについて詳しくは、 Log Processing Configuration File を参照 してください 。
Log Sources

データのソース。ログソースには、.vsl ファイル、ログファイル、XML ファイルのほか、ODBC に準拠したデータベースからのデータを使用できます。ログソースについて詳 しくは、 Log Processing Configuration File を参照してくださ い。

Transform は、すべてのソースデータが、辞書式順序に基づいて並べられた入力ファイル内で時系列順になっていることを前提としています。この要件が満たされない場合、基準日の計算が不正確となり、出力ファイルを閉じた後に別の入力データが処理されることがあります。

Offline Mode

(オプション)true または false。true の場合、データ処理の開始時点で、すべての入力ファイルが存在していることを前提とした動作になります。その時点で存在する入力データの読み取りが完了すると、他のデータの到着を待たず、出力ファイルがすべて閉じられます。デフォルト値は false です。

注意：Offline Mode を true に設定した場合、Transform の処理が開始される前に、すべてのソースデータが存在している必要があります。出力ファイルを閉じた後に追加データが受信された場合、VisualServer.log ファイルに警告メッセージが生成されます。

Reprocess

(オプション)ここには任意の文字またはその組み合わせを入力できます。このパラメーターに変更を加えて Transform コンピューターにファイルを保存すると、データの再処理が開始されます。

データの再処理について詳しくは、再処理と再変換 を参照してくださ い。

Stages

(オプション)ログ処理データセットインクルードファイルで使用できる（Data Workbench の Transform.cfg ファイルに加えて実行される）処理ステージの名前。ログ処理データセットインクルードファイル内に定義された変換の順序付けを行うことができます。複数のログ処理データセットインクルードファイルに変換を定義してあるとき、エクスポートプロセスの決まったポイントで特定の変換を実行したい場合に、このパラメーターが非常に役立ちます。

ログ処理データセットインクルードファイル内の各変換が、データのエクスポートの過程でどのような順序で実行されるかは、ここにリストしたステージの順序によって決まります。Preprocessing と Postprocessing はビルトインのステージです。Preprocessing は常に最初のステージに、Postprocessing は常に最後のステージになります。デフォルトでは、Default という名前のステージが 1 つ存在します。

新しい処理ステージを追加するには

  • Data Workbench の Transform.cfg ウィンドウで Stages を右クリックし、新規追加／Stage をクリックします。
  • 新しいステージの名前を入力します。

既存の処理ステージを削除するには

  • 削除するステージに対応する番号を右クリックし、「<#stage_number> を削除」をクリックします。

注意：ログ処理データセットインクルードファイルで Stage を指定するときは、ここに入力したステージの名前と完全に一致させる必要があります。データセットインクルードファイルについて詳しくは、「データセットインクルードフ ァイル」を参照してくだ さい。

Start Time

(オプション)データのフィルター。タイムスタンプがこの時刻以後（この時刻を含む）のログエントリを抽出します。この時刻には、次のいずれかの形式を使用することをお勧めします。

  • January 1 2013 HH:MM:SS EDT
  • Jan 1 2013 HH:MM:SS GMT

例えば、July 29 2013 00:00:00 EDT を Start Time として指定した場合、米国東部夏時間の 2013 年 7 月 29 日 12:00:00 AM 以降のデータが対象となります。

タイムゾーンの指定は必須です。タイムゾーンを指定しなかった場合に、デフォルトで GMT に設定されることはありません。Data Workbench サーバーでサポートされるタイムゾーンの略称一覧については、タイムゾーンのコードを参照してください。

注意：Sensor ソースやログファイルソースのパラメーターである Use Start/End Times は、このパラメーターと連動します。

Transformations

(オプション)データに適用する変換を定義します。利用可能な変換のタイプについて詳しくは、データ変換を参照してください。

注意：次のタイプの変換は、Data Workbench の Transform.cfg ファイルで定義されている場合にしか正しく機能しません。

  • AppendURI
  • CrossRows
  • ODBCLookup
  • Sessionize
メモ

出力ファイルを閉じた後にさらに別のデータを受信した場合（前掲の表の「Log Sources」と「Offline Mode」を参照）、Transform は、その追加データを使用して新しい出力ファイルを作成します。新しい出力ファイルの名前は、元の出力ファイル名の拡張子の前に、バージョン番号を括弧で囲んで追加することによって生成されます。For example, if the original output file is 20070701-ABC.vsl, subsequent versions of this file will be named 20070701-ABC(1).vsl, 20070701-ABC(2).vsl, and so on. 複数バージョンのファイルを Data Workbench サーバーの入力として使用すると、処理エラーとなる場合があります。

複数バージョンの出力ファイルが作成されるのは好ましくありません。辞書式順序に基づいて並べられた入力ファイル内ですべてのソースデータが時系列順になっていることを確認し、さらに、Offline Mode を true に設定する場合は、すべてのソースデータが処理の開始時点で存在することを確認してください。For more information, see the Log Sources and Offline Mode entries in the preceding table.

  1. 右クリックし、/をクリックして、変 Transformations 換を追 Add new 加しま Transformation type​す。 変換のフィールドに必要事項を入力します。

    See Data Transformations for descriptions and examples of the transformations that you can use with transformation functionality.

  2. Right-click (modified) at the top of the window, then click Save.

  3. To make the locally made changes take effect, in the Profile Manager, right-click the check mark for data workbench Transform.cfg in the User column, then click Save to > profile name, where profile name is the name of the profile for which you are exporting data. プロファイルの同期後、データの再処理が開始されます。

    メモ

    書き出し用のデータの再処理について詳しくは、再処理と再変換 を参照してください。

このページ