Transform.cfg ファイル

重要

Data Workbench 提供終了のお知らせ.

Data Workbench の Transform.cfg ファイルには、ログのソース、データ変換およびエクスポーターを定義するパラメーターが含まれています。

定義した変換は、Sensor ( .vsl ファイル )、またはテキストファイル、XML ファイル、または ODBC 準拠のデータベースに含まれ、既存のフィールドに出力し、現在のデータを上書きする、または新しく定義されたフィールドに出力します。

変換機能を設定するには、イベントデータのエクスポートに使用するプロファイルの Dataset フォルダーに存在する、Data Workbench の Transform.cfg ファイルを編集します。通常、変換機能には、このプロファイルがメインで使用されます（つまり、実行するデータ処理は、主に Data Workbench の Transform.cfg ファイルで定義します）。処理命令が Log Processing Dataset Include 継承されたプロファイルのファイルは、data workbench で指定されたファイルに加えて適用されます Transform.cfg ファイル。

データセットインクルードファイルについて詳しくは、 データセットインクルードファイル.

エクスポート対象データを Data Workbench サーバークラスターで処理する場合、そのクラスター内の個々の処理サーバー（DPU）によってデータが処理されます。ただし、出力データが書き込まれるのは、1 つ目の DPU（profile.cfg ファイルの 0 番目の処理サーバー）のローカルファイルシステムだけです。

Data Workbench の Transform.cfg ファイルを編集するには

  1. データを書き出すプロファイル内で、 Profile Manager をクリックし、 Dataset ディレクトリの内容を表示します。
  2. data workbench の横のチェックマークを右クリックします。 Transform.cfgを選択し、「 Make Local. このファイル用のチェックマークが User 列に表示されます。
  3. 新しく作成されたチェックマークを右クリックし、 Open > from the workbench. Data Workbench Transform.cfg ウィンドウが表示されます。
  4. 次の表を参考にして、設定ファイルのパラメーターを編集します。
パラメーター 説明
End Time

（オプション）。データのフィルター。タイムスタンプがこの時刻より前（この時刻は含まず）のログエントリを抽出します。この時刻には、次のいずれかの形式を使用することをお勧めします。

  • 2013 年 1 月 1 日 HH:MM:SS EDT
  • 2013 年 1 月 1 日 HH:MM:SS GMT

例えば、July 29 2013 00 を指定します。:00:00 EDT を 終了時刻 には、2013 年 7 月 28 日 (PT) までのデータが含まれます。:59:米国東部標準時の午後 59 時。

タイムゾーンの指定は必須です。タイムゾーンを指定しなかった場合に、デフォルトで GMT に設定されることはありません。Data Workbench サーバーでサポートされるタイムゾーンの略称一覧については、 タイムゾーンのコード .

Sensor ソースやログファイルソースのパラメーターである Use Start/End Times は、このパラメーターと連動します。

Exporters

出力データの加工方法や書式をエクスポーターのサブフィールドで指定します。一連のログソース用に複数のエクスポーターを定義できます。出力は、エクスポーターのタイプごとに作成されます。

次の 3 種類のエクスポーターが存在します。

  • ExportTextFile
  • ExportDelimitedTextFile
  • ExportVSLFile

エクスポーターの種類について詳しくは、 エクスポーターの定義 .

Hash Threshold （オプション）。より小さな標本（データセットの行）をランダムに抽出するためのサンプリング係数。数値 n に設定した場合、n 件の追跡 ID につき 1 件のみがエクスポート対象として選択され、エクスポート対象の合計行数を 1/n に減らすことができます。すべての行をエクスポートする場合は、Hash Threshold を 1 に設定します。
Log Entry Condition （オプション）。ログエントリをエクスポート候補とするかどうかの判断基準となるルールを定義します。詳しくは、 ログエントリ条件 を参照してください。 ログ処理設定ファイル .
ログソース

データのソース。ログソースには、.vsl ファイル、ログファイル、XML ファイルのほか、ODBC に準拠したデータベースからのデータを使用できます。詳しくは、 ログソース を参照してください。 ログ処理設定ファイル .

Transform は、すべてのソースデータが、辞書式順序に基づいて並べられた入力ファイル内で時系列順になっていることを前提としています。この要件が満たされない場合、基準日の計算が不正確となり、出力ファイルを閉じた後に別の入力データが処理されることがあります。

Offline Mode

（オプション）。true または false。true の場合、データ処理の開始時点で、すべての入力ファイルが存在していることを前提とした動作になります。その時点で存在する入力データの読み取りが完了すると、他のデータの到着を待たず、出力ファイルがすべて閉じられます。デフォルト値は false です。

注意：Offline Mode を true に設定した場合、Transform の処理が開始される前に、すべてのソースデータが存在している必要があります。出力ファイルを閉じた後に追加データが受信された場合、VisualServer.log ファイルに警告メッセージが生成されます。

Reprocess

（オプション）。ここには任意の文字またはその組み合わせを入力できます。このパラメーターに変更を加えて Transform コンピューターにファイルを保存すると、データの再処理が開始されます。

データの再処理について詳しくは、 再処理と再変換 .

Stages

（オプション）。ログ処理データセットインクルードファイルで使用できる（Data Workbench の Transform.cfg ファイルに加えて実行される）処理ステージの名前。ログ処理データセットインクルードファイル内に定義された変換の順序付けを行うことができます。複数のログ処理データセットインクルードファイルに変換を定義してあるとき、エクスポートプロセスの決まったポイントで特定の変換を実行したい場合に、このパラメーターが非常に役立ちます。

ログ処理データセットインクルードファイル内の各変換が、データのエクスポートの過程でどのような順序で実行されるかは、ここにリストしたステージの順序によって決まります。Preprocessing と Postprocessing はビルトインのステージです。Preprocessing は常に最初のステージに、Postprocessing は常に最後のステージになります。デフォルトでは、Default という名前のステージが 1 つ存在します。

新しい処理ステージを追加するには

  • Data Workbench の Transform.cfg ウィンドウで Stages を右クリックし、新規追加／Stage をクリックします。
  • 新しいステージの名前を入力します。

既存の処理ステージを削除するには

  • 削除するステージに対応する番号を右クリックし、「<#stage_number> を削除」をクリックします。

注意：ログ処理データセットインクルードファイルで Stage を指定するときは、ここに入力したステージの名前と完全に一致させる必要があります。データセットインクルードファイルについて詳しくは、 データセットインクルードファイル .

Start Time

（オプション）。データのフィルター。タイムスタンプがこの時刻以後（この時刻を含む）のログエントリを抽出します。この時刻には、次のいずれかの形式を使用することをお勧めします。

  • 2013 年 1 月 1 日 HH:MM:SS EDT
  • 2013 年 1 月 1 日 HH:MM:SS GMT

例えば、July 29 2013 00 を指定します。:00:「Start Time」としての米国東部夏時間の値は、2013 年 7 月 29 日 (12) 以降のデータを含む:00:午前 00 時。

タイムゾーンの指定は必須です。タイムゾーンを指定しなかった場合に、デフォルトで GMT に設定されることはありません。Data Workbench サーバーでサポートされるタイムゾーンの略称一覧については、 タイムゾーンのコード .

注意：Sensor ソースやログファイルソースのパラメーターである Use Start/End Times は、このパラメーターと連動します。

Transformations

（オプション）。データに適用する変換を定義します。利用可能な変換のタイプについて詳しくは、 データ変換 .

注意：次のタイプの変換は、Data Workbench の Transform.cfg ファイルで定義されている場合にしか正しく機能しません。

  • AppendURI
  • CrossRows
  • ODBCLookup
  • Sessionize
メモ

出力ファイルを閉じた後にさらに別のデータを受信した場合（前掲の表の「Log Sources」と「Offline Mode」を参照）、Transform は、その追加データを使用して新しい出力ファイルを作成します。新しい出力ファイルの名前は、元の出力ファイル名の拡張子の前に、バージョン番号を括弧で囲んで追加することによって生成されます。例えば、元の出力ファイルが 20070701-ABC.vslの場合、このファイルの後続バージョンの名前はになります。 20070701-ABC(1).vsl, 20070701-ABC(2).vslなど。 複数バージョンのファイルを Data Workbench サーバーの入力として使用すると、処理エラーとなる場合があります。

複数バージョンの出力ファイルが作成されるのは好ましくありません。辞書式順序に基づいて並べられた入力ファイル内ですべてのソースデータが時系列順になっていることを確認し、さらに、Offline Mode を true に設定する場合は、すべてのソースデータが処理の開始時点で存在することを確認してください。詳しくは、 Log Sources および Offline Mode 前の表のエントリ。

  1. 右クリックによる変換の追加 Transformations をクリックし、 Add new > Transformation type. 変換のフィールドに必要事項を入力します。

    詳しくは、 データ変換 変換機能で使用できる変換の説明と例を参照してください。

  2. 右クリック (modified) ウィンドウの上部で、「 Save.

  3. ローカルで行った変更を有効にするには、 Profile Manager、 data workbench のチェックマークを右クリックします。 Transform.cfg 内 User 列、「 Save to > profile name（ profile name は、データをエクスポートするプロファイルの名前） プロファイルの同期後、データの再処理が開始されます。

    メモ

    エクスポートするデータの再処理について詳しくは、 再処理と再変換.

このページ