Transform.cfg ファイル

Data Workbench の Transform.cfg ファイルには、ログのソース、データ変換およびエクスポーターを定義するパラメーターが含まれています。

定義した変換は、Sensor（.vslファイル）で収集された生データや、テキストファイル、XMLファイル、ODBC準拠のデータベースに含まれる生データを操作し、既存のフィールドに出力したり、現在のデータを上書きしたり、新しく定義されたフィールドに出力します。

変換機能を設定するには、イベントデータのエクスポートに使用するプロファイルの Dataset フォルダーに存在する、Data Workbench の Transform.cfg ファイルを編集します。通常、変換機能には、このプロファイルがメインで使用されます（つまり、実行するデータ処理は、主に Data Workbench の Transform.cfg ファイルで定義します）。継承されたプロファイルのLog Processing Dataset Includeファイルに指定された処理命令は、Data WorkbenchのTransform.cfgファイルに指定された処理命令に加えて適用されることに注意する必要があります。

データセットインクルードファイルについて詳しくは、データセットインクルードファイルを参照してください。

エクスポート対象データを Data Workbench サーバークラスターで処理する場合、そのクラスター内の個々の処理サーバー（DPU）によってデータが処理されます。ただし、出力データが書き込まれるのは、1 つ目の DPU（profile.cfg ファイルの 0 番目の処理サーバー）のローカルファイルシステムだけです。

Data Workbench の Transform.cfg ファイルを編集するには

  1. データを書き出すプロファイル内でProfile Managerを開き、Dataset​をクリックしてディレクトリの内容を表示します。
  2. data workbench Transform.cfgの横のチェックマークを右クリックし、 Make Local​をクリックします。 このファイル用のチェックマークが User 列に表示されます。
  3. 新しく作成されたチェックマークを右クリックし、Open / from the workbench​をクリックします。 Data WorkbenchのTransform.cfgウィンドウが表示されます。
  4. 次の表を参考にして、設定ファイルのパラメーターを編集します。
パラメーター 説明
End Time

（オプション）データのフィルター。タイムスタンプがこの時刻より前（この時刻は含まず）のログエントリを抽出します。この時刻には、次のいずれかの形式を使用することをお勧めします。

  • January 1 2013 HH:MM:SS EDT
  • Jan 1 2013 HH:MM:SS GMT

例えば、July 29 2013 00:00:00 EDT を End Time として指定した場合、米国東部夏時間の 2013 年 7 月 28 日 11:59:59 PM までのデータが対象となります。

タイムゾーンの指定は必須です。タイムゾーンを指定しなかった場合に、デフォルトで GMT に設定されることはありません。Data Workbench サーバーでサポートされるタイムゾーンの略称一覧については、 タイムゾーンのコード .

Sensor ソースやログファイルソースのパラメーターである Use Start/End Times は、このパラメーターと連動します。

Exporters

出力データの加工方法や書式をエクスポーターのサブフィールドで指定します。一連のログソース用に複数のエクスポーターを定義できます。出力は、エクスポーターのタイプごとに作成されます。

次の 3 種類のエクスポーターが存在します。

  • ExportTextFile
  • ExportDelimitedTextFile
  • ExportVSLFile

エクスポーターの種類について詳しくは、 エクスポーターの定義 .

Hash Threshold （オプション）より小さな標本（データセットの行）をランダムに抽出するためのサンプリング係数。数値 n に設定した場合、n 件の追跡 ID につき 1 件のみがエクスポート対象として選択され、エクスポート対象の合計行数を 1/n に減らすことができます。すべての行をエクスポートする場合は、Hash Threshold を 1 に設定します。
Log Entry Condition （オプション）ログエントリをエクスポート候補とするかどうかの判断基準となるルールを定義します。 Log Entry Condition の詳細については、 Log Processing Configuration File を参照してください。
ログソース

データのソース。ログソースには、.vsl ファイル、ログファイル、XML ファイルのほか、ODBC に準拠したデータベースからのデータを使用できます。ログソースについて詳しくは、ログ処理設定ファイルを参照してください。

Transform は、すべてのソースデータが、辞書式順序に基づいて並べられた入力ファイル内で時系列順になっていることを前提としています。この要件が満たされない場合、基準日の計算が不正確となり、出力ファイルを閉じた後に別の入力データが処理されることがあります。

Offline Mode

（オプション）true または false。true の場合、データ処理の開始時点で、すべての入力ファイルが存在していることを前提とした動作になります。その時点で存在する入力データの読み取りが完了すると、他のデータの到着を待たず、出力ファイルがすべて閉じられます。デフォルト値は false です。

注意：Offline Mode を true に設定した場合、Transform の処理が開始される前に、すべてのソースデータが存在している必要があります。出力ファイルを閉じた後に追加データが受信された場合、VisualServer.log ファイルに警告メッセージが生成されます。

Reprocess

（オプション）ここには任意の文字またはその組み合わせを入力できます。このパラメーターに変更を加えて Transform コンピューターにファイルを保存すると、データの再処理が開始されます。

データの再処理について詳しくは、 再処理と再変換を参照してください。

Stages

（オプション）ログ処理データセットインクルードファイルで使用できる（Data Workbench の Transform.cfg ファイルに加えて実行される）処理ステージの名前。ログ処理データセットインクルードファイル内に定義された変換の順序付けを行うことができます。複数のログ処理データセットインクルードファイルに変換を定義してあるとき、エクスポートプロセスの決まったポイントで特定の変換を実行したい場合に、このパラメーターが非常に役立ちます。

ログ処理データセットインクルードファイル内の各変換が、データのエクスポートの過程でどのような順序で実行されるかは、ここにリストしたステージの順序によって決まります。Preprocessing と Postprocessing はビルトインのステージです。Preprocessing は常に最初のステージに、Postprocessing は常に最後のステージになります。デフォルトでは、Default という名前のステージが 1 つ存在します。

新しい処理ステージを追加するには

  • Data Workbench の Transform.cfg ウィンドウで Stages を右クリックし、新規追加／Stage をクリックします。
  • 新しいステージの名前を入力します。

既存の処理ステージを削除するには

  • 削除するステージに対応する番号を右クリックし、「<#stage_number> を削除」をクリックします。

注意：ログ処理データセットインクルードファイルで Stage を指定するときは、ここに入力したステージの名前と完全に一致させる必要があります。データセットインクルードファイルについて詳しくは、 データセットインクルードファイルを参照してください。

Start Time

（オプション）データのフィルター。タイムスタンプがこの時刻以後（この時刻を含む）のログエントリを抽出します。この時刻には、次のいずれかの形式を使用することをお勧めします。

  • January 1 2013 HH:MM:SS EDT
  • 2013年1月1日HH:MM:SS GMT

例えば、July 29 2013 00:00:00 EDT を Start Time として指定した場合、米国東部夏時間の 2013 年 7 月 29 日 12:00:00 AM 以降のデータが対象となります。

タイムゾーンの指定は必須です。タイムゾーンを指定しなかった場合に、デフォルトで GMT に設定されることはありません。Data Workbench サーバーでサポートされるタイムゾーンの略称一覧については、 タイムゾーンのコード .

注意：Sensor ソースやログファイルソースのパラメーターである Use Start/End Times は、このパラメーターと連動します。

Transformations

（オプション）データに適用する変換を定義します。利用可能な変換のタイプについて詳しくは、 データ変換 .

注意：次のタイプの変換は、Data Workbench の Transform.cfg ファイルで定義されている場合にしか正しく機能しません。

  • AppendURI
  • CrossRows
  • ODBCLookup
  • Sessionize
メモ

出力ファイルを閉じた後にさらに別のデータを受信した場合（前掲の表の「Log Sources」と「Offline Mode」を参照）、Transform は、その追加データを使用して新しい出力ファイルを作成します。新しい出力ファイルの名前は、元の出力ファイル名の拡張子の前に、バージョン番号を括弧で囲んで追加することによって生成されます。例えば、元の出力ファイルが20070701-ABC.vslの場合、このファイルの後続のバージョンの名前は20070701-ABC(1).vsl、20070701-ABC(2).vslのようになります。 複数バージョンのファイルを Data Workbench サーバーの入力として使用すると、処理エラーとなる場合があります。

複数バージョンの出力ファイルが作成されるのは好ましくありません。辞書式順序に基づいて並べられた入力ファイル内ですべてのソースデータが時系列順になっていることを確認し、さらに、Offline Mode を true に設定する場合は、すべてのソースデータが処理の開始時点で存在することを確認してください。詳しくは、前述の表のLog SourcesとOffline Modeのエントリを参照してください。

  1. Transformations​を右クリックし、Add new / Transformation type​をクリックして、変換を追加します。 変換のフィールドに必要事項を入力します。

    変換機能で使用できる変換の説明と例については、データ変換を参照してください。

  2. ウィンドウ上部の​(modified)​を右クリックし、「Save」をクリックします。

  3. ローカルで作成した変更を有効にするには、Profile Managerで、User列のdata workbench Transform.cfgのチェックマークを右クリックし、Save to / profile name​をクリックします。profile nameは、データをエクスポートするプロファイルの名前です。 プロファイルの同期後、データの再処理が開始されます。

    メモ

    書き出し用のデータの再処理について詳しくは、再処理と再変換を参照してください。

このページ