データフローの詳細を入力

Dataflow detail ページでは、既存のデータセットと新しいデータセットのどちらを使用するかを選択できます。 このプロセスでは、Profile dataset、Error diagnostics、Partial ingestion および Alerts の設定も指定できます。

dataflow-detail

既存のデータセットを使用する

データを既存のデータセットに取り込むには、Existing dataset を選択します。 既存のデータセットは、「Advanced search」オプションを使用するか、ドロップダウンメニュー内の既存のデータセットのリストをスクロールして取得することができます。 データセットを選択したら、データフローの名前と説明を入力します。

existing-dataset

新しいデータセットの使用

データを新しいデータセットに取り込むには、「New dataset」を選択して、出力データセット名とオプションの説明を入力します。 次に、「Advanced search」オプションを使用するか、ドロップダウンメニュー内の既存のスキーマのリストをスクロールすることで、マッピングするスキーマを選択します。 スキーマを選択したら、データフローの名前と説明を指定します。

new-dataset

Profile とエラー診断の有効化

次に、「Profile dataset」切り替えスイッチを選択して、Profile のデータセットを有効にします。 これにより、エンティティの属性と動作の全体像を把握できます。Profile が有効化されたすべてのデータセットのデータは Profile に含まれ、変更はデータフローを保存するときに適用されます。

Error diagnostics を使用すると、データフローで発生するエラーレコードに対して、詳細なエラーメッセージ生成が可能になります。また、手動で定義した特定のしきい値に到達するまで、エラーを含むデータを取り込むこと Partial ingestion できます。 詳しくは、バッチ取り込みの概要を参照してください。

profile-and-errors

アラートの有効化

アラートを有効にすると、データフローのステータスに関する通知を受け取ることができます。リストからアラートを選択して、データフローのステータスに関する通知を受け取るよう登録します。アラートについて詳しくは、UI を使用したソースアラートの購読についてのガイドを参照してください。

データフローへの詳細の入力を終えたら「Next」を選択します。

アラート

XDM スキーマへのデータフィールドのマッピング

Mapping の手順が表示され、ソーススキーマのソースフィールドを、ターゲットスキーマの適切なターゲット XDM フィールドにマッピングするためのインターフェイスが提供されます。

Experience Platformは、選択したターゲットスキーマまたはデータセットに基づいて、自動マッピングされたフィールドに対してインテリジェントなレコメンデーションを提供します。 マッピングルールは、ユースケースに合わせて手動で調整できます。 必要に応じて、フィールドを直接マッピングするか、データ準備機能を使用してソースデータを変換して計算値を導き出すかを選択できます。マッパーインターフェイスと計算フィールドの使用に関する包括的な手順については、​ データ準備 UI ガイド ​ を参照してください。

メモ
リレーショナルスキーマにマッピングする場合は、ソースデータに必須フィールド(プライマリキーやバージョン識別子、時系列スキーマのタイムスタンプ識別子など)が含まれていることを確認します。

チェンジ・データ・キャプチャに使用される _change_request_type などの制御列は、取り込み時に読み取られますが、ターゲット・スキーマには格納されません。

リレーショナルスキーマは、プライマリキーマッピングと外部キーマッピングを使用したデータセット間の関係もサポートしています。

詳しくは、Data Mirrorの概要および ​ リレーショナルスキーマ ​ テクニカルリファレンス ​ を参照してください。

ソースデータが正常にマッピングされたら、「Next」を選択します。

マッピング

取り込み実行のスケジュール

Scheduling の手順が表示され、設定されたマッピングを使用して選択したソースデータを自動的に取り込むための取り込みスケジュールを設定できます。 デフォルトでは、スケジュールは Once に設定されています。 取り込み頻度を調整するには、「Frequency」を選択し、ドロップダウンメニューからオプションを選択します。

ヒント
1 回限りの取り込み中は、インターバルとバックフィルは表示されません。

スケジュール設定

取り込み頻度を MinuteHourDayWeek のいずれかに設定した場合は、取り込みごとに設定された時間枠を確立する間隔を設定する必要があります。 例えば、取り込み頻度を Day に設定し、間隔を 15 に設定すると、データフローは 15 日ごとにデータを取り込むようにスケジュールされます。

この手順の間に、バックフィル を有効にし、データの増分取り込みの列を定義することもできます。 バックフィルは履歴データの取り込みに使用しますが、増分取り込みのために定義した列を使用すると、新しいデータを既存のデータと区別することができます。

スケジュール設定について詳しくは、次の表を参照してください。

スケジュール設定説明
頻度

頻度を設定して、データフローの実行頻度を示します。 頻度は次のように設定できます。

  • 1 回:頻度を once に設定して、1 回限りの取り込みを作成します。 1 回限りの取り込みデータフローを作成する場合、間隔とバックフィルの設定は使用できません。 デフォルトでは、スケジュールの頻度は 1 回に設定されています。
  • :頻度を minute に設定して、1 分ごとにデータを取り込むようにデータフローをスケジュールします。
  • 時間:頻度を hour に設定して、1 時間ごとにデータを取り込むようにデータフローをスケジュールします。
  • :頻度を day に設定して、1 日にデータを取り込むようにデータフローをスケジュールします。
  • :頻度を week に設定して、データフローが週ごとにデータを取り込むようにスケジュールします。 詳しくは、[ 週次取り込みスケジュールについて ] (#weekly)の節を参照してください。
間隔

頻度を選択したら、間隔設定を指定して、各取り込み間の時間枠を確立できます。 例えば、頻度を日に設定し、間隔を 15 に設定すると、データフローは 15 日ごとに実行されます。 間隔をゼロに設定することはできません。 各頻度で許容される最小のインターバル値は次のとおりです。

  • 1 回:なし
  • : 15
  • 時間: 1
  • : 1
  • : 1
開始時間見込み実行のタイムスタンプ(UTC タイムゾーンで表示)。
バックフィルバックフィルは、最初に取り込むデータを決定します。 バックフィルが有効になっている場合、指定されたパス内の現在のすべてのファイルが、最初にスケジュールされた取り込み時に取り込まれます。 バックフィルが無効になっている場合は、最初の取り込みの実行から開始時刻の間に読み込まれたファイルのみが取り込まれます。 開始時間より前に読み込まれたファイルは取り込まれません。
増分データの読み込み基準タイプ、日付、時刻のソーススキーマフィールドのフィルタリングセットを含むオプション。 増分データを正しく読み込むには、Load incremental data by に選択するフィールドの日時値を UTC タイムゾーンに設定する必要があります。 すべてのテーブルベースのバッチソースは、差分列のタイムスタンプ値を対応するフロー実行ウィンドウの UTC 時間と比較し、UTC 時間枠内に新しいデータが見つかった場合にソースからデータをコピーすることで、増分データを選択します。

バックフィル