バッチデータの取得

このレッスンでは、様々な方法を使用してバッチデータをExperience Platformに取り込みます。

バッチデータ取り込みを使用すると、大量のデータをAdobe Experience Platformに一度に取り込むことができます。 バッチデータは、Platform のインターフェイス内で 1 回アップロードするか、API を使用して取り込むことができます。 また、ソースコネクタを使用して、クラウドストレージサービスなどのサードパーティのサービスから、定期的にスケジュールされるバッチアップロードを設定することもできます。

データエンジニア このチュートリアル以外で、バッチデータを取り込む必要があります。

演習を始める前に、次の短いビデオを見て、データ取り込みの詳細を確認してください。

必要な権限

Adobe Analytics の 権限の設定 レッスンでは、このレッスンを完了するために必要なすべてのアクセス制御を設定します。

ソースに関する演習では、(S)FTP サーバまたはクラウドストレージソリューションにアクセスする必要があります。 回避策がない場合は、次の手順を実行します。

Platform ユーザーインターフェイスを使用したバッチでのデータ取得

データは、JSON および Parquet 形式でデータセット画面のデータセットに直接アップロードできます。 これは、

データをダウンロードして準備する

まず、サンプルデータを取得し、テナント用にカスタマイズします。

NOTE
データは luma-data.zip ファイルは架空のもので、デモ目的でのみ使用します。
  1. ダウンロード luma-data.zipLuma チュートリアルアセット フォルダー。

  2. ファイルを解凍し、という名前のフォルダーを作成します。 luma-data このレッスンで使用する 4 つのデータファイルを含む

  3. 開く luma-loyalty.json テキストエディター内で、 _techmarketingdemos に、独自のアンダースコアテナント id を設定します。これは、独自のスキーマに表示されます。
    アンダースコアテナント ID

  4. 更新したファイルを保存します。

データの取り込み

  1. Platform ユーザーインターフェイスで、「 データセット 左のナビゲーションで

  2. を開きます。 Luma Loyalty Dataset

  3. 下にスクロールして、 データを追加 右列の「 」セクション

  4. をアップロードします。 luma-loyalty.json ファイル。

  5. ファイルがアップロードされると、バッチの行が表示されます

  6. 数分後にページを再読み込みすると、1,000 件のレコードと 1,000 件のプロファイルフラグメントを含むバッチが正常にアップロードされたことがわかります。

    取り込み

NOTE
いくつかのオプションがあります。 エラー診断 および 部分取り込み ​を使用し、このレッスンの様々な画面に表示されます。 これらのオプションについては、このチュートリアルでは説明していません。 簡単な情報:
  • エラー診断を有効にすると、データの取り込みに関するデータが生成され、その後、データアクセス API を使用して確認できます。 詳しくは、 ドキュメント.
  • 部分取り込みを使用すると、エラーを含むデータを、指定可能な特定のしきい値まで取り込むことができます。 詳しくは、 ドキュメント

データの検証

データが正常に取り込まれたことを確認する方法はいくつかあります。

Platform ユーザーインターフェイスでの検証

データがデータセットに取り込まれたことを確認するには:

  1. データを取り込んだページで、 データセットをプレビュー 右上のボタン

  2. を選択します。 プレビュー ボタンをクリックすると、取り込んだデータの一部が表示されます。

    正常なデータセットのプレビュー

データがプロファイルにランディングしたことを確認するには(データが到着するまで数分かかる場合があります):

  1. に移動します。 プロファイル 左のナビゲーションで
  2. の横にあるアイコンを選択します。 ID 名前空間を選択 モーダルを開くためのフィールド
  3. を選択します。 Luma Loyalty Id 名前空間
  4. 次に、 loyaltyId の値をデータセットから取得します。 5625458
  5. 選択 表示
    データセットからのプロファイルの確認

データ取り込みイベントを使用した検証

前のレッスンでデータ取得イベントを購読した場合は、一意の webhook.site URL を確認します。 3 つのリクエストが次の順序で表示され、その間に時間が経過すると、以下のように表示されます。 eventCode 値:

  1. ing_load_success — 取り込まれたバッチ
  2. ig_load_success — バッチが id グラフに取り込まれました。
  3. ps_load_success — バッチがプロファイルサービスに取り込まれました。

データ取り込み Webhook

詳しくは、 ドキュメント を参照してください。

Platform API を使用したバッチでのデータの取得

次に、API を使用してデータをアップロードします。

NOTE
データアーキテクトは、ユーザーインターフェイスメソッドを使用して CRM データを自由にアップロードできます。

データをダウンロードして準備する

  1. 既にダウンロードおよび解凍されているはずです。 luma-data.zipLuma Tutorial Assets フォルダー。
  2. 開く luma-crm.json テキストエディター内で、 _techmarketingdemos スキーマに表示される、独自のアンダースコアテナント id を使用します。
  3. 更新したファイルを保存します。

データセット ID を取得する

まず、データの取り込み先のデータセットのデータセット ID を取得します。

  1. オープン Postman
  2. アクセストークンがない場合は、リクエストを開きます。 OAuth: Request Access Token を選択し、 送信 をクリックして、 Postman レッスン。
  3. 環境変数を開き、 CONTAINER_ID まだ tenant
  4. リクエストを開く Catalog Service API > Datasets > Retrieve a list of datasets. を選択し、 送信
  5. 以下を受け取る必要があります。 200 OK 応答
  6. の ID をコピーします。 Luma CRM Dataset 応答本文から
    データセット ID を取得する

バッチの作成

次に、データセット内にバッチを作成します。

  1. ダウンロード データ取得 API.postman_collection.jsonLuma Tutorial Assets フォルダー

  2. コレクションの読み込み先 Postman

  3. リクエストを選択 Data Ingestion API > Batch Ingestion > Create a new batch in Catalog Service.

  4. 以下を 本文 リクエストの datasetId 値を独自の値に置き換える:

    code language-json
    {
        "datasetId":"REPLACE_WITH_YOUR_OWN_DATASETID",
        "inputFormat": {
            "format": "json"
        }
    }
    
  5. を選択します。 送信 ボタン

  6. 新しいバッチの ID を含む 201 作成済みの応答が返されます。

  7. をコピーします。 id 新しいバッチの
    バッチ作成済み

データの取り込み

これで、データをバッチにアップロードできます。

  1. リクエストを選択 Data Ingestion API > Batch Ingestion > Upload a file to a dataset in a batch.

  2. Adobe Analytics の パラメーター 「 」タブで、データセット id とバッチ id をそれぞれのフィールドに入力します。

  3. Adobe Analytics の パラメーター タブ、入力 luma-crm.json として filePath

  4. Adobe Analytics の 本文 タブで、 バイナリ オプション

  5. ダウンロードした luma-crm.json ローカルから Luma Tutorial Assets フォルダー

  6. 選択 送信 応答本文に「1」が含まれる 200 OK 応答が返されます。

    アップロードされたデータ

この時点で、Platform ユーザーインターフェイスでバッチを確認すると、そのバッチが「読み込み"ステータス:
バッチ読み込み

Batch API は多くの場合、複数のファイルのアップロードに使用されるので、バッチが完了したら Platform に通知する必要があります。これは、次の手順でおこないます。

バッチを完了

バッチを完了するには、次の手順に従います。

  1. リクエストを選択 Data Ingestion API > Batch Ingestion > Finish uploading a file to a dataset in a batch.

  2. Adobe Analytics の パラメーター タブ、入力 COMPLETE として アクション

  3. Adobe Analytics の パラメーター 「 」タブで、バッチ id を入力します。 データセット ID や filePath が存在する場合は、心配しないでください。

  4. POSTの URL が https://platform.adobe.io/data/foundation/import/batches/:batchId?action=COMPLETE そして、 datasetId または filePath

  5. 選択 送信 応答本文に「1」が含まれる 200 OK 応答が返されます。

    バッチ完了

データの検証

Platform ユーザーインターフェイスでの検証

データが Loyalty データセットと同様に、Platform ユーザーインターフェイスにランディングしたことを検証します。

まず、バッチで、1000 件のレコードが取り込まれたことを確認します。

バッチ成功

次に、プレビューデータセットを使用してバッチを確認します。

バッチプレビュー

最後に、 Luma CRM Id 名前空間など 112ca06ed53d3db37e4cea49cc45b71e

取り込まれたプロファイル

私が指摘したいことが一つ起こったところで面白い事があります。 開ける Danny Wright プロファイル。 プロファイルには Lumacrmid および Lumaloyaltyid. 次を記憶する: Luma Loyalty Schema には、Luma ロイヤリティ ID と CRM ID の 2 つの ID フィールドが含まれていました。 両方のデータセットをアップロードし、1 つのプロファイルに結合しました。 ロイヤリティデータには Daniel を名、を自宅住所として「New York City」、を CRM データには Danny を名として Portland を同じ Loyalty Id を持つ顧客の自宅住所として使用します。 ファーストネームが表示される理由に戻ります Danny (結合ポリシーに関するレッスン)

おめでとうございます。プロファイルがマージされました。

結合されたプロファイル

データ取り込みイベントを使用した検証

前のレッスンでデータ取得イベントを購読した場合は、一意の webhook.site URL を確認します。 次の 3 つのリクエストが、ロイヤルティデータと同様に送信されます。

データ取り込み Webhook

詳しくは、 ドキュメント を参照してください。

ワークフローを使用したデータの取り込み

別のデータアップロード方法を見てみましょう。 ワークフロー機能を使用すると、XDM でまだモデル化されていない CSV データを取り込むことができます。

データをダウンロードして準備する

  1. 既にダウンロードおよび解凍されているはずです。 luma-data.zipLuma Tutorial Assets フォルダー。
  2. 次の条件を満たしていることを確認します。luma-products.csv

ワークフローを作成

次に、ワークフローを設定します。

  1. に移動します。 ワークフロー 左のナビゲーションで
  2. 選択 CSV を XDM スキーマにマッピング をクリックし、 Launch ボタン
    ワークフローを起動
  3. を選択します。 Luma Product Catalog Dataset をクリックし、 次へ ボタン
    データセットを選択
  4. 次を追加: luma-products.csv ダウンロードしたファイルを選択し、 次へ ボタン
    データセットを選択
  5. これで、マッパーインターフェイスに入り、ソースデータからフィールドをマッピングできます ( luma-products.csv ファイル ) をターゲットスキーマの XDM フィールドに追加します。 この例では、列名は、マッパーで適切なマッピングを自動検出できるスキーマフィールド名に十分近いものです。 マッパーで正しいフィールドが自動検出できなかった場合は、ターゲットフィールドの右側にあるアイコンを選択して、正しい XDM フィールドを選択します。 また、CSV から列の 1 つを取り込まない場合は、マッパーから行を削除できます。 自由に操作して、 luma-products.csv を参照してください。
  6. を選択します。 完了 ボタン
    データセットを選択

データの検証

バッチがアップロードされたら、データセットをプレビューしてアップロードを検証します。

以降 Luma Product SKU は人以外の名前空間で、製品 sku のプロファイルは表示されません。

Webhook に対する 3 つのヒットが表示されます。

ソースを含むデータの取り込み

よし、君は難しい方法で物事を行った。 さあ、約束の地に移ろう 自動 バッチ取得! 「設定して!」と言うと 「忘れろ!」と言うのです 「設定して!」 「忘れろ!」 「設定して!」 「忘れろ!」 冗談だけど、そんなことは絶対にしない! はい、仕事に戻ります。 もう少しで終わりです。

に移動します。 ソース 左側のナビゲーションで、「ソース」カタログを開きます。 ここでは、業界をリードするデータプロバイダーおよびストレージプロバイダーとの、標準搭載された様々な統合について説明します。

ソースカタログ

ソースコネクタを使用してデータを取り込みましょう。

この練習は、自分の冒険スタイルを選ぶことになります。 FTP ソースコネクタを使用したワークフローを表示します。 会社で使用する別のクラウドストレージソースコネクタを使用することも、ロイヤルティデータと同様に、データセットユーザーインターフェイスを使用して json ファイルをアップロードすることもできます。

多くのソースには同様の設定ワークフローがあり、次のような設定ワークフローがあります。

  1. 認証の詳細を入力
  2. 取り込むデータを選択
  3. 取り込む Platform データセットを選択します。
  4. フィールドを XDM スキーマにマッピングします
  5. その場所からデータを再取り込みする頻度を選択します
NOTE
この演習で使用するオフライン購入データには、日時データが含まれています。 日時データは次のいずれかにする必要があります ISO 8061 形式の文字列 ("2018-07-10T15:05:59.000~08:00") または Unix 時間 ( ミリ秒 (1531263959000) で書式設定され、取得時にターゲット XDM タイプに変換されます。 データ変換およびその他の制約について詳しくは、 バッチ取得 API のドキュメント.

データをダウンロード、準備、および目的のクラウドストレージベンダーにアップロード

  1. 既にダウンロードおよび解凍されているはずです。 luma-data.zipLuma Tutorial Assets フォルダー。
  2. 開く luma-offline-purchases.json テキストエディター内で、 _techmarketingdemos スキーマに表示される、独自のアンダースコアテナント id を使用します。
  3. 過去 1 か月のイベントが発生するように、すべてのタイムスタンプを更新します ( 例: "timestamp":"2022-06 とを置き換えます )。
  4. ご希望のクラウドストレージプロバイダーを選択し、 ソース カタログ
  5. アップロード luma-offline-purchases.json を、お使いのクラウドストレージプロバイダー内の場所に追加します。

データを目的のクラウドストレージの場所に取り込む

  1. Platform ユーザーインターフェイスで、 ソース カタログを次に クラウドストレージ

  2. 以下のドキュメントに便利なリンクがあることに注意してください。 ...

  3. お使いのクラウドストレージベンダーのボックスで、 設定 ボタン
    設定を選択

  4. 認証 が最初のステップです。 アカウントの名前を入力します(例: )。 Luma's FTP Account および認証の詳細。 この手順は、すべてのクラウドストレージソースに対してかなり似ている必要がありますが、フィールドは若干異なる場合があります。 アカウントの認証の詳細を入力した後は、同じアカウント内の他のファイルと異なるスケジュールで異なるデータを送信する他のソース接続で、それらを再利用できます

  5. を選択します。 ソースに接続ボタン

  6. Platform がソースに正常に接続したら、 次へ ボタン
    ソースに対する認証

  7. 次の日: データを選択 手順を実行すると、ユーザーインターフェイスは資格情報を使用してクラウドストレージソリューション上のフォルダーを開きます

  8. 取り込むファイルを選択します(例: )。 luma-offline-purchases.json

  9. データフォーマット ​を選択します。 XDM JSON

  10. その後、ファイル内の json 構造とサンプルデータをプレビューできます

  11. を選択します。 次へ ボタン
    データファイルを選択

  12. 次の日: マッピング ステップ、 Luma Offline Purchase Events Dataset をクリックし、 次へ 」ボタンをクリックします。 取り込むデータは JSON ファイルなので、ソースフィールドをターゲットフィールドにマッピングするマッピング手順はありません。 JSON データは既に XDM に存在する必要があります。 CSV を取り込むと、この手順で完全マッピングユーザーインターフェイスが表示されます。
    データセットを選択

  13. 次の日: スケジュール 手順では、ソースからデータを再取り込みする頻度を選択します。 しばらく時間をかけて、オプションを確認します。 取り込みは 1 回だけなので、 頻度 オン 1 回 をクリックし、 次へ ボタン:
    データフローのスケジュール設定

  14. 次の日: データフローの詳細 手順では、データフローの名前を選択し、オプションの説明を入力し、エラー診断をオンにし、部分取り込みをおこなうことができます。 設定をそのままにし、「 次へ ボタン:
    データフローの詳細を編集

  15. 次の日: レビュー 手順を実行すると、すべての設定を一緒に確認し、編集するか、 完了 ボタン

  16. 保存すると、次のような画面が表示されます。
    Complete

データの検証

バッチがアップロードされたら、データセットをプレビューしてアップロードを検証します。

Webhook に対する 3 つのヒットが表示されます。

値を使用してプロファイルを検索 5625458 (内) loyaltyId 名前空間を再度開き、プロファイルに購入イベントがあるかどうかを確認します。 購入が 1 回表示されます。 購入の詳細を掘り下げるには、 JSON を表示:

プロファイルの購入イベント

ETL ツール

Adobeは、複数の ETL ベンダーと提携し、Experience Platformへのデータ取り込みをサポートします。 様々なサードパーティベンダーのため、ETL についてはこのチュートリアルでは説明しませんが、以下のリソースの一部を確認することをお勧めします。

その他のリソース

次に、 Web SDK を使用したデータのストリーミング

recommendation-more-help
513160b6-bf42-4c58-abdd-4f817b1cccad