バッチデータの取得

このレッスンでは、様々な方法を使用して、経験のあるプラットフォームにバッチデータを取り込みます。

バッチデータの取り込みにより、一度に Adobe エクスペリエンスプラットフォームに膨大な量のデータを取り込むことができます。 バッチデータを1回の操作で取り込む際に、プラットフォームのインターフェイス内でアップロードすることも、API を使用することもできます。 ソースコネクタを使用して、クラウドストレージサービスなどのサードパーティサービスから定期的に実行されるバッチアップロードを設定することもできます。

データエンジニア は、このチュートリアルの外でバッチデータを取り込む必要があります。

練習を開始する前に、この短いビデオで、データの取り込みについて詳しく知ることができます。

必要な権限

「権限の設定」のレッスンでは、 🔗 このレッスンを完了するために必要なすべてのアクセス制御を設定します。

ソースの練習には、(群) FTP サーバーまたはクラウドストレージソリューションにアクセスする必要があります。 この方法を使用しない場合は、次善策が必要になります。

プラットフォームのユーザーインターフェイスを使用したデータの取り込み

データは、JSON および parquet 形式のデータセット画面で、データセットに直接アップロードすることができます。 これは、データの取得をテストする場合に便利です。

データをダウンロードして準備します。

最初に、サンプルデータを取得して、テナント用にカスタマイズします。

メモ

Luma-data ファイルには架空のデータが格納されているので、デモを行う 🔗 目的にのみ使用されます。

  1. Luma-data ルミナンスチュートリアルアセットフォルダーにダウンロードし ます。

  2. ファイルを解凍し luma-data て、このレッスンで使用する4つのデータファイルを含むフォルダーを作成します。

  3. luma-loyalty.jsonは、テキストエディターで開き、 _techmarketingdemos 独自のスキーマにあるように、独自のアンダースコア (_)/テナント id を使用して、のすべてのインスタンスを置換します。
    アンダースコアテナント id

  4. 更新されたファイルを保存します。

データの取り込み

  1. プラットフォームのユーザーインターフェイスで、 左側の ナビゲーションにある「データセット」を選択します。

  2. を開きます。 Luma Loyalty Dataset

  3. 右側の列に「データを追加」セクションが表示されるまで下にスクロールします。

  4. ファイルをアップロード luma-loyalty.json します。

  5. ファイルのアップロードが完了すると、バッチの行が表示されます。

  6. 数分後にページを再読み込みした場合は、バッチに1000レコードおよび1000のプロファイルフラグメントが正しくアップロードされたことを確認する必要があります。

    取り込み

メモ

​このレッスンでは、様々な画面に表示される「エラー診断」と「一部インジェスト」に、いくつかのオプションが記載されています。このチュートリアルでは、これらのオプションについては説明しません。 クイックヒントは以下のとおりです。

  • エラー診断を有効にすると、データの取り込みに関するデータが生成されます。これにより、データアクセス API を使用して確認することができます。 詳しく は、このドキュメントを参照 してください。
  • 一部のインジェストにより、エラーを含むデータを、指定可能な特定のしきい値まで取り込むことができます。 詳細については、このドキュメントを参照してください。 🔗

データの検証

データの ingested が正常に完了したことを確認するには、いくつかの方法があります。

プラットフォームユーザーインターフェイスでの検証

データがデータセットに ingested れたことを確認するには、次のようにします。

  1. データを ingested しているのと同じページで、 右上にある「データセットのプレビュー」ボタンを選択します。

  2. 「プレビュー」ボタンを選択する と、一部の ingested データを表示できるようになります。

    適切なデータセットのプレビュー

データがプロファイルに着陸したことを確認するには (データの着陸に数分かかる場合があります)、次のようにします。

  1. 左側の ナビゲーションのプロファイルに移動

  2. 「Id 名前空間を選択」フィールドの横にあるアイコンを選択して 、モーダルを開きます。

  3. 名前空間を選択します。 Luma Loyalty Id

  4. 次に、データセットの値のいずれかを入力し loyaltyId ます。 5625458

  5. 「表示」を選択します。

    データセットからのプロファイルの確認

データの取り込みイベントを使用した検証

前のレッスンでデータ取り込みイベントを購読している場合は、固有の webhook.site URL を確認してください。 次のように、2つの要求が次の順序で表示されます。その間には、次のような値が含まれてい eventCode ます。

  1. ing_load_success-ingested as バッチ
  2. ig_load_success-バッチは ingested によって識別可能なグラフになりました。
  3. ps_load_success—バッチがプロファイルサービスに ingested されました。

データ取り込み webhook

通知の詳細については、マニュアルを参照してください 🔗

プラットフォーム API を使用したデータの取り込み

次に、API を使用してデータをアップロードします。

メモ

データアーキテクトは、user interface メソッドを通じて、CRM データを自由にアップロードします。

データをダウンロードして準備します。

  1. Luma-data .zip は、既にダウンロードしてから解凍してフォルダーに保存しておく必要があり 🔗 Luma Tutorial Assets ます。
  2. luma-crm.jsonは、テキストエディターで開き、 _techmarketingdemos スキーマに表示されているように、独自のアンダースコア (_) テナント id を使用して、のすべてのインスタンスを置換します。
  3. 更新されたファイルを保存します。

データセット id を取得します。

最初に、データを取り込むデータセットのデータセット id の id を取得します。

  1. オープン Postman
  2. ここでは、24時間以内に要求されていない場合、認証トークンの有効期限が切れている可能性があります。 要求を開き、 Adobe I/O Access Token Generation > Local Signing (Non-production use-only) > IMS: JWT Generate + Auth via User Token 「送信」を選択して ​新しい JWT およびアクセストークンを要求します (レッスン中の場合と同様) Postman 。
  3. 環境変数を開き、CONTAINER_ID の値が継続して使用 されていることを確認してください。tenant
  4. 要求を開き、 Catalog Service API > Datasets > Retrieve a list of datasets. 「送信」を選択します。
  5. 応答を取得する必要があります 200 OK
  6. の id を Luma CRM Dataset レスポンス本体からコピーします。
    データセット id を取得します。

バッチの作成

これで、データセットにバッチを作成できるようになりました。

  1. データの取り込み API.postman_collection のダウンロード フォルダーに Luma Tutorial Assets 追加

  2. コレクションをに読み込み Postman

  3. 要求を選択します。 Data Ingestion API > Batch Ingestion > Create a new batch in Catalog Service.

  4. 要求の本文として次の ​内容をペーストします。この場合、 datasetid の値は独自の値に置き換えられ ます。

    {
        "datasetId":"REPLACE_WITH_YOUR_OWN_DATASETID",
        "inputFormat": {
            "format": "json"
        }
    }
    
  5. 送信 」ボタンを選択します。

  6. 201に作成された、新しいバッチの id を含む応答を取得する必要があります。

  7. 新しいバッチのをコピーします。 id
    作成されたバッチ

データの取り込み

さて、次のように、データをバッチにアップロードします。

  1. 要求を選択します。 Data Ingestion API > Batch Ingestion > Upload a file to a dataset in a batch.

  2. ​「パラメーター」タブで、データセット id とバッチ id をそれぞれのフィールドに入力します。

  3. ​「パラメーター」タブに luma-crm.json filePath と入力 します。

  4. ​「Body」タブで、「 バイナリ 」オプションを選択します。

  5. luma-crm.jsonローカルフォルダーからダウンロードしたファイルを選択します。 Luma Tutorial Assets

  6. 「送信」を選択する ​と、応答本文中の「OK」という200が表示されます。

    アップロードされるデータ

この時点で、プラットフォームのユーザーインターフェイスを使用してバッチを確認すると、それは「読み込み中」状態になっていることがわかり ます。
バッチ読み込み

多くの場合、複数のファイルをアップロードするためにバッチ API が使用されているので、バッチが完了したときに、次の手順で実行されるプラットフォームについて通知する必要があります。

バッチを完了します。

次の手順に従います。

  1. 要求を選択します。 Data Ingestion API > Batch Ingestion > Finish uploading a file to a dataset in a batch.

  2. ​「パラメーター」タブで、 COMPLETE 操作として入力します。

  3. ​「パラメーター」タブで、バッチ id を入力します。データセット id または filePath が設定されている場合は、それについて心配する必要はありません。

  4. ポストの URL が、 https://platform.adobe.io/data/foundation/import/batches/:batchId?action=COMPLETE またはに対する不要な参照が含まれていないことを確認してください。 datasetId filePath

  5. 「送信」を選択する ​と、応答本文中の「OK」という200が表示されます。

    バッチが完了しました

データの検証

プラットフォームユーザーインターフェイスでの検証

ロイヤルティデータセットを使用した場合と同じように、データがプラットフォームのユーザーインターフェイスに上陸したことを検証します。

最初に、1000レコードが ingested になっていることをバッチが示しています。

バッチの成功

次に、プレビューデータセットを使用してバッチを確認します。

一括プレビュー

最後に、名前空間によって1つのプロファイルを検索して、いずれかのプロファイルが作成されていることを確認します。 Luma CRM Id 112ca06ed53d3db37e4cea49cc45b71e

Profile ingested

ただ、注目すべき点は1つだけです。 そのプロファイルを開き Danny Wright ます。 プロファイルには、a と a の両方が含まれてい Lumacrmid Lumaloyaltyid ます。 ここには、 Luma Loyalty Schema 2 つの id フィールド、ルミナンスロイヤルティ id および CRM id が含まれています。 これで、データセットがすべてアップロードされ、1つのプロファイルにマージされました。 この場合、ロイヤルティデータは、姓と Daniel 「New ニューヨーク市」が、 Danny Portland 同じロイヤルティ Id を持つ得意先の名前として使用されていました。 結合ポリシーのレッスンに最初の名前が表示される理由が表示され Danny ます。

これで、プロファイルが結合されました。

結合されたプロファイル

データの取り込みイベントを使用した検証

前のレッスンでデータ取り込みイベントを購読している場合は、固有の webhook.site URL を確認してください。 ロイヤルティデータの場合と同様に、次のような3つの要求が表示されます。

データ取り込み webhook

通知の詳細については、マニュアルを参照してください 🔗

ワークフローを使用したデータの取り込み

データをアップロードする別の方法を見てみましょう。 「ワークフロー」機能を使用すると、XDM ではまだモデリングされていない CSV データを取り込むことができます。

データをダウンロードして準備します。

  1. Luma-data .zip は、既にダウンロードしてから解凍してフォルダーに保存しておく必要があり 🔗 Luma Tutorial Assets ます。
  2. があることを確認luma-products.csv

ワークフローの作成

では、ワークフローを設定してみましょう。

  1. 左側の ​ナビゲーションのワークフローに移動
  2. 「A を XDM スキーマにマップ」を選択 し、「 起動 」ボタンを選択します。
    ワークフローの起動
  3. を選択 Luma Product Catalog Dataset し、「 次へ」ボタンを選択します。
    データセットを選択します。
  4. ダウンロードし luma-products.csv たファイルを追加して、「 次へ」ボタンを選択します。
    データセットを選択します。
  5. これで、マッパーインターフェイスを使用して、ソースデータ (ファイル内の列名の1つ) のフィールド luma-products.csv をターゲットスキーマの XDM フィールドにマップできるようになりました。 上の例では、列名がスキーマフィールド名の近くにあるので、マッパーは適切なマッピングを自動検出することができます。 マッパーによって適切なフィールドが自動検出されなかった場合は、「ターゲット」フィールドの右側にあるアイコンを選択して、適切な「XDM」フィールドを選択します。 また、CSV から列を取り込むことができない場合は、その行をマッパーから削除することもできます。 では、マッパーの機能について学習し、で列見出しを変更してもかまい luma-products.csv ません。
  6. 「終了」ボタンをクリックします。
    データセットを選択します。

データの検証

バッチがアップロードされたら、データセットをプレビューして、アップロードを確認してください。

Luma Product SKUは people 以外の名前空間なので、製品 sku のプロファイルは表示されません。

Webhook に対する3つのヒットが表示されます。

ソースを含むデータの取り込み

これで、困難な方法を使用できるようになりました。 では、自動化されたバッチ取り込みの約束に移行してみましょう __ 。 「SET!」と言うと、 「忘れ」と言うと、 「SET!」 「忘れ」 「SET!」 「忘れ」 冗談はさておき、そのような気になることはありません。 「Ok」をクリックして、仕事に戻ります。 ほぼ完了しました。

左側のナビゲーションの「ソース」に移動し ​て、ソースカタログを開きます。 ここでは、業界トップのデータおよびストレージプロバイダーとの統合において、機能が統合されています。

ソースカタログ

それには、ソースコネクタを使用してデータを取り込みます。

この練習は、adventure スタイルを選択します。 FTP ソースコネクタを使用してワークフローを表示します。 会社で使用する別のクラウドストレージソースコネクタを使用するか、または、ロイヤルティデータの場合と同様に、データセットのユーザーインターフェイスを使用して json ファイルをアップロードします。

ソースの多くにも同様の設定ワークフローがあり、次の操作を行います。

  1. 認証の詳細を入力します。
  2. 取り込むデータを選択します。
  3. 取り込むプラットフォームのデータセットを選択します。
  4. これらのフィールドを XDM スキーマにマップします。
  5. その場所からデータを取得する頻度を選択します。
メモ

この練習で使用するオフライン購入データには、日付と時刻のデータが含まれています。 Datetime データは、 ISO 8061 書式設定され たストリング ("2018-07-10 :05: 59.000-08:00") またはミリ秒 (1531263959000) で指定された Unix 時刻の形式で、取り込み時にターゲットの XDM タイプに変換されます。 データ変換とその他の制約について詳しくは、 Batch インジェスト API ドキュメントを参照してください

適切なクラウドストレージベンダーにデータをダウンロード、prep、アップロードします。

  1. Luma-data .zip は、既にダウンロードしてから解凍してフォルダーに保存しておく必要があり 🔗 Luma Tutorial Assets ます。
  2. luma-offline-purchases.jsonは、テキストエディターで開き、 _techmarketingdemos スキーマに表示されているように、独自のアンダースコア (_) テナント id を使用して、のすべてのインスタンスを置換します。
  3. 適切なクラウドストレージプロバイダーを選択します。 ​ ソースカタログ内にあることを確認してください。 ​
  4. luma-offline-purchases.json適切なクラウドストレージプロバイダーにアップロードします。

適切なクラウドの保存場所にデータを取り込み

  1. プラットフォームのユーザーインターフェイスで、 ​ ソースカタログを ​ クラウドストレージにフィルター処理します。

  2. 「」には、ドキュメントへのリンクが含まれています。 ...

  3. ご希望のクラウドストレージベンダーのボックスで、「 設定 」ボタンを選択します。
    「設定」を選択します。

  4. ​最初に認証が実行されます。アカウントの名前を入力します。例えば、認証の詳細を入力し Luma's FTP Account ます。 これらのフィールドは多少異なる場合もありますが、この手順はすべてのクラウドストレージソースでほぼ同じです。 アカウントに認証情報を入力した後は、そのアカウント内の他のファイルとは異なるスケジューリングによって異なるデータを送信する可能性がある他のソースへの接続に対しても再利用できます。

  5. ソースにリンク」ボタンを選択します。

  6. プラットフォームがソースへの接続に成功した場合は、「 次へ」ボタンを選択します。
    ソースへの認証

  7. 「データの選択」ステップでは、 ユーザーインターフェイスがユーザーのアカウント情報を使用してクラウドストレージソリューション上のフォルダーを開きます。

  8. 取り込んだファイルを選択します。例えば、次のようにします。 luma-offline-purchases.json

  9. データフォーマットとして ​、「 XDM JSON

  10. 次に、json 構造とサンプルデータをファイル内でプレビューできます。

  11. 次へ」ボタンを選択します。
    データファイルを選択します。

  12. マッピング手順で、を ​選択 Luma Offline Purchase Events Dataset し、「 次へ 」ボタンを選択します。 注意: 「ingesting」というデータは JSON ファイルなので、ソースフィールドを「ターゲット」フィールドにマップするマッピング手順はありません。 JSON データは既に XDM で使用されている必要があります。 Ingesting を使用している場合は、この手順のフルマッピングのユーザーインターフェイスが表示されます。
    データセットを選択します。

  13. スケジューリングステップで、 ソースからデータを取得する頻度を選択します。ここでは、オプションを見てみましょう。 ここでは一度だけ取り込みを実行するので、その頻度を1つだけにして「 次へ」ボタンを選択し ます。
    データフローのスケジュール

  14. データフローの詳細な手順では、データ フローの名前を選択し、必要に応じて説明を入力します。設定をそのままにして、「 次へ」ボタンを選択し ます。
    データフローの詳細の編集

  15. 確認手順では、 ​すべての設定をまとめて確認し、それらを編集するか、 「完了」ボタンを選択します。

  16. 保存した後は、次のような画面上に着陸されます。
    Complete

データの検証

バッチがアップロードされたら、データセットをプレビューして、アップロードを確認してください。

Webhook に対する3つのヒットが表示されます。

名前空間の値を使用して、プロファイル 5625458 loyaltyId に購入イベントが含まれていないかどうかを確認します。 1つの購入を確認する必要があります。 「JSON を表示」を選択すると、購入について詳しく調べることができ ​ます。

Profile での購入イベント

ETL ツール

Adobe パートナーは、データの取り込むプラットフォームをサポートするために、複数の ETL ベンダーを使用しています。 サードパーティベンダーの種類によっては、このチュートリアルでは ETL が説明されていませんが、これらのリソースの一部を確認することをお勧めします。

その他のリソース

に、WEB SDK を使用したデータのストリーミングについて説明します。

このページ