バッチデータの取得
このレッスンでは、さまざまな方法を使用してExperience Platformにバッチデータを取り込みます。
バッチデータの取り込みにより、大量のデータを一度にAdobe Experience Platformに取り込むことができます。 バッチデータは、Platformのインターフェイス内またはAPIを使用して、1回のアップロードで取り込むことができます。 また、Sourceコネクタを使用して、クラウドストレージサービスなどのサードパーティサービスから定期的にスケジュールされたバッチアップロードを設定することもできます。
データエンジニアは、このチュートリアル以外でバッチデータを取り込む必要があります。
この演習を開始する前に、この短いビデオでデータ取り込みについて詳しく説明します。
権限が必要です
権限の設定 レッスンでは、このレッスンを完了するために必要なすべてのアクセス制御を設定します。
ソースの演習では、(S) FTP サーバーまたはクラウドストレージソリューションにアクセスする必要があります。 解決策がない場合は、回避策があります。
Platform ユーザーインターフェイスを使用したデータの一括取り込み
データは、JSON形式およびparquet形式でデータセット画面のデータセットに直接アップロードできます。 これは、プロファイルを作成した後にデータの取り込みをテストする優れた方法です。
データのダウンロードと準備
まず、サンプルデータを取得し、テナントに合わせてカスタマイズします。
-
luma-data.zipをLuma Tutorial Assets フォルダーにダウンロードします。
-
ファイルを解凍し、このレッスンで使用する4つのデータファイルを含む
luma-dataというフォルダーを作成します -
テキストエディターで
luma-loyalty.jsonを開き、_techmarketingdemosのすべてのインスタンスを、独自のスキーマで見られるように、独自のアンダースコアテナント IDに置き換えます。
-
更新したファイルを保存
データの収集
-
Platform ユーザーインターフェイスで、左側のナビゲーションで データセット を選択します
-
Luma Loyalty Datasetを開きます -
右側の列に「データを追加」セクションが表示されるまで、下にスクロールします
-
luma-loyalty.jsonファイルをアップロードします。 -
ファイルをアップロードすると、バッチの行が表示されます
-
数分後にページを再読み込みすると、バッチが正常に1000件のレコードと1000件のプロファイルフラグメントをアップロードしたことがわかります。
- エラー診断を有効にすると、データの取り込みに関するデータが生成され、Data Access APIを使用して確認できます。 詳しくは、 ドキュメント を参照してください。
- 部分取り込みでは、指定できる一定のしきい値まで、エラーを含むデータを取り込むことができます。 詳細については、 ドキュメント を参照してください
データの検証
データが正常に取り込まれたことを確認する方法がいくつかあります。
Platform ユーザーインターフェイスでの検証
データがデータセットに取り込まれたことを確認するには:
-
データを取り込んだページで、右上の「データセットをプレビュー」ボタンを選択します
-
「プレビュー」ボタンを選択すると、取り込んだデータの一部が表示されます。
データがプロファイルに到着したことを確認するには(データが到着するまでに数分かかる場合があります):
- 左側のナビゲーションで プロファイル に移動します
- ID名前空間を選択 フィールドの横にあるアイコンを選択して、モーダルを開きます
Luma Loyalty Id名前空間を選択- 次に、データセット
5625458からloyaltyId個の値のいずれかを入力します - ビューを選択
データ取り込みイベントによる検証
前のレッスンでデータ取り込みイベントを購読した場合は、固有のwebhook.site URLを確認してください。 3つのリクエストが次の順序で表示され、それらの間に時間がかかり、次のeventCode値が表示されます。
ing_load_success– 取り込まれたバッチig_load_success- バッチがID グラフに取り込まれましたps_load_success- バッチがプロファイルサービスに取り込まれました
通知の詳細については、 ドキュメント を参照してください。
Platform APIでのデータの一括取り込み
それでは、APIを使用してデータをアップロードします。
データのダウンロードと準備
- luma-data.zipを既にダウンロードして、
Luma Tutorial Assetsフォルダーに解凍しておく必要があります。 - テキストエディターで
luma-crm.jsonを開き、_techmarketingdemosのすべてのインスタンスを、スキーマに表示されているように、独自のアンダースコアテナント IDに置き換えます - 更新したファイルを保存
データセット IDを取得
まず、データを取り込むデータセットのデータセット IDのIDを取得します。
- Postmanを開
- アクセストークンがない場合は、リクエスト OAuth: Request Access Tokenを開き、送信を選択して新しいアクセストークンをリクエストします(Postman レッスンで行った場合と同様)。
- 環境変数を開き、CONTAINER_IDの値がまだ
tenantであることを確認します - リクエスト Catalog Service API > Datasets > Retrieve a list of datasets.を開き、送信を選択します
200 OK件の応答が返されます- 応答本文から
Luma CRM DatasetのIDをコピーします
バッチの作成
次に、データセットでバッチを作成できます。
-
Data Ingestion API.postman_collection.jsonを
Luma Tutorial Assetsフォルダーにダウンロードします -
コレクションをPostmanにインポートします
-
リクエスト Data Ingestion API > Batch Ingestion > Create a new batch in Catalog Service.を選択
-
以下をリクエストの Body として貼り付け、datasetId値を独自のに置き換えます。
code language-json { "datasetId":"REPLACE_WITH_YOUR_OWN_DATASETID", "inputFormat": { "format": "json" } } -
「送信」ボタンを選択します
-
新しいバッチのIDを含む201作成済み応答が表示されます。
-
新しいバッチの
idをコピーします
データの収集
これで、データをバッチにアップロードできます。
-
リクエスト Data Ingestion API > Batch Ingestion > Upload a file to a dataset in a batch.を選択
-
「パラメーター」タブで、データセット IDとバッチ IDをそれぞれのフィールドに入力します
-
「パラメーター」タブに、
luma-crm.jsonを ファイルパス として入力します -
Body タブで、バイナリ オプションを選択します
-
ローカルの
Luma Tutorial Assetsフォルダーからダウンロードしたluma-crm.jsonを選択します -
Sendを選択すると、応答本文に「1」を含む200 OK応答が返されます
この時点で、Platform ユーザーインターフェイスでバッチを見ると、「読み込み」ステータスであることがわかります。
バッチ APIは複数のファイルのアップロードに頻繁に使用されるため、バッチがいつ完了したかをPlatformに伝える必要があります。次の手順で行います。
バッチを完了
バッチを完了するには:
-
リクエスト Data Ingestion API > Batch Ingestion > Finish uploading a file to a dataset in a batch.を選択
-
「パラメーター」タブに、
COMPLETEを アクション として入力します -
「パラメーター」タブで、バッチ IDを入力します。 データセット IDまたはfilePathが存在する場合は、心配しないでください。
-
POSTのURLが
https://platform.adobe.io/data/foundation/import/batches/:batchId?action=COMPLETEであること、およびdatasetIdまたはfilePathへの不要な参照がないことを確認してください -
Sendを選択すると、応答本文に「1」を含む200 OK応答が返されます
データの検証
Platform ユーザーインターフェイスでの検証
ロイヤルティデータセットと同様に、Platform ユーザーインターフェイスにデータが表示されたことを検証します。
まず、1,000件のレコードが取り込まれたことを示すバッチを確認します。
次に、「データセットをプレビュー」を使用してバッチを確認します。
最後に、Luma CRM Id名前空間(例:f660ab912ec121d1b1e928a0bb4bc61b)でプロファイルのいずれかを検索して、プロファイルの1つが作成されたことを確認します
たまたま指摘しておきたい興味深いことがひとつあります。 そのDanny Wright プロファイルを開きます。 プロファイルにはLumacrmidとLumaloyaltyidの両方があります。 Luma Loyalty Schemaには、Luma Loyalty IdとCRM IDの2つのID フィールドが含まれていることを忘れないでください。 両方のデータセットをアップロードしたら、単一のプロファイルに統合しました。 ロイヤルティデータの名前はDaniel、ホームアドレスは「ニューヨーク市」、CRM データの名前はDanny、同じロイヤルティ IDを持つ顧客のホームアドレスはPortlandでした。 最初の名前が結合ポリシーのレッスンにDannyと表示される理由に戻ります。
おめでとうございます。プロファイルを統合しました。
データ取り込みイベントによる検証
前のレッスンでデータ取り込みイベントを購読した場合は、固有のwebhook.site URLを確認してください。 ロイヤルティデータと同様に、次の3つのリクエストが表示されます。
通知の詳細については、 ドキュメント を参照してください。
ワークフローを使用したデータの取り込み
別の方法でデータをアップロードしてみましょう。 ワークフロー機能を使用すると、XDMでモデル化されていないCSV データを取り込むことができます。
データのダウンロードと準備
- luma-data.zipを既にダウンロードして、
Luma Tutorial Assetsフォルダーに解凍しておく必要があります。 luma-products.csvがあることを確認してください
ワークフローの作成
次に、ワークフローを設定します。
- 左側のナビゲーションで ワークフロー に移動します
- 「CSVをXDM スキーマにマッピングし、起動」ボタンを選択します
Luma Product Catalog Datasetを選択し、次へ ボタンを選択します
- ダウンロードした
luma-products.csvファイルを追加し、次へ ボタンを選択します
- これで、ソースデータ(
luma-products.csvファイルの列名の1つ)からターゲットスキーマのXDM フィールドにフィールドをマッピングできるマッパーインターフェイスになりました。 この例では、列名は、マッパーが適切なマッピングを自動検出できるスキーマフィールド名に十分に近いです。 マッパーが適切なフィールドを自動検出できなかった場合は、ターゲットフィールドの右側にあるアイコンを選択して、正しいXDM フィールドを選択します。 また、CSVから1つの列を取り込みたくない場合は、マッパーから行を削除できます。luma-products.csvの列の見出しを自由に操作して変更し、マッパーの仕組みに慣れましょう。 - 「完了」ボタンを選択します
データの検証
バッチがアップロードされたら、データセットをプレビューしてアップロードを確認します。
Luma Product SKUはユーザー以外の名前空間であるため、製品skuのプロファイルは表示されません。
Webhookに3つのヒットが表示されます。
ソースでのデータの取り込み
さて、あなたは難しい方法で物事を行いました。 次に、自動 バッチ取り込みの約束された土地に移動しましょう。 「セット・イット!」と言うと 「忘れろ!」と言うだろう。 「セット・イット!」 「忘れてくれ!」 「セット・イット!」 「忘れてくれ!」 冗談です、そんなことは決してしないでしょう! さて、仕事に戻ります。 もうすぐ終わります。
左側のナビゲーションの ソース に移動して、ソースカタログを開きます。 ここでは、業界をリードするデータおよびストレージプロバイダーとの統合が可能な、すぐに使用できる機能を紹介します。
ソースコネクタを使ってデータを取り込みます。
この演習は、あなた自身の冒険スタイルを選択します。 FTP ソースコネクタを使用したワークフローを表示します。 会社で使用する別のクラウドストレージソースコネクタを使用するか、ロイヤルティデータで行ったように、データセットのユーザーインターフェイスを使用してjson ファイルをアップロードできます。
多くのソースには、次のような設定ワークフローがあります。
- 認証情報を入力してください
- 取り込むデータを選択
- 取り込むPlatform データセットを選択します
- XDM スキーマへのフィールドのマッピング
- その場所からデータを再取得する頻度を選択します
データのダウンロード、準備、任意のクラウドストレージベンダーへのアップロード
- luma-data.zipを既にダウンロードして、
Luma Tutorial Assetsフォルダーに解凍しておく必要があります。 - テキストエディターで
luma-offline-purchases.jsonを開き、_techmarketingdemosのすべてのインスタンスを、スキーマに表示されているように、独自のアンダースコアテナント IDに置き換えます - すべてのタイムスタンプを更新して、先月にイベントが発生するようにします(例えば、
"timestamp":"2022-06を検索し、年と月を置き換えます) - お好みのクラウドストレージプロバイダーを選択し、 ソース カタログで利用できることを確認します
luma-offline-purchases.jsonを任意のクラウドストレージプロバイダーの場所にアップロードします
データを好みのクラウドストレージの場所に取り込みます
-
Platform ユーザーインターフェイスで、 ソース カタログを クラウドストレージ にフィルタリングします
-
...の下のドキュメントへの便利なリンクがあります -
希望するクラウドストレージベンダーのボックスで、「設定」ボタンを選択します
-
認証が最初の手順です。 アカウントの名前(例:
Luma's FTP Account)と認証の詳細を入力します。 フィールドは多少異なる場合がありますが、このステップは、すべてのクラウドストレージソースに対してかなり類似している必要があります。 アカウントの認証の詳細を入力したら、同じアカウント内の他のファイルから異なるスケジュールに関する異なるデータを送信している可能性がある他のソース接続に再利用できます -
「ソースに接続」ボタンを選択
-
PlatformがSourceに正常に接続されたら、次へ ボタンを選択します
-
データを選択手順では、ユーザーインターフェイスが資格情報を使用して、クラウドストレージソリューション上のフォルダーを開きます
-
取り込むファイル(例:
luma-offline-purchases.json)を選択します -
データ形式として、
XDM JSONを選択します -
次に、ファイル内のjson構造とサンプルデータをプレビューできます
-
「次へ」ボタンを選択
-
マッピング ステップで、
Luma Offline Purchase Events Datasetを選択し、次へ ボタンを選択します。 取り込むデータはJSON ファイルなので、ソースフィールドをターゲットフィールドにマッピングするマッピングステップはありません。 JSON データは既にXDMにある必要があります。 CSVを取り込む場合は、次の手順で完全なマッピングユーザーインターフェイスが表示されます。
-
スケジュール設定の手順で、Sourceからデータを再取得する頻度を選択します。 選択肢を確認する必要があります。 1回限りの取り込みを行うので、Onceに Frequency を残し、Next ボタンを選択します。
-
データフローの詳細 ステップで、データフローの名前を選択し、オプションの説明を入力し、エラー診断をオンにして、部分的な取り込みを行うことができます。 設定はそのままにして、次へ ボタンを選択します。
-
レビュー ステップでは、すべての設定を同時にレビューし、編集するか、終了 ボタンを選択できます
-
保存すると、次のような画面が表示されます。
データの検証
バッチがアップロードされたら、データセットをプレビューしてアップロードを確認します。
Webhookに3つのヒットが表示されます。
loyaltyId名前空間の値5625458を持つプロファイルを再度検索して、プロファイルに購入イベントがあるかどうかを確認します。 1回の購入で確認できます。 JSONを表示を選択すると、購入の詳細を詳しく調べることができます。
ETL ツール
Adobeは、複数のETL ベンダーと提携して、Experience Platformへのデータ取り込みをサポートします。 サードパーティベンダーの種類が多いため、ETLはこのチュートリアルでは扱われませんが、次のリソースを確認することをお勧めします。
その他のリソース
Web SDKを使用して データをストリーミングしましょう