[ベータ版]{class="badge informative"}
Flow Service API を使用した、Shopify データのストリーミングソース接続とデータフローの作成
次のチュートリアルでは、Flow Service API を使用して Shopify からAdobe Experience Platformにデータをストリーミングするストリーミングソース接続とデータフローを作成する方法について説明します。
はじめに getting-started
このガイドは、Adobe Experience Platform の次のコンポーネントを実際に利用および理解しているユーザーを対象としています。
- ソース :Experience Platformを使用すると、データを様々なソースから取得しながら、Experience Platform サービスを使用して受信データの構造化、ラベル付け、拡張を行うことができます。
- サンドボックス :Experience Platformには、1 つのExperience Platform インスタンスを別々の仮想環境に分割し、デジタルエクスペリエンスアプリケーションの開発と発展に役立つ仮想サンドボックスが用意されています。
Experience Platform API の使用
Experience Platform API を正常に呼び出す方法について詳しくは、Experience Platform API の概要 を参照してください。
Flow Service API を使用したExperience Platformへの Shopify データのストリーミング
ソース接続とデータフローを作成して Shopify データをExperience Platformにストリーミングするために必要な手順の概要を次に示します。
ソース接続の作成 source-connection
Flow Service API に POST リクエストを実行し、その際にソースの接続仕様 ID、名前や説明などの詳細、データの形式を指定することで、ソース接続を作成します。
API 形式
POST /sourceConnections
リクエスト
次のリクエストは、YOURSOURCE のソース接続を作成します。
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/sourceConnections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "Shopify Streaming Source Connection",
"providerId": "521eee4d-8cbe-4906-bb48-fb6bd4450033",
"description": "Shopify Streaming Source Connection",
"connectionSpec": {
"id": "e77fd9d2-22a8-11ed-861d-0242ac120002",
"version": "1.0"
},
"data": {
"format": "json"
}
}'
namedescriptionconnectionSpec.iddata.formatjson のみです。応答
リクエストが成功した場合は、新たに作成されたソース接続の一意の ID(id)が返されます。この ID は、後の手順でデータフローを作成する際に必要になります。
{
"id": "246d052c-da4a-494a-937f-a0d17b1c6cf5",
"etag": "\"712a8c08-fda7-41c2-984b-187f823293d8\""
}
ターゲット XDM スキーマの作成 target-schema
ソースデータをExperience Platformで使用するには、必要に応じてターゲットスキーマを作成してソースデータを構造化する必要があります。 次に、ターゲットスキーマを使用して、ソースデータが含まれるExperience Platform データセットが作成されます。
Schema Registry API に POST リクエストを実行することで、ターゲット XDM スキーマを作成できます。
ターゲット XDM スキーマの作成手順について詳しくは、 API を使用したスキーマの作成に関するチュートリアルを参照してください。
ターゲットデータセットの作成 target-dataset
Catalog Service API に POST リクエストを実行し、その際にペイロード内でターゲットスキーマの ID を指定することで、ターゲットデータセットを作成できます。
ターゲットデータセットの作成手順について詳しくは、 API を使用したデータセットの作成に関するチュートリアルを参照してください。
ターゲット接続の作成 target-connection
ターゲット接続は、取り込まれたデータが保存される宛先への接続を表します。 ターゲット接続を作成するには、データレイクに対応する固定接続仕様 ID を指定する必要があります。 この ID は c604ff05-7f1a-43c0-8e18-33bf874cb11c です。
これで、一意の識別子、ターゲットスキーマ、ターゲットデータセット、データレイクへの接続仕様 ID が用意できました。 これらの識別子を使用すると、受信ソースデータを格納するデータセットを指定する Flow Service API を使用して、ターゲット接続を作成することができます。
API 形式
POST /targetConnections
リクエスト
次のリクエストは、Shopify のターゲット接続を作成します。
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "Shopify Streaming Target Connection",
"description": "Shopify Streaming Target Connection",
"connectionSpec": {
"id": "c604ff05-7f1a-43c0-8e18-33bf874cb11c",
"version": "1.0"
},
"data": {
"format": "json",
"schema": {
"id": "{TARGET_XDM_SCHEMA}",
"version": "application/vnd.adobe.xed-full+json;version=1"
}
},
"params": {
"dataSetId": "{TARGET_DATASET}"
}
}'
namedescriptionconnectionSpec.idc604ff05-7f1a-43c0-8e18-33bf874cb11c です。data.formatparams.dataSetId応答
リクエストが成功した場合は、新しいターゲット接続の一意の ID(id)が返されます。この ID は、後の手順で必要になります。
{
"id": "7c96c827-3ffd-460c-a573-e9558f72f263",
"etag": "\"a196f685-f5e8-4c4c-bfbd-136141bb0c6d\""
}
マッピングの作成 mapping
ソースデータをターゲットデータセットに取り込むには、まず、ターゲットデータセットが準拠するターゲットスキーマにマッピングする必要があります。これを実現するには、リクエストペイロード内で定義されたデータマッピングを使用して、Data Prep API に対して POST リクエストを実行します。
API 形式
POST /conversion/mappingSets
リクエスト
curl -X POST \
'https://platform.adobe.io/data/foundation/mappingSets' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"version": 0,
"xdmSchema": "{TARGET_XDM_SCHEMA}",
"xdmVersion": "1.0",
"mappings": [
{
"destinationXdmPath": "person.name.firstName",
"sourceAttribute": "firstName",
"identity": false,
"version": 0
},
{
"destinationXdmPath": "person.name.lastName",
"sourceAttribute": "lastName",
"identity": false,
"version": 0
}
]
}'
xdmSchemamappings.destinationXdmPathmappings.sourceAttributemappings.identity応答
リクエストが成功した場合は、一意の ID(id)を含む、新しく作成されたマッピングの詳細が返されます。この値は、後の手順でデータフローを作成する際に必要になります。
{
"id": "bf5286a9c1ad4266baca76ba3adc9366",
"version": 0,
"createdDate": 1597784069368,
"modifiedDate": 1597784069368,
"createdBy": "{CREATED_BY}",
"modifiedBy": "{MODIFIED_BY}"
}
フローの作成 flow
Shopify からExperience Platformにデータを取り込むための最後の手順は、データフローを作成することです。 現時点で、次の必要な値の準備ができています。
データフローは、ソースからデータをスケジュールおよび収集する役割を果たします。ペイロードに前述の値を提供しながら POST リクエストを実行することで、データフローを作成することができます。
API 形式
POST /flows
リクエスト
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/flows' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "Shopify Streaming Dataflow",
"description": "Shopify Streaming Dataflow",
"flowSpec": {
"id": "e77fde5a-22a8-11ed-861d-0242ac120002",
"version": "1.0"
},
"sourceConnectionIds": [
"246d052c-da4a-494a-937f-a0d17b1c6cf5"
],
"targetConnectionIds": [
"7c96c827-3ffd-460c-a573-e9558f72f263"
],
"transformations": [
{
"name": "Mapping",
"params": {
"mappingId": "bf5286a9c1ad4266baca76ba3adc9366",
"mappingVersion": 0
}
}
]
}'
namedescriptionflowSpec.ide77fde5a-22a8-11ed-861d-0242ac120002 です。flowSpec.version1.0 です。sourceConnectionIdstargetConnectionIdstransformationstransformations.nametransformations.params.mappingIdtransformations.params.mappingVersion0 です。応答
正常な応答は、新しく作成したデータフローの ID(id)を返します。この ID を使用して、データフローを監視、更新または削除できます。
{
"id": "993f908f-3342-4d9c-9f3c-5aa9a189ca1a",
"etag": "\"510bb1d4-8453-4034-b991-ab942e11dd8a\""
}
ストリーミングエンドポイント URL の取得
データフローを作成したので、ストリーミングエンドポイント URL を取得できるようになりました。 このエンドポイント URL を使用して、ソースを Webhook に登録し、ソースがExperience Platformと通信できるようにします。
ストリーミングエンドポイント URL を取得するには、/flows エンドポイントに対してGET リクエストを実行し、データフローの ID を指定します。
API 形式
GET /flows/{FLOW_ID}
リクエスト
curl -X GET \
'https://platform.adobe.io/data/foundation/flowservice/flows/993f908f-3342-4d9c-9f3c-5aa9a189ca1a' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}'
応答
応答が成功すると、inletUrl とマークされたエンドポイント URL を含む、データフローに関する情報が返されます。
{
"header":{
"xactionId":"1658464615769:0062:161",
"source":{
"name":"shopify"
},
"sandboxId":"d537df80-c5d7-11e9-aafb-87c71c35cac8",
"sandboxName":"prod",
"originalTimestamp":1658464615770,
"msgId":"1658464615769:0062:161",
"msgVersion":"1.0",
"traceContext":{
"traceId":"ff3e7544618471eee6b934a4c5929d4e",
"spanId":"74a759c5cc5f5a06",
"isSampled":1.0
},
"_dcsMeta":{
"inletId":"9d411a24aa3c0a3eded92bac6c64d0da986ee7a8212f87168c5fb42d9ddc3227",
"authenticatedRequest":false,
"debug":true
}
},
"body":{
"id":4135234371722,
"admin_graphql_api_id":"gid://shopify/Order/4135234371722",
"app_id":1354745,
"browser_ip":null,
"buyer_accepts_marketing":false,
"cancel_reason":null,
"cancelled_at":null,
"cart_token":null,
"checkout_id":21706716217482,
"checkout_token":"b143503216124d50141fe0832fa3f4b0",
"client_details":{
"accept_language":null,
"browser_height":null,
"browser_ip":null,
"browser_width":null,
"session_hash":null,
"user_agent":null
},
"closed_at":null,
"confirmed":true,
"contact_email":null,
"created_at":"2022-07-22T00:36:48-04:00",
"currency":"INR",
"current_subtotal_price":"40000.00",
"current_subtotal_price_set":{
"shop_money":{
"amount":"40000.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"40000.00",
"currency_code":"INR"
}
},
"current_total_discounts":"0.00",
"current_total_discounts_set":{
"shop_money":{
"amount":"0.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"0.00",
"currency_code":"INR"
}
},
"current_total_duties_set":null,
"current_total_price":"47200.00",
"current_total_price_set":{
"shop_money":{
"amount":"47200.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"47200.00",
"currency_code":"INR"
}
},
"current_total_tax":"7200.00",
"current_total_tax_set":{
"shop_money":{
"amount":"7200.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"7200.00",
"currency_code":"INR"
}
},
"customer_locale":null,
"device_id":null,
"discount_codes":[
],
"email":"",
"estimated_taxes":false,
"financial_status":"paid",
"fulfillment_status":null,
"gateway":"manual",
"landing_site":null,
"landing_site_ref":null,
"location_id":39129743498,
"name":"#1005",
"note":null,
"note_attributes":[
],
"number":5,
"order_number":1005,
"order_status_url":"https://connnectors-test.myshopify.com/31913214090/orders/ffd48198c78ef460177e44e22b19e6ab/authenticate?key=79a40d7da4b23d6a0beb2ba774f6ac83",
"original_total_duties_set":null,
"payment_gateway_names":[
"manual"
],
"phone":null,
"presentment_currency":"INR",
"processed_at":"2022-07-22T00:36:48-04:00",
"processing_method":"manual",
"reference":null,
"referring_site":null,
"source_identifier":null,
"source_name":"shopify_draft_order",
"source_url":null,
"subtotal_price":"40000.00",
"subtotal_price_set":{
"shop_money":{
"amount":"40000.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"40000.00",
"currency_code":"INR"
}
},
"tags":"",
"tax_lines":[
{
"price":"7200.00",
"rate":0.18,
"title":"IGST",
"price_set":{
"shop_money":{
"amount":"7200.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"7200.00",
"currency_code":"INR"
}
},
"channel_liable":false
}
],
"taxes_included":false,
"test":false,
"token":"ffd48198c78ef460177e44e22b19e6ab",
"total_discounts":"0.00",
"total_discounts_set":{
"shop_money":{
"amount":"0.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"0.00",
"currency_code":"INR"
}
},
"total_line_items_price":"40000.00",
"total_line_items_price_set":{
"shop_money":{
"amount":"40000.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"40000.00",
"currency_code":"INR"
}
},
"total_outstanding":"0.00",
"total_price":"47200.00",
"total_price_set":{
"shop_money":{
"amount":"47200.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"47200.00",
"currency_code":"INR"
}
},
"total_price_usd":"589.95",
"total_shipping_price_set":{
"shop_money":{
"amount":"0.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"0.00",
"currency_code":"INR"
}
},
"total_tax":"7200.00",
"total_tax_set":{
"shop_money":{
"amount":"7200.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"7200.00",
"currency_code":"INR"
}
},
"total_tip_received":"0.00",
"total_weight":800,
"updated_at":"2022-07-22T00:36:49-04:00",
"user_id":44968935562,
"discount_applications":[
],
"fulfillments":[
],
"line_items":[
{
"id":10630730743946,
"admin_graphql_api_id":"gid://shopify/LineItem/10630730743946",
"fulfillable_quantity":1,
"fulfillment_service":"manual",
"fulfillment_status":null,
"gift_card":false,
"grams":800,
"name":"Mobile Phones",
"origin_location":{
"id":3141069111434,
"country_code":"IN",
"province_code":"UP",
"name":"Noida",
"address1":"Noida",
"address2":"",
"city":"Noida",
"zip":"201301"
},
"price":"40000.00",
"price_set":{
"shop_money":{
"amount":"40000.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"40000.00",
"currency_code":"INR"
}
},
"product_exists":true,
"product_id":4525859963018,
"properties":[
],
"quantity":1,
"requires_shipping":true,
"sku":"",
"taxable":true,
"title":"Mobile Phones",
"total_discount":"0.00",
"total_discount_set":{
"shop_money":{
"amount":"0.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"0.00",
"currency_code":"INR"
}
},
"variant_id":32045196640394,
"variant_inventory_management":"shopify",
"variant_title":"",
"vendor":"Connnectors Test",
"tax_lines":[
{
"channel_liable":false,
"price":"7200.00",
"price_set":{
"shop_money":{
"amount":"7200.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"7200.00",
"currency_code":"INR"
}
},
"rate":0.18,
"title":"IGST"
}
],
"duties":[
],
"discount_allocations":[
]
}
],
"payment_terms":null,
"refunds":[
],
"shipping_lines":[
]
}
}
付録
次の節では、データフローの監視、更新、削除を行う手順について説明します。
データフローの監視
データフローが作成されると、それを通して取り込まれるデータを監視し、フローの実行状況、完了状況、エラーなどの情報を確認することができます。完全な API の例については、API を使用したソースデータフローのモニタリング に関するガイドを参照してください。
データフローの更新
データフローの ID を指定しながら Flow Service API の /flows エンドポイントに対してPATCH リクエストを実行することで、名前や説明、実行スケジュールおよび関連するマッピングセットなど、データフローの詳細を更新します。 PATCH リクエストを行う場合は、データフローの一意の etag を If-Match ヘッダーで指定する必要があります。 完全な API の例については、API を使用したソースデータフローの更新 に関するガイドを参照してください
アカウントを更新
ベース接続 ID をクエリパラメーターとして指定して Flow Service API に対してPATCH リクエストを実行することで、ソースアカウントの名前、説明、資格情報を更新します。 PATCH リクエストを行う場合は、ソースアカウントの一意の etag を If-Match ヘッダーで指定する必要があります。 完全な API の例については、API を使用したソースアカウントの更新 に関するガイドを参照してください。
データフローの削除
クエリパラメーターの一部として削除するデータフローの ID を指定したうえで Flow Service API に対してDELETE リクエストを実行することで、データフローを削除します。 完全な API の例については、API を使用したデータフローの削除 に関するガイドを参照してください。
アカウントを削除
Flow Service API にDELETE リクエストを実行し、その際に削除するアカウントのベース接続 ID を指定することで、アカウントを削除します。 完全な API の例については、API を使用したソースアカウントの削除 に関するガイドを参照してください。