Flow Service APIを使用して、Shopify データのストリーミングソース接続とデータフローを作成します
このガイドでは、Shopify Streaming sourceからFlow Service APIを使用してAdobe Experience Platformにデータをストリーミングする方法について説明します。
はじめに getting-started
このガイドは、Adobe Experience Platform の次のコンポーネントを実際に利用および理解しているユーザーを対象としています。
- ソース : Experience Platformのソースを使用すると、様々なシステムから簡単にデータを取り込み、ビジネスニーズに合ったツールで整理および強化できます。
- サンドボックス : Experience Platform インスタンス内で個別の環境を提供することで、デジタルエクスペリエンスソリューションを安全にテスト、開発、テストできます。
Experience Platform APIの使用
Experience Platform APIの呼び出しを正常に行う方法について詳しくは、Experience Platform APIの概要に関するガイドを参照してください。
必要な資格情報の収集
HMAC キーの使用方法とアカウントの認証方法については、Shopify Streaming 概要を参照してください。
Flow Service APIを使用してShopify データをExperience Platformにストリーミングする
以下では、Shopify データをExperience Platformにストリーミングするためのソース接続とデータフローを作成するために必要な手順の概要を示します。
ベース接続の作成 base-connection
ベース接続 ID を作成するには、/connections エンドポイントに POST リクエストを実行し、Shopify Streaming 認証資格情報をリクエストパラメーターの一部として使用します。
API 形式
POST /connections
リクエスト
次のリクエストは、HMAC秘密鍵を使用してShopify Streamingのベース接続を作成します。
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/connections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "Shopify Streaming Base Connection",
"description": "Shopify Streaming Base Conn",
"auth": {
"specName": "HMACAuth",
"params": {
"primarySecretKey": "shopify_hmac_secret_current_2026_05"
}
},
"connectionSpec": {
"id": "e1d4cd44-ccad-11ed-afa1-0242ac120002",
"version": "1.0"
}
}'
primarySecretKeysecondarySecretKeyも含める必要があります。 HMAC キーについて詳しくは、Shopify Streaming 認証ガイド を参照してください。応答
応答が成功すると、一意の接続識別子(id)を含む、新しく作成された接続が返されます。 このIDを使用して、次の手順でソース接続を作成します。
{
"id": "302f44a9-e3fd-4386-bb62-213c648cd023",
"etag": "\"8d004e1e-0000-0200-0000-6a00cf720000\""
}
ソース接続の作成 source-connection
ソース接続を作成するには、Flow Service APIに対してPOST リクエストを行います。 ソースの接続仕様IDと、名前、説明、データ形式などの詳細を必ず指定してください。
API 形式
POST /sourceConnections
リクエスト
次のリクエストは、Shopify Streaming のソース接続を作成します。
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/sourceConnections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "Shopify Streaming Source Connection",
"description": "Shopify Streaming Source Connection",
"providerId": "521eee4d-8cbe-4906-bb48-fb6bd4450033",
"baseConnectionId": "302f44a9-e3fd-4386-bb62-213c648cd023",
"connectionSpec": {
"id": "e1d4cd44-ccad-11ed-afa1-0242ac120002",
"version": "1.0"
},
"data": {
"format": "json"
}
}'
namedescriptionconnectionSpec.idbaseConnectionIddata.formatjson のみです。応答
リクエストが成功した場合は、新たに作成されたソース接続の一意の ID(id)が返されます。 この ID は、後の手順でデータフローを作成する際に必要になります。
{
"id": "246d052c-da4a-494a-937f-a0d17b1c6cf5",
"etag": "\"712a8c08-fda7-41c2-984b-187f823293d8\""
}
ターゲット XDM スキーマの作成 target-schema
ソースデータをExperience Platformで使用するには、必要に応じてソースデータを構造化するターゲットスキーマを作成する必要があります。 その後、ターゲットスキーマを使用して、ソースデータが含まれるExperience Platform データセットを作成します。
Schema Registry API に POST リクエストを実行することで、ターゲット XDM スキーマを作成できます。
ターゲット XDM スキーマの作成手順について詳しくは、 API を使用したスキーマの作成に関するチュートリアルを参照してください。
ターゲットデータセットの作成 target-dataset
Catalog Service API に POST リクエストを実行し、その際にペイロード内でターゲットスキーマの ID を指定することで、ターゲットデータセットを作成できます。
ターゲットデータセットの作成手順について詳しくは、 API を使用したデータセットの作成に関するチュートリアルを参照してください。
ターゲット接続の作成 target-connection
ターゲット接続は、取り込んだデータを格納する宛先への接続を表します。 ターゲット接続を作成するには、データレイクに対応する固定接続仕様IDを指定する必要があります。 この ID は c604ff05-7f1a-43c0-8e18-33bf874cb11c です。
一意のID、ターゲットスキーマ、ターゲットデータセット、データレイクへの接続仕様IDが取得されました。 これらの識別子を使用すると、受信ソースデータを格納するデータセットを指定する Flow Service API を使用して、ターゲット接続を作成することができます。
API 形式
POST /targetConnections
リクエスト
次のリクエストは、Shopify Streaming のターゲット接続を作成します。
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "Shopify Streaming Target Connection",
"description": "Shopify Streaming Target Connection",
"connectionSpec": {
"id": "c604ff05-7f1a-43c0-8e18-33bf874cb11c",
"version": "1.0"
},
"data": {
"format": "json",
"schema": {
"id": "{TARGET_XDM_SCHEMA}",
"version": "application/vnd.adobe.xed-full+json;version=1"
}
},
"params": {
"dataSetId": "{TARGET_DATASET}"
}
}'
namedescriptionconnectionSpec.idc604ff05-7f1a-43c0-8e18-33bf874cb11c です。data.formatparams.dataSetId応答
リクエストが成功した場合は、新しいターゲット接続の一意の ID(id)が返されます。 この ID は、後の手順で必要になります。
{
"id": "7c96c827-3ffd-460c-a573-e9558f72f263",
"etag": "\"a196f685-f5e8-4c4c-bfbd-136141bb0c6d\""
}
マッピングの作成 mapping
ソースデータをターゲットデータセットに取り込むには、まず、ターゲットデータセットが準拠するターゲットスキーマにマッピングする必要があります。 これは、リクエストペイロード内で定義されたデータマッピングを使用して、Data Prep APIに対してPOST リクエストを実行することで実現します。
API 形式
POST /conversion/mappingSets
リクエスト
curl -X POST \
'https://platform.adobe.io/data/foundation/mappingSets' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"version": 0,
"xdmSchema": "{TARGET_XDM_SCHEMA}",
"xdmVersion": "1.0",
"mappings": [
{
"destinationXdmPath": "person.name.firstName",
"sourceAttribute": "firstName",
"identity": false,
"version": 0
},
{
"destinationXdmPath": "person.name.lastName",
"sourceAttribute": "lastName",
"identity": false,
"version": 0
}
]
}'
xdmSchemamappings.destinationXdmPathmappings.sourceAttributemappings.identity応答
リクエストが成功した場合は、一意の ID(id)を含む、新しく作成されたマッピングの詳細が返されます。 この値は、後の手順でデータフローを作成する際に必要になります。
{
"id": "bf5286a9c1ad4266baca76ba3adc9366",
"version": 0,
"createdDate": 1597784069368,
"modifiedDate": 1597784069368,
"createdBy": "{CREATED_BY}",
"modifiedBy": "{MODIFIED_BY}"
}
フローの作成 flow
ShopifyからExperience Platformにデータを取り込む最後の手順は、データフローを作成することです。 現時点で、次の必要な値の準備ができています。
データフローは、ソースからデータをスケジュールおよび収集する役割を果たします。 ペイロードに前述の値を提供しながら POST リクエストを実行することで、データフローを作成することができます。
API 形式
POST /flows
リクエスト
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/flows' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "Shopify Streaming Dataflow",
"description": "Shopify Streaming Dataflow",
"flowSpec": {
"id": "e77fde5a-22a8-11ed-861d-0242ac120002",
"version": "1.0"
},
"sourceConnectionIds": [
"246d052c-da4a-494a-937f-a0d17b1c6cf5"
],
"targetConnectionIds": [
"7c96c827-3ffd-460c-a573-e9558f72f263"
],
"transformations": [
{
"name": "Mapping",
"params": {
"mappingId": "bf5286a9c1ad4266baca76ba3adc9366",
"mappingVersion": 0
}
}
]
}'
namedescriptionflowSpec.ide77fde5a-22a8-11ed-861d-0242ac120002 です。flowSpec.version1.0 です。sourceConnectionIdstargetConnectionIdstransformationstransformations.nametransformations.params.mappingIdtransformations.params.mappingVersion0 です。応答
正常な応答は、新しく作成したデータフローの ID(id)を返します。 この ID を使用して、データフローを監視、更新または削除できます。
{
"id": "993f908f-3342-4d9c-9f3c-5aa9a189ca1a",
"etag": "\"510bb1d4-8453-4034-b991-ab942e11dd8a\""
}
ストリーミングエンドポイント URLの取得
データフローを作成したら、ストリーミングエンドポイント URLを取得できるようになりました。 このエンドポイント URLを使用して、ソースをWebhookに登録し、ソースがExperience Platformと通信できるようにします。
ストリーミングエンドポイント URLを取得するには、/flows エンドポイントにGET リクエストを行い、データフローのIDを指定します。
API 形式
GET /flows/{FLOW_ID}
リクエスト
curl -X GET \
'https://platform.adobe.io/data/foundation/flowservice/flows/993f908f-3342-4d9c-9f3c-5aa9a189ca1a' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}'
応答
応答が成功すると、inletUrlとしてマークされたエンドポイント URLを含む、データフローに関する情報が返されます。
{
"header":{
"xactionId":"1658464615769:0062:161",
"source":{
"name":"shopify"
},
"sandboxId":"d537df80-c5d7-11e9-aafb-87c71c35cac8",
"sandboxName":"prod",
"originalTimestamp":1658464615770,
"msgId":"1658464615769:0062:161",
"msgVersion":"1.0",
"traceContext":{
"traceId":"ff3e7544618471eee6b934a4c5929d4e",
"spanId":"74a759c5cc5f5a06",
"isSampled":1.0
},
"_dcsMeta":{
"inletId":"9d411a24aa3c0a3eded92bac6c64d0da986ee7a8212f87168c5fb42d9ddc3227",
"authenticatedRequest":false,
"debug":true
}
},
"body":{
"id":4135234371722,
"admin_graphql_api_id":"gid://shopify/Order/4135234371722",
"app_id":1354745,
"browser_ip":null,
"buyer_accepts_marketing":false,
"cancel_reason":null,
"cancelled_at":null,
"cart_token":null,
"checkout_id":21706716217482,
"checkout_token":"b143503216124d50141fe0832fa3f4b0",
"client_details":{
"accept_language":null,
"browser_height":null,
"browser_ip":null,
"browser_width":null,
"session_hash":null,
"user_agent":null
},
"closed_at":null,
"confirmed":true,
"contact_email":null,
"created_at":"2022-07-22T00:36:48-04:00",
"currency":"INR",
"current_subtotal_price":"40000.00",
"current_subtotal_price_set":{
"shop_money":{
"amount":"40000.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"40000.00",
"currency_code":"INR"
}
},
"current_total_discounts":"0.00",
"current_total_discounts_set":{
"shop_money":{
"amount":"0.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"0.00",
"currency_code":"INR"
}
},
"current_total_duties_set":null,
"current_total_price":"47200.00",
"current_total_price_set":{
"shop_money":{
"amount":"47200.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"47200.00",
"currency_code":"INR"
}
},
"current_total_tax":"7200.00",
"current_total_tax_set":{
"shop_money":{
"amount":"7200.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"7200.00",
"currency_code":"INR"
}
},
"customer_locale":null,
"device_id":null,
"discount_codes":[
],
"email":"",
"estimated_taxes":false,
"financial_status":"paid",
"fulfillment_status":null,
"gateway":"manual",
"landing_site":null,
"landing_site_ref":null,
"location_id":39129743498,
"name":"#1005",
"note":null,
"note_attributes":[
],
"number":5,
"order_number":1005,
"order_status_url":"https://connnectors-test.myshopify.com/31913214090/orders/ffd48198c78ef460177e44e22b19e6ab/authenticate?key=79a40d7da4b23d6a0beb2ba774f6ac83",
"original_total_duties_set":null,
"payment_gateway_names":[
"manual"
],
"phone":null,
"presentment_currency":"INR",
"processed_at":"2022-07-22T00:36:48-04:00",
"processing_method":"manual",
"reference":null,
"referring_site":null,
"source_identifier":null,
"source_name":"shopify_draft_order",
"source_url":null,
"subtotal_price":"40000.00",
"subtotal_price_set":{
"shop_money":{
"amount":"40000.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"40000.00",
"currency_code":"INR"
}
},
"tags":"",
"tax_lines":[
{
"price":"7200.00",
"rate":0.18,
"title":"IGST",
"price_set":{
"shop_money":{
"amount":"7200.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"7200.00",
"currency_code":"INR"
}
},
"channel_liable":false
}
],
"taxes_included":false,
"test":false,
"token":"ffd48198c78ef460177e44e22b19e6ab",
"total_discounts":"0.00",
"total_discounts_set":{
"shop_money":{
"amount":"0.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"0.00",
"currency_code":"INR"
}
},
"total_line_items_price":"40000.00",
"total_line_items_price_set":{
"shop_money":{
"amount":"40000.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"40000.00",
"currency_code":"INR"
}
},
"total_outstanding":"0.00",
"total_price":"47200.00",
"total_price_set":{
"shop_money":{
"amount":"47200.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"47200.00",
"currency_code":"INR"
}
},
"total_price_usd":"589.95",
"total_shipping_price_set":{
"shop_money":{
"amount":"0.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"0.00",
"currency_code":"INR"
}
},
"total_tax":"7200.00",
"total_tax_set":{
"shop_money":{
"amount":"7200.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"7200.00",
"currency_code":"INR"
}
},
"total_tip_received":"0.00",
"total_weight":800,
"updated_at":"2022-07-22T00:36:49-04:00",
"user_id":44968935562,
"discount_applications":[
],
"fulfillments":[
],
"line_items":[
{
"id":10630730743946,
"admin_graphql_api_id":"gid://shopify/LineItem/10630730743946",
"fulfillable_quantity":1,
"fulfillment_service":"manual",
"fulfillment_status":null,
"gift_card":false,
"grams":800,
"name":"Mobile Phones",
"origin_location":{
"id":3141069111434,
"country_code":"IN",
"province_code":"UP",
"name":"Noida",
"address1":"Noida",
"address2":"",
"city":"Noida",
"zip":"201301"
},
"price":"40000.00",
"price_set":{
"shop_money":{
"amount":"40000.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"40000.00",
"currency_code":"INR"
}
},
"product_exists":true,
"product_id":4525859963018,
"properties":[
],
"quantity":1,
"requires_shipping":true,
"sku":"",
"taxable":true,
"title":"Mobile Phones",
"total_discount":"0.00",
"total_discount_set":{
"shop_money":{
"amount":"0.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"0.00",
"currency_code":"INR"
}
},
"variant_id":32045196640394,
"variant_inventory_management":"shopify",
"variant_title":"",
"vendor":"Connnectors Test",
"tax_lines":[
{
"channel_liable":false,
"price":"7200.00",
"price_set":{
"shop_money":{
"amount":"7200.00",
"currency_code":"INR"
},
"presentment_money":{
"amount":"7200.00",
"currency_code":"INR"
}
},
"rate":0.18,
"title":"IGST"
}
],
"duties":[
],
"discount_allocations":[
]
}
],
"payment_terms":null,
"refunds":[
],
"shipping_lines":[
]
}
}
付録
以下の節では、データフローを監視、更新、削除する手順について説明します。
データフローの監視
データフローが作成されると、それを通して取り込まれるデータを監視し、フローの実行状況、完了状況、エラーなどの情報を確認することができます。 完全なAPIの例については、APIを使用したソースデータフローの監視に関するガイドを参照してください。
データフローの更新
データフローのIDを指定しながら、Flow Service APIの/flows エンドポイントに対してPATCH リクエストを行うことで、データフローの名前と説明、実行スケジュールおよび関連するマッピングセットなどの詳細を更新します。 PATCH リクエストを行う場合は、If-Match ヘッダーにデータフローの一意のetagを指定する必要があります。 完全なAPI例については、APIを使用したソースデータフローの更新に関するガイドを参照してください
アカウントを更新
ベース接続IDをクエリパラメーターとして指定しながら、Flow Service APIに対してPATCH リクエストを実行して、ソースアカウントの名前、説明、資格情報を更新します。 PATCH リクエストを行う場合、If-Match ヘッダーにソースアカウントの一意のetagを指定する必要があります。 完全なAPIの例については、APIを使用したソースアカウントの更新に関するガイドを参照してください。
データフローの削除
クエリパラメーターの一部として削除するデータフローのIDを指定しながら、Flow Service APIに対してDELETE リクエストを実行して、データフローを削除します。 完全なAPIの例については、APIを使用したデータフローの削除に関するガイドを参照してください。
アカウントを削除
削除するアカウントのベース接続IDを指定しながら、Flow Service APIに対してDELETE リクエストを実行して、アカウントを削除します。 完全なAPIの例については、APIを使用したソースアカウントの削除に関するガイドを参照してください。