Analysis Workspaceでの Auto-Target アクティビティに関する A4T レポートの設定

Auto-Target アクティビティの Analytics for Target(A4T) 統合では、Adobe Targetの Ensamble Machine Learning(ML) アルゴリズムを使用して、Adobe Analyticsの目標指標を使用しながら、プロファイル、行動、コンテキストに基づいて各訪問者に最適なエクスペリエンスを選択します。

Adobe Analytics Analysis Workspaceでは豊富な分析機能を利用できますが、実験アクティビティ(手動の A/B と自動配分)とパーソナライゼーションアクティビティ (Auto-Target) の違いにより、 Auto-Target アクティビティを正しく解釈するには、デフォルトの Analytics for Target パネルを変更する必要があります。

このチュートリアルでは、次の主要概念に基づく、Workspace で Auto-Target アクティビティを分析する際に推奨される変更について説明します。

  • コントロールとターゲット ディメンションは、コントロールエクスペリエンスと Auto-Target アンサンブル ML アルゴリズムで提供されるエクスペリエンスを区別するために使用できます。
  • 訪問回数は、パフォーマンスのエクスペリエンスレベルの分類を表示する際の標準化指標として使用する必要があります。 また、Adobe Analyticsのデフォルトのカウント手法には、実際にアクティビティのコンテンツ が表示されない訪問が含まれる場合がありますが、このデフォルトの動作は、適切な範囲のセグメント(以下の詳細)を使用して変更できます。
  • 訪問ルックバックスコープのアトリビューション(所定のアトリビューションモデルの「訪問ルックバックウィンドウ」とも呼ばれます)は、トレーニングフェーズでAdobe Targetの ML モデルで使用され、目標指標を分類する際には同じ(デフォルト以外の)アトリビューションモデルを使用します。

Workspace で Auto-Target 用 A4T パネルを作成する

Auto-Target 用の A4T レポートを作成するには、次に示すように、Workspace の Analytics for Target パネルで開始するか、フリーフォームテーブルで開始します。 次に、次の項目を選択します。

  1. コントロールエクスペリエンス:どんな経験でも選べる。ただし、この選択は後で上書きします。Auto-Target アクティビティの場合、コントロールエクスペリエンスは実際にはコントロール戦略で、(a) すべてのエクスペリエンスの中でランダムに提供、(b) 単一のエクスペリエンスを提供します ( この選択はAdobe Targetでのアクティビティ作成時におこなわれます )。 選択 (b)(Auto-Target アクティビティが特定のエクスペリエンスをコントロールとして指定)を選択した場合でも、このチュートリアルで説明するアプローチに従って、Auto-Target アクティビティの A4T を分析する必要があります。
  2. 指標の標準化:「訪問回数」を選択します。
  3. 成功指標:レポート対象の指標は選択できますが、通常は、Adobe Targetでのアクティビティ作成中に最適化用に選択したのと同じ指標に関するレポートを表示する必要があります。

図 1.
png 図 1:アクティビティ用の Analytics for Target パネルの Auto-Target 設定。

メモ

自動ターゲットアクティビティ用に Analytics のターゲットパネルを設定するには、任意のコントロールエクスペリエンスを選択し、標準化指標として「訪問回数」を選択し、Target アクティビティの作成時に最適化用に選択したのと同じ目標指標を選択します。

コントロールとターゲットの比較ディメンションを使用して、Adobe Targetのアンサンブル ML モデルをコントロールと比較します。

デフォルトの A4T パネルは、従来の(手動の)A/B テストまたは自動配分アクティビティ用に設計されています。目標は、個々のエクスペリエンスのパフォーマンスをコントロールエクスペリエンスと比較することです。 ただし、Auto-Target アクティビティでは、最初の順序の比較は、制御 戦略 と対象 戦略(つまり、制御戦略に対する Auto-Target アンサンブル ML モデルの全体的な性能の上昇を決定する)の間で行う必要があります。

この比較を実行するには、コントロールとターゲット (Analytics for Target) ディメンションを使用します。 デフォルトの A4T レポートの ターゲットエクスペリエンス ディメンションをドラッグ&ドロップして置き換えます。

この置き換えにより、A4T パネルのデフォルトの上昇率および信頼性の計算が無効になります。 混乱を避けるために、これらの指標をデフォルトのパネルから削除し、次のレポートを残します。

図 2.
png 図 2:アクティビティに関する推奨ベースライン Auto-Target レポート。このレポートは、ターゲットトラフィック(アンサンブル ML モデルが提供する)とコントロールトラフィックを比較するように設定されています。

メモ

現在、自動ターゲットの A4T レポートのコントロールディメンションとターゲットディメンションでは、上昇率および信頼性の数値を使用できません。 サポートが追加されるまでは、 信頼性計算ツール をダウンロードして、上昇率と信頼性を手動で計算できます。

エクスペリエンスレベルの指標の分類の追加

アンサンブル ML モデルの実行状況をさらに深く理解するために、コントロールとターゲット ディメンションのエクスペリエンスレベルの分類を調べることができます。 Workspace で、ターゲットエクスペリエンス ディメンションをレポートにドラッグし、コントロールディメンションとターゲットディメンションをそれぞれ分類します。

図 3.
png 図 3:ターゲットエクスペリエンスによるターゲットディメンションの分類

結果レポートの例を次に示します。

図 4.
png 図 4:エクスペリエ Auto-Target ンスレベルの分類を含む標準レポート。目標指標が異なる場合があり、制御戦略が単一のエクスペリエンスを持つ可能性があります。

ヒント

Workspace で、歯車アイコンをクリックして、「コンバージョン率」列の割合を非表示にし、エクスペリエンスのコンバージョン率に的を絞ります。 その後、コンバージョン率は小数形式で表示されますが、それに応じてパーセンテージとして解釈されます。

Auto-Target アクティビティの正しい標準化指標が「訪問回数」である理由

Auto-Target アクティビティを分析する場合は、常に、デフォルトの標準化指標として「訪問回数」を選択します。 Auto-Target パーソナライゼーションでは、訪問者に対して 1 回のエクスペリエンス ( 正式にはAdobe Targetセッションごとに 1 回 ) を選択します。つまり、ユーザーに表示されるエクスペリエンスは 1 回の訪問で変更できます。したがって、個別訪問者数を標準化指標として使用した場合、1 人のユーザーが複数のエクスペリエンス(異なる訪問)を表示する可能性があるので、コンバージョン率が混乱します。

この点を簡単な例で示します。2 人の訪問者が 2 つのエクスペリエンスのみを含むキャンペーンに入るシナリオを考えてみましょう。 最初の訪問者が 2 回訪問します。 訪問者は最初の訪問でエクスペリエンス A に割り当てられますが、2 回目の訪問でエクスペリエンス B に割り当てられます(2 回目の訪問でプロファイルの状態が変わるため)。 2 回目の訪問の後、訪問者は注文してコンバージョンします。 コンバージョンは、最も最近表示されたエクスペリエンス(エクスペリエンス B)に関連付けられます。 2 番目の訪問者も 2 回訪問し、エクスペリエンス B は両方とも表示されますが、コンバージョンはおこなわれません。

次に、訪問者レベルのレポートと訪問レベルのレポートを比較します。

エクスペリエンス 実訪問者数 訪問回数 コンバージョン数 訪問者標準。 会議 レート 訪問の標準。 会議 レート
A 1 1 - 0% 0%
B 2 3 1 50% 33.3%
合計 2 4 1 50% 25%
表 1:訪問者が正規化されたレポートと訪問が正規化されたレポートを比較した例で、(通常の A/B テストと同様に、訪問者ではなく)訪問に対して決定が定着しているものを示します。訪問者が正規化した指標は、このシナリオでは混乱を招きます。

表に示すように、訪問者レベルの数値は明らかに不一致です。 合計 2 人の個別訪問者があるにもかかわらず、これは各エクスペリエンスの個別訪問者の合計ではありません。 訪問者レベルのコンバージョン率は必ずしも間違っているとは限りませんが、個々のエクスペリエンスを比較すると、訪問レベルのコンバージョン率の方がはるかに意味があります。 正式には、分析単位(「訪問回数」)は、判定の定着度の単位と同じです。つまり、指標のエクスペリエンスレベルの分類を追加して比較できます。

アクティビティへの実際の訪問のフィルター

Adobe Analyticsの Target アクティビティへの訪問に関するデフォルトのカウント手法には、ユーザーが Target アクティビティとやり取りしなかった訪問が含まれる場合があります。 これは、Analytics 訪問者のコンテキストで Target アクティビティの割り当てが保持される方法が原因です。 その結果、Target アクティビティへの訪問回数が水増しされ、コンバージョン率が低下する場合があります。

ユーザーが自動ターゲットアクティビティと実際にやり取りした訪問回数(アクティビティのエントリ、表示/訪問イベント、コンバージョンのいずれか)をレポートする場合は、次の操作を実行できます。

  1. 対象の Target アクティビティからのヒットを含む特定のセグメントを作成し、
  2. このセグメントを使用して訪問回数指標をフィルタリングします。

セグメントを作成するには:

  1. Workspace ツールバーで、コンポーネント/セグメントを作成 オプションを選択します。
  2. セグメントの タイトル を入力します。 次の例では、セグメントの名前は “Hit with specific Auto-Target activity” です。
  3. ターゲットアクティビティ ディメンションをセグメント 定義 セクションにドラッグします。
  4. equals 演算子を使用します。
  5. 特定の Target アクティビティを検索します。
  6. 歯車アイコンを選択し、次の図に示すように、 アトリビューションモデル/インスタンス を選択します。
  7. 保存」をクリックします。

図 5.
png 図 5:ここに示すようなセグメントを使用して、A4T でのレポートの訪問回数指標をフィルタリングし Auto-Target ます

セグメントを作成したら、そのセグメントを使用して訪問回数指標をフィルタリングします。そのため、訪問回数指標には、ユーザーが Target アクティビティでインタラクションをおこなった訪問のみが含まれます。

このセグメントを使用して訪問をフィルタリングするには:

  1. 新しく作成したセグメントをコンポーネントツールバーからドラッグし、訪問回数 指標ラベルのベースの上にマウスポインターを置いて、青い フィルター条件 プロンプトが表示されるまで移動します。
  2. セグメントを解放します。 フィルターがその指標に適用されます。

最後のパネルは次のように表示されます。

図 6.
png 図 6:訪問指標に適用された「特定の自動ターゲットアクティビティによるヒット」セグメントを含むレポートパ ネル。これにより、ユーザーが実際に問題の Target アクティビティとやり取りした訪問のみがレポートに含まれます。

ML モデルのトレーニングと目標指標の生成の間でアトリビューションを整列させる

A4T 統合により、Adobe Analyticsが パフォーマンスレポート の生成に使用するのと同じコンバージョンイベントデータを使用して、Auto-Target の ML モデルを トレーニング できます。 ただし、ML モデルのトレーニング時にこのデータを解釈する際に使用する必要がある前提はいくつかあります。これは、Adobe Analyticsのレポート段階で行われたデフォルトの前提とは異なります。

特に、Adobe Targetの ML モデルは、訪問スコープのアトリビューションモデルを使用します。 つまり、コンバージョンが ML モデルによる決定に「関連付けられる」ためには、アクティビティのコンテンツの表示と同じ訪問でコンバージョンが発生する必要があると想定しています。 これは、Target がモデルのタイムリーなトレーニングを保証するために必要です。Target は、コンバージョンが発生するまで最大 30 日 (Adobe Analyticsのレポートのデフォルトのアトリビューションウィンドウ ) 待ってから、モデルのトレーニングデータに含めることはできません。

したがって、Target のモデルで(トレーニング中に)使用されるアトリビューションと、データのクエリ時に(レポート生成中に)使用されるデフォルトアトリビューションの違いによって、不一致が生じる場合があります。 ML モデルのパフォーマンスが低いと思われる場合もありますが、実際にはアトリビューションに問題があります。

ヒント

ML モデルが、レポートに表示している指標とは異なる指標の属性を持つ指標に対して最適化を行っている場合、モデルが期待どおりに動作しない可能性があります。 この問題を回避するには、レポートの目標指標で、Target の ML モデルで使用されるのと同じアトリビューションを使用するようにします。

Adobe Targetの ML モデルで使用されているのと同じアトリビューション手法を持つ目標指標を表示するには、次の手順に従います。

  1. 目標指標の歯車アイコンの上にマウスポインターを置きます。
    gearicon.png
  2. 表示されたメニューから、Data settings までスクロールします。
  3. デフォルト以外のアトリビューションモデルを使用」を選択します(まだ選択されていない場合)。
    non-defaultattributionmodel.png
  4. 編集」をクリックします。
  5. モデル を選択:パーティシペーションルックバックウィンドウ: にアクセスします。
    ParticipationbyVisit.png
  6. 適用」をクリックします。

これらの手順では、エクスペリエンスが表示された同じ訪問で目標指標イベントが いつ(「パーティシペーション」)も発生した場合に、目標指標をエクスペリエンスの表示に関連付けます。

最後の手順:上記のマジックを捉えたコンバージョン率を作成する

前の節の訪問指標と目標指標を変更した場合、Auto-Target レポートパネルのデフォルトの A4T に対して行う必要がある最終的な変更は、適切にフィルターされた「訪問回数」指標に対する、適切な比率(適切な属性を持つ目標指標のコンバージョン率)を作成することです。

それには、次の手順で計算指標を作成します。

  1. Workspace ツールバーで、コンポーネント/指標を作成 オプションを選択します。
  2. 指標の「タイトル」を入力します。 例えば、「アクティビティ XXX の訪問修正コンバージョン率」などです。
  3. 形式 =割合および 小数点以下の桁数 = 2 を選択します。
  4. アクティビティに関連する目標指標(アクティビティのコンバージョンなど)を定義にドラッグし、前述のように、この目標指標の歯車アイコンを使用してアトリビューションモデルを(パーティシペーション|訪問)に調整します。
  5. 定義」セクションの右上から「追加/コンテナ」を選択します。
  6. 2 つのコンテナ間の除算 (÷) 演算子を選択します。
  7. この特定の Auto-Target アクティビティに対して、以前に作成したセグメント(このチュートリアルで「特定の Auto-Target アクティビティでヒット」)をドラッグします。
  8. 訪問回数 指標をセグメントコンテナにドラッグします。
  9. 保存」をクリックします。

計算指標の完全な定義を次に示します。

図 7.
png 図 7:訪問およびアトリビューションが修正されたモデルコンバージョン率指標の定義。( この指標は、目標指標とアクティビティに依存します。 つまり、この指標定義はアクティビティ間で再利用することはできません。

重要

A4T パネルのコンバージョン率指標は、表のコンバージョンイベントや標準化指標にリンクされていません。 このチュートリアルで提案した変更を加えても、コンバージョン率は変更に自動的には適応しません。 したがって、コンバージョンイベント属性と標準化指標の一方(または両方)を変更した場合は、前述のように、コンバージョン率も変更する最後の手順として覚えておく必要があります。

概要:Auto-Target レポートの最終的なサンプル Workspace パネル

上記のすべての手順を 1 つのパネルに組み合わせた下図は、Auto-Target A4T アクティビティに関する推奨レポートの全体像を示しています。 このレポートは、Target の機械学習モデルで目標指標を最適化するために使用されるレポートと同じで、このチュートリアルで説明するすべてのニュアンスと推奨事項が含まれます。 また、このレポートは、従来の Target レポート駆動型の Auto-Target アクティビティで使用されるカウント手法に最も近いものです。

図 8.
png 図 8:Adobe Analytics Workspace の最終的な A4T レ Auto-Target ポートは、このドキュメントの前の節で説明した指標の定義に対するすべての調整を組み合わせたものです。

このページ