Target のレコメンデーションアルゴリズムの背後にある科学

入力データ:Target を実装または Adobe Analytics から収集した訪問者のビューおよび購入の形式の行動データ。

モデルトレーニング:

• データクレンジングとサンプリング:N 日のルックバックを持つアルゴリズムの場合、行動データはまず、その N 日のデータのみを含めるようにフィルタリングされます。 次に、コレクションルールとグローバル除外を適用して、推奨すべきでない項目を削除します。 最後に、1,000 項目を超える項目を操作した訪問者の使用状況データは 1,000 項目のみにサンプリングされます。
• 項目類似性計算：これは、すべての候補項目ペア間のログ尤度比類似性と、この類似性スコアによる項目のランキングペアを計算するコア計算ステップです。
• オフラインフィルタリング：最後に、さらに適用できるすべての動的フィルター（動的カテゴリの除外など）が適用されます。 この手順の後、事前に計算されたレコメンデーションはグローバルにキャッシュされ、提供できるようになります。

モデルサービング:Recommendationsのコンテンツは、Target の グローバル「Edge」ネットワークから配信されます。 Target に mbox リクエストが行われ、recommendations コンテンツをページに配信する必要があると判断した場合、Recommendations アルゴリズムに対する適切な 項目キーのリクエストは、リクエストから解析されるか、ユーザープロファイルから検索されます。その後、このリクエストを使用して、前の手順で計算された Recommendations を取得します。 現時点では、適切な デザインがレンダリングされる前に、さらに動的フィルターが適用されます。

入力データ：前述のように、このアルゴリズムは、純粋にカタログデータに基づいています（ カタログフィード、エンティティ API を介して、またはページ上の更新から Target に取り込みます。

モデルトレーニング:

• 属性抽出：通常の静的フィルター、カタログルールおよびグローバル除外を適用した後、このアルゴリズムはエンティティスキーマから関連するテキストフィールドを抽出します。 Target は、エンティティ属性から名前、メッセージ、カテゴリの各フィールドを自動的に使用し、カスタム エンティティ属性から文字列フィールドの抽出を試みます。 このプロセスは、そのフィールドの値の大部分が数値、日付、ブール値として解析可能でないことを確認することで行われます。

• ステミングとストップワードの削除：テキストの類似性を正確に照合するには、アイテムの意味を大幅に変更しない、非常に一般的な「ストップ」単語（「was」、「is」、「and」など）を削除することが賢明です。 同様に、ステミングとは、異なるサフィックスを持つ単語を、同じ意味を持つルートワードに減らすプロセスを指します（例えば、「connect」、「connecting」、「connection」はすべて同じルートワード：「connect」を持ちます）。 Target は Snowball の語幹機を使用します。 Target は、先に自動言語検出を実行し、最大 50 言語のストップワード削除と 18 言語のステミングを行うことができます。

• n-gram creation：前の手順の後、各単語はトークンとして扱われます。 連続した一連のトークンを 1 つのトークンに結合するプロセスを、n-gram creation と呼びます。 Target のアルゴリズムは最大 2 グラムを考慮します。

• tf-idf 計算：次の手順では、項目の説明でトークンの相対的な重要度を反映する tf-idf ベクトルを作成します。 品目 i のトークン/用語 t ごとに、カタログ D に次を含む |D|個の項目、最初に用語頻度 TF （t, i）が計算され（項目 i に用語が表示される回数）、ドキュメントの頻度 DF （t, D）が計算されます。 基本的に、トークンが存在する項目数。 tf-idf のメジャーは

  

  Target では、Apache Spark の tf-idf 機能実装を使用しています。この実装は、内部で各トークンを 218 個のトークンのスペースにハッシュ化します。 このステップでは、criteria で指定された設定に基づいて各ベクトルの項の周波数を調整することで、お客様指定のアトリビュートのブーストと埋め込みも適用されます。

• 項目類似度計算：最終的な項目類似度計算は、近似コサイン類似度を使用して行われる。 ベクトル tA と tB を持つ A と B の 2 つの項目の場合、コサイン類似性は次のように定義されます。

  

  すべての N x N 個の項目間の類似性の計算が大幅に複雑になることを避けるために、tf-idf ベクトルは最大 500 エントリのみを含むように切り捨てられ、この切り捨てられたベクトル表現を使用して項目間のコサイン類似性が計算されます。 このアプローチは、局所性に敏感なハッシュのような他の近似最近接近接（ANN）技術と比較して、スパース・ベクトル類似性計算に対してよりロバストであることを証明する。

• モデルサービング：このプロセスは、前の節で説明した項目別の協調フィルタリング手法と同じです。

入力データ：これは、品目協調フィルタリング （CF） メソッドと同じです。 Both Recommended For You および買い物かごベースのアルゴリズムはどちらも、Target の実装時 またはAdobe Analytics から収集されたユーザーの閲覧および購入の形式で行動データを使用します。

モデルトレーニング:

• データクレンジングとサンプリング：これも協調フィルタリング方法の場合と同じです。ルックバックウィンドウを適用して行動データを適切な日付範囲でフィルタリングし、その後にカタログルールを適用してグローバル除外します。 1,000 を超えるアイテムを操作した訪問者は、最新の 1,000 の使用のみを考慮します。
• テスト分割のトレーニング：各ユーザーの使用状況を時系列的に分割し、最初の 80% をトレーニングデータに割り当て、残りの 20% をテストデータに割り当てます。
• 項目類似性モデルのトレーニング：コアアイテムの類似性計算は、候補アイテムのベクトルの作成方法が Recommended For Youと買い物かごベースのアルゴリズムで異なります。 Recommended For You の場合、アイテム・ベクトルには次元 NUsers があり、各エントリはそのアイテムのユーザーに対する暗黙の評価の合計を表します。アイテムの購入には、アイテムのビューの 2 倍の重みが与えられます。 買い物かごベースのレコメンデーションの場合、項目ベクトルにはバイナリエントリがあります。セッション内動作のみを考慮する場合は、すべてのセッションに新しいエントリがあります。 それ以外の場合は、すべての訪問者に対してこの項目ベクトルにエントリが存在します。

トレーニングステップでは、複数のタイプのベクトル類似度、LLR 類似度（ ここでは）、コサイン類似度（事前に定義）、正規化された L2 類似度（次のように定義）を計算します。

• 項目類似性モデル評価：モデル評価は、前の手順で生成された推奨事項を受け取り、テストデータセットを予測することで行われます。 オンラインスコアリングフェーズは、テストデータセット内の各ユーザーの項目使用を時系列に並べ替え、次に後続のビューと購入を予測しようとして、項目の順序付きサブセットに対して 100 のレコメンデーションを行うことで模倣されます。 情報検索指標 [ 平均精度 ] （https://en.wikipedia.org/wiki/Evaluation_measures_(information_retrieval)）を使用して、これらのレコメンデーションの品質を評価します。 この指標は、レコメンデーションの順序を考慮し、ランキングシステムの重要なプロパティであるレコメンデーションのリスト内の上位の関連項目を優先します。
• モデル選択：オフライン評価後、平均精度が最も高いモデルが選択され、そのモデルに対して計算されたすべての個々の項目項目のレコメンデーションが選択されます。
• オフラインフィルタリング：モデルトレーニングの最後のステージは、適用可能な動的フィルターの適用です。 この手順の後、事前に計算されたレコメンデーションはグローバルにキャッシュされ、提供できるようになります。

モデルサービング：レコメンデーションの提供に、取得する単一のキーを指定し、その後ビジネスルールを適用する必要がある以前のアルゴリズムとは異なり、Recommended for You および買い物かごベースのアルゴリズムでは、より複雑なランタイムプロセスが使用されます。

• 複数キーの取得と結合：買い物かごベースのお勧めの場合は、買い物かごで渡された最大 10 個の項目が取得用のキーと見なされ、それぞれからのお勧めが等しく重み付けられます。 Recommended for You えば、最大 5 つのユニークな閲覧済み項目と最後 5 つのユニークな購入項目が検索のキーと見なされ、購入項目から生じるレコメンデーションは、閲覧済み項目から生じるレコメンデーションの 2 倍の重み付けされます。 レコメンデーションを結合する際に、レコメンデーションの複数の個別リストに項目が表示される場合、その重み付けされた類似性スコアが追加されます。 このステージのレコメンデーションの最後のリストは、重み付けを変更したレコメンデーションの結合リストで、降順にランク付けされます。
• フィルタリング：次に、以前に表示した項目や購入した項目の削除などのフィルタリングルールのほか、他の動的なビジネスルールが適用されます。